JP4960954B2 - 刺激の不変によって引き起こされた、刺激の受信者によって知覚される品質の劣化を評価する方法及び装置 - Google Patents

刺激の不変によって引き起こされた、刺激の受信者によって知覚される品質の劣化を評価する方法及び装置 Download PDF

Info

Publication number
JP4960954B2
JP4960954B2 JP2008503545A JP2008503545A JP4960954B2 JP 4960954 B2 JP4960954 B2 JP 4960954B2 JP 2008503545 A JP2008503545 A JP 2008503545A JP 2008503545 A JP2008503545 A JP 2008503545A JP 4960954 B2 JP4960954 B2 JP 4960954B2
Authority
JP
Japan
Prior art keywords
lack
stimulus
variation
degradation
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008503545A
Other languages
English (en)
Other versions
JP2008538666A (ja
Inventor
パストラナ,リカルド
コローム,カトリーヌ
ウィカン,エマニュエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2008538666A publication Critical patent/JP2008538666A/ja
Application granted granted Critical
Publication of JP4960954B2 publication Critical patent/JP4960954B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、受信者によって知覚されたとおりに、該受信者に生じさせることが意図されている少なくとも1つの刺激を表現するデータを伝達する信号の品質を表現する値の評価方法に関する。
このような方法は、たとえば、無線を介して伝送される無線電気信号によって伝達される視聴覚番組などの情報の無差別放送を必然的に伴う従来の配信システムの機能より新規性があり、特に受信者として特定されている特に個人を対象とする情報のターゲット配信のため開発されているシステムに一層の注意を払いながら研究されている。
現在の従来技術で使用可能であるターゲット配信システムは、一般に、伝送されるべき刺激を表現するアナログ信号のデジタルデータ信号への変換を使用する。該変換の後に、通常は、データが決して著しい劣化を受けることがないようにできるだけ量を削減するため、該データの符号化が続けられる。符号化データは、インターネットIPv4又はIPv6プロトコルのような標準化された伝送プロトコルに準拠してパケットによって伝送されるように設計されている。しかし、これらのパケット伝送プロトコルはこれらを成功させたかなりの利点を与えるが、本質的に、ある種のデータパケットの不可避的な損失によって生じる劣化の原因であることが認識されるべきである。さらに、いかなる符号化技術が選択されても、目標は、符号化されるべき刺激のうちの不必要であると想定されるある種の特徴を削除しない限り達成できない圧縮である。このような圧縮は、符号化形式で受信者に伝送された刺激について受信者が受ける知覚に悪影響を与える可能性がある損失の生成を回避できない。
ところで、たとえば、視聴覚番組の供給サービスに加入している個人は、自分に伝送される画像及び音声の最低レベルの品質を期待するため契約により権利が付与されているので、この供給サービスのプロバイダはこのような要求が適切に満たされることを保証しなければならない。これは伝送後に受信者に戻される関連した刺激の品質の評価を実行しない限り達成され得ない。この評価はこの受信者の知覚能力の固有の人的特徴を考慮して行われるべきである。
動画又は音声のような刺激を伝達する信号の品質を別々に評価する種々の方法が過去において既に詳しく検討されている。これらの方法は、たとえば、各人が該刺激を加えられ、その後に、この人がこの刺激を知覚したときにこの刺激の品質を表現する等級を付けるように要求される人々のグループを使用する。しかし、このような方法は、付けられた等級の統計的平均が平均知覚を有効に表現するために十分な人数の人々が実験室などの制御された環境に一緒に集められることを要求するので、大がかりな手配を必要とし、したがって、実施するために費用がかかる。さらに、このような方法では、加入者が命令した刺激のストリームの受容時に加入者によって知覚されている品質のリアルタイム測定のために使用できないので、これらの方法は、このままでは、情報のターゲット配信のための上記システムにおける品質管理アプリケーションに適合しない。
さらに注意すべき点は、このような方法の実施に際し、知覚、ある特定のタイプの劣化はこのような劣化が発生させられた時間順のコンテキストから完全に無相関化され得ない影響を人の知覚に与えるということである。その他の悪影響の中で、1個以上のデータパケットの損失は、映像シーケンスの流れに中断、又は、音声信号に中断となって現れる不連続点を生じさせる。この理由は、受信デコーダによって受信されたデータパケットのストリーム中に中断又は遅延の出現がある場合に、受信機は、通常、この受信機に含まれているバッファメモリに格納されたデータによって定義される同じ刺激のループ内で修復を行い、その結果、この刺激は、新しいデータパケットが新しい刺激を再構成できるまで、基本的に変化しないからである。
この刺激を受けた人が有する刺激の品質の知覚に対するこのような不連続点の影響は、第一にこの不連続性の持続期間の結果として、第二に、この同じ刺激に先に刺激を与えているので同じ人によって先に観察されている不連続点の個数の結果として変化させられることがわかった。
2004年4月にリスボンでのWIAMIS会議の報告書に発表された「FRAME DROPPING EFFECTS ON USER QUALITY PERCEPTION」という文献は、映像信号を表現するデータストリーム中の不連続点によって生成され、この映像信号を受けた人によって知覚されている影響を特に表現することを目的とした測定量の自動計算方法を提案する。本方法は、第一に、各不連続点によって引き起こされ、この不連続点の持続期間に依存しているユニタリ劣化の影響と、第二に、このような不連続点の起こり得る累積の影響とを組み合わせて定量化することを可能にする。
しかし、本発明者らによる研究は、不変の刺激を受ける人によって感知される弱い印象は、この不変及び起こり得る予備的な不変の持続期間だけでなく、通常の刺激が与えられる動作の再開のために不変性がなくなる条件にも依存することを明らかにした。これは上述されているアプローチがどちらかというと完全には満足できないことを明らかにする。
本発明は、この刺激の不変の持続期間とこの人に意識されていなかった先行の不変の累積的蓄積との間で該刺激が加えられた人によって作られる関連性を考慮するだけでなく、不変の持続期間の終了後に続く動的なプロセスの再開中に刺激の不連続点の振幅をも考慮することを可能にする刺激量評価方法を提案する際に、上記の欠点を解決することを特に目指している。該方法は、さらに、該刺激を表現するデータを伝達する信号の送信及び/又は受信中に、自動的でリアルタイムに実施することも可能である。
実際には、本発明によれば、冒頭の節に記載の評価方法は、少なくとも1つの該信号の変動の欠如を検出するステップと、着目した変動の欠如の直後の刺激の変動の振幅に依存しており、このような変動の少なくとも1つの欠如によって生成された、劣化の値を定量化するステップとを含む。
本発明を通じて、この刺激の不変の持続期間後に刺激の動的な展開の再開の発生という特有の条件によって人に生じさせる特有の影響を考慮することが可能である。その後に、高い振幅変動は、変動の欠如が着目した刺激を受けた人に与える影響の全体的な定量化において、不変の持続期間だけに連結された影響の定量化に付加される著しい寄与を生じる大量のユニタリ劣化によって表現される。
本発明の第1の態様では、劣化の累積値は、共通して同じ不変の持続期間を有する変動の欠如によって引き起こされたユニタリ劣化の量の合計の形として定量化するステップの間に計算され、ユニタリ劣化の各量は、着目した変動の欠如の直後の刺激の変動の振幅に依存している。
本発明の第1の態様を通じて、刺激の変動の欠如の連続によって人に生じさせられた累積的な影響を考慮することが可能であり、これらの変動の欠如は、その後に、変動の欠如と関連付けられた不変の持続期間を通してリストに記載される。
本発明の第1の態様の一変形例によれば、劣化の種々の密度の計算は、密度毎に、着目した不変の持続期間を表現する様々な不変後に観察された再開の振幅の平均値を計算し、そして、着目したこの不変の持続期間に対応する全ての劣化のケースに有効である平均ユニタリ劣化の量を計算し、そして、着目した劣化の密度の累積的な表現を得るために、この平均ユニタリ劣化の量と解析の期間中にこの不変の持続期間を示した不連続点の個数との間で簡単な積を行うことによって簡略化される。
その結果、本発明の本変形例による評価方法は、定量化のステップの間に、劣化の累積値は、一方では、共通して同じ所与の不変の持続期間を有する変動の欠如によって生じるユニタリ劣化の量として、他方では、所定の解析の期間に行われたこのような変動の欠如の総数との間の積の形として計算され、ユニタリ劣化の該量が、該解析の期間に対する、該変動の欠如の直後の刺激の変動の振幅の平均値に依存している方法であることを特徴とする。
上述されているように、不連続性の刺激が加えられた人によって感じられる弱い印象は、この不連続点の持続期間と、この刺激の変動の突然の欠如に続く刺激の振幅の変動とに依存するだけでなく、無意識のうちに不満を蓄積させる傾向がある時間的に連続して起こり得るこのような不連続点にも依存する。しかし、本発明者らは、このような無意識の蓄積は、付加的な劣化が人によってそれ以上考慮されなくなり、ある意味で飽和に達するある特定の限界を超えないことを観察した。本発明の別の変形例は、このような現象を考慮することが可能である。したがって、この変形例は、前述の変形例と交互に、又は、累積的に実施される。本変形例によれば、上述された方法は、着目した解析の期間中に定量化ステップによって生成された劣化の種々の密度によって制限された総和のステップをさらに含む。
さらに、刺激の変動の欠如は、この刺激が加えられた人によって必ずしも知覚できるとは限らない。したがって、観察者によって知覚される品質の量の評価方法は、このような重要でない不連続点を考慮しないことにより、人の知覚のシミュレーションがより正確であり、同時に、計算リソースの消費が少ないので有利である。本発明の別の変形例は、これらの検討事項を考慮することを可能にさせる。本変形例は、上述の変形例と代替的に又は重畳的に実施されてもよい。本変形例によれば、検出ステップ後に報告される該信号の変動の欠如だけが所定の持続期間より長い不変の持続期間を有するものである。
さらに上述されているように、本発明は、品質が測定される信号の自動解析によってリアルタイムで測定量を定量化できる点でも注目に値するので、冒頭に記載の情報のターゲット配信システムにおける品質管理作業に特によく適している。
したがって、別の態様によれば、本発明は、受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータの伝送方法にも関し、該方法は、
伝送に適した符号化信号を生成するように設計された、少なくとも1つのコンフィギュレーションパラメータに応じて該データを符号化するステップと、
上記の説明に準拠した評価方法を実施する際に実行されるように設計された、符号化信号の品質の測定量を評価するステップと、
評価するステップの実行中に生成された少なくとも1つの測定量の値に応じて該コンフィギュレーションパラメータを設定するステップと
を含む。
本発明のこのような使用は、このようにして符号化された信号の受信者に生じさせる刺激の最低品質を保証し、同時に、依然として利用可能な帯域幅のようなシステムに固有の制約をできる限り考慮するように、コンフィギュレーションパラメータ、たとえば、圧縮レート又は伝送ビットレートの値を最適化する。
第1のハードウェアの態様によれば、本発明は、受信者によって知覚され、該受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータを伝達する信号の品質を表現する量を評価する装置であって、少なくとも1つの該信号の変動の欠如の検出手段と、着目した変動の欠如の直後の刺激の変動の振幅に依存しており、このような変動の少なくとも1つの欠如によって生成された、信号の劣化の値の定量化の手段とを含む装置にも関する。
別のハードウェアの態様によれば、本発明は、定量化手段が共通して同じ不変の持続期間を有する変動の欠如によって引き起こされるユニタリ劣化の量の合計の形式として、少なくとも1つの劣化の累積値を計算するように設計されており、ユニタリ劣化の各量が着目した変動の欠如の直後の刺激の変動の振幅に依存している評価装置にも関する。
この別のハードウェアの態様の別の変形例によれば、本発明は、定量化手段が、一方では、所与の不変の持続期間を有する変動の欠如によって引き起こされ、所定の解析の期間に対する、該変動の欠如の直後の刺激の変動の振幅の平均値に依存しているユニタリ劣化の量として、他方では、所定の解析の期間中に発生したこのような変動の欠如の総数との間の積の形式として、少なくとも1つの劣化の累積値を計算するように設計されている評価装置にも関する。
本発明の別の特定の実施形態では、この種の評価装置は、着目した解析期間中に定量化手段によって生成された種々の劣化の密度によって制限される総和手段をさらに含む点で有利である。
本発明のさらに別の特定の実施形態では、このような評価装置は、所定の持続期間より短い不変の持続期間を有する変動の欠如をフィルタリングする手段をさらに含む。
別のハードウェアの態様によれば、本発明は、受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータの伝送システムであって、
該データを伝送に適したフォーマットで符号化された信号に符号化する手段と、
符号化信号の品質の測定量の評価のための上記の説明に準拠した装置と
を含むシステムにも関する。
このハードウェアの態様の特に有利な変形例によれば、符号化手段は少なくとも1つのコンフィギュレーションパラメータによって定義された処理をデータに適用するため設計され、システムは、評価手段によって生成された少なくとも1つの測定量の値に応じて該コンフィギュレーションパラメータを設定する手段をさらに含む。
このような変形例は、データの受信者によって知覚された品質レベルでデータ符号化手段の動作の条件のフィードバック制御をセットアップする際に、品質管理ループを作るために使用される。
評価方法は、様々なやり方により、特に、ハードウェア形式又はソフトウェア形式で実施される。したがって、本発明は、電気通信ネットワークを介してダウンロード可能であり、及び/又は、中央演算処理装置のメモリに記憶された、及び/又は、該中央演算処理装置の読み取り装置と協働するように設計された記憶媒体に記憶されたコンピュータプログラム製品であって、該プログラムが、受信者によって知覚され、該受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータを伝達する信号の品質を表現する量の評価を可能にさせるように設計され、該プログラムが、該信号の少なくとも1つの変動の欠如の検出手順を定義する少なくとも1つの命令と、着目した変動の欠如の直後の刺激の変動の振幅に依存しており、このような変動の少なくとも1つの欠如によって生成された、劣化の値の定量化手順を定義する少なくとも1つの命令とを含む、コンピュータプログラム製品にも関する。
このようなプログラムは、劣化の累積値の計算と、種々の劣化の密度によって制限された総和と、非常に短いために観察者が知覚できない不変の持続期間を有する不連続点のフィルタリングとの手順を定義する命令をさらに含む。
最後に、別のハードウェアの態様によれば、本発明は、上記の説明によるコンピュータプログラムが記憶されているデータ記録媒体(data carrier)にも関する。
本発明の上記の特徴並びにその他の特徴は、添付図面を参照して記載されている以下の典型的な実施形態の説明からより明瞭にわかる。
図1は、コンピュータに連結されていても、連結されていなくてもよく、好ましくは、少なくとも1台のスピーカーが設けられている、たとえば、携帯電話機又はスクリーンにより構成された端末DISPを用いてシステムSYSTのユーザに生じさせるように設計された少なくとも1つの刺激を表現する入力データストリームと称されるデジタルデータストリームIFxを生成する手段SRCを含むデータ伝送システムSYSTを概略的に表し、伝送された刺激は、おそらくは、音声及び画像の何れかであるか、或いは、組み合わせである。システムSYSTは、配信手段IPS、たとえば、入力ストリームIFxに含まれているデータを、配信手段IPSによって配信され、配信によって劣化(又は性能低下)されているかもしれない出力データストリームと称されるデジタルデータストリームOFxを受信するように設計された受信モジュールRECに接続されているユーザの端末DISPへターゲット配信するために駆動される複数台のルーターを組み込む通信ネットワークを含む。本発明のある特定の実施モードでは、受信モジュールRECは、有線リンク又は無線リンクを介して端末DISPと通信する能力があるデコーダによって構成されていてもよい。本発明の他の実施モードでは、受信モジュールRECは端末DISPに統合されていてもよい。本明細書で説明されているシステムSYSTは、受信データストリームRFxの品質の測定量を評価する評価装置QMMをさらに含む。本評価装置QMMは本発明に適合し、該ストリームの内容の自動解析により受信データストリームRFxによって伝達された刺激の受信者によって知覚された品質のリアルタイム測定を表現する値を有する測定信号PQを生成する能力がある。本明細書に示されている実施例では、測定信号PQの値は0から100までの変動範囲を提供する値の絶対目盛QSCに関連している。後述されているように、システムSYSTのユーザによって知覚された値のこのような絶対的かつ客観的な定量化は、数ある利点の中でも、ユーザに生じさせる刺激の、ユーザのための、最低品質を保証するために設計された、システムSYSTのユーザへ送信されたデータストリームの生成の最適化を可能にさせる。
図2は、本発明の特定の実施モードによる評価方法を示している。本方法は、受信者によって知覚されたとおりの、少なくとも1つの刺激を表現する受信データストリームRFxを伝達する信号の品質を表現する値を有する測定信号PQを生成するように設計されている。本方法は、受信データストリームRFxによって伝達された刺激の少なくとも1つの変動の欠如の検出ステップIDSを含む。この検出ステップIDSは、実質的に零に等しい値と、2個の連続した刺激の振幅の間の差との比較を実行し、たとえば、刺激の変動が欠如しているときに論理レベル「1」を、そうではない場合に論理レベル「0」を有する検出信号Sdを生成する。検出ステップIDSの実行中に、受信データストリームRFxによって伝達された2個の連続した刺激の振幅の間の差の系統的な計算は、着目した不変の持続期間の直後の振幅の変動Dijの定量化をさらに可能にさせる。本発明のこの特定の実施モードによる評価方法は、検出ステップIDSの間に報告された変動の欠如に関連付けられた不変の持続期間tgiが計算される計算及びフィルタリングステップTCSをさらに含む。その後に、この不変の持続期間tgiは、観察者が知覚できないほどに非常に短い不変の持続期間を有する不連続点のフィルタリングを実行するために所定の閾値Thvと比較され、たとえば、40ミリ秒の領域内で所定の閾値Thvを選択すると、この閾値Thvより長い不変の持続期間をもつ不連続点だけが計算及びフィルタリングステップTCSの最後に報告される。本方法は、また計算及びフィルタリングステップTCSの間に報告された少なくとも1つの変動の欠如によって引き起こされた劣化の質の計算ステップSHSと、共通して同じ不変の持続期間tgiを有する変動の欠如によって生成された信号の少なくとも1つの劣化の密度Ediの定量化ステップDQSと、定量化ステップDQSによって生成された種々の劣化の量Ediの総和ステップDSSとを含み、該総和は好ましくは制限され、測定信号PQの値を生成する。
本発明の可能な実施モードによれば、すべてが同じ不変の持続期間tgiを有する劣化と関連付けられているユニタリ量Eijの合計は定量化ステップDQSの間に計算され、計算ステップSHSの間に生成された劣化の各ユニタリ量Eijは着目した変動の欠如の直後の刺激の変動の振幅Dijに依存している。
このような実施モードでは、振幅Dijの突然の変動が後に続く持続期間tgiをもつ変動の欠如によって引き起こされた劣化の各ユニタリ量Eijは、たとえば、計算ステップSHSの間に、
Figure 0004960954
の形式で計算される。
上記された劣化のユニタリ量Eijの式において、品質基準量Qrefは、不変の持続期間tgiに応じて連続的であり、減少し、かつ、制限されるようにして漸進する値によって削減される。観察された不連続点の直後の振幅Dijの変動に比例する値a×Dijは、該品質基準量Qrefに加算されている。この値Dij自体は、人間の知覚の飽和の現象を考慮に入れるためにさらに値DijMAXまで予備的に制限されている。品質基準量Qrefは、それ自体としては、実験室内で基準刺激を受けた人のグループの知覚の統計的解析によって一度だけ予備的に定義される。
その後、共通して同じ不変の持続期間tgiを有する変動の欠如によって生成された劣化の各密度Ediは、たとえば、定量化ステップDQSの間に、
Figure 0004960954
の形式で計算され、これは、劣化の各ユニタリ密度Eijが、全く任意的ではあるが、それ自体が、不変の持続期間として、たとえば、y=1/(1+exp(−x))というタイプの関係によって定義された指数シグモイド関数、又は、y=tanh(x)というタイプの関係によって定義された正接シグモイド関数に従う持続期間tgiを有する変動の欠如の総数に応じて連続的であり、減少し、かつ、制限されている漸進を示すように定義されている指数P(n(tgi))によって重み付けされた独特の式である。
本発明の非常に具体的な実施形態では、指数を定義する関数は、
Figure 0004960954
という形式でもよく、ここで、c及びRは実数であり、Pmax及びPminはそれぞれ指数P(n(tgi))の最大値及び最小値である。
その後に、総和ステップDSSは、定量化ステップDQSによって定量化されたすべての劣化の密度Ediの累積合計を計算する。この合計は、測定信号PQの値を生成するために品質基準量Qrefから減算される。このとき、測定信号PQは、以下の形式:
Figure 0004960954
で表現してもよく、劣化の全ての密度Ediの累積合計
Figure 0004960954
は、人間の知覚の飽和の現象を考慮するため、たとえば、1/2のような1より小さな指数を用いてそれ自体任意で重み付けされてもよく、好ましくは、本発明の好ましい実施モードでは値EdMAXで制限される。
本発明の上記実施モードの有利な変形例によれば、ユニタリ劣化の平均量Eimは、計算ステップSHSの間に、持続期間tgiの変動の欠如の直後の刺激の変動の振幅Dijの、着目した解析の期間に対する、平均値Dimの関数として計算される。その後に、劣化の密度Ediは、一方では、この平均ユニタリ量Eimと、他方では、所与の解析の期間中に発生したこのような変動の欠如の総数n(tgi)との間の積の形式で計算されることがある。これは、以下の式:
Figure 0004960954
及び
Edi=n(tgi).Eim(tgi)P(n(tgi))
によって表現されてもよく、後者の式は、変動の振幅Dijの平均値Dimが平均ユニタリ劣化のすべての値に共通であるという事実によって、
Figure 0004960954
という式と等価にされる。
図3は、受信データストリームRFxの品質の測定量の評価用の装置QMMの可能な実施形態を示し、この装置は、本明細書に記載されている実施例では、上述された受信モジュールにそのまま統合されてもよい。
本評価装置QMMは、たとえば、刺激の変動の欠如があるときに論理レベル「1」を、そうでなければ、論理レベル「0」を有する検出信号Sdを生成するように設計された、受信データストリームRFxの不変の検出用のモジュールDETMを含む。
評価装置QMMは、検出信号Sdが論理レベル「1」を有するときに限り作動され得る計数手段と不変の持続期間tgiに等しい最終計数値を40ミリ秒の領域内の所定の閾値Thvと比較する手段とを組み込むカウンタ及び時間比較器CNTMをさらに含む。不変の持続時間tgiが閾値Thvより低いならば、モジュールDETMによって検出された変動の欠如は観察者によって知覚されないので、評価装置QMMによって余分な動作は行われない。そうでなければ、すなわち、不変の持続期間tgiが閾値Thv以上であるならば、不変の持続期間tgiの値は、この不変の持続期間tgiに固有であるメモリセクタのアドレッシングのためのデータ及び変数の両方として時間データベースに伝達される。その後に、ここでは記憶手段MMに記憶されているこの時間データベースは、検出モジュールDETMから、このモジュールによって測定された、着目した変動の欠如の直後の振幅変動Dijの値を受信し、この振幅変動Dijの値を不変の持続期間tgiに固有であるメモリセクタに記憶してよい。
上述された劣化の量の計算ステップ、劣化密度の定量化ステップ、及び、総和ステップを実行するために、評価装置QMMは、ワイヤード論理の手段によって選択された実施モードによって要求される計算を実行するため適切に構成されたプログラマブル論理回路を含んでいてもよい。この解決策は、高い処理速度を提供するが、困難を伴わない限り再構成できない。
このため、本明細書に記載されている本発明の好ましい実施形態では、評価装置QMMは、ここではデータベースを含む記憶手段MMと区別されていないデータ記録媒体に記憶された命令Instr及びデータDatを受信するように設計された中央演算処理装置CPUを含む。このとき、該記憶手段MMは、たとえば、ハードディスクドライブの形式でもよく、該命令Instrは、中央演算処理装置CPUによる実行が評価装置QMMに所望の測定信号PQを生成させることができる計算ステップを定義し、ここでのデータDatはデータベースに予備的に記憶されている時間データを特に含む。
これらの命令Instrは、必要であることが分かるならば容易に修正され、たとえば、ハードディスクドライブ、CD−RW、DVD−RAM又は光磁気ディスクの場合のように書換可能であるならば、データ記録媒体にダウンロード可能なソフトウェアプログラムを形成してもよい。命令Instr及びデータDatを含むデータ記録媒体は、選択的に時間データベースを含む記憶手段MMと区別されていてもよく、その場合には、着脱式でもよく、たとえば、プログラム供給サービスプロバイダによってシステムユーザに提供されるCD−ROM又はDVD−ROMタイプの読み出し専用ディスクで構成されている。
図4は、刺激、たとえば、画像又は音声の振幅Stampの可能な変動の実施例を示すタイミングチャートである。本明細書に示された実施例では、刺激は、時点t0から始まって、連続性が中断し、その期間中、着目した刺激の振幅Stampは、不変の持続期間tgiを有する変動の欠如を示している。時点t0+tgiにおいて、振幅の変動が再開し、この不連続性が着目した刺激を受ける人によって知覚される状態に影響を与える振幅ピークDijを示す。この不連続性は様々な方法で検出可能であり、最も有利な方法のうちの1つは、2個の連続した時点tとt+1との間の振幅の差Stamp(t+1)−Stamp(t)の計算に基づいている。このアプローチはさらに、t0における変動の欠如の開始を検出し、ここでは値Stamp(t0+tgi+1)−Stamp(t0+tgi)によって与えられる該欠如に直後に続くピークの振幅Dijを定量化することが可能である。さらに、理論的には、Stamp(t+1)−Stamp(t)=0という関係の検証によって数学的に検出された任意の不変を解析することは可能であるが、実際的には、このようにして検出された不変の持続期間を、人間の知覚の能力を有利に表現し、たとえば、40msの領域に入るように選択された所定の閾値Thvと比較することの方が現実的である。したがって、たとえば、この具体的な実施例に表されている持続期間ttのような、閾値Thvより短い持続期間を示す変動の任意の欠如は、知覚不能であると考えられ、知覚された品質の評価において考慮されない。
着目した刺激は異なった形式を取り得る。たとえば、着目した刺激が画像であるならば、この振幅ピークは、式:
Figure 0004960954
で表現することができる輝度のピークであり、ここで、I(x,y,t0+tgi)は時点t0+tgiにおける画像、すなわち、変動の再開前の最後の画像を形成する画素(x,y)の輝度を表現し、I(x,y,t0+tgi+1)は、時点t0+tgi+1における画素(x,y)の画像、すなわち、変動の再開後の最初の画像の輝度を表現し、Nは1画像当たりの画素の総数に等しく、valpeak=2nbであり、ここで、nbは各画素を表現するビット数を表す。
着目した刺激が音声で構成されている別のケースでは、音声の中断によって引き起こされたこの音声の変動の欠如の後に続く振幅ピークは、この音声を受けた人にとって非常に知覚し易い「クリック」の形をしている。非常に低い振幅をもつ静音又は雑音の直後に発生するこのような音声刺激の突然の変動は、たとえば、標準化された平均自乗誤差の式:
Figure 0004960954
によって計算され、ここで、s(t0+tgi)は、時点t0+tgiでのサンプル(音声信号の欠如の最後のサンプル)、又は、そのエネルギー
E(t0+tgi)=(s(t0+tgi))2
に対応し、valpeak=2nbであり、ここで、nbは各音声サンプルを表現するビット数を表す。
最後に、上述されているような劣化の密度の計算の簡略化を可能にするため、不変tgiの所与の持続期間を伴う変動の欠如の後に続く様々な振幅ピークDijの、たとえば、10秒といった所定の解析期間に対して、平均値の計算を予想することが完全に可能であることがここで強調されるべきである。
同様に、劣化の累積値の定量化の多数のステップは、データストリームが進行する限り一定の期間で実行され、これらの各期間は、たとえば、上述された10秒の期間と同じ値を有する。よって、着目した測定量のため連続的に取得された値の時間的な重み付けもまた可能である。
図5は本発明の第1の変形例によるデータ伝送システムSYST1の概要図である。このシステムSYST1は、送信機部分TRMEと受信機部分RECEとの間での、少なくとも1つの刺激を表現するデータストリームの伝送のため設計されている。このため、入力データストリームIFxは符号化手段ENCによって符号化データストリームEFxに符号化され、符号化データストリームは、配信手段IPSを介して出力データストリームOFxの形式でこれを受信する受信機部分RECEへ伝送されるように設計されている。符号化手段は、符号化パラメータの生成器EPGMによって決定され、データ符号化が行われる条件を定義する少なくとも1つのコンフィギュレーションパラメータEp、たとえば、圧縮レート又は伝送ビットレートを用いて構成されるように設計されている。ここに表されているシステムSYST1は、出力ストリームOFxの復号化の目的のため受信機部分RECEに設けられ、ここには示されていない受信側デコーダと同一である送信側デコーダTDECと呼ばれるデコーダをさらに含む。最後に、システムSYST1は、符号化データストリームEFxの品質を表現する測定量の評価用の装置QMMを含み、該装置QMMは上記の説明に準拠し、測定信号PQを生成するように設計されている。符号化データストリームEFxの品質を評価するため、本評価装置QMMは、本発明の実施の本例では、システムSYST1のユーザに、このユーザへ向けられた刺激を生成するため受信機部分RECEによって効果的に使用されるデータストリームを表現する復号化データストリームDFxの解析を実行する。本明細書に示されている実施例では、復号化データストリームDFxの解析は、符号化パラメータ生成器EPGMを駆動する測定信号PQの値を生成する。これは、出力信号OFxの受信者に生じさせる刺激に対する最低品質を保証し、同時に、もしあるとすれば、ここでは示されていない信号の形式で符号化パラメータ生成器EPGMへ同様に通信され、依然として使用可能な帯域幅などのようなシステムに固有の制約を考慮するように、コンフィギュレーションパラメータEpの値を最適化するために行われる。たとえば、測定信号PQの値によって表現されるような品質が所要最低品質と比べて不十分であるならば、圧縮レートを定義するコンフィギュレーションパラメータEpの値は、該圧縮が発生する情報損失がより少なくなるように低下させられる。
図6は本発明の第2の変形例によるデータ伝送システムSYST2の概略図である。本システムSYST2は、送信機部分TRMEと受信機部分RECEとの間での、少なくとも1つの刺激を表現するデータストリームの伝送のため設計されている。本システムSYST2は、上記の要素と共通した要素を備え、該共通の要素は同じ参照符号が付けられている。ここに表されているシステムSYST2は、受信部分RECEに設けられ、出力ストリームOFxを復号化する受信デコーダRDECを含む。システムSYST2は、受信デコーダRDECによって生成された復号化データストリームDFxの品質、したがって、符号化データストリームEFxの品質を表現する測定量の評価用の評価装置QMMをさらに含む。該装置QMMは上記の説明に準拠し、測定信号PQを生成するように設計され、測定信号は、第一に、この値が配信手段IPSを介して返信される符号化パラメータ生成器EPGMを駆動し、第二に、たとえば、復号化中に使用されるバッファメモリのサイズ、又は、誤差フィルタの選択性を調節して、復号化データストリームDFxの受信者に生じさせる刺激の品質をさらに改善するために、受信デコーダRDECのコンフィギュレーションの最適化を可能にさせる復号化パラメータDp生成器DPGMを駆動する。
図7は、音声刺激と映像刺激の両方を表現するデータストリームAVFxの品質を評価するモジュールQMDを概略的に表している。したがって、このようなストリームは、視聴覚番組の担体である。本評価モジュールQMDは、データストリームAVFxから、映像データ及び音声データをそれぞれ搬送する第1のストリームVFx及び第2のストリームAFxを抽出するため設計されたストリーム分離器SPLTを含み、評価モジュールQMDは、受信者によって分離して知覚されたとおりの該第1のストリームVFx及び第2のストリームAFxの品質を表現する量PQV及びPQAを評価するためにそれぞれが設計されている第1の評価装置QMV及び第2の評価装置QMAを含んでいる。このため、第1の評価装置QMV及び第2の評価装置QMAのそれぞれは、たとえば、視聴覚番組の視聴者によって知覚されたとおりの空間的品質又は時間的品質のような品質の様々な測定量(Vq1,...VqP)及び(Aq1,...AqK)についての様々な評価モジュールからなる第1のグループ(VM1,...VMP)及び第2のグループ(AM1,...AMK)を収容している。第1の評価装置QMV及び第2の評価装置QMAのそれぞれは、これらの品質測定の値(Vq1,...VqP)及び(Aq1,...AqK)の連合モジュールVIM及びAIMを含み、連合モジュールVIM及びAIMは、これらの量が関係している様々な品質係数の間で視聴者によって作られた相関を考慮する量PQV及びPQAを生成するように設計されている。このため、各連合モジュールVIM及びAIMは、測定品質の量の値(Vq1,...VqP)及び(Aq1,...AqK)の間の積を計算する。この積は、場合によっては、線形ではない人間の知覚のメカニズムを表現する重み付けを実現するために、1未満の数で累乗されることがある。
本発明の本実施形態では、評価モジュール(VM1,...VMP)及び(AM1,...AMK)のうちの1つは、上記の説明に準拠し、データストリームAVFxによって搬送される音声及び/又は映像刺激に影響を与える変動の連続性の中断又は変動の突然の欠如によって引き起こされた劣化を表現する測定量を生成するように設計された評価モジュールの形をとる。
最後に、品質評価モジュールQMDは、第1の映像データストリームVFx及び第2の音声データストリームAFxの品質の測定の量PQV及びPQAの値を受信し、このデータによって定義された視聴覚番組の視聴者によって知覚されたとおりのデータストリームAVFxの品質の全体的な評価を表現する信号GPQを提供するために当業者に知られている技術に応じてこれらの値を組み合わせる能力がある組み合わせモジュールAVCBを備える。したがって、この信号GQPは、以下の式:
GPQ=α.PQV+β.PQA+γ.(PQV.PQA)+ε
によって表現され、式中、α、β、γ及びεは、基準データストリームによって伝達される視聴覚刺激の音声品質及び映像品質の変動に実験室内でさらされる人々のグループの知覚の統計的な解析によって一度だけ取得される実数である。
本発明が使用されるデータ伝送システムを表現する機能概要図である。 本発明による方法を表現するステップの概要図である。 このようなシステムで実施することができる評価手段を表現する機能概要図である。 刺激に影響を与え、振幅ピークが後に続く不変によって表されている連続性の中断を説明する応答曲線である。 本発明の第1の変形例が使用されるデータ伝送システムを表現する機能概要図である。 本発明の第2の変形例が使用されるデータ伝送システムを表現する機能概要図である。 視聴覚番組の品質の評価への本発明の適用可能性を説明する機能概要図である。

Claims (16)

  1. 受信者によって知覚され、該受信者に生じさせることが意図されている少なくとも1つの刺激を表現するデータを伝達する信号の品質を表現する量の評価方法であって、
    少なくとも1つの刺激を表現するデータを搬送している信号を受信するステップと、
    前記信号の変動の少なくとも1つの欠如を評価装置により検出するステップと、
    着目した変動の欠如の直後の前記刺激の変動による振幅に依存しており、そのような変動の少なくとも1つの欠如により生成された、前記信号の劣化の値を評価装置により定量化するステップと
    を含む方法。
  2. 前記定量化するステップの間に、少なくとも1つの劣化の累積値が、値をもつ持続期間tgiとともに得られる変動の欠如によって引き起こされるユニタリ劣化の量の合計の形により計算され、該ユニタリ劣化の各量が前記着目した変動の欠如の直後の前記刺激の変動の振幅に依存していることを特徴とする、請求項1に記載の方法。
  3. 前記定量化するステップの間に、少なくとも1つの劣化の累積値が、同じ値をもつ持続期間tgiとともに得られる変動の欠如によって引き起こされる劣化の量と所定の解析の期間に発生したこのような変動の欠如の総数との間の積の形として計算されるものであり、
    前記劣化の量が、前記解析の期間に対する、前記変動の欠如の直後の前記刺激の前記変動の前記振幅の平均値に依存していることを特徴とする、請求項1に記載の方法。
  4. 所定の解析の期間中に前記定量化するステップによって生成された種々の劣化の密度総和ステップをさらに含み、該総和ステップによる結果が値Ed MAX によって制限されることを特徴とする、請求項1から3のいずれかに記載の方法。
  5. 前記検出するステップ後に報告される前記信号の変動の欠如だけが所定の持続期間より長い、同じ値をもつ持続期間tgiとともに得られることを特徴とする、請求項1から4のいずれかに記載の方法。
  6. 受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータの伝送方法であって、
    伝送に適した符号化信号を生成するように設計された少なくとも1つのコンフィギュレーションパラメータに応じて前記データを符号化するステップと、
    前記請求項1から5のいずれかに記載の評価方法を実施する際に実行されるように設計された、前記符号化信号の品質の測定量を評価するステップと、
    前記評価するステップの実行中に生成された少なくとも1つの測定量の値に応じて、前記コンフィギュレーションパラメータを設定するステップと
    を含む方法。
  7. 受信者によって知覚され、該受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータを伝達する信号の品質を表現する量の評価装置であって、
    前記信号の変動の少なくとも1つの欠如を検出する手段と、
    着目した変動の欠如の直後の前記刺激の変動の振幅に依存しており、そのような変動の少なくとも1つの欠如により生成された、前記信号の劣化の値を定量化する手段と、
    を含む評価装置。
  8. 前記定量化する手段が、同じ値をもつ持続期間tgiとともに得られる変動の欠如によって引き起こされるユニタリ劣化の量の合計の形式により、少なくとも1つの劣化の累積値を計算するように設計されており、該ユニタリ劣化の各量が着目した前記変動の欠如の直後の前記刺激の変動の振幅に依存している、請求項7に記載の評価装置。
  9. 前記定量化する手段が、同じ値をもつ持続期間tgiとともに得られる変動の欠如によって引き起こされ、所定の解析の期間に対する、前記変動の欠如の直後の前記刺激の変動の振幅の平均値に依存しているユニタリ劣化の量と前記所定の解析の期間中に発生したそのような変動の欠如の総数との間の積の形式として、少なくとも1つの劣化の累積値を計算するように設計されている、請求項7に記載の評価装置。
  10. 所定の解析期間中に前記定量化する手段によって生成された種々の劣化の密度総和手段をさらに含み、該総和手段による結果が値Ed MAX によって制限されることを特徴とする、請求項7から9のいずれかに記載の装置。
  11. 所定の持続期間より短い、同じ値をもつ持続期間tgiとともに得られる変動の欠如をフィルタリングする手段を含むことを特徴とする、請求項7から10のいずれかに記載の装置。
  12. 受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータの伝送システムであって、
    伝送に適したフォーマットにより符号化された信号へと前記データを符号化する手段と、
    前記符号化された信号の品質の測定量を評価するための請求項7から11のいずれかに記載の装置と
    を含むシステム。
  13. 前記符号化する手段が、少なくとも1つのコンフィギュレーションパラメータによって定義された処理を前記データに適用するように設計されており、
    前記評価するための装置によって生成された少なくとも1つの前記測定量の値に応じて、前記コンフィギュレーションパラメータを設定する手段と
    をさらに含むことを特徴とする、請求項12に記載のデータ伝送システム。
  14. 電気通信ネットワークを介してダウンロード可能であり、及び/又は、中央演算処理装置のメモリに記憶され、及び/又は、前記中央演算処理装置の読み取り装置と協働するように設計された記録媒体に記憶された、コンピュータプログラムであって、
    前記プログラムは、受信者によって知覚され、該受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータを伝達する信号の品質を表現する量の評価を可能にさせるように設計されており、
    前記プログラムは、前記信号の少なくとも1つの変動の欠如を検出する手順を定義する少なくとも1つの命令と、着目した変動の欠如の直後の前記刺激の変動の振幅に依存しており、そのような変動の少なくとも1つの欠如により生成された、前記信号の劣化の値を定量化する手順を定義する少なくとも1つの命令と
    を含むものである、コンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記憶しているデータ記録媒体。
  16. 受信者に生じさせるように設計された少なくとも1つの刺激を表現するデータを伝達する信号の受信モジュールであって、該受信者によって知覚された前記信号の品質を表現する量を評価する手段を含んでおり、
    該評価する手段は、少なくとも1つの前記信号の変動の欠如を検出する手段と、着目した変動の欠如の直後の前記刺激の変動の振幅に依存しており、そのような変動の少なくとも1回の欠如によって生成された、前記信号の劣化の値を定量化する手段とを含むものである、受信モジュール。
JP2008503545A 2005-03-29 2006-03-10 刺激の不変によって引き起こされた、刺激の受信者によって知覚される品質の劣化を評価する方法及び装置 Expired - Fee Related JP4960954B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0503053A FR2884087A1 (fr) 2005-03-29 2005-03-29 Procede et dispositif d'evaluation d'une degradation de qualite causee par une invariance d'un stimulus, telle que percue par un destinataire dudit stimulus
FR0503053 2005-03-29
PCT/FR2006/000555 WO2006103327A1 (fr) 2005-03-29 2006-03-10 Procede et dispositif d’evaluation d’une degradation de qualite causee par une invariance d’un stimulus, telle que percue par un destinataire dudit stimulus

Publications (2)

Publication Number Publication Date
JP2008538666A JP2008538666A (ja) 2008-10-30
JP4960954B2 true JP4960954B2 (ja) 2012-06-27

Family

ID=35295403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008503545A Expired - Fee Related JP4960954B2 (ja) 2005-03-29 2006-03-10 刺激の不変によって引き起こされた、刺激の受信者によって知覚される品質の劣化を評価する方法及び装置

Country Status (5)

Country Link
US (1) US7738393B2 (ja)
EP (1) EP1864511A1 (ja)
JP (1) JP4960954B2 (ja)
FR (1) FR2884087A1 (ja)
WO (1) WO2006103327A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2112835A1 (en) 2008-04-24 2009-10-28 Psytechnics Ltd Method and apparatus for generation of a video quality parameter
FR2982449A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede d'evaluation d'au moins un defaut de qualite dans un signal de donnees, dispositif et programme d'ordinateurs associes
US9571864B2 (en) * 2012-03-30 2017-02-14 Intel Corporation Techniques for media quality control
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
US10708636B2 (en) * 2016-06-29 2020-07-07 Telefonaktiebolaget Lm Ericsson (Publ) Quality estimation of adaptive multimedia streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0667594A3 (en) * 1994-02-14 1995-08-23 International Business Machines Corporation Image quality analysis method and apparatus
US6091447A (en) * 1997-10-01 2000-07-18 Gershfeld; Jack Methods of evaluating performance of video systems and compensating for degradation of video signals
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel
JP2001145132A (ja) * 1999-11-16 2001-05-25 Kdd Media Will Corp 一重刺激画像品質評価装置
IT1314626B1 (it) * 2000-04-21 2002-12-20 Ik Multimedia Production Srl Procedimento per la codifica e la decodifica di flussi di dati,rappresentanti suoni in forma digitale, all'interno di un
US6671324B2 (en) * 2001-04-16 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Estimating total average distortion in a video with variable frameskip
JP2004172753A (ja) * 2002-11-18 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 映像・音声品質客観評価方法及び装置
JP3768961B2 (ja) * 2003-02-03 2006-04-19 アンリツ株式会社 変調誤差比測定装置

Also Published As

Publication number Publication date
WO2006103327A1 (fr) 2006-10-05
FR2884087A1 (fr) 2006-10-06
EP1864511A1 (fr) 2007-12-12
JP2008538666A (ja) 2008-10-30
US7738393B2 (en) 2010-06-15
US20080316933A1 (en) 2008-12-25

Similar Documents

Publication Publication Date Title
US8243143B2 (en) Method and apparatus for generation of a video quality parameter
JP4965659B2 (ja) ビデオ画質の決定方法
CN102740108B (zh) 一种视频数据质量评估方法和装置
CN109618565B (zh) 流式视频用户体验质量的自动测量方法和系统
JP4960954B2 (ja) 刺激の不変によって引き起こされた、刺激の受信者によって知覚される品質の劣化を評価する方法及び装置
CN101689369B (zh) 用于编码和解码分音的幅度的方法和装置
US10541894B2 (en) Method for assessing the perceived quality of adaptive video streaming
CN103379358B (zh) 评估多媒体质量的方法和装置
CN1669338A (zh) 用于测量视频数据质量的方法和设备
WO2006020159A1 (en) Human factors-based video compression
CN106664161A (zh) 基于冗余的包传输错误恢复的系统和方法
JP2002237785A (ja) 人間の聴覚補償によりsidフレームを検出する方法
CN102959976A (zh) 评估视频流质量的方法及设备
US20120101814A1 (en) Artifact Reduction in Packet Loss Concealment
HUE025532T2 (en) Procedure and system for determining the quality of video stream
JP4490374B2 (ja) 映像品質評価装置および方法
Rehman et al. Perceptual experience of time-varying video quality
JP2004524753A (ja) スピーチ信号の品質を決定するための方法及び装置
Huynh-Thu et al. No-reference temporal quality metric for video impaired by frame freezing artefacts
JP6162596B2 (ja) 品質推定装置、方法及びプログラム
WO2002078358A1 (en) Multimodal quality assessment
JP4960953B2 (ja) 受け手によって認識される情報を含む信号の品質を評価するための方法及びデバイス
JP2007135040A (ja) ユーザ体感品質推定装置、方法、およびプログラム
Pérez et al. Subjective assessment of adaptive media playout for video streaming
JP4849467B2 (ja) 接続性評価システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees