JPH1188915A - ビデオ品質劣化測定方法及び装置 - Google Patents
ビデオ品質劣化測定方法及び装置Info
- Publication number
- JPH1188915A JPH1188915A JP10197478A JP19747898A JPH1188915A JP H1188915 A JPH1188915 A JP H1188915A JP 10197478 A JP10197478 A JP 10197478A JP 19747898 A JP19747898 A JP 19747898A JP H1188915 A JPH1188915 A JP H1188915A
- Authority
- JP
- Japan
- Prior art keywords
- image sequence
- measurement
- video
- test
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】 主観的測定方法及び客観的測定方法の両方の
利点を兼ね備えて、ビデオ品質の劣化を測定する。 【解決手段】 テスト画像シーケンスの各画像用の注意
マップを発生する。被試験システムがテスト画像シーケ
ンスを処理した後に、この処理されたテスト画像シーケ
ンスに対応するビデオ画像シーケンスを捕獲する（ステ
ップ６６）。この捕獲したビデオ画像シーケンスを、処
理前のテスト画像シーケンスと比較し、この比較結果を
対応する注意マップに応じて重み付け（ステップ７０）
して、測定表示を行う（ステップ７４）。
利点を兼ね備えて、ビデオ品質の劣化を測定する。 【解決手段】 テスト画像シーケンスの各画像用の注意
マップを発生する。被試験システムがテスト画像シーケ
ンスを処理した後に、この処理されたテスト画像シーケ
ンスに対応するビデオ画像シーケンスを捕獲する（ステ
ップ６６）。この捕獲したビデオ画像シーケンスを、処
理前のテスト画像シーケンスと比較し、この比較結果を
対応する注意マップに応じて重み付け（ステップ７０）
して、測定表示を行う（ステップ７４）。
Description
【０００１】
【発明の属する技術分野】本発明は、一般に、ビデオ画
像信号試験及び測定に関し、特に、ビデオ品質劣化にお
ける客観的測定において注意マップを用いてビデオ品質
の劣化を測定する方法及び装置に関する。
像信号試験及び測定に関し、特に、ビデオ品質劣化にお
ける客観的測定において注意マップを用いてビデオ品質
の劣化を測定する方法及び装置に関する。
【０００２】
【従来の技術】ビデオ画像信号におけるビデオ品質劣化
の測定が、主観的及び客観的な方法の両方で行われてき
た。主観的な測定においては、人間の主観により、オリ
ジナル（元の）ビデオ画像信号及び損傷（劣化）したビ
デオ画像信号の間の劣化を比較し、評価する。客観的品
質測定では、損傷したビデオ画像信号をそのオリジナル
・ビデオ画像信号と比較する。この比較を行うには、ビ
デオ画像信号をビット・マップ形式に変換し、相互振幅
利得、オフセット及び空間シフトを調整し、調整した信
号をある形式でろ波（フィルタ処理）し、ろ波しないも
のをろ波したものから減算し、更にろ波し、その結果を
複数のエラー・マップ又はこれらマップから得た統計表
のいずれかで測定結果を表している。
の測定が、主観的及び客観的な方法の両方で行われてき
た。主観的な測定においては、人間の主観により、オリ
ジナル（元の）ビデオ画像信号及び損傷（劣化）したビ
デオ画像信号の間の劣化を比較し、評価する。客観的品
質測定では、損傷したビデオ画像信号をそのオリジナル
・ビデオ画像信号と比較する。この比較を行うには、ビ
デオ画像信号をビット・マップ形式に変換し、相互振幅
利得、オフセット及び空間シフトを調整し、調整した信
号をある形式でろ波（フィルタ処理）し、ろ波しないも
のをろ波したものから減算し、更にろ波し、その結果を
複数のエラー・マップ又はこれらマップから得た統計表
のいずれかで測定結果を表している。
【０００３】
【発明が解決しようとする課題】主観的測定方法は、再
現性及び一貫性に欠けるところがある。一方、客観的方
法は、機械的であり、観察者（人間）が注意（関心）を
払う領域（「注意要因」）と、これら観察者がさほど注
意を払わない領域との間を区別することができない。
現性及び一貫性に欠けるところがある。一方、客観的方
法は、機械的であり、観察者（人間）が注意（関心）を
払う領域（「注意要因」）と、これら観察者がさほど注
意を払わない領域との間を区別することができない。
【０００４】そこで、ビデオ品質劣化の客観的測定にお
いて注意を払う領域があるという観点を加味することに
より、主観的測定方法及び客観的測定方法の両方の利点
を兼ね備えた測定方法が望まれている。
いて注意を払う領域があるという観点を加味することに
より、主観的測定方法及び客観的測定方法の両方の利点
を兼ね備えた測定方法が望まれている。
【０００５】
【課題を解決するための手段】したがって、本発明は、
ビデオ品質の劣化を客観的に測定する際に、注意（アテ
ンション）マップを設けて測定する方法及び装置を提供
するものである。注意マップには、テスト画像シーケン
スの各フレームの各部分に観察者の主観的な影響の度合
いに応じた重み付け値が与えられている。被試験システ
ムを介してテスト画像シーケンスを伝送して、劣化した
テスト画像シーケンスを得る。選択したアルゴリズムに
応じて、この劣化したテスト画像シーケンスを、劣化前
のテスト画像シーケンスと比較し、この比較結果を、対
応する注意マップにより重み付けする。この重み付けし
た測定出力により、適切な測定表示を行う。
ビデオ品質の劣化を客観的に測定する際に、注意（アテ
ンション）マップを設けて測定する方法及び装置を提供
するものである。注意マップには、テスト画像シーケン
スの各フレームの各部分に観察者の主観的な影響の度合
いに応じた重み付け値が与えられている。被試験システ
ムを介してテスト画像シーケンスを伝送して、劣化した
テスト画像シーケンスを得る。選択したアルゴリズムに
応じて、この劣化したテスト画像シーケンスを、劣化前
のテスト画像シーケンスと比較し、この比較結果を、対
応する注意マップにより重み付けする。この重み付けし
た測定出力により、適切な測定表示を行う。
【０００６】本発明の目的、利点及びその他の新規な特
徴は、添付図を参照した以下の説明から明らかになろ
う。
徴は、添付図を参照した以下の説明から明らかになろ
う。
【０００７】
【発明の実施の形態】図２Ａは、本発明に応じたテスト
画像シーケンス（テスト・シーケンス）から得たビデオ
・データ（ビデオ画像シーケンス）の１フレームを示
す。この図２Ａにおいて、ボールの競技者１０は、観客
１２の背景に対する前景となる。このシーンを観察する
観察者は、通常、ボール競技者１０に注意を払うが、背
景の観客１２には注意を払わないであろう。さらに、通
常、観察者は、ボール１４及び競技者１０の頭１６に、
この競技者の別の部分よりも一層注意を払うであろう。
よって、図２Ｂに示すような注意マップを準備する。な
お、注意マップは、ビデオ画像シーケンスに対応する各
フレームの重み付けを示す。この注意マップは、頭１６
Ａ及びボール１４Ａに集中しており、即ち、これら部分
の重み付けが最も高くなっている。また、そのすぐ周り
の領域１８が、その次の重み付けとなり、更に、競技者
１０Ａ全体の領域がその次の重み付けとなる。すなわ
ち、これら領域１４Ａ及び１６Ａと、１８と、１０Ａと
が、重要度の順番になっている。ビデオ画像シーケンス
の各画像と、これに対応して順次できる注意マップとの
同様な関係を図３のＡ（オリジナル・シーケンス）及び
Ｂ（注意マップ・シーケンス）に示す。また、図３のＣ
は、図３Ａのオリジナル・シーケンス（即ち、テスト・
シーケンス）を被試験システムで処理して得た対応する
損傷シーケンスを示す。ここでは、観察者にとって主観
的に気になる競技者１０Ｂの画像が劣化（損傷）してい
る、即ち、競技者に影が伴っているか、不鮮明になって
いる。
画像シーケンス（テスト・シーケンス）から得たビデオ
・データ（ビデオ画像シーケンス）の１フレームを示
す。この図２Ａにおいて、ボールの競技者１０は、観客
１２の背景に対する前景となる。このシーンを観察する
観察者は、通常、ボール競技者１０に注意を払うが、背
景の観客１２には注意を払わないであろう。さらに、通
常、観察者は、ボール１４及び競技者１０の頭１６に、
この競技者の別の部分よりも一層注意を払うであろう。
よって、図２Ｂに示すような注意マップを準備する。な
お、注意マップは、ビデオ画像シーケンスに対応する各
フレームの重み付けを示す。この注意マップは、頭１６
Ａ及びボール１４Ａに集中しており、即ち、これら部分
の重み付けが最も高くなっている。また、そのすぐ周り
の領域１８が、その次の重み付けとなり、更に、競技者
１０Ａ全体の領域がその次の重み付けとなる。すなわ
ち、これら領域１４Ａ及び１６Ａと、１８と、１０Ａと
が、重要度の順番になっている。ビデオ画像シーケンス
の各画像と、これに対応して順次できる注意マップとの
同様な関係を図３のＡ（オリジナル・シーケンス）及び
Ｂ（注意マップ・シーケンス）に示す。また、図３のＣ
は、図３Ａのオリジナル・シーケンス（即ち、テスト・
シーケンス）を被試験システムで処理して得た対応する
損傷シーケンスを示す。ここでは、観察者にとって主観
的に気になる競技者１０Ｂの画像が劣化（損傷）してい
る、即ち、競技者に影が伴っているか、不鮮明になって
いる。
【０００８】本発明は、パラダイム（模範）を基本にし
ている。しばしば、ビデオ・データ圧縮又は伸張を伴う
処理経路を介して、既知のテスト・シーケンスを伝送す
る。図３Ａのテスト・シーケンスは、自然なビデオ画像
シーケンスでも、人工的なビデオ画像シーケンスでもよ
い。テスト・シーケンスが信号路を通過すると、このテ
スト・シーケンスは、図３Ｃに示すように損傷を受け
る。この損傷を受けたシーケンスを、図１に示す測定装
置で捕獲する（取込む）。この測定装置は、本発明に応
じて、捕獲した損傷シーケンスをオリジナル・テスト・
シーケンスと比較して、客観的な測定を実行する。
ている。しばしば、ビデオ・データ圧縮又は伸張を伴う
処理経路を介して、既知のテスト・シーケンスを伝送す
る。図３Ａのテスト・シーケンスは、自然なビデオ画像
シーケンスでも、人工的なビデオ画像シーケンスでもよ
い。テスト・シーケンスが信号路を通過すると、このテ
スト・シーケンスは、図３Ｃに示すように損傷を受け
る。この損傷を受けたシーケンスを、図１に示す測定装
置で捕獲する（取込む）。この測定装置は、本発明に応
じて、捕獲した損傷シーケンスをオリジナル・テスト・
シーケンスと比較して、客観的な測定を実行する。
【０００９】図１に示す測定装置は、本発明を適用する
一例を示すものであり、パーソナル・コンピュータ（Ｐ
Ｃ：比較／表示手段）２０又は他のコンピュータ・プラ
ットホームにより実施される。このＰＣ２０は、関連し
たランダム・アクセス・メモリ（ＲＡＭ）２４を備えた
コンピュータ処理ユニット（ＣＰＵ）２２と、種々の入
力／出力インタフェースとを含んでいる。これらインタ
フェースは、ディスク・ドライブ２５、フロッピー・ド
ライブ２６、ＣＤ−ＲＯＭドライブ２７、及びインタフ
ェース２８などとのインタフェースを行う。インタフェ
ース２８は、マウス、キーボード及び／又はタッチ・ス
クリーンなどの外部装置とのインタフェースを行う。Ｐ
Ｃ２０は、ＰＣＩなどのＰＣインタフェース・バス２９
を介して他のＰＣカード（ボード）との通信を行う。か
かるＰＣカードには、捕獲カード３０、テスト・シーケ
ンス発生器カード４０、エンコーダ・カード５０及び／
又はデコーダ・カード（図示せず）がある。捕獲カード
（捕獲手段）３０は、ＰＣＩインタフェースでバス２９
に接続され、被試験システムからのシリアル・デジタル
（ＳＤ）ビデオ信号を捕獲して、ＳＤ用ＲＡＭに蓄積す
る。テスト・シーケンス発生器カード４０は、ＰＣＩイ
ンタフェースでバス２９に接続され、ＳＤ用ＲＡＭに蓄
積されたシリアル・デジタル・ビデオ信号を被試験シス
テムに供給する。エンコーダ５０は、例えば、被試験シ
ステムがＮＴＳＣ又はＰＡＬ信号用の場合に用いるもの
であり、テスト・シーケンス発生器カード４０からのシ
リアル・デジタル信号を逆シリアル化回路ＤＳによりパ
ラレル・デジタル信号に変換し、エンコーダ回路ＥＮＣ
によりＮＴＳＣ又はＰＡＬ信号にエンコードする。な
お、ゲンロック回路ＧＥＮＬが外部からのタイミング信
号を受けて、エンコード回路ＥＮＣを外部のタイミング
信号に同期させる。
一例を示すものであり、パーソナル・コンピュータ（Ｐ
Ｃ：比較／表示手段）２０又は他のコンピュータ・プラ
ットホームにより実施される。このＰＣ２０は、関連し
たランダム・アクセス・メモリ（ＲＡＭ）２４を備えた
コンピュータ処理ユニット（ＣＰＵ）２２と、種々の入
力／出力インタフェースとを含んでいる。これらインタ
フェースは、ディスク・ドライブ２５、フロッピー・ド
ライブ２６、ＣＤ−ＲＯＭドライブ２７、及びインタフ
ェース２８などとのインタフェースを行う。インタフェ
ース２８は、マウス、キーボード及び／又はタッチ・ス
クリーンなどの外部装置とのインタフェースを行う。Ｐ
Ｃ２０は、ＰＣＩなどのＰＣインタフェース・バス２９
を介して他のＰＣカード（ボード）との通信を行う。か
かるＰＣカードには、捕獲カード３０、テスト・シーケ
ンス発生器カード４０、エンコーダ・カード５０及び／
又はデコーダ・カード（図示せず）がある。捕獲カード
（捕獲手段）３０は、ＰＣＩインタフェースでバス２９
に接続され、被試験システムからのシリアル・デジタル
（ＳＤ）ビデオ信号を捕獲して、ＳＤ用ＲＡＭに蓄積す
る。テスト・シーケンス発生器カード４０は、ＰＣＩイ
ンタフェースでバス２９に接続され、ＳＤ用ＲＡＭに蓄
積されたシリアル・デジタル・ビデオ信号を被試験シス
テムに供給する。エンコーダ５０は、例えば、被試験シ
ステムがＮＴＳＣ又はＰＡＬ信号用の場合に用いるもの
であり、テスト・シーケンス発生器カード４０からのシ
リアル・デジタル信号を逆シリアル化回路ＤＳによりパ
ラレル・デジタル信号に変換し、エンコーダ回路ＥＮＣ
によりＮＴＳＣ又はＰＡＬ信号にエンコードする。な
お、ゲンロック回路ＧＥＮＬが外部からのタイミング信
号を受けて、エンコード回路ＥＮＣを外部のタイミング
信号に同期させる。
【００１０】図１に示す測定装置の全体的な測定の流れ
図を図４に示す。なお、これら測定の各ステップは、デ
ィスクなどに蓄積されたソフトウェアに応じてＰＣ２０
が制御する。まず、所望の測定に応じて、ステップ６２
において、測定装置をパワーアップし（電源を入れ）、
適切にセットアップする（設定を行う）。ステップ６４
において、入力ビデオ（被試験システムからのテスト画
像シーケンス）からのライブを表示する。ステップ６６
において、入力ビデオから、所望の単一フレーム又は複
数のフレームである入力ビデオの一部を捕獲する。ステ
ップ６８にて、捕獲したフレームを前処理し、ステップ
７０にて、注意マップによる重み付けを考慮して、対応
する基準フレームとの対比で測定を行う。なお、重み付
けマップは、ディスク２５（蓄積手段）などに蓄積され
る。ステップ７２は、手動調整であり、前処理ステップ
６８への手動による帰還を行って、意味のある測定値が
得られるようにする。ステップ７４にて、測定結果を表
示するか、又は、別な方法で利用できるようにする。１
フレームよりも多いフレームの場合、次のフレームに対
する測定をステップ７０で行うか、前処理ステップ６８
に戻るか、次のフレームを捕獲するために捕獲ステップ
６６に戻る。
図を図４に示す。なお、これら測定の各ステップは、デ
ィスクなどに蓄積されたソフトウェアに応じてＰＣ２０
が制御する。まず、所望の測定に応じて、ステップ６２
において、測定装置をパワーアップし（電源を入れ）、
適切にセットアップする（設定を行う）。ステップ６４
において、入力ビデオ（被試験システムからのテスト画
像シーケンス）からのライブを表示する。ステップ６６
において、入力ビデオから、所望の単一フレーム又は複
数のフレームである入力ビデオの一部を捕獲する。ステ
ップ６８にて、捕獲したフレームを前処理し、ステップ
７０にて、注意マップによる重み付けを考慮して、対応
する基準フレームとの対比で測定を行う。なお、重み付
けマップは、ディスク２５（蓄積手段）などに蓄積され
る。ステップ７２は、手動調整であり、前処理ステップ
６８への手動による帰還を行って、意味のある測定値が
得られるようにする。ステップ７４にて、測定結果を表
示するか、又は、別な方法で利用できるようにする。１
フレームよりも多いフレームの場合、次のフレームに対
する測定をステップ７０で行うか、前処理ステップ６８
に戻るか、次のフレームを捕獲するために捕獲ステップ
６６に戻る。
【００１１】図５は、捕獲ステップ６６の詳細を示す流
れ図である。ステップ７６にて、入力ビデオをテストし
て、この入力ビデオがコンポジット（複合）ビデオ信号
であるか、シリアル・デジタル（６０１形式）ビデオ信
号であるかを判断する。入力ビデオがコンポジット信号
の場合、ステップ７８でデコーダのパラメータを設定し
て、このコンポジット信号をシリアル・デジタル信号に
変換する。ステップ８０にて、捕獲カード３０のシリア
ル・デジタル入力／出力（Ｉ／Ｏ）回路を設定して、入
力ビデオ内からテスト・シーケンス・トリガを探せるよ
うにする。ステップ８１にて、テスト・シーケンス・ト
リガを検出すると、ステップ８２にて、そのシーケンス
をチェックして、ステップ６２にて設定した測定装置の
現在のテストに用いる関心のあるテスト・シーケンスで
あるかを判断する。適切なテスト・シーケンスであれ
ば、ステップ８３にて、捕獲カード３０のＲＡＭに１フ
レーム以上を捕獲する。ステップ８４にて、操作者の入
力をチェックして、捕獲されたビデオ信号をディスクに
セーブ（蓄積）すべきかを確認する。ディスクにセーブ
すべきならば、ステップ８６にてビデオ信号を蓄積す
る。このようにして、捕獲ステップ６６が完了する。
れ図である。ステップ７６にて、入力ビデオをテストし
て、この入力ビデオがコンポジット（複合）ビデオ信号
であるか、シリアル・デジタル（６０１形式）ビデオ信
号であるかを判断する。入力ビデオがコンポジット信号
の場合、ステップ７８でデコーダのパラメータを設定し
て、このコンポジット信号をシリアル・デジタル信号に
変換する。ステップ８０にて、捕獲カード３０のシリア
ル・デジタル入力／出力（Ｉ／Ｏ）回路を設定して、入
力ビデオ内からテスト・シーケンス・トリガを探せるよ
うにする。ステップ８１にて、テスト・シーケンス・ト
リガを検出すると、ステップ８２にて、そのシーケンス
をチェックして、ステップ６２にて設定した測定装置の
現在のテストに用いる関心のあるテスト・シーケンスで
あるかを判断する。適切なテスト・シーケンスであれ
ば、ステップ８３にて、捕獲カード３０のＲＡＭに１フ
レーム以上を捕獲する。ステップ８４にて、操作者の入
力をチェックして、捕獲されたビデオ信号をディスクに
セーブ（蓄積）すべきかを確認する。ディスクにセーブ
すべきならば、ステップ８６にてビデオ信号を蓄積す
る。このようにして、捕獲ステップ６６が完了する。
【００１２】図６は、前処理ステップ６８の詳細を示す
流れ図である。ステップ８８にて、利得（Ｇ）、ルミナ
ンス（Ｌ）、飽和度（Ｓ）、クロミナンス（Ｃ）などの
種々の測定を行う。ステップ９０にて、これら測定結果
を特定の限界値と比較する。ステップ６２での設定にお
いて、ステップ９２が選択されていれば、ステップ９２
にて、測定値が限界値の外にあるかを試験する。なお、
ステップ９２が選択されていない場合は、ステップ９０
からステップ９８に直接進む。ステップ９２において、
限界値の外であることが検出されると、ステップ９４に
て操作者に警告を行い、ステップ９６にて、操作者は測
定を中断するか否かを指示する。ステップ９６にて中断
がない場合、又は、ステップ９２にて限界値内である場
合、必要に応じて、ステップ９８にて、測定値を補正
し、限界に適合させる。
流れ図である。ステップ８８にて、利得（Ｇ）、ルミナ
ンス（Ｌ）、飽和度（Ｓ）、クロミナンス（Ｃ）などの
種々の測定を行う。ステップ９０にて、これら測定結果
を特定の限界値と比較する。ステップ６２での設定にお
いて、ステップ９２が選択されていれば、ステップ９２
にて、測定値が限界値の外にあるかを試験する。なお、
ステップ９２が選択されていない場合は、ステップ９０
からステップ９８に直接進む。ステップ９２において、
限界値の外であることが検出されると、ステップ９４に
て操作者に警告を行い、ステップ９６にて、操作者は測
定を中断するか否かを指示する。ステップ９６にて中断
がない場合、又は、ステップ９２にて限界値内である場
合、必要に応じて、ステップ９８にて、測定値を補正
し、限界に適合させる。
【００１３】図７は、測定ステップ７０の詳細な流れ図
である。ステップ１００にて、メモリ又はディスクか
ら、捕獲ビデオ信号を回収する。次に、ステップ１０２
にて、メモリをチェックして、基準ビデオ信号が有効か
（利用できるか）を確認する。基準ビデオ信号が有効で
なければ、ステップ１０４にて、操作者に警告を発生
し、測定シーケンスを停止する。そうでなければ、ステ
ップ６２で設定した測定の形式を、ステップ１０６にて
判断する。例えば、測定装置が実行できる測定には２つ
の形式があり、その１つが、単に目立つ差を基にしたＪ
ＮＤ（just noticeable differene）測定であり、他方
が、パワーの信号対ノイズ比（power signalto noise r
atio）を基にしたＰＳＮＲ測定である。ＰＳＮＲ測定で
は、そのアルゴリズムがステップ１０８で開始し、反復
的にステップ１１０を継続する。ＰＳＮＲアルゴリズム
の各ループの後で、ステップ１１２にてテストを行い、
このアルゴリズムが終了したかを判断する。アルゴリズ
ムが終了していなければ、中断ステップ１１４にて、次
のループを持続する前にこのアルゴリズムを中断すべき
かを確認する。
である。ステップ１００にて、メモリ又はディスクか
ら、捕獲ビデオ信号を回収する。次に、ステップ１０２
にて、メモリをチェックして、基準ビデオ信号が有効か
（利用できるか）を確認する。基準ビデオ信号が有効で
なければ、ステップ１０４にて、操作者に警告を発生
し、測定シーケンスを停止する。そうでなければ、ステ
ップ６２で設定した測定の形式を、ステップ１０６にて
判断する。例えば、測定装置が実行できる測定には２つ
の形式があり、その１つが、単に目立つ差を基にしたＪ
ＮＤ（just noticeable differene）測定であり、他方
が、パワーの信号対ノイズ比（power signalto noise r
atio）を基にしたＰＳＮＲ測定である。ＰＳＮＲ測定で
は、そのアルゴリズムがステップ１０８で開始し、反復
的にステップ１１０を継続する。ＰＳＮＲアルゴリズム
の各ループの後で、ステップ１１２にてテストを行い、
このアルゴリズムが終了したかを判断する。アルゴリズ
ムが終了していなければ、中断ステップ１１４にて、次
のループを持続する前にこのアルゴリズムを中断すべき
かを確認する。
【００１４】ＪＮＤ測定が開始すると、ステップ１１６
にて、ＪＮＤアルゴリズムの低速バージョンと高速バー
ジョンのいずれが望ましいかをテストする。選択したア
ルゴリズムのバージョンに関係なく、このアルゴリズム
は、ＰＳＮＲアルゴリズム処理と同様な方法で、ステッ
プ１１８又は１２０で開始し、ステップ１２２又は１２
４にて反復的に継続され、ステップ１２６又は１２８に
て終了かをチェックされ、ステップ１３０又は１３２に
て中断状態かをチェックされる。
にて、ＪＮＤアルゴリズムの低速バージョンと高速バー
ジョンのいずれが望ましいかをテストする。選択したア
ルゴリズムのバージョンに関係なく、このアルゴリズム
は、ＰＳＮＲアルゴリズム処理と同様な方法で、ステッ
プ１１８又は１２０で開始し、ステップ１２２又は１２
４にて反復的に継続され、ステップ１２６又は１２８に
て終了かをチェックされ、ステップ１３０又は１３２に
て中断状態かをチェックされる。
【００１５】測定ステップ７０が終了すると、図８に詳
細に示すように、ステップ７４を実行する。ステップ１
３４にて、測定結果をアクセス（メモリ又はディスクか
ら読み出し）する。設定ステップ６２で設定した測定形
式及び所望出力表示に応じて、ステップ１３６にて、番
号、グラフ及び／又はマップとして測定結果を表示す
る。ステップ１３８でプリントが付勢（イネーブル）さ
れていれば、ステップ１４０にて、ハード・コピー形式
又はポストスクリプト・ファイルのいずれかで表示結果
をプリントする。ステップ１４２にて、表示ステップが
終了すると、この測定が完了する。そうでなければ、別
の測定結果を表示用に回収する。
細に示すように、ステップ７４を実行する。ステップ１
３４にて、測定結果をアクセス（メモリ又はディスクか
ら読み出し）する。設定ステップ６２で設定した測定形
式及び所望出力表示に応じて、ステップ１３６にて、番
号、グラフ及び／又はマップとして測定結果を表示す
る。ステップ１３８でプリントが付勢（イネーブル）さ
れていれば、ステップ１４０にて、ハード・コピー形式
又はポストスクリプト・ファイルのいずれかで表示結果
をプリントする。ステップ１４２にて、表示ステップが
終了すると、この測定が完了する。そうでなければ、別
の測定結果を表示用に回収する。
【００１６】ＪＮＤ及びＰＳＮＲアルゴリズムにおい
て、高度に注意を要する領域１４Ａ、１６Ａ内を埋める
ピクセルは、エラー（基準との差）に対する測定しきい
値が低くなる（即ち、重み付けが重くなる）。周辺部１
８内のピクセルは、エラーに対する測定しきい値が、領
域１４Ａ、１６Ａの場合よりもわずかに高い（即ち、重
み付けがわずかに軽くなる）。一般的な人影領域１０Ａ
内のピクセルは、エラーに対する測定しきい値が更に高
くなる（即ち、重み付けが更に軽くなる）。背景１２内
のピクセルのエラーに対する測定しきい値は、更に一層
高くなる（即ち、重み付けが更に一層低くなる）。これ
らしきい値は、注意マップで決まり、アルゴリズムの中
に組み込まれており、観察者がより一層注意を向ける画
像内の領域に、より大きな重み付けを与える。したがっ
て、注意マップにおける各重み付け領域の選択により、
主観的な測定を行える一方、客観的な測定は、測定結果
に重み付けを適用して、最終的な客観的測定の表示を行
う。
て、高度に注意を要する領域１４Ａ、１６Ａ内を埋める
ピクセルは、エラー（基準との差）に対する測定しきい
値が低くなる（即ち、重み付けが重くなる）。周辺部１
８内のピクセルは、エラーに対する測定しきい値が、領
域１４Ａ、１６Ａの場合よりもわずかに高い（即ち、重
み付けがわずかに軽くなる）。一般的な人影領域１０Ａ
内のピクセルは、エラーに対する測定しきい値が更に高
くなる（即ち、重み付けが更に軽くなる）。背景１２内
のピクセルのエラーに対する測定しきい値は、更に一層
高くなる（即ち、重み付けが更に一層低くなる）。これ
らしきい値は、注意マップで決まり、アルゴリズムの中
に組み込まれており、観察者がより一層注意を向ける画
像内の領域に、より大きな重み付けを与える。したがっ
て、注意マップにおける各重み付け領域の選択により、
主観的な測定を行える一方、客観的な測定は、測定結果
に重み付けを適用して、最終的な客観的測定の表示を行
う。
【００１７】
【発明の効果】本発明によれば、ビデオ信号の劣化の客
観的な測定において、注意マップを用い、観察者が主観
的に重要とするビデオ信号の部分を強調して測定を行
う。したがって、本発明は、観察者が注意を払う領域と
さほど注意を払わない領域とを区別できるという主観的
測定方法の利点と、機械的に測定を行えるという客観的
測定方法の利点との両方を兼ね備えて、ビデオ品質の劣
化を測定できる。
観的な測定において、注意マップを用い、観察者が主観
的に重要とするビデオ信号の部分を強調して測定を行
う。したがって、本発明は、観察者が注意を払う領域と
さほど注意を払わない領域とを区別できるという主観的
測定方法の利点と、機械的に測定を行えるという客観的
測定方法の利点との両方を兼ね備えて、ビデオ品質の劣
化を測定できる。
【図１】本発明により、注意マップを用いてビデオ信号
劣化を客観的に測定するビデオ品質劣化測定装置のブロ
ック図である。
劣化を客観的に測定するビデオ品質劣化測定装置のブロ
ック図である。
【図２】本発明に応じたテスト・シーケンスから得たビ
デオ・データのフレームと、関連した注意マップとを示
す図である。
デオ・データのフレームと、関連した注意マップとを示
す図である。
【図３】本発明に応じたテスト・シーケンスから得たビ
デオ・フレームのシーケンスと、関連した注意マップ
と、対応する損傷したビデオ・シーケンスとを示す図で
ある。
デオ・フレームのシーケンスと、関連した注意マップ
と、対応する損傷したビデオ・シーケンスとを示す図で
ある。
【図４】本発明による全体的な測定処理の流れを示す流
れ図である。
れ図である。
【図５】本発明による捕獲処理の流れ図である。
【図６】本発明による前処理の流れ図である。
【図７】本発明による測定実行の流れ図である。
【図８】本発明による結果表示の流れ図である。
２０ パーソナル・コンピュータ（比較／表示手段） ２２ ＣＰＵ ２４ ＲＡＭ ２５ ディスク・ドライブ（蓄積手段） ２６ フロッピー・ドライブ ２７ ＣＤ−ＲＯＭドライブ ３０ 捕獲カード（捕獲手段） ４０ テスト画像シーケンス発生器カード
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン・ダブリュー・エドワーズ アメリカ合衆国 オレゴン州 97035 レ イク・オスウェゴ サウス・ウェスト レ イク・ハブン・ドライブ 17332
Claims (2)
- 【請求項１】 テスト画像シーケンスの各画像用の注意
マップを発生し、 被試験システムが上記テスト画像シーケンスを処理した
後に、この処理されたテスト画像シーケンスに対応する
ビデオ画像シーケンスを捕獲し、 この捕獲したビデオ画像シーケンスを上記テスト画像シ
ーケンスと比較し、この比較結果を上記対応する注意マ
ップに応じて重み付けして、測定表示を行うことを特徴
とするビデオ品質劣化測定方法。 - 【請求項２】 テスト画像シーケンスの各画像用の注意
マップを蓄積する手段と、 被試験システムが上記テスト後画像シーケンスを処理し
た後に、この処理されたテスト画像シーケンスに対応す
るビデオ画像シーケンスを捕獲する手段と、 この捕獲したビデオ画像シーケンスを上記テスト画像シ
ーケンスと比較し、この比較結果を上記対応する注意マ
ップに応じて重み付けして、測定表示を行う手段とを具
えたビデオ品質劣化測定装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/896,912 US5940124A (en) | 1997-07-18 | 1997-07-18 | Attentional maps in objective measurement of video quality degradation |
| US08/896,912 | 1997-07-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1188915A true JPH1188915A (ja) | 1999-03-30 |
| JP3342414B2 JP3342414B2 (ja) | 2002-11-11 |
Family
ID=25407052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19747898A Expired - Fee Related JP3342414B2 (ja) | 1997-07-18 | 1998-07-13 | ビデオ品質劣化測定方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5940124A (ja) |
| EP (1) | EP0892564B1 (ja) |
| JP (1) | JP3342414B2 (ja) |
| DE (1) | DE69804549T2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006527947A (ja) * | 2003-06-18 | 2006-12-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像品質評価方法及びシステム |
| KR100693117B1 (ko) | 2004-01-06 | 2007-03-12 | 최태암 | 동영상의 동결프레임 검출방법 |
| KR100710997B1 (ko) * | 2005-09-12 | 2007-04-24 | 엘지전자 주식회사 | 테스트 화면 캡쳐장치 및 방법 |
| KR100849032B1 (ko) | 2007-01-29 | 2008-07-29 | 주식회사 이노와이어리스 | 통신망을 거친 영상에 대한 품질측정장치 및 방법 |
| US8422795B2 (en) | 2009-02-12 | 2013-04-16 | Dolby Laboratories Licensing Corporation | Quality evaluation of sequences of images |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6271879B1 (en) * | 1998-04-03 | 2001-08-07 | Tektronix, Inc. | Controlling and detecting alignment of composite video color frames |
| US7644282B2 (en) | 1998-05-28 | 2010-01-05 | Verance Corporation | Pre-processed information embedding system |
| US6259477B1 (en) * | 1998-06-23 | 2001-07-10 | Tektronix, Inc. | Joint spatial-temporal alignment of video sequences |
| US7015947B1 (en) * | 1998-06-29 | 2006-03-21 | British Telecommunications Public Limited Company | Measurement of performance of communications systems |
| US6246435B1 (en) * | 1998-09-08 | 2001-06-12 | Tektronix, Inc. | In-service realtime picture quality analysis |
| US6496221B1 (en) * | 1998-11-02 | 2002-12-17 | The United States Of America As Represented By The Secretary Of Commerce | In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel |
| WO2000048407A1 (en) * | 1999-02-11 | 2000-08-17 | British Telecommunications Public Limited Company | Analysis of video signal quality |
| US6690839B1 (en) * | 2000-01-17 | 2004-02-10 | Tektronix, Inc. | Efficient predictor of subjective video quality rating measures |
| US6737957B1 (en) | 2000-02-16 | 2004-05-18 | Verance Corporation | Remote control signaling using audio watermarks |
| US7046808B1 (en) | 2000-03-24 | 2006-05-16 | Verance Corporation | Method and apparatus for detecting processing stages applied to a signal |
| US6734898B2 (en) * | 2001-04-17 | 2004-05-11 | General Instrument Corporation | Methods and apparatus for the measurement of video quality |
| US20020154691A1 (en) * | 2001-04-19 | 2002-10-24 | Kost James F. | System and process for compression, multiplexing, and real-time low-latency playback of networked audio/video bit streams |
| US6577764B2 (en) | 2001-08-01 | 2003-06-10 | Teranex, Inc. | Method for measuring and analyzing digital video quality |
| FR2830402A1 (fr) * | 2001-10-02 | 2003-04-04 | Thomson Licensing Sa | Systeme et procede pour tester la conformite d'un dispositif de decodage numerique |
| US6975776B2 (en) * | 2002-02-14 | 2005-12-13 | Tektronix, Inc. | Predicting human vision perception and perceptual difference |
| US20030161399A1 (en) * | 2002-02-22 | 2003-08-28 | Koninklijke Philips Electronics N.V. | Multi-layer composite objective image quality metric |
| US7889211B2 (en) * | 2002-04-15 | 2011-02-15 | Tektronix, Inc. | Measuring PSNR of full color video |
| US6992697B2 (en) * | 2002-06-19 | 2006-01-31 | Koninklijke Philips Electronics N.V. | Method and apparatus to measure video quality on any display device with any image size starting from a know display type and size |
| EP2782337A3 (en) | 2002-10-15 | 2014-11-26 | Verance Corporation | Media monitoring, management and information system |
| JP3690391B2 (ja) * | 2003-01-23 | 2005-08-31 | セイコーエプソン株式会社 | 画像編集装置、画像のトリミング方法、及びプログラム |
| US20040207643A1 (en) * | 2003-04-18 | 2004-10-21 | Bozidar Janko | Attention model enhanced video waveform monitor |
| US20060239501A1 (en) | 2005-04-26 | 2006-10-26 | Verance Corporation | Security enhancements of digital watermarks for multi-media content |
| JP3838513B2 (ja) * | 2004-03-02 | 2006-10-25 | Ｋｄｄｉ株式会社 | 伝送画質監視装置 |
| US7724972B2 (en) * | 2005-03-01 | 2010-05-25 | Qualcomm Incorporated | Quality metric-biased region-of-interest coding for video telephony |
| CN101164343B (zh) * | 2005-03-01 | 2013-02-13 | 高通股份有限公司 | 用于视频电话的具有背景跳过的关注区编码 |
| US8693537B2 (en) * | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
| US8768084B2 (en) | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
| US7889755B2 (en) | 2005-03-31 | 2011-02-15 | Qualcomm Incorporated | HSDPA system with reduced inter-user interference |
| US8020004B2 (en) | 2005-07-01 | 2011-09-13 | Verance Corporation | Forensic marking using a common customization function |
| US8781967B2 (en) | 2005-07-07 | 2014-07-15 | Verance Corporation | Watermarking in an encrypted domain |
| KR100731358B1 (ko) * | 2005-11-09 | 2007-06-21 | 삼성전자주식회사 | 화질 평가 방법 및 시스템 |
| US8259938B2 (en) | 2008-06-24 | 2012-09-04 | Verance Corporation | Efficient and secure forensic marking in compressed |
| WO2010007286A2 (fr) * | 2008-06-24 | 2010-01-21 | France Telecom | Procede de mesure sans reference de la qualite percue d'un signal et dispositif correspondant |
| US8614731B2 (en) | 2010-04-21 | 2013-12-24 | Spirent Communications, Inc. | System and method for testing the reception and play of media on mobile devices |
| US8838977B2 (en) | 2010-09-16 | 2014-09-16 | Verance Corporation | Watermark extraction and content screening in a networked environment |
| CN102413357A (zh) * | 2010-09-24 | 2012-04-11 | 富泰华工业（深圳）有限公司 | 测试装置及其测试方法 |
| US8581987B1 (en) * | 2011-03-21 | 2013-11-12 | Marvell International Ltd. | Systems and methods for evaluating video quality |
| EP2679015A4 (en) * | 2011-06-07 | 2014-05-21 | Huawei Tech Co Ltd | DEVICE AND METHOD FOR CONTROLLING VIDEO SESSION IN A DATA NETWORK |
| US8923548B2 (en) | 2011-11-03 | 2014-12-30 | Verance Corporation | Extraction of embedded watermarks from a host content using a plurality of tentative watermarks |
| US8615104B2 (en) | 2011-11-03 | 2013-12-24 | Verance Corporation | Watermark extraction based on tentative watermarks |
| US8533481B2 (en) | 2011-11-03 | 2013-09-10 | Verance Corporation | Extraction of embedded watermarks from a host content based on extrapolation techniques |
| US8682026B2 (en) | 2011-11-03 | 2014-03-25 | Verance Corporation | Efficient extraction of embedded watermarks in the presence of host content distortions |
| US8745403B2 (en) | 2011-11-23 | 2014-06-03 | Verance Corporation | Enhanced content management based on watermark extraction records |
| US9547753B2 (en) | 2011-12-13 | 2017-01-17 | Verance Corporation | Coordinated watermarking |
| US9323902B2 (en) | 2011-12-13 | 2016-04-26 | Verance Corporation | Conditional access using embedded watermarks |
| ITMI20120364A1 (it) * | 2012-03-08 | 2013-09-09 | Palo Leonardo De | Sistema automatico per la valutazione della fedelta' di riproduzione video in tempo reale. |
| US9571606B2 (en) | 2012-08-31 | 2017-02-14 | Verance Corporation | Social media viewing system |
| US8726304B2 (en) | 2012-09-13 | 2014-05-13 | Verance Corporation | Time varying evaluation of multimedia content |
| US9106964B2 (en) | 2012-09-13 | 2015-08-11 | Verance Corporation | Enhanced content distribution using advertisements |
| US8869222B2 (en) | 2012-09-13 | 2014-10-21 | Verance Corporation | Second screen content |
| US9262793B2 (en) | 2013-03-14 | 2016-02-16 | Verance Corporation | Transactional video marking system |
| US9251549B2 (en) | 2013-07-23 | 2016-02-02 | Verance Corporation | Watermark extractor enhancements based on payload ranking |
| US9208334B2 (en) | 2013-10-25 | 2015-12-08 | Verance Corporation | Content management using multiple abstraction layers |
| WO2015138798A1 (en) | 2014-03-13 | 2015-09-17 | Verance Corporation | Interactive content acquisition using embedded codes |
| US9794554B1 (en) * | 2016-03-31 | 2017-10-17 | Centre National de la Recherche Scientifique—CNRS | Method for determining a visual quality index of a high dynamic range video sequence |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0567059B1 (en) * | 1992-04-24 | 1998-12-02 | Hitachi, Ltd. | Object recognition system using image processing |
| US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
| DE4422066C1 (de) * | 1994-06-23 | 1996-02-01 | Siemens Ag | Schaltungsanordnung zur Begrenzung der Ausgangsspannung eines getakteten Spannungsreglers |
| US5774569A (en) * | 1994-07-25 | 1998-06-30 | Waldenmaier; H. Eugene W. | Surveillance system |
| US5818520A (en) * | 1996-02-12 | 1998-10-06 | Tektronix, Inc. | Programmable instrument for automatic measurement of compressed video quality |
-
1997
- 1997-07-18 US US08/896,912 patent/US5940124A/en not_active Expired - Lifetime
-
1998
- 1998-07-13 JP JP19747898A patent/JP3342414B2/ja not_active Expired - Fee Related
- 1998-07-17 EP EP98305723A patent/EP0892564B1/en not_active Expired - Lifetime
- 1998-07-17 DE DE69804549T patent/DE69804549T2/de not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006527947A (ja) * | 2003-06-18 | 2006-12-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像品質評価方法及びシステム |
| KR100693117B1 (ko) | 2004-01-06 | 2007-03-12 | 최태암 | 동영상의 동결프레임 검출방법 |
| KR100710997B1 (ko) * | 2005-09-12 | 2007-04-24 | 엘지전자 주식회사 | 테스트 화면 캡쳐장치 및 방법 |
| KR100849032B1 (ko) | 2007-01-29 | 2008-07-29 | 주식회사 이노와이어리스 | 통신망을 거친 영상에 대한 품질측정장치 및 방법 |
| US8422795B2 (en) | 2009-02-12 | 2013-04-16 | Dolby Laboratories Licensing Corporation | Quality evaluation of sequences of images |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0892564A2 (en) | 1999-01-20 |
| DE69804549T2 (de) | 2002-11-28 |
| EP0892564B1 (en) | 2002-04-03 |
| US5940124A (en) | 1999-08-17 |
| DE69804549D1 (de) | 2002-05-08 |
| EP0892564A3 (en) | 1999-04-28 |
| JP3342414B2 (ja) | 2002-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3342414B2 (ja) | ビデオ品質劣化測定方法及び装置 | |
| EP2461576B1 (en) | Image processing apparatus and image processing program | |
| US7684645B2 (en) | Enhanced wide dynamic range in imaging | |
| Ndajah et al. | SSIM image quality metric for denoised images | |
| US6363116B1 (en) | Picture quality assessment using spatial location with or without subsampling | |
| US20080043120A1 (en) | Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus | |
| JP2001500647A (ja) | デジタル画像処理システムにおいて使用するためのデバイスプロファイル | |
| CN110366001B (zh) | 视频清晰度的确定方法和装置、存储介质、电子装置 | |
| JPH11505357A (ja) | ピクセルレベルの明度調整のための装置および方法 | |
| JP4479527B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
| US7750972B2 (en) | Digital camera | |
| JP2005039460A (ja) | 画像処理方法および装置 | |
| US20040141630A1 (en) | Method and apparatus for augmenting a digital image with audio data | |
| JP3431494B2 (ja) | ビデオ画像品質の評価方法 | |
| Eerola et al. | Full reference printed image quality: Measurement framework and statistical evaluation | |
| CN109792472B (zh) | 信号调整程序、信号调整装置以及信号调整方法 | |
| CN113875231A (zh) | 实时视频动态范围分析 | |
| JP2007110189A (ja) | 画質評価装置および画質評価方法 | |
| KR100522203B1 (ko) | 적외선 열상 장비에서 대조비 처리 방법 | |
| Feng et al. | BVI-Artefact: An Artefact Detection Benchmark Dataset for Streamed Videos | |
| Ji et al. | Colour Linear Array Image Enhancement Method with Constant Colour | |
| WO2015079481A1 (ja) | 撮像方法及び撮像装置 | |
| JP2565983B2 (ja) | 画像誤差評価方法 | |
| JP2006094161A (ja) | 画像処理装置および方法並びにプログラム | |
| JP2021048522A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110823 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120823 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130823 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |