JP3089990B2 - 高速サーチ画像再生装置及びその方法 - Google Patents

高速サーチ画像再生装置及びその方法

Info

Publication number
JP3089990B2
JP3089990B2 JP12578495A JP12578495A JP3089990B2 JP 3089990 B2 JP3089990 B2 JP 3089990B2 JP 12578495 A JP12578495 A JP 12578495A JP 12578495 A JP12578495 A JP 12578495A JP 3089990 B2 JP3089990 B2 JP 3089990B2
Authority
JP
Japan
Prior art keywords
speed search
image
speed
recording medium
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12578495A
Other languages
English (en)
Other versions
JPH08298646A (ja
Inventor
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP12578495A priority Critical patent/JP3089990B2/ja
Publication of JPH08298646A publication Critical patent/JPH08298646A/ja
Application granted granted Critical
Publication of JP3089990B2 publication Critical patent/JP3089990B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】VTRやビデオディスク(V
D)、マルチメディア端末等の蓄積メディアにおいて、
画像を見ながら検索を行う高速サーチ機能を有する画像
再生装置(方法)に関する。
【0002】
【従来の技術】<高速サーチ> VTRやビデオディスク(VD)等の蓄積メディアで
は、画像を見ながら検索を行う高速サーチが必要とな
る。これは具体的には画像の一部のみを、実際の時間よ
り高速に表示するもので一般に、民生用VTRでは、1
フィールドが横に分割されて、同時に数フィールド分が
表示され、VDでは、数フィールドに1つのフィールド
だけが表示される。
【0003】高速サーチの速度は、使用者の操作により
変えられるようになっている場合も多い。現在のVTR
やビデオディスク(VD)は固定密度で記録されている
ので、高速サーチの速度は、磁気テープやディスクのト
ラックの送り量に比例する。
【0004】<符号化装置> 蓄積メディアに動画像をディジタル記録する場合、高能
率符号化を行うのが一般的である。そこで、フレーム間
予測を用いる場合は、数フレーム毎にフレーム間予測を
行わない独立フレームを設ける必要がある。この場合、
記録側で用いる従来の符号化装置の具体例を図3に示
す。画像入力11より入力された画像信号は、フレーム
間予測器12と動きベクトル検出器18及び切替えスイ
ッチ13に夫々供給される。
【0005】動きベクトル検出器18では、入力信号に
対する予測信号のブロック毎の動きベクトルMVが求め
られ、フレーム間予測器12と多重化器15とに送られ
る。フレーム間予測器12では、動きベクトル情報によ
り動き補償された画像間予測信号を作り、入力信号から
それを減算し、予測残差を得る。
【0006】フレーム間予測が行われるフレームでは、
予測残差は切替えスイッチ13を介してフレーム内符号
化器14に与えられる。フレーム内独立符号化されるフ
レームでは、切替えスイッチ13は画像入力側に接続さ
れ、入力画像がそのままフレーム内符号化器14に与え
られる。
【0007】切替えスイッチ13はフレームに同期して
10から30フレームに1フレームが独立フレームとさ
れ、その識別情報がフレームタイプ情報として多重化器
15に与えられる。フレーム内符号化器14では、予測
残差または入力画像がDCT(離散コサイン変換)さ
れ、変換された係数は量子化制御器19から与えられる
ステップ幅で量子化される。
【0008】量子化された係数は、さらに可変長符号化
されて圧縮された画像符号となり、多重化器15に与え
られる。この様にして得られた画像符号は、多重化器1
5でフレームタイプの情報、量子化ステップ幅の情報、
動きベクトルの情報等の補助情報と多重化され、バッフ
ァ16に与えられる。
【0009】バッファ16では、可変長符号化により生
じる発生符号量の変動が押さえられ、画像符号は一定の
転送レートとなり符号出力17より出力される。一方、
バッファ16の充足度が量子化制御器19に与えられ、
それにより量子化ステップ幅が決められる。この情報は
フレーム内符号化器14に与えられると共にマルチプレ
クサ(多重化器)15で多重化され符号装置に伝送され
る。
【0010】なお、可変転送レートでは転送レートの制
御は、動画像の各部分に適する様に予め設定される目標
レートに合わせて行われ、転送レートは動画像の各部分
により変化する。この様な符号化装置で得られた符号
は、チャンネルエンコーダで記録媒体に適した形に信号
形成され、記録媒体に記録される。
【0011】<再生装置> 次に図3の符号化装置で符号化され記録された記録媒体
の従来の再生装置について説明する。図4は、再生装置
の一例を示す構成図である。以下、図4を基に再生装置
の回路構成について説明する。
【0012】記録媒体1から読み取られた再生信号はチ
ャンネルデコーダ2に供給される。チャンネルデコーダ
2では記録信号から符号が再生され、誤り訂正等の処理
が行われた後、チャンネルデコーダ2の出力信号は、多
重分離器3に供給される。
【0013】多重分離器3では多重化されている画像符
号と量子化情報やMV情報等の補助情報が分離され、共
に画像復号器4に与えられる。画像復号器4では、図3
の符号化装置でのフレーム内符号化器14とフレーム間
予測器12の逆処理が行われ、再生画像がフレームメモ
リ5に供給される。フレームメモリ5は、新たな再生画
像が得られない間、それを保持し、再生画像を繰り返し
画像出力6より出力する。通常再生の場合は、再生画像
は連続して得られるので、画像は連続して更新される。
【0014】読取り制御器7は、記録媒体1の駆動系や
ピックアップで構成され、読取り位置(トラック)が制
御される。また、読取り制御器7には、多重分離器3か
ら与えられる補助情報で、トラックが制御される。高速
サーチでは、フレームタイプの情報に従って独立フレー
ムの画像情報のみが読み取られた後、サーチの倍率の分
だけトラックを進め、次に再生すべき独立フレームのト
ラックまで読取りトラックを送る。
【0015】高速サーチ等の特殊再生では、独立フレー
ムのデータ量が平均よりかなり多いので、読取りに時間
を要し、またトラック変更に伴う読取り時間のロスもあ
る。従って、1つの独立フレームを読み取るのに数フレ
ーム分の時間が必要になり、更新は秒当り数フレームか
ら十数フレーム程度になる。再生される独立フレームの
様子を図5に示す。図で太い縦線は独立フレームを示
す。図5は高速サーチ時の再生画像の従来例で、再生さ
れる独立フレームは等間隔となっている。
【0016】
【発明が解決しようとする課題】従来の高速サーチ画像
再生装置では、高速サーチでサーチの速度を20倍速な
ど速くした場合、動きが早い部分では画像が極めて速く
変化して画像の内容が解り難くなる。一方、サーチの速
度を7倍速などあまり速くしない場合には、動きの少な
い画像で速度が遅く感じられ、検索に時間を要する。こ
の様に動画像の内容を高速に判断するといったサーチの
目的に対し、必ずしも画像の動きの程度に合った適切な
動作となっていないという問題点を有していた。
【0017】本発明は以上の点に着目してなされたもの
で、再生装置で画像の動きの程度に合わせてサーチの速
度を変えて、また可変転送レートでは記録されている符
号量で一定間隔に再生することで、画像の内容が判断し
やすい高速サーチ再生装置を提供することを目的とす
る。
【0018】
【課題を解決するための手段】本発明の高速サーチ画像
再生装置(方法)は、記録媒体から再生された動画像信
号から高速サーチ画像を再生する際に、高速サーチ再生
画像の動きの程度を判断し、動きが小さい場合はサーチ
速度を高く、動きが大きい場合はサーチ速度を低くし
て、記録媒体からの高速サーチ画像信号を読取るもので
ある。また、そこで高速サーチ再生画像の動きの程度を
判断し、量子化ステップの情報、発生符号量等で行うも
のである。
【0019】さらに、可変転送レートでの不均一な信号
読取りに対応するバッファ手段を有し、通常再生には、
画像情報の時間に同期して再生されるようし、高速サー
チ再生時には画像情報の時間とは無関係に、記録符号量
で略等間隔となるように記録媒体からの高速サーチ画像
を読取る高速サーチ画像再生装置(方法)である。
【0020】(作 用) 本発明では、再生装置で高速サーチ再生画像の動きの程
度によりサーチ速度を変えるが、量子化ステップが粗く
なる場合、発生符号量が多くなる場合は、一般的に画像
の動きが大きく、そこで高速サーチの速度は低くなる。
逆の場合には、高速サーチの速度は高くなる。これによ
りサーチ速度は動画像で動きの大きな部分では平均より
遅く、変化の少ない部分では平均より速くなり、画像の
内容が判断しやすくなる。
【0021】可変転送レートの場合、高速サーチ再生時
には、記録符号量で略等間隔となるように記録媒体から
の高速サーチ画像を読み取るが、可変転送レートでは一
般に動きが大きな場合に発生符号量が多くなり、そこで
はフレームレートが下がっているので、時間的に密に独
立フレームが読み取られることになり、実効的にサーチ
速度が低くなる。結果的に上記と同様な作用が起こる。
【0022】
【発明の実施の形態】<再生装置1> 図1に示された本発明の第1の実施例の高速サーチ画像
再生装置(方法)について説明する。図1において、図
4に示す従来例と同一機能を呈する要素には同一符号を
付してある。図4に示す従来例とは、速度設定器8、符
号化観測器21を有する点が構成上大きく異なる。
【0023】以下、図1を基に第1の実施例を説明す
る。図で記録媒体1から符号出力6までの動作は図4と
基本的に同じである。ただし、図1では多重分離器3か
ら出力される符号で、動きベクトル(MV)、量子化ス
テップ等の補助情報が、符号化観測器21に供給され
る。符号化観測器21では、供給される補助情報によっ
て動きの程度を推測し、その結果を速度設定器8に与え
る。
【0024】速度設定器8では、動きの指標が大きい場
合には、サーチ速度を遅く(低く)し、画像の動きが少
ないと判断される場合には、サーチ速度を速く(高く)
する。補助情報から動きの程度を判断推測する具体的手
段方法にはいくつかがある。本発明の判断推測する手段
(動き判定器)として、動き判定器よりこの速度設定器
に与えられる指標としては、再生装置1において、符号
列内の量子化ステップの情報を検出し、前記量子化ステ
ップの大きさを動きの程度の指標とする場合と、符号列
の単位再生時間当りの符号量を検出し、前記単位再生時
間当りの符号量の大きさを動きの程度の指標とする場合
とについて、以下に夫々説明する。
【0025】まず、量子化ステップによる方法について
説明する。画像が激しく動いていると動きベクトルMV
や画像間予測残差の符号が多く発生するので、発生符号
量を押さえるために量子化ステップは粗くされる。従っ
て、量子化ステップが粗い場合は画像が大きく動いてい
ると判断され、量子化ステップの平均値を動きの指標と
することが出来る。上記のすべての実施例は固定転送レ
ートでも、可変転送レートでも用いられる手法である。
【0026】つぎに、可変転送レートで符号化した場合
について説明する。可変転送レートで符号化した場合、
画像が大きく動いている部分では多くの符号が発生する
ので、単位再生時間当りの発生符号量(転送レート)を
観測し、それが多い場合には画像が大きく動いていると
判断される。よつて、単位再生時間当りの符号量の大き
さの程度により高速サーチの速度を、単位再生時間当り
の符号量の大きさが大きいと判断された場合は低く、単
位再生時間当りの符号量の大きさが小さいと判断された
場合は高く設定する。
【0027】<再生装置2> 図2に示された本発明の第2の実施例の高速サーチ画像
再生装置(方法)について説明する。図2において、図
4に示す従来例と同一機能を呈する要素には同一符号を
付してある。図4に示す従来例とは、バッファ32、切
り替えスイッチ33を有する点が構成上異なる。また、
記録媒体1は可変転送レートで記録されたものとなって
いる。
【0028】以下、図2を基に第2の実施例を説明す
る。図でチャンネルデコーダ2、多重分離器3から符号
出力6までの動作は図4と基本的に同じである。チャン
ネルデコーダ2の出力は可変転送レートにおける間欠読
取りに対応するためバッファ32に与えられる。バッフ
ァ32では、数Mbitの符号が保持され、出力は再生
に適合したレートで多重分離器3に与えられる。
【0029】通常再生では、切り替えスイッチ33はバ
ッファ32に接続され、そこから出力される充足度の情
報が読取り制御器7に与えられる。読取り制御器7で
は、この情報に基づきトラックを制御して間欠読取りと
し、実効的な読取り転送レートを記録されている画像情
報に適合させる。
【0030】一方、高速サーチ時には、バッファ32の
実効容量を減らす。これは高速サーチ時には、常に最高
レートで読み取るのでバッファが必要なく、多重分離器
3から読取り制御器7に与えられるフレームタイプ情報
を遅延させないためである。さらに、切替えスイッチ3
3は固定値側に切り替えられ、記録符号量で略一定間隔
に読取りトラックを進める。
【0031】この場合、レートが高い(発生符号量が多
い)部分では、記録符号量に対しフレームレートが下が
っているので(フレームが粗)、記録符号量で等間隔で
独立フレームを読み取るとその時間間隔は短くなり、密
に独立フレームが読み取られることになる。これによ
り、実効的にサーチ速度が低くなる。逆にレートが低い
(発生符号量が少ない)部分では、実効的にサーチ速度
が高くなる。
【0032】この場合の再生の様子を図6に示す。図は
横軸を記録符号量としているので、可変転送レートの場
合は独立フレームが不均一に存在する。そこで等間隔に
再生するので、結果的に独立フレームの時間間隔は転送
レートによって変化することになる。
【0033】
【発明の効果】本発明では、記録媒体から高速サーチ再
生を行う際に、高速サーチ再生画像の動きの程度、すな
わち、量子化ステップの大きさを動きの程度、あるいは
単位再生時間当りの符号量の大きさを動きの程度として
サーチ速度を変え、画像の動きが大きい部分で高速サー
チの速度が低く、動きが小さい部分で高速サーチの速度
が高くなるようにするので、動きの大きな部分では画像
の変化が遅くなるので、画像の内容が判断しやすくな
る。動きの小さな部分ではより速く画像を見ることが出
来、検索における無駄な時間が少なくなる。上記のよう
に高速サーチ等特殊再生において、より短時間でより適
切な検索が可能になる。
【図面の簡単な説明】
【図1】本発明の高速サーチ画像再生装置の第1の実施
例の構成を示す図である。
【図2】本発明の高速サーチ画像再生装置の第2の実施
例の構成を示す図である。
【図3】従来例の符号化装置の構成を示す図である。
【図4】従来例の高速サーチ画像再生装置の構成を示す
図である。
【図5】高速サーチで再生される独立フレームを示す図
である。
【図6】可変転送レートでの高速サーチで再生される独
立フレームを示す図である。
【符号の説明】
1 記録媒体 2 チャンネルデコーダ 3 多重分離器 4 画像復号器 5 フレームメモリ 6 画像出力 7 読取り制御器 8 速度設定器 11 画像入力 12 フレーム間予測器 13,33 切り替えスイッチ 14 フレーム内符号化器 15 多重化器(マルチプレクサ) 16,32 バッファ 17 符号出力 18 動きベクトル検出器 19 量子化制御器 21 符号化観測器 MV 動きベクトル
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/91 - 5/956 H04N 5/85 H04N 5/782 - 5/783 H04N 7/24 - 7/68

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】記録媒体から再生された動画像信号から高
    速サーチ画像を再生する手段と、 前記高速サーチ再生画像の動きの程度を、符号列内の量
    子化ステップの情報を検出し、前記量子化ステップの大
    きさを前記高速サーチ再生画像の動きの程度を示す指標
    として判断する手段と、 前記量子化ステップの大きさの程度により高速サーチの
    速度を、量子化ステップの大きさが大きいと判断された
    場合は低く、量子化ステップの大きさが小さいと判断さ
    れた場合は高く設定する手段と、前記設定する手段により 設定された高速サーチの速度に
    従って、前記記録媒体からの高速サーチ画像信号の読取
    りを制御する手段とを有することを特徴とする高速サー
    チ画像再生装置。
  2. 【請求項2】記録媒体から再生された動画像信号から高
    速サーチ画像を再生する手段と、 前記高速サーチ再生画像の動きの程度を、符号列の単位
    再生時間当りの符号量を検出し、前記単位再生時間当り
    の符号量の大きさを前記高速サーチ再生画像の動きの程
    度を示す指標として判断する手段と、 前記単位再生時間当りの符号量の大きさの程度により高
    速サーチの速度を、単位再生時間当りの符号量の大きさ
    が大きいと判断された場合は低く、単位再生時間当りの
    符号量の大きさが小さいと判断された場合は高く設定す
    る手段と、 設定された高速サーチの速度に従って、前記記録媒体か
    らの高速サーチ画像信号の読取りを制御する手段とを有
    することを特徴とする高速サーチ画像再生装置。
  3. 【請求項3】可変転送レートで記録媒体に記録された動
    画像信号から高速サーチ画像を再生する手段と、 可変転送レートでの不均一な信号読取りに対応するバッ
    ファ手段と、 通常再生時には、画像情報の時間に同期して再生される
    ようにバッファ充足度情報を制御情報として選択し、高
    速サーチ再生時には、画像情報の時間とは無関係に、記
    録符号量で略等間隔になるように制御情報を選択する手
    段と、 前記制御情報に従って、前記記録媒体からの高速サーチ
    画像読取りを制御する手段とを有することを特徴とする
    高速サーチ画像再生装置。
  4. 【請求項4】記録媒体から再生された動画像信号から高
    速サーチ画像を再生する手順と、 前記高速サーチ再生画像の動きの程度を、符号列内の量
    子化ステップの情報を検出し、前記量子化ステップの大
    きさを前記高速サーチ再生画像の動きの程度を示す指標
    として判断する手順と、 前記量子化ステップの大きさの程度により高速サーチの
    速度を、量子化ステップの大きさが大きいと判断された
    場合は低く、量子化ステップの大きさが小さいと判断さ
    れた場合は高く設定する手順と、前記設定する手順により 設定された高速サーチの速度に
    従って、前記記録媒体からの高速サーチ画像信号の読取
    りを制御する手順とを有することを特徴とする高速サー
    チ画像再生方法
  5. 【請求項5】記録媒体から再生された動画像信号から高
    速サーチ画像を再生する手順と、 前記高速サーチ再生画像の動きの程度を、符号列の単位
    再生時間当りの符号量を検出し、前記単位再生時間当り
    の符号量の大きさを前記高速サーチ再生画像の動きの程
    度を示す指標として判断する手順と、 前記単位再生時間当りの符号量の大きさの程度により高
    速サーチの速度を、単位再生時間当りの符号量の大きさ
    が大きいと判断された場合は低く、単位再生時間当りの
    符号量の大きさが小さいと判断された場合は高く設定す
    手順と、 設定された高速サーチの速度に従って、前記記録媒体か
    らの高速サーチ画像信号の読取りを制御する手とを有
    することを特徴とする高速サーチ画像再生方法
  6. 【請求項6】可変転送レートで記録媒体に記録された動
    画像信号から高速サーチ画像を再生する手順と、 可変転送レートでの不均一な信号読取りに対応してバッ
    ファリングする手順と、 通常再生時には、画像情報の時間に同期して再生される
    ようにバッファ充足度情報を制御情報として選択し、高
    速サーチ再生時には、画像情報の時間とは無関係に、記
    録符号量で略等間隔になるように制御情報を選択する
    と、 前記制御情報に従って、前記記録媒体からの高速サーチ
    画像読取りを制御する手順とを有することを特徴とする
    高速サーチ画像再生方法
JP12578495A 1995-04-26 1995-04-26 高速サーチ画像再生装置及びその方法 Expired - Fee Related JP3089990B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12578495A JP3089990B2 (ja) 1995-04-26 1995-04-26 高速サーチ画像再生装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12578495A JP3089990B2 (ja) 1995-04-26 1995-04-26 高速サーチ画像再生装置及びその方法

Publications (2)

Publication Number Publication Date
JPH08298646A JPH08298646A (ja) 1996-11-12
JP3089990B2 true JP3089990B2 (ja) 2000-09-18

Family

ID=14918778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12578495A Expired - Fee Related JP3089990B2 (ja) 1995-04-26 1995-04-26 高速サーチ画像再生装置及びその方法

Country Status (1)

Country Link
JP (1) JP3089990B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238182A (ja) * 2000-02-23 2001-08-31 Sanyo Electric Co Ltd 画像再生装置および画像再生方法
US8204364B2 (en) 2004-12-16 2012-06-19 Sharp Kabushiki Kaisha Moving picture image reproduction method and moving picture image reproduction apparatus
EP1845724A1 (en) * 2005-02-03 2007-10-17 Matsushita Electric Industrial Co., Ltd. Recording/reproduction device, recording/reproduction method, recording/reproduction apparatus and recording/reproduction method, and recording medium storing recording/reproduction program, and integrated circuit for use in recording/reproduction apparatus
JP5423166B2 (ja) * 2009-06-11 2014-02-19 富士通株式会社 映像再生装置、映像再生プログラム、映像再生方法

Also Published As

Publication number Publication date
JPH08298646A (ja) 1996-11-12

Similar Documents

Publication Publication Date Title
US7400773B2 (en) Method and device for condensed image recording and reproduction
JP3089990B2 (ja) 高速サーチ画像再生装置及びその方法
JP4323685B2 (ja) 再生装置及び再生方法
JP3277374B2 (ja) 画像信号復号化方法及び画像信号復号化装置
JP2001238182A (ja) 画像再生装置および画像再生方法
JPH0832927A (ja) 画像復号化装置
JPH0879688A (ja) データ再生方法およびデータ再生装置
JPH07322209A (ja) 画像処理装置
JP3809301B2 (ja) 再生装置及び再生方法
JPH07203367A (ja) 画像情報記録再生装置
US6741792B1 (en) Variable speed playback method and apparatus for playing back digital data stored in a recording medium
JPH07143440A (ja) 高能率符号化データ処理装置
JPH0879702A (ja) データ再生方法およびデータ再生装置
KR19980017222A (ko) 디브이디 시스템의 화상 스캔 방법
JPH08161827A (ja) 光ディスク、及び光ディスク再生装置
JPH09191447A (ja) 記録装置
KR19980075477A (ko) 디브이디 시스템의 앵글 재생 방법
KR980011084A (ko) 광 디스크 시스템의 화면 깨짐 방지 방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080721

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080721

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130721

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees