JP5093395B2 - 復号装置、及び復号方法 - Google Patents

復号装置、及び復号方法 Download PDF

Info

Publication number
JP5093395B2
JP5093395B2 JP2011235251A JP2011235251A JP5093395B2 JP 5093395 B2 JP5093395 B2 JP 5093395B2 JP 2011235251 A JP2011235251 A JP 2011235251A JP 2011235251 A JP2011235251 A JP 2011235251A JP 5093395 B2 JP5093395 B2 JP 5093395B2
Authority
JP
Japan
Prior art keywords
image data
decoding
display
displayed
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2011235251A
Other languages
English (en)
Other versions
JP2012075128A (ja
Inventor
充 佐藤
浩一 佐野
規男 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011235251A priority Critical patent/JP5093395B2/ja
Publication of JP2012075128A publication Critical patent/JP2012075128A/ja
Application granted granted Critical
Publication of JP5093395B2 publication Critical patent/JP5093395B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、1枚の画像から形成された複数の異なる解像度の静止画像データが記録された記録媒体から、迅速に静止画像を表示する復号装置、及び復号方法に関する。
従来、外部から供給される静止画像データを光ディスク等の記録媒体に記録再生する記録再生装置が知られている。
この記録再生装置には、一般に静止画像データとして高解像度の画像データが供給されており、この高解像度の画像データをJPEG方式等により圧縮符号化して記録媒体に記録している。
この場合、高解像度の静止画像データを数分の1に間引き処理した中間解像度の静止画像データ、および数10分の1に間引き処理したインデックス用の静止画像データを作成して、これらの解像度の異なる静止画像データも記録媒体に記録するようにしている。
そして、このような解像度の異なる静止画像データが記録されている記録媒体から静止画像データを読み出して表示させる場合は、まず、インデックス画像とされる最も低解像度の静止画像データを複数枚読み出して表示し、所望の静止画像を選択するようにする。そして、選択された静止画像の中間解像度の画像データを読み出して表示装置に表示するようにしている。
ここで、中間解像度の画像データを読み出して表示するのは、高解像度の静止画像データはデータ量が大きく、その読出しに時間がかかり表示装置に表示されるまでに時間がかかるためである。特に、記録媒体が光ディスクとされた場合は、アクセスに要する時間が長くなる。
しかしながら、高解像度の静止画像データを表示したい場合には、高解像度の静止画像データを読み出して表示するまでに時間がかかり、画像全体の確認を迅速に行えないという問題点があった。
そこで、本発明は高解像度の静止画像データを表示する場合に、表示される画像の全体の確認を迅速に行えるようにした静止画像表示方法を提供することを目的としている。
前記目的を達成するために、符号化画像データを復号する復号装置において、画像データを符号化して得られる第1の符号化画像データを復号して第1の画像データを生成するとともに、前記画像データを前記第1の符号化画像データの復号処理の時間よりも時間を要する復号処理により得られる第2の符号化画像データを復号して第2の画像データを生成する復号手段と、前記第1の画像データ及び前記第2の画像データの全体を表示可能な表示手段と、前記復号手段により生成された第1の画像データの全体を前記表示手段に表示させている間に前記復号手段により第2の符号化画像データを復号させて生成された第2の画像データを、前記表示手段に表示されている前記第1の画像データの全体に置き換えて表示させるように、前記復号手段を制御する制御手段とを有し、前記制御手段は、第1の符号化画像データを復号してから、第2の符号化画像データの復号を行うように前記復号手段を制御するとともに、前記第1の画像データを表示させるか、前記第1の画像データを前記第2の画像データに置き換えて表示させるか、前記第2の画像データを表示させるか、を判定する判定手段を更に有し、前記制御手段は、前記判定手段の判定結果に基づいて、前記復号手段を制御する。
さらに、符号化画像データを復号する復号方法において、画像データを符号化して得られる第1の符号化画像データを復号して第1の画像データを生成する第1の復号ステップと、前記画像データを前記第1の符号化画像データの復号処理の時間よりも時間を要する復号処理により得られる第2の符号化画像データを復号して第2の画像データを生成する第2の復号ステップと、前記第1の復号ステップにより生成された第1の画像データの全体を表示させている間に前記第2の復号ステップにより第2の符号化画像データを復号させて生成された第2の画像データを、表示手段に表示されている前記第1の画像データの全体に置き換えて表示させるように、前記第1及び第2の復号ステップを制御する制御ステップとを有し前記制御ステップは、第1の符号化画像データを復号してから、第2の符号化画像データの復号を行うように前記復号手段を制御するとともに、更に、前記第1の画像データを表示させるか、前記第1の画像データを前記第2の画像データに置き換えて表示させるか、前記第2の画像データを表示させるか、を判定する判定ステップを有し、前記制御ステップは、前記判定ステップの判定結果に基づいて、前記復号ステップを制御する。

本発明は以上のように構成されているので、高解像度の静止画像データを表示する場合には、最初に素早く読み出して表示することのできる解像度の静止画像データを読み出して全体の画像を表示するようにし、この表示画像を表示中に読み出された高解像度の静止画像データで書き替えていくようにしたので、静止画像の全体を迅速に表示することができる。したがって、画像の全体を確認するまでの時間を短くすることができるようになる。
また、表示される画像の品質が時間の経過と共に次第に向上されていくプログレッシング機能を持たせることができる。
本発明の復号装置、及び復号方法が適用されている光ディスク記録再生装置のブロック図である。 本発明の復号装置、及び復号方法の動作を示すフローチャートである。
本発明の復号装置、及び復号方法が適用された光ディスク記録再生装置のブロック図を図1に示す。
この図に示す光ディスク記録再生装置は、フィルムや写真等から画像の読み取りを行うスキャナ部1と、ビデオテープレコーダ、ビデオカメラ、スチルカメラ等からの画像データの取り込みを行うビデオ入力部2と、スキャナ部1あるいはビデオ入力部2から取り込まれた画像データの記録再生を行うストレージ部11とを備えている。
上記スキャナ部1およびビデオ入力部2から取り込まれた画像データは、フレームメモリ3に格納され、フレームメモリ3から読み出された画像データを表示するモニタ装置8と、フレームメモリ3から読み出された画像データをプリントするプリンタ部9とが光ディスク記録再生装置に設けられている。なお、モニタ装置8には、画像データがディジタル/アナログ変換器7でアナログ信号に変換されてモニタ装置8に供給されている。
また、光ディスク記録再生装置には、フレームメモリ3への画像データの書き込みおよび読み出しを制御するメモリコントローラ4と、光ディスク記録再生装置の全体の動作をコントロールする中央処理装置(CPU)5と、スキャナ部1による画像データの取り込み指示や、プリンタ部9のプリント指示等を行うキーの備えられた操作部6とが備えられている。
さらに、ストレージ部11はフレームメモリ3から読み出された画像データが供給されるインターフェース(I/F)12と、画像データを圧縮符号化処理に適した所定画素のブロックに分割するラスター/ブロック変換回路13と、記録時にブロック化された画像データに圧縮符号化処理およびエントロピー符号化処理を施す圧縮処理を行うと共に、再生時に圧縮された画像データに伸張復号化処理および逆エントロピー復号化処理を施す伸張処理を行う圧縮・伸張回路14と、ラスター/ブロック変換時に一時記憶バッファとして使用されるメモリ15と、記録時に圧縮・伸張回路14からの画像データが一時記憶されると共に、再生時にディスク記録再生部17から読み出された画像データが一時記憶されるバッファメモリ16と、光ディスク18へ画像データを記録すると共に、光ディスク18に記録された画像データを読み出すディスク記録再生部17とから構成されている。
なお、ストレージ部11には、ストレージ部11の全体の動作をコントロールするシステムコントローラ19と、画像データの記録や再生等の指示を行うキーを備える操作部20と、画像データの情報等を示す表示部21とが備えられている。
次に、このように構成された静止画像記録再生装置の動作を説明する。
まず、所望の画像を光ディスク18に記録する場合を説明すると、ユーザは操作部6を操作して画像データの取り込み先をスキャナ部1かビデオ入力部2かを指定する。そして、取り込んだ画像データの出力先をストレージ部11と指定する。これにより、CPU5がスキャナ部1あるいはビデオ入力部2の指定されたいずれかを動作状態に制御する。
スキャナ部1は反射原稿、透過原稿の両方の画像が読み取り可能となっており、反射原稿としてはEサイズ、Lサイズ、A6サイズの写真の読み取りが可能とされ、透過原稿としては35mm、ブローニサイズのネガフィルムの読み取りが可能とされている。そして、これらの原稿のいずれかが原稿読み取り台に装着されると、この原稿をCCDセンサが読み取って画像データが形成されて出力される。
また、ビデオ入力部2は、ビデオテープレコーダ等からのコンポジット信号、輝度(Y)/クロマ(C)セパレートのフォ−マットとされたビデオ信号、RGBの原色信号でフォ−マットされたビデオ信号の3つのフォ−マットのビデオ信号の入力が可能とされている。そして、入力されたビデオ信号は内蔵されたビデオ処理部によりRGBのフォ−マットのビデオ信号に統一され、さらにディジタルの画像データに変換されて出力される。
なお、スキャナ部1あるいはビデオ入力部2により形成された画像データは、例えば水平方向が1536ピクセル、垂直方向が1024ピクセルとされた高解像度の画像データであり、この画像データがフレームメモリ3に供給されて記憶される。
このフレームメモリ3への画像データの書き込みはメモリコントローラ4の制御の基で行われる。そして、フレームメモリ3から読み出された画像データは、D/A変換器7によりアナログの画像信号に変換されてモニタ装置8に表示される。
ここで、ユーザはストレージ部11に設けられた操作部20のRECキーを操作していると、ストレージ部11はREC状態とされている。すなわち、システムコントローラ19はフレームメモリ3に記憶されている画像データを取り込むように、インターフェース12を制御する。これにより、インターフェース12を介してストレージ部11に取り込まれた画像データは、ラスター/ブロック変換回路13に入力されて、メモリ15を一時記憶バッファとして使用することにより符号化処理に適したブロック単位に分割される。
ブロック化された画像データは圧縮・伸張回路14に入力されてJPEG方式の圧縮処理が行われる。この場合、圧縮処理はDCT(離散コサイン変換)手段と、量子化手段、および可変長符号化手段により行われる。DCT手段は画像データに一種のフーリエ変換を施して、DC(直流)成分と、低周波項から高周波項の各周波数成分に分解する。一般に、画像データはDCT後には低周波項に集中する性質を有する。そこで、DCTされた画像データを低周波項から高周波項に向かって量子化ステップを大きくした量子化テーブルを有する量子化手段により量子化するようにする。これにより画像データを圧縮処理することができる。さらに、画像データに出現確率の高い値に短い符号を割り当て、出現確率の低い値に長い符号を割り当てる可変長符号化を施して、さらに画像データを圧縮する。
次いで、圧縮処理された画像データはDMA方式によりバッファメモリ16に書き込まれ、ディスク記録再生部17のタイミングによりバッファメモリ16から読み出されて、ディスク記録再生部17により光ディスク18に記録される。この光ディスク18は、ミニディスク(MD)としてもよい。なお、MDは光磁気方式の記録方式とされ、その記憶容量は140MBとされている。
なお、光ディスク18には1枚の画像データから形成された本画像モードの画像データと、標準(SD)モードの画像データと、インデックス用の画像データとが記録される。本画像モードには、画像データを圧縮しないノンコンプレッションモード、画像データを1/5に圧縮(RGB基準)したファインモード、画像データを1/16に圧縮したノーマルモードがあり、画サイズは、例えばPAL方式で768×576ピクセルとされている。SDモードの画像データは本画像よりデータ量が少なく1/16に圧縮されており、VGA規格(640×480ピクセル)の画サイズとされている。また、インデックス用の画像データの画サイズは80×60ピクセルの画像データとされている。
なお、本画像モードのいずれのモードとされるかは、ユーザが操作部20を操作することにより設定される。
この本画像モードの画像データおよびSDモードの画像データは、フレームメモリ3に記憶された画像データを間引き処理することにより作成することができるが、圧縮・伸張回路14の量子化テーブルを変更することによって圧縮率を変更することができることから、これにより本画像モードの画像データおよびSDモードの画像データを作成することができる。このようにして作成された本画像モードの画像データおよびSDモードの画像データは、前述したように光ディスク18に記録される。
次に、このように3種類の解像度の画像データが記録されている光ディスク18から画像データを再生してモニタ装置8に表示する動作について説明する。
ユーザが操作部20を操作して、光ディスク18に記録されている画像データの表示を指示する。これにより、システムコントローラ19が、画像データを再生するようにディスク記録再生部17を制御する。ディスク記録再生部17により再生された画像データは、DMA方式によりバッファメモリ16に書き込まれ、圧縮・伸張回路14のタイミングで読み出されて伸張処理され、さらに、ラスター/ブロック変換回路13にてブロックからラスターの形態に変換されてインターフェース12に入力される。
そして、インターフェース12およびインターフェースブロック10を介して、再生された画像データがフレームメモリ3に書き込まれる。
さらに、フレームメモリ3から読み出された画像データは、D/A変換器7においてアナログ信号に変換されてモニタ装置8に表示される。
この場合、ユーザはクイックモード、オートモード、およびメインモードの表示モードを選択することができる。クイックモードを選択した場合は、SDモードの画像がモニタ装置8に素早く表示されるようになる。このSDモードは前述したように1/16に圧縮されているため、光ディスク18から1枚のSDモードの画像データを読み出して表示するまでの時間は約1秒とされ、迅速にモニタ装置8に表示されている画像を切り替えることができる。
また、オートモードは本発明の静止画像表示方法を具現化したモードであり、オートモードとされると、まず、光ディスク18からSDモードの画像データを読み出してモニタ装置8に素早く表示させ、このSDモードの画像が表示されている間に、光ディスク18から本画像モードの画像データを読み出して再生し、モニタ装置8に表示されている画像を1水平ラインづつ書き替えながら本画像モードの画像データに切り替えるようにしたものである。
このオートモードによれば、再生を指示するとすぐに画像がモニタ装置8に表示され、本画像モードの画像データが再生されしだい、モニタ装置8の画像が本画像モードの画像に置き換わっていくため、ユーザは画像全体の確認を迅速に行うことができるようになる。また、表示される画像の品質が時間の経過と共に次第に向上されていくようになり、いわゆるプログレッシング機能を有するモードとなる。
さらに、メインモードでは光ディスク18から本画像データが読み出されて再生され、モニタ装置8に本画像が表示されるモードである。このモードでは、本画像データが大容量とされている場合が多いため、再生を指示してからモニタ表示8に表示されるまでに時間がかかる。
例えば、ファインモードでは表示されるまでに約2秒かかり、ノンコンプレッションモードでは約5秒程度かかるようになる。また、ノーマルモードでは約1秒かかる。
次に、3種類の解像度の画像データが記録されている光ディスク18から画像データを再生してモニタ装置8に表示する動作処理のフローチャートを図2に示す。
このフローチャートにおいて、ユーザが再生指示を行うと、ステップS10にてクイックモードが指示されたか否かが判別される。クイックモードが指示されていてイエス(Y)と判別されると、ステップS11にてSDモードの画像データが光ディスク18から読み出されて再生される。再生されたSDモードの画像データはフレームメモリ3に書き込まれて処理は終了する。これにより、モニタ装置8にSDモードの画像が表示される。
また、ステップS10にてクイックモードではなくノー(N)と判別されると、ステップS12に分岐されオートモードか否かが判別される。ここで、ユーザがオートモードを指示していると、イエス(Y)と判別されて、ステップS13に進む。そして、ステップS13にてSDモードの画像データが光ディスク18から読み出されて再生され、フレームメモリ3に書き込まれる。これにより、モニタ装置8にSDモードの画像が表示される。
次いで、ステップS14にて本画像の画像データが光ディスク18から読み出されて再生され、再生された本画像の画像データによりフレームメモリ3が上書きされて処理は終了する。これにより、モニタ装置8に本画像の画像が表示されるようになり、表示される画像の品質が時間の経過と共に次第に向上されていくようになる(プログレッシング機能)。
さらに、ステップS12にてノー(N)と判別された場合は、メインモードであり、ステップS15に分岐して本画像の画像データが光ディスク18から読み出されて再生され、再生された本画像の画像データがフレームメモリ3に書き込まれて処理は終了する。これにより、モニタ装置8に本画像の画像が表示されるようになる。
ところで、前記したファインモードは1/5圧縮、ノーマルモードは1/16圧縮としたが、これに限られることはなく異なる圧縮率としてもよいものである。
また、画像データの圧縮処理を1/5間引き回路や1/16間引き回路により行うようにしてもよい。
なお、以上の説明においては記録媒体を光ディスクとして説明したが、本発明はこれに限らず、ハードディスク等の記録媒体を備える記録再生装置にも適用することができるものである。
1 スキャナ部
2 ビデオ入力部
3 フレームメモリ
4 メモリコントローラ
5 CPU
6 操作部
7 D/A変換器
8 モニタ装置
9 プリンタ部
10 インターフェースブロック
11 ストレージ部
12 インターフェース
13 ラスター/ブロック変換回路
14 圧縮・伸張回路
15 メモリ
16 バッファメモリ
17 ディスク記録再生部
18 光ディスク
19 システムコントローラ
20 操作部
21 表示部

Claims (2)

  1. 符号化画像データを復号する復号装置において、
    画像データを符号化して得られる第1の符号化画像データを復号して第1の画像データを生成するとともに、前記画像データを前記第1の符号化画像データの復号処理の時間よりも時間を要する復号処理により得られる第2の符号化画像データを復号して第2の画像データを生成する復号手段と、
    前記第1の画像データ及び前記第2の画像データの全体を表示可能な表示手段と、
    前記復号手段により生成された第1の画像データの全体を前記表示手段に表示させている間に前記復号手段により第2の符号化画像データを復号させて生成された第2の画像データを、前記表示手段に表示されている前記第1の画像データの全体に置き換えて表示させるように、前記復号手段を制御する制御手段と
    を有し、
    前記制御手段は、第1の符号化画像データを復号してから、第2の符号化画像データの復号を行うように前記復号手段を制御するとともに、
    前記第1の画像データを表示させるか、前記第1の画像データを前記第2の画像データに置き換えて表示させるか、前記第2の画像データを表示させるか、を判定する判定手段を更に有し、
    前記制御手段は、前記判定手段の判定結果に基づいて、前記復号手段を制御する
    復号装置。
  2. 符号化画像データを復号する復号方法において、
    画像データを符号化して得られる第1の符号化画像データを復号して第1の画像データを生成する第1の復号ステップと、
    前記画像データを前記第1の符号化画像データの復号処理の時間よりも時間を要する復号処理により得られる第2の符号化画像データを復号して第2の画像データを生成する第2の復号ステップと、
    前記第1の復号ステップにより生成された第1の画像データの全体を表示させている間に前記第2の復号ステップにより第2の符号化画像データを復号させて生成された第2の画像データを、表示手段に表示されている前記第1の画像データの全体に置き換えて表示させるように、前記第1及び第2の復号ステップを制御する制御ステップと
    を有し
    前記制御ステップは、第1の符号化画像データを復号してから、第2の符号化画像データの復号を行うように前記復号手段を制御するとともに、
    更に、前記第1の画像データを表示させるか、前記第1の画像データを前記第2の画像データに置き換えて表示させるか、前記第2の画像データを表示させるか、を判定する判定ステップを有し、
    前記制御ステップは、前記判定ステップの判定結果に基づいて、前記復号ステップを制御する
    復号方法。
JP2011235251A 2011-10-26 2011-10-26 復号装置、及び復号方法 Expired - Lifetime JP5093395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011235251A JP5093395B2 (ja) 2011-10-26 2011-10-26 復号装置、及び復号方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011235251A JP5093395B2 (ja) 2011-10-26 2011-10-26 復号装置、及び復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007174158A Division JP5034717B2 (ja) 2007-07-02 2007-07-02 復号装置、及び復号方法

Publications (2)

Publication Number Publication Date
JP2012075128A JP2012075128A (ja) 2012-04-12
JP5093395B2 true JP5093395B2 (ja) 2012-12-12

Family

ID=46170797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235251A Expired - Lifetime JP5093395B2 (ja) 2011-10-26 2011-10-26 復号装置、及び復号方法

Country Status (1)

Country Link
JP (1) JP5093395B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3297921B2 (ja) * 1991-05-14 2002-07-02 ソニー株式会社 画像表示方法及び装置
JP3045359B2 (ja) * 1992-09-18 2000-05-29 日立ソフトウエアエンジニアリング株式会社 画像処理装置
JPH06274612A (ja) * 1993-03-17 1994-09-30 Matsushita Electric Ind Co Ltd 画像処理装置
JPH06309376A (ja) * 1993-04-26 1994-11-04 Hitachi Ltd 圧縮画像表示装置およびこれを用いた画像ファイル検索システム
JPH0728849A (ja) * 1993-07-12 1995-01-31 Sony Corp データファイル構造及びディスク装置

Also Published As

Publication number Publication date
JP2012075128A (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
JP3551181B2 (ja) 記録装置及び記録方法
US6690881B1 (en) Digital camera apparatus and recording method thereof
JP4350809B2 (ja) ディジタルカメラ
JP2004072793A5 (ja) 映像記録装置及び映像記録方法
US8094991B2 (en) Methods and apparatus for recording and reproducing a moving image, and a recording medium in which program for executing the methods is recorded
JP2009147549A (ja) 動画像記録装置、動画像再生装置及びプログラム
CN105052126A (zh) 摄像设备和摄像设备的控制方法
US20090153704A1 (en) Recording and reproduction apparatus and methods, and a storage medium having recorded thereon computer program to perform the methods
JP2001203971A (ja) 画像データ処理装置
JP5118465B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP5034717B2 (ja) 復号装置、及び復号方法
JP4001946B2 (ja) 再生装置
JP5093395B2 (ja) 復号装置、及び復号方法
JPH09506498A (ja) 画像データ記録装置及び画像データ再生装置
JP4430731B2 (ja) ディジタルカメラおよび撮影方法
JPH08336113A (ja) 画像処理装置
JP5118466B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
US20090040382A1 (en) Camera apparatus and still image generating method of camera apparatus
JP2006174025A (ja) 動画静止画同時記録可能な撮像記録再生装置
JP3177306B2 (ja) 画像処理装置
JP2008092503A (ja) 撮像装置
JPH10145812A (ja) ディジタル画像信号記録装置
JP3343861B2 (ja) ディジタル電子スチル・カメラおよびその動作方法
JP2732941B2 (ja) 画像信号処理装置
JP2005101835A (ja) 記録装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term