JP3854688B2 - Image processing apparatus, image processing method, and computer-readable recording medium - Google Patents

Image processing apparatus, image processing method, and computer-readable recording medium Download PDF

Info

Publication number
JP3854688B2
JP3854688B2 JP19577797A JP19577797A JP3854688B2 JP 3854688 B2 JP3854688 B2 JP 3854688B2 JP 19577797 A JP19577797 A JP 19577797A JP 19577797 A JP19577797 A JP 19577797A JP 3854688 B2 JP3854688 B2 JP 3854688B2
Authority
JP
Japan
Prior art keywords
error
image signal
image
output
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19577797A
Other languages
Japanese (ja)
Other versions
JPH1141557A (en
Inventor
泉 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP19577797A priority Critical patent/JP3854688B2/en
Publication of JPH1141557A publication Critical patent/JPH1141557A/en
Application granted granted Critical
Publication of JP3854688B2 publication Critical patent/JP3854688B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はカムコーダ、ビデオカセットレコーダ等を含むディジタル記録再生装置の再生時に用いて好適な画像処理装置、画像処理方法及びこの画像処理装置で用いられるコンピュータ読み取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
図7は1フレームの画像データをn本のトラックに記録するようにした従来のディジタルVTRにおける各トラックのビデオ領域情報と、1フレームの画像との関係を示す。図8はこのような従来のディジタルVTRにおけるサーチ再生方法を示す。
通常再生時には図8(a)に示されるように記録トラックを走査するヘッドの傾きが、サーチ再生時には図8(b)に示されるようになり、走査方向が変化する。このため、ヘッドは記録トラック全領域を走査しなくなり、各記録トラックの1部分を走査することになる。
【0003】
図9は従来のディジタル記録再生装置を示す。まず、記録系について説明する。図9において、401はビデオ信号入力端子、402はアナログ・ディジタル変換を行うA/Dコンバータ、403はディジタル化されたビデオ信号をN×M(N、M:整数)のブロック単位のデータ列に変換するブロック化回路、404はブロック単位データにDCT(離散コサイン変換)等の直交変換を施して直交変換係数を出力する直交変換回路、405は直交変換係数のデータ量を削減するために直交変換係数の量子化を行う量子化回路、406は量子化データを可変長符号化し、その後さらに固定長データに変換する可変長符号化回路、407は再生時の誤り訂正で使用される訂正符号を固定長データに付加する訂正符号付加回路、408はNRZ変調等により訂正符号付加固定長データを記録に適したデータに変換する変調回路、409は変調データを記録再生する記録再生部である。
【0004】
次に、この記録系の動作について説明する。
入力端子401から入力されたビデオ信号は、A/Dコンバータ402により画素単位の情報を示すディジタルビデオデータ列に変換される。次に、ディジタルビデオデータ列はブロック化回路403により直交変換回路404で直交変換される単位であるブロックデータ列(ここでは、8×8画素単位とする)に変換され、直交変換回路404により直交変換係数に変換される。この直交変換係数はブロックデータ列内の直流成分を示す1つのDC係数と交流成分を示す複数のAC係数とからなる。
【0005】
次に、ブロック単位の直交変換係数は量子化回路405で量子化され、DC係数から高次のAC係数へと順次出力される。可変長符号化回路406は、量子化されたブロック単位の直交変換係数を、ビット幅を変更することによりデータ量を削減する可変長符号化し、複数ブロック単位でブロック単位可変長符号化データを既決されている所定のデータ量に抑圧し、固定長データ列に変換する。各固定長データ列は、訂正符号付加回路407により訂正符号を付加され、変調回路408で変調され、記録再生部409により記録媒体(ここでは磁気テープ)に記録される。
【0006】
図10は直交変換回路404で出力される直交変換係数を示す。直交変換係数は1個のDC係数と63個のAC係数を持つ。尚、AC係数は後述するようにACL係数とACH係数とからなる。
図11はトラックの構成データを示す。ここで図11(a)、(b)のように、1つのシンクコードでまとめられる複数の直交変換係数ブロックをシンクブロック、複数のシンクブロックからなる固定長単位のブロックを固定長ブロックと呼ぶことにする。1直交変換係数ブロックでは、図11(a)に示されているように、量子化回路405、可変長符号化回路406により量子化、可変長符号化されたDC、AC係数を既決された所定のデータ量内に配置していく。所定のデータ量内で収まる場合には、AC係数はACL係数となり、所定のデータ量内を超える場合には、固定長ブロック内別の直交変換係数ブロックにACH係数としてACL係数と共に蓄積される。このときACH係数は図示のように固定長ブロック内に分散して配置されていく。従って、固定長ブロックデータ量を超える場合には、そのACH係数は欠落することとなる。図11(c)のように、固定長ブロックはシンクブロック単位に分割され、複数の記録トラックにまたがって記録されていく。
【0007】
次に、図9の再生系について説明する。
図9において、702は等価回路、703は誤り訂正回路、704は可変長復号化回路、705は逆量子化回路、706は逆直交変換回路、707は逆ブロック化回路、708はD/Aコンバータ、709はビデオ信号出力端子である。
【0008】
次に、この再生系の動作について説明する。
記録再生部409より再生される記録圧縮データは、等価回路702により再生等価が行われた後、誤り訂正回路703において誤り訂正処理が行われる。誤り訂正回路703出力は、可変長復号化回路704、逆量子化回路705、逆直交変換回路706により可変長復号化処理、逆量子化処理、逆直交変換処理が行われ、M×N画素のブロック単位ディジタル画像データとなる。この画像データは逆ブロック化回路707、D/Aコンバータ708によりアナログビデオデータに変換され、出力端子709より出力される。ここで、前記記録系で説明したように、固定長ブロックは複数の記録トラックにまたがっているので、可変長復号化回路704で行われる可変長復号化処理は、各記録トラックに分割されている固定長ブロックを全て再生した後に実行される。
【0009】
サーチ再生時には、前述したように各1記録トラック内では、その部分データが再生されるのみである。部分データ内に分割固定長ブロック、つまりシンクブロック内の全データが再生されれば、直交変換係数ブロックのDC、ACL係数の復号が可能となるが、ACH係数は固定長ブロック内の全データが再生されないと復号できないため、サーチ再生時にはACH係数は復号できない。
【0010】
【発明が解決しようとする課題】
上述のように、従来のディジタル記録再生装置では、同一静止画が複数フレーム記録されている場合においても、サーチ再生時にACH係数は復号されることがないので、高次の直交変換係数が欠如した画像となり、高域周波数成分の欠落した画像であるため、画質が著しく劣化するという問題があった。
【0011】
本発明は上記の問題を解決するもので、サーチ再生時に高域周波数成分が欠落することを防止することを目的とする。
【0012】
【課題を解決するための手段】
本発明の画像処理装置は、画像信号を入力し誤り訂正すると共に処理後の画像信号に誤りが無いときはノーエラー信号を出力する誤り訂正手段と、上記誤り訂正手段により誤り訂正された画像信号を蓄積する蓄積手段と、上記画像信号が静止画であることを検出する検出手段と、上記画像信号の一画面内すべてがノーエラーであるか否かを判断する判断手段と、上記検出手段により画像信号が静止画であることが検出され、かつ上記判断手段により一画面内がすべてノーエラーと判断されたら、上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力する出力手段とを備えたことを特徴とする。
【0013】
本発明のコンピュータ読み取り可能な記憶媒体は、画像信号を入力し誤り訂正すると共に処理後の画像信号に誤りが無いときはノーエラー信号を出力する誤り訂正手順と、上記誤り訂正手順により誤り訂正された画像信号を蓄積手段に蓄積させる蓄積手順と、上記画像信号が静止画であることを検出する検出手順と、上記画像信号の一画面内すべてがノーエラーであるか否かを判断する判断手順と、上記検出手順により画像信号が静止画であることが検出され、かつ上記判断手順により一画面内がすべてノーエラーと判断されたら、上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力する出力手順とをコンピュータに実行させるためのプログラムを記録したことを特徴とする。
本発明の画像処理方法は、画像信号を入力し誤り訂正すると共に処理後の画像信号に誤りが無いときはノーエラー信号を出力する誤り訂正工程と、上記誤り訂正工程により誤り訂正された画像信号を蓄積手段に蓄積する蓄積工程と、上記画像信号が静止画であることを検出する検出工程と、上記画像信号の一画面内すべてがノーエラーであるか否かを判断する判断工程と、上記検出工程により画像信号が静止画であることが検出され、かつ上記判断工程により一画面内がすべてノーエラーと判断されたら、上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力する出力工程とを備えたことを特徴とする。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
図1は第1の実施の形態によるディジタル記録再生装置を示す。図1の記録系において、101はビデオ信号入力端子、102はA/Dコンバータ、103はブロック化回路、104は直交変換回路、105は量子化回路、106は可変長符号化回路、107は訂正符号付加回路、108は変調回路、109は記録再生部、110は動画/静止画モード信号入力端子である。
【0015】
再生系において、111は等価回路、112は誤り訂正回路、113はメモリ、114はセレクタ、115は静止画検出・ノーエラータイミング生成回路、116は可変長復号化回路、117は逆量子化回路、118は逆直交変換回路、119は逆ブロック化回路、120はD/Aコンバータ、121はビデオ信号出力端子である。
【0016】
122は上記記録系及び再生系をプログラムに従って制御するマイコン(マイクロコンピュータ)、123は本発明によるプログラムを記録した記録媒体としてのメモリであり、プログラムとして後述する図2のフローチャートに示す処理が記録されている。このメモリ123としては、半導体メモリ、光磁気ディスク、光ディスク、磁気媒体等を用いることができる。
【0017】
次に、その動作について図2のフローチャートを参照して説明する。
記録時においては、記録指示があると、ビデオ信号入力端子101から入力されたアナログビデオ信号は、A/Dコンバータ102によりディジタルビデオ信号に変換され、ブロック化回路103により1フレームの画像をM×N(M、N:整数)画素単位のブロックに分割される。直交変換回路104は、入力されたブロック単位のディジタルビデオ信号に離散コサイン変換(DCT)等の直交変換を施し、ブロック単位の直交変換係数を出力する(ステップS1、S2)。量子化回路105において上記直交変換係数は量子化され、量子化直交変換係数が出力される(ステップS3)。可変長符号化回路106は入力された量子化直交変換係数を可変長符号に変換する(ステップS4)。
【0018】
訂正符号付加回路107は入力された可変長符号に、動画/静止画モード信号入力端子110より入力された動画/静止画モード信号に応じて動画/静止画モード信号を付加すると共に、動画モード訂正符号付加処理もしくは静止画モード訂正符号付加処理を行う(ステップS5)。訂正符号付加データは、変調回路108に入力されてNRZ変調等の記録に適したデータに変調された後、記録再生部109に入力されて磁気テープ等の記録媒体に記録される(ステップS6)。
【0019】
図3は訂正符号付加回路107の出力する訂正符号付加データ列の説明図である。動画モード時には、図3(a)のように、入力されるビデオ信号に応じたフーム内のシンクブロック、固定長ブロック単位の信号に訂正符号を付加し、入力フレームに応じた随時訂正符号付加データを出力する。静止画モード時には、図3(b)のように、Sフレーム分(S:整数)の訂正符号付加データを繰り返し出力する。
【0020】
図2に戻り、再生時においては、再生の指示があると、記録再生部109から再生された記録データは、等価回路111により再生等価が行われた後、誤り訂正回路112において誤り訂正処理が行われる(ステップS7、S8)。誤り訂正処理によりシンクブロック単位のノーエラーとなったデータはメモリ113に蓄積される。このときエラーの有無を示すノーエラーブロック信号が静止画検出・ノーエラータイミング信号生成回路115に入力される。また、この静止画検出・ノーエラータイミング信号生成回路115には、再生されているデータが静止画像であるかどうかを含む記録データも入力される(ステップS9)。次に、入力シンクブロックが静止画でかつノーエラーのシンクブロックか否かを調べ、そうであれば、メモリ113の読み出し出力が可変長復号化回路116に入力されるように、否であれば、誤り訂正回路112の出力が可変長復号化回路116に入力されるように、セレクタ114を制御する(ステップS10、S11)。
【0021】
セレクタ114の出力データは、可変長復号化回路116、逆量子化回路117、逆直交変換回路118により可変長復号化処理、逆量子化処理、逆直交変換処理が行われ、M×N画素のブロック単位ディジタル画像データとなり、逆ブロック化回路119、D/Aコンバータ120によりアナログビデオデータに変換され、出力端子121より出力される(ステップS12、S13、S14)。
【0022】
図4は静止画サーチ再生時の動作説明図である。図4(a)のように、サーチ再生時には1記録トラック内ではその一部分しか再生されないが、サーチ再生された部分内のシンクブロック内がノーエラーになると、そのデータはメモリ113に蓄積される。図4(b)はメモリ113内のトラックイメージである。Sフレームのサーチ再生期間に各トラックからのノーエラーとなったシンクブロックが図4(b)に示されるようにメモリ113に蓄積される。図2のステップS10では固定長ブロックとなるn個のシンクブロックがメモリ113に蓄積されたか否かを判定し、蓄積されると、静止画検出・ノーエラータイミング信号生成回路115は、メモリ113の出力を選択するようにセレクタ114を制御する。
【0023】
セレクタ114が誤り訂正回路112の出力を選択している時は、固定長ブロック内の全シンクブロックが未だサーチ再生されておらず、可変長復号化回路116はDC、ACL係数を復号する。セレクタ114がメモリ113の出力を選択している時は、全シンクブロックがすでにサーチ再生されており、DC、ACL、ACH係数の全てが復号可能となる。
【0024】
静止画検出・ノーエラータイミング信号生成回路115の出力は、動画像サーチ再生の時、もしくは静止画像に変化した時はリセット状態となり、誤り訂正回路112の出力が選択される。
【0025】
図5は静止画検出・ノーエラータイミング信号生成回路115の詳細な構成を示すものである。図5において、1001は記録データ入力端子、1002は静止画検出回路、1003は遅延調整回路、1004はノーエラーブロック信号入力端子、1005は位置情報検出回路、1006は固定長ブロック番号検出回路、1007は書込アドレス発生回路、1008は読出アドレス発生回路、1009はリセット回路、1010はノーエラーフラグメモリ、1011は遅延回路、1012はノーエラーブロック判定回路、1013は出力信号発生回路、1014は出力端子である。
【0026】
静止画検出回路1002は、記録データ入力端子1001から等価回路111の出力である記録データを入力し、記録データ内の映像圧縮データエリア内に含まれる静止画情報もしくは映像圧縮データエリア外に記録されている静止画情報を取り出し、再生信号が動画もしくは静止画であることを判別し、静止画再生時に静止画であることを識別する信号を出力する。静止画検出回路1002の出力は遅延調整回路1003に入力され、ノーエラーブロック判定回路1012の出力との間でタイミング調整が行われる。
【0027】
一方、ノーエラーブロック信号入力端子1004から入力される誤り訂正回路112の出力であるノーエラーブロック信号は、位置情報検出回路1005に入力され、ノーエラーブロックの画面上の位置情報、同一静止画の期間中は同一番号である静止画番号を出力する。位置情報検出回路1005の出力の一つである位置情報は、固定長ブロック番号検出回路1006に入力され、固定長ブロック番号検出回路1006はノーエラーブロックが含まれる固定長ブロックの番号を検出する。また、この位置情報は書込アドレス発生回路1007にも入力され、書込アドレス発生回路1007はノーエラーフラグメモリ1010の画面上位置に対応する書込アドレスを発生し、ノーエラーフラグメモリ1010の画面上位置に対応するアドレスにノーエラーフラグを立てる。
【0028】
固定長ブロック番号検出回路1006の出力であるノーエラーブロックが含まれる固定長ブロックの番号は、読出アドレス発生回路1008に入力され、該当する固定長ブロックに含まれるn個のノーエラーフラグメモリ1010内の読出アドレスを発生する。位置情報検出回路1005の出力の一つである静止画番号はリセット回路1009に入力され、静止画番号が変化し再生静止画が変化すると、ノーエラーフラグメモリ1010内の全フラグをリセットする信号を出力する。
【0029】
ノーエラーフラグメモリ1010は読出アドレス発生回路1008の出力する読出アドレスに応じて同一固定長ブロック内のすべてのノーエラーフラグを順次読み出し、遅延回路1011に入力し、ノーエラーブロック判定回路1012において、同一固定長ブロック内のすべてのノーエラーフラグから、固定長ブロック内の全データがノーエラーとしてメモリ113に蓄積されているかどうかを判定する。出力信号発生回路1013では遅延調整回路1003の出力する静止画識別信号とノーエラーブロック判定回路1012の出力とを入力し、セレクタ114を制御する信号を発生し、出力端子1014から出力する。
【0030】
図6は第2の実施の形態によるディジタル記録再生装置を示す。図6は再生系のみを示すもので、図1と対応する部分には同一番号を付して説明を省略する。尚、記録系は図1と同様に構成されている。124は2バンクを有するメモリ、125はディジタルインターフェース回路、126は出力端子である。
【0031】
次に、再生時の動作について説明する。
メモリ124の第1バンクには、誤り訂正回路112において誤り訂正処理が行われエラー訂正が行われたノーエラーデータが更新して蓄積される。静止画検出・ノーエラータイミング信号生成回路115は、等価回路111の出力する記録データ、誤り訂正回路112の出力するノーエラーブロック信号を入力し、再生静止画が全てノーエラーブロックとなった時、もしくは再生静止画が変化する直前のエラーブロックを含むがエラーブロックが最小となった時に、ディジタルインターフェース回路125に静止画検出・ノーエラータイミング信号を出力する。
【0032】
ディジタルインターフェース回路125は、静止画検出・ノーエラータイミング信号に応じてメモリ124の第1バンクから映像圧縮データを繰り返し読み出し、出力端子126から出力する。ディジタルインターフェース回路125がメモリ124の第1バンクから繰り返し読み出し続けている間は、誤り訂正回路112の出力はメモリ124の第2バンクに蓄積され、第1、第2バンクは交互に誤り訂正回路112、ディジタルインターフェース回路125にアクセスされることになる。
【0033】
【発明の効果】
以上説明したように、本発明によれば、画像信号が静止画であることが検出され、すでにノーエラー信号が得られノーエラーの画像信号を蓄積しているときに蓄積手段に蓄積された画像信号を読み出し出力するので、画質を向上させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態によるディジタル記録再生装置を示すブロック図である。
【図2】本発明の第1の実施の形態によるディジタル記録再生装置の動作を示すフローチャートである。
【図3】訂正符号付加データ列を示す構成図である。
【図4】サーチ再生動作を示す構成図である。
【図5】静止画検出・ノーエラータイミング信号生成回路を示すブロック図である。
【図6】本発明の第2の実施の形態によるディジタル記録再生装置を示すブロック図である。
【図7】トラックの画像位置関係を示す構成図である。
【図8】再生時のヘッド走査を示す構成図である。
【図9】従来のディジタル記録再生装置を示すブロック図である。
【図10】直交変換係数を示す構成図である。
【図11】トラックの構成データを示す構成図である。
【符号の説明】
109 記録再生部
112 誤り訂正回路
113 メモリ
114 セレクタ
115 静止画検出・ノーエラータイミング信号生成回路
116 可変長復号化回路
117 逆量子化回路
118 逆直交変換回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and a computer-readable recording medium used in the image processing apparatus that are suitable for use in playback of a digital recording / playback apparatus including a camcorder, a video cassette recorder, and the like.
[0002]
[Prior art]
FIG. 7 shows the relationship between the video area information of each track and the image of one frame in a conventional digital VTR in which one frame of image data is recorded on n tracks. FIG. 8 shows a search reproduction method in such a conventional digital VTR.
As shown in FIG. 8A during normal reproduction, the inclination of the head that scans the recording track is as shown in FIG. 8B during search reproduction, and the scanning direction changes. For this reason, the head does not scan the entire recording track, and scans a portion of each recording track.
[0003]
FIG. 9 shows a conventional digital recording / reproducing apparatus. First, the recording system will be described. In FIG. 9, 401 is a video signal input terminal, 402 is an A / D converter that performs analog-to-digital conversion, and 403 is a digitized video signal in a data sequence of N × M (N, M: integer) block units. Blocking circuit for transforming 404, orthogonal transform circuit for performing orthogonal transform such as DCT (Discrete Cosine Transform) on block unit data and outputting orthogonal transform coefficients, 405 orthogonal transform to reduce the amount of data of orthogonal transform coefficients Quantization circuit for quantizing coefficients, 406 is a variable-length coding circuit that quantizes quantized data and then converts it to fixed-length data, and 407 is a fixed correction code used for error correction during reproduction Correction code adding circuit for adding to long data, 408 is a modulation circuit for converting correction code added fixed length data to data suitable for recording by NRZ modulation or the like 409 is a recording and reproducing unit for recording and reproducing modulation data.
[0004]
Next, the operation of this recording system will be described.
The video signal input from the input terminal 401 is converted by the A / D converter 402 into a digital video data string indicating pixel unit information. Next, the digital video data sequence is converted into a block data sequence (in this case, 8 × 8 pixel unit), which is a unit to be orthogonally converted by the orthogonal conversion circuit 404 by the blocking circuit 403, and orthogonally converted by the orthogonal conversion circuit 404. Converted to conversion factor. This orthogonal transform coefficient is composed of one DC coefficient indicating a DC component in the block data string and a plurality of AC coefficients indicating AC components.
[0005]
Next, the orthogonal transform coefficients in block units are quantized by the quantization circuit 405, and are sequentially output from DC coefficients to higher order AC coefficients. The variable-length coding circuit 406 performs variable-length coding to reduce the data amount by changing the bit width of the quantized block-unit orthogonal transform coefficient, and determines block-unit variable-length coded data in units of multiple blocks. The predetermined data amount is suppressed and converted into a fixed-length data string. Each fixed-length data string is added with a correction code by a correction code adding circuit 407, modulated by a modulation circuit 408, and recorded on a recording medium (here, a magnetic tape) by a recording / reproducing unit 409.
[0006]
FIG. 10 shows orthogonal transform coefficients output from the orthogonal transform circuit 404. The orthogonal transform coefficient has one DC coefficient and 63 AC coefficients. The AC coefficient is composed of an ACL coefficient and an ACH coefficient as will be described later.
FIG. 11 shows track configuration data. Here, as shown in FIGS. 11A and 11B, a plurality of orthogonal transform coefficient blocks grouped by one sync code is called a sync block, and a block of a fixed length unit consisting of a plurality of sync blocks is called a fixed length block. To. In one orthogonal transform coefficient block, as shown in FIG. 11A, the DC and AC coefficients quantized and variable-length coded by the quantization circuit 405 and the variable-length coding circuit 406 have been predetermined. Will be placed within the amount of data. When it falls within the predetermined data amount, the AC coefficient becomes an ACL coefficient, and when it exceeds the predetermined data amount, it is stored together with the ACL coefficient as an ACH coefficient in another orthogonal transform coefficient block within the fixed-length block. At this time, the ACH coefficients are distributed and arranged in the fixed-length block as shown in the figure. Therefore, when the amount of fixed-length block data is exceeded, the ACH coefficient is lost. As shown in FIG. 11 (c), the fixed-length block is divided into sync blocks and recorded across a plurality of recording tracks.
[0007]
Next, the reproduction system of FIG. 9 will be described.
In FIG. 9, 702 is an equivalent circuit, 703 is an error correction circuit, 704 is a variable length decoding circuit, 705 is an inverse quantization circuit, 706 is an inverse orthogonal transform circuit, 707 is an inverse block circuit, and 708 is a D / A converter. , 709 are video signal output terminals.
[0008]
Next, the operation of this reproduction system will be described.
The recorded compressed data reproduced by the recording / reproducing unit 409 is subjected to reproduction equalization by the equivalent circuit 702 and then subjected to error correction processing in the error correction circuit 703. The output of the error correction circuit 703 is subjected to variable length decoding processing, inverse quantization processing, and inverse orthogonal transformation processing by a variable length decoding circuit 704, an inverse quantization circuit 705, and an inverse orthogonal transformation circuit 706, and M × N pixel It becomes block unit digital image data. This image data is converted into analog video data by an inverse block circuit 707 and a D / A converter 708 and output from an output terminal 709. Here, as described in the recording system, since the fixed-length block extends over a plurality of recording tracks, the variable-length decoding process performed by the variable-length decoding circuit 704 is divided into recording tracks. Executed after all fixed length blocks have been played.
[0009]
At the time of search reproduction, as described above, the partial data is only reproduced within each recording track. If all the data in the divided fixed-length block, that is, the sync block is reproduced in the partial data, it is possible to decode the DC and ACL coefficients of the orthogonal transform coefficient block. However, the ACH coefficient includes all the data in the fixed-length block. Since it cannot be decoded unless it is reproduced, the ACH coefficient cannot be decoded during search reproduction.
[0010]
[Problems to be solved by the invention]
As described above, in the conventional digital recording / reproducing apparatus, even when the same still image is recorded in a plurality of frames, the ACH coefficient is not decoded at the time of search reproduction, and thus the high-order orthogonal transform coefficient is lacking. Since the image is an image and lacks a high frequency component, there is a problem that the image quality is remarkably deteriorated.
[0011]
The present invention solves the above-described problem, and an object thereof is to prevent a high frequency component from being lost during search reproduction.
[0012]
[Means for Solving the Problems]
The image processing apparatus of the present invention inputs an image signal and corrects an error, and outputs an error correction means for outputting a no error signal when the processed image signal has no error, and an image signal error-corrected by the error correction means. Accumulating means for accumulating; detecting means for detecting that the image signal is a still image; determining means for determining whether or not all of the image signals in one screen are no error; and detecting the image signal by the detecting means Output means for reading out and outputting a no-error image signal stored in the storage means when it is detected that the image is a still image and all of one screen is determined to be no error by the determination means. And
[0013]
The computer-readable storage medium of the present invention is error-corrected by inputting an image signal to correct an error and outputting a no-error signal when there is no error in the processed image signal and the error correcting procedure. An accumulation procedure for accumulating the image signal in the accumulation means, a detection procedure for detecting that the image signal is a still image, a determination procedure for determining whether or not all of the image signals in one screen are no errors, An output procedure for reading out and outputting a no-error image signal stored in the storage means when it is detected by the detection procedure that the image signal is a still image and all of one screen is determined to be no error by the determination procedure; A program for causing a computer to execute is recorded.
The image processing method according to the present invention includes an error correction step of inputting an image signal to correct an error and outputting a no error signal when the processed image signal has no error, and an image signal error-corrected by the error correction step. An accumulating step for accumulating in the accumulating means; a detecting step for detecting that the image signal is a still image; a determining step for determining whether or not all of the image signals in one screen are no error; and the detecting step When the image signal is detected to be a still image, and the determination step determines that no error has occurred in one screen, the output step includes reading and outputting the no-error image signal stored in the storage means. It is characterized by that.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below.
FIG. 1 shows a digital recording / reproducing apparatus according to a first embodiment. In the recording system of FIG. 1, 101 is a video signal input terminal, 102 is an A / D converter, 103 is a blocking circuit, 104 is an orthogonal transformation circuit, 105 is a quantization circuit, 106 is a variable length coding circuit, and 107 is a correction. Reference numeral 108 denotes a modulation circuit, 109 denotes a recording / reproducing unit, and 110 denotes a moving image / still image mode signal input terminal.
[0015]
In the reproduction system, 111 is an equivalent circuit, 112 is an error correction circuit, 113 is a memory, 114 is a selector, 115 is a still image detection / no error timing generation circuit, 116 is a variable length decoding circuit, 117 is an inverse quantization circuit, 118 Is an inverse orthogonal transform circuit, 119 is a deblocking circuit, 120 is a D / A converter, and 121 is a video signal output terminal.
[0016]
Reference numeral 122 denotes a microcomputer (microcomputer) that controls the recording system and the reproduction system in accordance with a program, and 123 denotes a memory as a recording medium that records the program according to the present invention. The processing shown in the flowchart of FIG. ing. As the memory 123, a semiconductor memory, a magneto-optical disk, an optical disk, a magnetic medium, or the like can be used.
[0017]
Next, the operation will be described with reference to the flowchart of FIG.
At the time of recording, if there is a recording instruction, the analog video signal input from the video signal input terminal 101 is converted into a digital video signal by the A / D converter 102, and an image of one frame is converted to M × by the blocking circuit 103. The block is divided into N (M, N: integer) pixel units. The orthogonal transform circuit 104 performs orthogonal transform such as discrete cosine transform (DCT) on the input digital video signal in units of blocks, and outputs orthogonal transform coefficients in units of blocks (steps S1 and S2). The orthogonal transform coefficient is quantized in the quantization circuit 105, and the quantized orthogonal transform coefficient is output (step S3). The variable length encoding circuit 106 converts the input quantized orthogonal transform coefficient into a variable length code (step S4).
[0018]
The correction code addition circuit 107 adds a moving image / still image mode signal to the input variable length code in accordance with the moving image / still image mode signal input from the moving image / still image mode signal input terminal 110, and corrects the moving image mode. A code addition process or a still image mode correction code addition process is performed (step S5). The correction code added data is input to the modulation circuit 108 and modulated into data suitable for recording such as NRZ modulation, and then input to the recording / reproducing unit 109 and recorded on a recording medium such as a magnetic tape (step S6). .
[0019]
FIG. 3 is an explanatory diagram of a correction code addition data string output from the correction code addition circuit 107. In the moving image mode, as shown in FIG. 3A, correction codes are added to the sync block and fixed-length block unit signals in the frame corresponding to the input video signal, and correction code added data corresponding to the input frame as needed. Is output. In the still image mode, correction code added data for S frames (S: integer) is repeatedly output as shown in FIG.
[0020]
Returning to FIG. 2, at the time of reproduction, when there is an instruction for reproduction, the recording data reproduced from the recording / reproducing unit 109 is subjected to reproduction equalization by the equivalent circuit 111 and then subjected to error correction processing in the error correction circuit 112. Performed (steps S7 and S8). Data in which no error has occurred in sync block units as a result of error correction processing is stored in the memory 113. At this time, a no error block signal indicating the presence or absence of an error is input to the still image detection / no error timing signal generation circuit 115. The still image detection / no error timing signal generation circuit 115 also receives recording data including whether or not the data being reproduced is a still image (step S9). Next, it is checked whether the input sync block is a still image and no error sync block. If so, the read output of the memory 113 is input to the variable length decoding circuit 116. The selector 114 is controlled so that the output of the error correction circuit 112 is input to the variable length decoding circuit 116 (steps S10 and S11).
[0021]
The output data of the selector 114 is subjected to variable length decoding processing, inverse quantization processing, and inverse orthogonal transformation processing by a variable length decoding circuit 116, an inverse quantization circuit 117, and an inverse orthogonal transformation circuit 118. It becomes block unit digital image data, is converted into analog video data by the inverse blocking circuit 119 and the D / A converter 120, and is output from the output terminal 121 (steps S12, S13, S14).
[0022]
FIG. 4 is a diagram for explaining the operation during still image search reproduction. As shown in FIG. 4A, at the time of search reproduction, only a part of one recording track is reproduced. However, if there is no error in the sync block in the search reproduced part, the data is stored in the memory 113. FIG. 4B is a track image in the memory 113. The sync block in which no error has occurred from each track during the S frame search reproduction period is stored in the memory 113 as shown in FIG. In step S 10 in FIG. 2, it is determined whether or not n sync blocks, which are fixed-length blocks, are accumulated in the memory 113, and when they are accumulated, the still image detection / no error timing signal generation circuit 115 outputs the memory 113. The selector 114 is controlled to select.
[0023]
When the selector 114 selects the output of the error correction circuit 112, all sync blocks in the fixed length block have not been searched and reproduced yet, and the variable length decoding circuit 116 decodes the DC and ACL coefficients. When the selector 114 selects the output of the memory 113, all sync blocks have already been searched and reproduced, and all of the DC, ACL, and ACH coefficients can be decoded.
[0024]
The output of the still image detection / no error timing signal generation circuit 115 is reset when moving image search reproduction is performed or when it is changed to a still image, and the output of the error correction circuit 112 is selected.
[0025]
FIG. 5 shows a detailed configuration of the still image detection / no error timing signal generation circuit 115. In FIG. 5, 1001 is a recording data input terminal, 1002 is a still image detection circuit, 1003 is a delay adjustment circuit, 1004 is a no error block signal input terminal, 1005 is a position information detection circuit, 1006 is a fixed length block number detection circuit, and 1007 is A write address generation circuit, 1008 is a read address generation circuit, 1009 is a reset circuit, 1010 is a no error flag memory, 1011 is a delay circuit, 1012 is a no error block determination circuit, 1013 is an output signal generation circuit, and 1014 is an output terminal.
[0026]
The still image detection circuit 1002 receives the recording data that is the output of the equivalent circuit 111 from the recording data input terminal 1001, and is recorded outside the still image information or the video compression data area included in the video compression data area in the recording data. Still image information is taken out, it is determined that the reproduction signal is a moving image or a still image, and a signal for identifying the still image is output when the still image is reproduced. The output of the still image detection circuit 1002 is input to the delay adjustment circuit 1003, and the timing is adjusted with the output of the no error block determination circuit 1012.
[0027]
On the other hand, the no error block signal that is the output of the error correction circuit 112 input from the no error block signal input terminal 1004 is input to the position information detection circuit 1005, and the position information on the screen of the no error block, during the same still image period. The still image number that is the same number is output. Position information, which is one of the outputs of the position information detection circuit 1005, is input to the fixed length block number detection circuit 1006, and the fixed length block number detection circuit 1006 detects the number of the fixed length block including the no error block. This position information is also input to the write address generation circuit 1007, which generates a write address corresponding to the position on the screen of the no error flag memory 1010, and the position on the screen of the no error flag memory 1010. A no error flag is set at the address corresponding to.
[0028]
The fixed-length block number including the no-error block, which is the output of the fixed-length block number detection circuit 1006, is input to the read address generation circuit 1008 and read in the n no-error flag memories 1010 included in the corresponding fixed-length block. Generate an address. The still image number, which is one of the outputs of the position information detection circuit 1005, is input to the reset circuit 1009. When the still image number changes and the reproduction still image changes, a signal for resetting all the flags in the no error flag memory 1010 is output. To do.
[0029]
The no error flag memory 1010 sequentially reads all no error flags in the same fixed length block in accordance with the read address output from the read address generation circuit 1008, and inputs them to the delay circuit 1011. In the no error block determination circuit 1012, the same fixed length block Whether or not all data in the fixed-length block is accumulated in the memory 113 as no error is determined from all the no error flags. The output signal generation circuit 1013 receives the still image identification signal output from the delay adjustment circuit 1003 and the output from the no error block determination circuit 1012, generates a signal for controlling the selector 114, and outputs it from the output terminal 1014.
[0030]
FIG. 6 shows a digital recording / reproducing apparatus according to the second embodiment. FIG. 6 shows only the reproduction system, and parts corresponding to those in FIG. The recording system is configured in the same manner as in FIG. Reference numeral 124 denotes a memory having two banks, 125 denotes a digital interface circuit, and 126 denotes an output terminal.
[0031]
Next, the operation during reproduction will be described.
In the first bank of the memory 124, error correction processing is performed in the error correction circuit 112, and no error data subjected to error correction is updated and stored. The still image detection / no error timing signal generation circuit 115 receives the recording data output from the equivalent circuit 111 and the no error block signal output from the error correction circuit 112, and when all the playback still images become no error blocks, or the playback still image When the error block is minimized including the error block immediately before the image changes, a still image detection / no error timing signal is output to the digital interface circuit 125.
[0032]
The digital interface circuit 125 repeatedly reads out the compressed video data from the first bank of the memory 124 according to the still image detection / no error timing signal, and outputs it from the output terminal 126. While the digital interface circuit 125 continues to repeatedly read from the first bank of the memory 124, the output of the error correction circuit 112 is accumulated in the second bank of the memory 124, and the first and second banks alternately alternate in the error correction circuit 112. The digital interface circuit 125 is accessed.
[0033]
【The invention's effect】
As described above, according to the present invention, it is detected that the image signal is a still image, and when the no-error signal is already obtained and the no-error image signal is accumulated, the image signal accumulated in the accumulation means is obtained. Since the data is read out, the image quality can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a digital recording / reproducing apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing the operation of the digital recording / reproducing apparatus according to the first embodiment of the present invention.
FIG. 3 is a configuration diagram showing a correction code-added data string.
FIG. 4 is a configuration diagram showing a search reproduction operation.
FIG. 5 is a block diagram showing a still image detection / no error timing signal generation circuit;
FIG. 6 is a block diagram showing a digital recording / reproducing apparatus according to a second embodiment of the present invention.
FIG. 7 is a block diagram showing the image positional relationship of tracks.
FIG. 8 is a configuration diagram showing head scanning during reproduction.
FIG. 9 is a block diagram showing a conventional digital recording / reproducing apparatus.
FIG. 10 is a configuration diagram illustrating orthogonal transform coefficients.
FIG. 11 is a configuration diagram showing track configuration data.
[Explanation of symbols]
109 Recording / Reproducing Unit 112 Error Correction Circuit 113 Memory 114 Selector 115 Still Image Detection / No Error Timing Signal Generation Circuit 116 Variable Length Decoding Circuit 117 Inverse Quantization Circuit 118 Inverse Orthogonal Transform Circuit

Claims (9)

画像信号を入力し誤り訂正すると共に処理後の画像信号に誤りが無いときはノーエラー信号を出力する誤り訂正手段と、
上記誤り訂正手段により誤り訂正された画像信号を蓄積する蓄積手段と、
上記画像信号が静止画であることを検出する検出手段と、
上記画像信号の一画面内すべてがノーエラーであるか否かを判断する判断手段と、
上記検出手段により画像信号が静止画であることが検出され、かつ上記判断手段により一画面内がすべてノーエラーと判断されたら、上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力する出力手段とを備えたことを特徴とする画像処理装置。
Error correction means for inputting an image signal to correct an error and outputting a no error signal when there is no error in the processed image signal;
Storage means for storing the image signal error-corrected by the error correction means;
Detecting means for detecting that the image signal is a still image;
A determination means for determining whether or not all of the image signal in one screen is a no error;
An output means for reading out and outputting a no-error image signal stored in the storage means when it is detected by the detection means that the image signal is a still image, and the judgment means determines that there is no error in one screen. An image processing apparatus comprising:
上記画像信号は記録媒体から再生された信号であり、
上記記録媒体の同一静止画部分が繰り返し複数画面分記録された部分を再生し、
上記判断手段により上記同一静止画部分の一画面内すべてがノーエラーと判断されたときに上記出力手段が上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力することを特徴とする請求項1に記載の画像処理装置。
The image signal is a signal reproduced from a recording medium,
Play back the part where the same still image part of the recording medium is recorded for multiple screens,
The output means reads and outputs a no-error image signal stored in the storage means when the determination means determines that all of the same still image portion in one screen is no error. The image processing apparatus described.
上記出力手段により出力されたノーエラーの画像信号を復号化する復号化手段を設けたことを特徴とする請求項1または2に記載の画像処理装置。  3. The image processing apparatus according to claim 1, further comprising decoding means for decoding a no-error image signal output by the output means. 画像信号を入力し誤り訂正すると共に処理後の画像信号に誤りが無いときはノーエラー信号を出力する誤り訂正手順と、
上記誤り訂正手順により誤り訂正された画像信号を蓄積手段に蓄積させる蓄積手順と、
上記画像信号が静止画であることを検出する検出手順と、
上記画像信号の一画面内すべてがノーエラーであるか否かを判断する判断手順と、
上記検出手順により画像信号が静止画であることが検出され、かつ上記判断手順により一画面内がすべてノーエラーと判断されたら、上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力する出力手順とをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
An error correction procedure for inputting an image signal to correct an error and outputting a no error signal when there is no error in the processed image signal;
An accumulation procedure for accumulating the image signal corrected by the error correction procedure in an accumulation means;
A detection procedure for detecting that the image signal is a still image;
A determination procedure for determining whether or not all of the image signal in one screen is a no error;
An output procedure for reading out and outputting a no-error image signal stored in the storage means when it is detected by the detection procedure that the image signal is a still image and all of one screen is determined to be no error by the determination procedure; A computer-readable recording medium on which a program for causing a computer to execute is recorded.
上記画像信号は記録媒体から再生された信号であり、
上記記録媒体の同一静止画部分が繰り返し複数画面分記録された部分を再生し、
上記判断手順により上記同一静止画部分の一画面内すべてがノーエラーと判断されたときに上記出力手順は上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力することを特徴とする請求項4に記載のコンピュータ読み取り可能な記録媒体。
The image signal is a signal reproduced from a recording medium,
Play back the part where the same still image part of the recording medium is recorded for multiple screens,
5. The output procedure reads out and outputs a no-error image signal stored in the storage means when all of the same still image portion in one screen is determined to be no error according to the determination procedure. The computer-readable recording medium as described.
上記出力手順により出力されたノーエラーの画像信号を復号化する復号化手順をコンピュータに実行させることを特徴とする請求項4または5に記載のコンピュータ読み取り可能な記録媒体。  6. The computer-readable recording medium according to claim 4 or 5, wherein a computer executes a decoding procedure for decoding a no-error image signal output by the output procedure. 画像信号を入力し誤り訂正すると共に処理後の画像信号に誤りが無いときはノーエラー信号を出力する誤り訂正工程と、
上記誤り訂正工程により誤り訂正された画像信号を蓄積手段に蓄積する蓄積工程と、
上記画像信号が静止画であることを検出する検出工程と、
上記画像信号の一画面内すべてがノーエラーであるか否かを判断する判断工程と、
上記検出工程により画像信号が静止画であることが検出され、かつ上記判断工程により一画面内がすべてノーエラーと判断されたら、上記蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力する出力工程とを備えたことを特徴とする画像処理方法。
An error correction step of inputting an image signal to correct an error and outputting a no error signal when there is no error in the processed image signal;
An accumulation step of accumulating the image signal corrected by the error correction step in an accumulation unit;
A detection step of detecting that the image signal is a still image;
A determination step of determining whether or not all of the image signal in one screen is a no error;
An output step of reading out and outputting a no-error image signal stored in the storage means when the detection step detects that the image signal is a still image and the determination step determines that there is no error in one screen. An image processing method comprising:
上記画像信号は記録媒体から再生された信号であり、
上記記録媒体の同一静止画部分が繰り返し複数画面分記録された部分を再生し、
上記判断工程により上記同一静止画部分の一画面内すべてがノーエラーと判断されたときに上記出力工程は上記蓄積工程により蓄積手段に蓄積されたノーエラーの画像信号を読み出し出力することを特徴とする請求項7に記載の画像処理方法。
The image signal is a signal reproduced from a recording medium,
Play back the part where the same still image part of the recording medium is recorded for multiple screens,
The output step reads out and outputs a no-error image signal stored in the storage means by the storage step when it is determined by the determination step that all the same still image portions in one screen are no error. Item 8. The image processing method according to Item 7.
上記出力工程により出力されたノーエラーの画像信号を復号化する復号化工程を備えたことを特徴とする請求項7または8に記載の画像処理方法。  9. The image processing method according to claim 7, further comprising a decoding step of decoding the no-error image signal output by the output step.
JP19577797A 1997-07-22 1997-07-22 Image processing apparatus, image processing method, and computer-readable recording medium Expired - Fee Related JP3854688B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19577797A JP3854688B2 (en) 1997-07-22 1997-07-22 Image processing apparatus, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19577797A JP3854688B2 (en) 1997-07-22 1997-07-22 Image processing apparatus, image processing method, and computer-readable recording medium

Publications (2)

Publication Number Publication Date
JPH1141557A JPH1141557A (en) 1999-02-12
JP3854688B2 true JP3854688B2 (en) 2006-12-06

Family

ID=16346800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19577797A Expired - Fee Related JP3854688B2 (en) 1997-07-22 1997-07-22 Image processing apparatus, image processing method, and computer-readable recording medium

Country Status (1)

Country Link
JP (1) JP3854688B2 (en)

Also Published As

Publication number Publication date
JPH1141557A (en) 1999-02-12

Similar Documents

Publication Publication Date Title
US5923813A (en) Apparatus and method for image coding and recording/reproducing
GB2265046A (en) Digital recording and reproducing
JP2962053B2 (en) Signal processing device
EP0620685B1 (en) Digital video signal encoding
US5532837A (en) Digital video signal processing apparatus
US6463182B1 (en) Image processing apparatus and method for removing noise near an edge of an image
JP3141629B2 (en) Video signal recording and playback device
JPH05260438A (en) Digital magnetic tape recording and reproducing method for variable speed reproducing
EP0763935B1 (en) Apparatus and method for reproducing video segment for digital video cassette recorder
JP3854688B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
EP0508606B1 (en) Video-audio digital recording/reproducing apparatus
KR100263688B1 (en) Apparatus for the recording of digital video signals
JP3207739B2 (en) Image playback device
US6208803B1 (en) Recording and/or reproducing apparatus which produces main information and historical information with respect to signal processing performed on the main information
JPH06291682A (en) Error correcting device
JP3849305B2 (en) Image signal reproducing apparatus and method
JP3334140B2 (en) Digital video signal recording apparatus, reproducing apparatus and recording method
JP3063675B2 (en) Video signal playback device
JPH0686259A (en) Transmitter for block conversion encoded data
JP2000187844A (en) Device and method for reproducing and computer readable storage medium
JP3705459B2 (en) Digital image signal recording apparatus and image signal recording / reproducing apparatus
JPH06302125A (en) Digital signal processing device
JPH06284399A (en) Motion detector
JPH10262214A (en) Digital image signal recording device
JP2000057711A (en) Error correction decoding device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060911

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130915

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees