JPH10191250A - 画像記録再生装置及び画像記録再生方法 - Google Patents

画像記録再生装置及び画像記録再生方法

Info

Publication number
JPH10191250A
JPH10191250A JP34423896A JP34423896A JPH10191250A JP H10191250 A JPH10191250 A JP H10191250A JP 34423896 A JP34423896 A JP 34423896A JP 34423896 A JP34423896 A JP 34423896A JP H10191250 A JPH10191250 A JP H10191250A
Authority
JP
Japan
Prior art keywords
image
block
recording
motion detection
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP34423896A
Other languages
English (en)
Other versions
JP4215835B2 (ja
Inventor
Yoichiro Tauchi
洋一郎 田内
Yuka Kiyama
由佳 木山
Kenji Nikata
謙二 荷方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP34423896A priority Critical patent/JP4215835B2/ja
Priority to US08/991,357 priority patent/US6175685B1/en
Priority to KR1019970073110A priority patent/KR100511694B1/ko
Publication of JPH10191250A publication Critical patent/JPH10191250A/ja
Application granted granted Critical
Publication of JP4215835B2 publication Critical patent/JP4215835B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/88Signal drop-out compensation
    • H04N9/888Signal drop-out compensation for signals recorded by pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 専用の静止画処理部やこの静止画処理部によ
る処理のために画像データを蓄えるRAMを必要とする
ことなく、高品位の静止画を記録再生することができる
ようにした画像記録再生装置及び画像記録再生方法を提
供する。 【解決手段】 画像入力信号を全てフレームの連続画と
して変換ブロック毎にDCT/逆DCT演算処理部4で
DCT変換して量子化/逆量子化処理部6で量子化して
記録媒体に記録し、上記記録媒体からの再生信号を量子
化/逆量子化処理部6で逆量子化した係数データをDC
T/逆DCT演算処理部4で逆DCT変換して再生画像
信号を生成し、係数データに基づく変換ブロック毎の動
き検出結果に応じて、ブロックキング・シャフリング/
デブロックキング・デシャフリング処理部2から再生画
像信号として静止画ブロックはフレームで出力し、動画
ブロックは片フィールドを2回出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、静止画の記録再生
を行う画像記録再生装置及び画像記録再生方法に関す
る。
【0002】
【従来の技術】従来、画像データをデジタル的に記録/
再生するデジタルビデオテープレコーダでは、記録系に
おいて、撮像装置からの画像信号あるいは他の画像入力
信号をランダムアクセスメモリ(RAM:Random Access Mem
ory)に1フレーム分蓄えて、このRAM上で1フレーム
分の画像データを8画素×8画素のブロックに分割し、
所定数ブロックを単位としてシャフリング処理を施して
から、直交変換例えば離散余弦変換(DCT: Discrete Cos
ine Transform)して量子化することにより1フレーム分
の画像データに圧縮処理を施す。そして、圧縮処理の施
された画像データをフレーミングして、RAM上で上記
シャフリング処理とは逆のデシャフリング処理を施して
元の配列に戻してから、エラー訂正用の外符号と内符号
を付加し、記録に適した符号化処理を施してビデオテー
プに記録するようにしている。
【0003】また、再生系では、ビデオテープからの再
生信号に上記符号化処理とは逆の復号化処理を施すこと
により得られる再生データに外符号と内符号を用いてR
AM上でエラー訂正処理を施してからシャフリング処理
を施す。さらに、シャフリング処理の施された再生デー
タをデフレーミングしてから、逆量子化して逆直交変換
することにより1フレーム分の再生データに伸張処理を
施す。そして、伸張処理の施された1フレーム分の再生
データをRAM上で上記シャフリング処理とは逆のデシ
ャフリング処理を施し、さらにデブロッキング処理によ
って、元の画素配列の画像データを再生するようにして
いる。
【0004】
【発明が解決しようとする課題】ところで、NTSC(N
ational Television Systems Committee) 方式やPAL
(Phase Alternation by Line) 方式などの標準テレビジ
ョン方式に準拠した画像信号はインターレース信号であ
り、上述の如き従来のデジタルビデオテープレコーダで
は、画像入力信号をシャフリング処理あるいはデシャフ
リング処理用のRAMに静止画として蓄積し、その静止
画をそのままフレームの連続画として記録再生すると、
再生時に、動き量の大きい部分がフィールド周期のブレ
となってしまう。
【0005】しかし、上記フィールド周期のブレを発生
させないように、片フィールド×2を1フレームとして
記録したのでは、垂直方向の解像度が低下してしまう。
【0006】また、RAMに1フレーム分の画像データ
を蓄えて、フレーム内での動き量を求め、動き量の小さ
い部分がそのままフレームで出力し、動きの多い部分は
片方のフィールドを2回出力する処理を施す専用の静止
画処理部を記録系に設けることにより、ブレのない静止
画を記録することができ、どのような再生装置でも同様
の高品位の静止画を再生可能になるのであるが、専用の
静止画処理部と、この静止画処理部による処理のために
画像データを蓄えるRAMを記録系に設ける必要がり、
記録系の回路規模が膨大なものになってしまう。
【0007】本発明の目的は、上述の如き従来のデジタ
ルビデオテープレコーダにおける問題点に鑑み、専用の
静止画処理部やこの静止画処理部による処理のために画
像データを蓄えるRAMを必要とすることなく、高品位
の静止画を記録再生することができるようにした画像記
録再生装置及び画像記録再生方法を提供することにあ
る。
【0008】
【課題を解決するための手段】本発明に係る画像記録再
生装置は、画像入力信号を全てフレームの連続画として
2次元配列された所定画素数を単位とする変換ブロック
毎に直交変換し、その直交変換係数データを量子化して
記録媒体に記録する記録系と、記録媒体から再生した再
生信号を逆量子化して得られる直交変換係数データを逆
直交変換して再生画像信号を生成するとともに、直交変
換係数データに基づいて変換ブロック毎の動き検出を行
い、その動き検出結果に基づいて、静止画ブロックと検
出された変換ブロックの再生画像信号はフレームで出力
し、動画ブロックと検出された変換ブロックの再生画像
信号は片フィールドを2回出力する再生系とを備えるこ
とを特徴とする。
【0009】本発明に係る画像記録再生装置において、
上記記録系は、動画記録モードと静止画記録モードの2
つ種類の記録動作モードを有し、静止画記録モード時に
上記量子化した直交変換係数データを記録動作モードを
示すフラグとともに記録媒体に記録し、上記再生系は、
上記フラグに応じて静止画再生モードを設定し、上記動
き検出を行い、その動き検出結果に基づいて、静止画ブ
ロックと検出された変換ブロックの再生画像信号はフレ
ームで出力し、動画ブロックと検出された変換ブロック
の再生画像信号は片フィールドを2回出力する処理を行
う。
【0010】また、本発明に係る画像記録再生装置にお
いて、上記再生系は、例えば、逆量子化により得られた
直交変換係数データの各係数の分布から算出した値と予
め設定した閾値との比較により変換ブロック毎に動き検
出を行う動き検出手段を備える。
【0011】また、本発明に係る画像記録再生装置にお
いて、上記再生系は、例えば、上記動き検出手段による
検出結果に基づいて、静止画ブロックと検出された変換
ブロックを含むマクロブロックの再生画像信号はフレー
ムで出力する処理を行う。
【0012】さらに、本発明に係る画像記録再生装置に
おいて、上記再生系は、例えば、上記動き検出手段によ
る検出結果に基づいて、静止画ブロックと検出された変
換ブロックを含むマクロブロックの上下左右に位置する
マクロブロックの再生画像信号もフレームで出力する処
理を行う。
【0013】本発明に係る画像記録再生方法は、記録時
には、画像入力信号を全てフレームの連続画として2次
元配列された所定画素数を単位とする変換ブロック毎に
直交変換し、その直交変換係数データを量子化して記録
媒体に記録し、再生時には、記録媒体から再生した再生
信号を逆量子化して得られる直交変換係数データを逆直
交変換して再生画像信号を生成するとともに、直交変換
係数データに基づいて変換ブロック毎の動き検出を行
い、その動き検出結果に基づいて、静止画ブロックと検
出された変換ブロックの再生画像信号はフレームで出力
し、動画ブロックと検出された変換ブロックの再生画像
信号は片フィールドを2回出力することを特徴とする。
【0014】本発明に係る画像記録再生方法では、例え
ば、記録時に、量子化した直交変換係数データを記録モ
ードを示すフラグとともに記録媒体に記録し、再生時
に、上記フラグに応じて上記動き検出を行い、その動き
検出結果に基づいて、静止画ブロックと検出された変換
ブロックの再生画像信号はフレームで出力し、動画ブロ
ックと検出された変換ブロックの再生画像信号は片フィ
ールドを2回出力する。
【0015】また、本発明に係る画像記録再生方法で
は、例えば、再生時に逆量子化により得られた直交変換
係数データの各係数の分布から算出した値と予め設定し
た閾値との比較により変換ブロック毎に動き検出を行
う。
【0016】また、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、静止画ブ
ロックと検出された変換ブロックを含むマクロブロック
の再生画像信号はフレームで出力する。
【0017】更に、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、静止画ブ
ロックと検出された変換ブロックを含むマクロブロック
の上下左右に位置するマクロブロックの再生画像信号も
フレームで出力する。
【0018】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
【0019】本発明を適用した画像記録再生装置の構成
を図1に示す。この図1に示した画像記録再生装置は、
IEEE(The International of Electrical and Elect
ronics Engineers,Inc.)1394ハイ・パフォーマンス
・シリアル・バスによるデジタル画像信号の同期・非同
期通信が可能なDVCRに本発明を適用したもので、ベ
ースバンド信号処理部1に接続されたブロックキング・
シャフリング/デブロックキング・デシャフリング処理
部2、このブロックキング・シャフリング/デブロック
キング・デシャフリング処理部2に接続されたランダム
アクセスメモリ(RAM:Random Access Memory)3及びDC
T/逆DCT演算処理部4、このDCT/逆DCT演算
処理部4に接続された量子化/逆量子化処理部5、この
量子化/逆量子化処理部5に接続されたフレーミング/
デフレーミング処理部6、このフレーミング/デフレー
ミング処理部6に接続されたデシャフリング/シャフリ
ング処理部7、このデシャフリング/シャフリング処理
部7に接続されたランダムアクセスメモリ(RAM:Random
Access Memory)8、オーディオインターフェース9、I
EEE1394インターフェース10及び記録符号化/
再生復号化処理部11を備えてなる。
【0020】先ず、この画像記録再生装置における記録
系の構成及び動作について説明する。
【0021】すなわち、この画像記録再生装置では、記
録時に撮像装置からの画像信号あるいは他の画像入力信
号がベースバンド信号処理部1を介してブロックキング
・シャフリング/デブロックキング・デシャフリング処
理部2に供給され、記録する1フレーム分の画像入力信
号がRAM3に蓄えられる。静止画記録モード時には、
上記RAM3に1フレーム分の画像入力信号すなわち静
止画の画像データが蓄えられると、それ以降、その静止
画のフレームの連続画が次段に転送される。
【0022】上記ブロックキング・シャフリング/デブ
ロックキング・デシャフリング処理部2は、上記RAM
上で1フレーム分の画像データを8画素×8画素のブロ
ックに分割し、所定数ブロックを単位としてシャフリン
グ処理を施し、シャフリング処理済みの画像データをD
CT/逆DCT演算処理部4に与える。
【0023】上記DCT/逆DCT演算処理部4は、上
記ブロックキング・シャフリング/デブロックキング・
デシャフリング処理部2から供給される画像データを離
散余弦変換(DCT: Discrete Cosine Transform)処理を施
すことにより、上記画像データを8画素×8画素のブロ
ック単位で時間軸上の2次元DCT係数データに変換し
て、量子化/逆量子化処理部5に供給する。
【0024】この実施の形態における上記DCT/逆D
CT演算処理部4では、動画記録モード時には、従来と
同様に、8画素×8画素のブロック単位の画像データか
ら動き検出を行い、フィールド間の差が小さいブロック
は8×8のDCTモードで画像データを扱い、フィール
ド間の差の大きいブロックは2×4×8のDCTモード
で画像データを扱うのであるが、静止画記録モード時に
は、1フレーム分の画像データを全て8×8のDCTモ
ードで画像データを扱う。
【0025】また、上記量子化/逆量子化処理部5は、
上記DCT/逆DCT演算処理部4で時間軸上の2次元
DCT係数データに変換された画像データを量子化する
ことにより、圧縮処理を施した画像データを生成する。
【0026】また、上記フレーミング/デフレーミング
処理部6は、上記量子化/逆量子化処理部5から供給さ
れる画像データをフレーミングして、上記デシャフリン
グ/シャフリング処理部7に供給する。
【0027】上記デシャフリング/シャフリング処理部
7は、上記フレーミング/デフレーミング処理部6から
供給される画像データをRAM8に蓄積し、このRAM
8上で上記ブロックキング・シャフリング/デブロック
キング・デシャフリング処理部2によるシャフリング処
理とは逆のデシャフリング処理を画像データに施す。そ
して、このデシャフリング/シャフリング処理部7は、
上記デシャフリング処理により元の配列に戻した画像デ
ータ(Video data)に付加データ(VAUX:Video auxiliary)
とともにエラー訂正用のECC(ECC:Error Check and C
orrection)ブロック単位で外符号(Outer parity)を付加
して、記録符号化/再生復号化処理部11に供給する。
さらに、このデシャフリング/シャフリング処理部7
は、オーディオインターフェース9を介して入力される
オーディオデータもECCブロック単位で外符号を付加
して、記録符号化/再生復号化処理部11に供給する。
【0028】そして、上記記録符号化/再生復号化処理
部11は、上記デシャフリング/シャフリング処理部7
から供給されるECCブロック単位の画像データやオー
ディオデータにさらにエラー訂正用の内符号(Inner par
ity)を付加し、さらに、記録に適した符号化処理を施る
ことにより記録信号を生成し、この記録信号を図示しな
い記録/再生部を介してビデオテープに記録する。
【0029】ここで、この画像記録再生装置では、上記
画像データ(Video data)とともにECCブロックを構成
する付加データVAUXとして、図2に示すように、パ
ック・ヘッダ(PC0)とパック・データ(PC1〜C
4)とからなるパック構造のシステム・データを記録す
る。パック・ヘッダ(PC0)が「0110001」の
付加データVAUXは、SOURCE_CONTROLパックであっ
て、そのパック・データ(PC3)によりFF(Frame/F
ield)フラグ、FS(First/Second)フラグ、FC(Frame
change flag)フラグ、IL(Interlace )フラグ、ST(S
till-field picture)フラグ、SC(Still camera pictu
re)フラグを与える。上記FFフラグは、1フレーム期
間に一方のフィールドのみを2回出力する(FF=0)
か1フレーム期間に両方のフィールドを出力する(FF
=1)かを示す。また、上記FSフラグは、第1フィー
ルドを出力する(FS=0)か第2フィールドを出力す
る(FS=1)かを示す。また、上記FCフラグは、現
フレームが直前のフレームと同じ画像である(FC=
0)か異なる画像である(FC=1)かを示す。また、
上記ILフラグは、1フレームを構成する2つのフィー
ルドのデータがインタレースされている(IL=1)か
否(IL=0)かを示す。また、上記STフラグは、フ
レーム内の2つのフィールド間の時間距離が略0秒であ
る(ST=0)か、525−60システム又は625−
50システムのおけるフィールド期間に相当している
(ST=1)かを示す。さらに、上記SCフラグは、ス
チルカメラによる画像である(SC=0)か否(SC=
1)かを示す。
【0030】そして、この実施の形態において、上記S
Tフラグは、フレーム内の2つのフィールド間の時間距
離が略0秒すなわち静止画をST=0にて示し、525
−60システム又は625−50システムのおけるフィ
ールド期間に相当する時間距離の動画をST=1にて示
すフラグであるが、静止画記録モードでは、静止画のデ
ータ部分の付加データVAUXのSOURCE_CONTROLパック
のSTフラグを「1」にして記録を行う。
【0031】なお、この画像記録再生装置では、静止画
の画像データを上記デシャフリング/シャフリング処理
部7のRAM8に蓄積した後、上記ブロックキング・シ
ャフリング/デブロックキング・デシャフリング処理部
2の書き込み/読み出しの方向を逆にして、RAM3の
画像データを上記ベースバンド信号処理部1に出力する
ことにより、記録時に、記録している静止画を電子ビュ
ーファインダや映像出力からモニタすることができる。
【0032】次に、この画像記録再生装置における再生
系の構成及び動作について説明する。
【0033】すなわち、この画像記録再生装置では、再
生時に、図示しない記録/再生部を介してビデオテープ
から再生された再生信号が記録符号化/再生復号化処理
部11に供給される。
【0034】上記記録符号化/再生復号化処理部11
は、記録時の符号化処理に対応する復号化処理を再生信
号に施して再生データを生成し、さらに、内符号(Inner
parity)によるエラー訂正処理を再生データに施して、
エラー訂正処理済みの再生データをデシャフリング/シ
ャフリング処理部7に供給する。
【0035】上記デシャフリング/シャフリング処理部
7は、上記記録符号化/再生復号化処理部11から供給
される再生データをRAM8に蓄積し、このRAM8上
で外符号(Outer parity)によるエラー訂正処理をECC
ブロック単位の再生データに施す。上記エラー訂正処理
の施された再生データの内の再生オーディオデータは、
オーディオインターフェース9を介して出力される。さ
らに、このデシャフリング/シャフリング処理部7は、
記録時における上記ブロックキング・シャフリング/デ
ブロックキング・デシャフリング処理部2と同様なシャ
フリング処理を再生画像データに施し、シャフリング処
理済みの再生画像データをフレーミング/デフレーミン
グ処理部6に供給する。
【0036】上記フレーミング/デフレーミング処理部
6は、上記デシャフリング/シャフリング処理部7から
供給される再生画像データをデフレーミングして、量子
化/逆量子化処理部5に供給する。ここで、このフレー
ミング/デフレーミング処理部6により得られる再生画
像データは、記録時に上記DCT/逆DCT演算処理部
4で時間軸上の2次元DCT係数データに変換された画
像データを上記量子化/逆量子化処理部5で量子化した
データに対応している。
【0037】上記量子化/逆量子化処理部5は、上記フ
レーミング/デフレーミング処理部6により得られる再
生画像データを逆量子化することにより、時間軸上の2
次元DCT係数データを再生してDCT/逆DCT演算
処理部4に供給する。
【0038】ここで、この実施の形態における画像記録
再生装置では、再生時に、上記画像データ(Video data)
とともにECCブロックを構成する付加データVAUX
として記録されている静止画のデータ部分の付加データ
VAUXのSOURCE_CONTROLパックのSTフラグに基づい
て、動作モードが切り換えられ、STフラグが「1」の
ときに静止画再生モードに切り換えられる。そして、静
止画再生モードでは、1フレーム分の画像データを全て
8×8のDCTモードで画像データを扱い、上記フレー
ミング/デフレーミング処理部6から8×8の時間軸上
の2次元DCT係数データをDCT/逆DCT演算処理
部4に供給する。
【0039】上記DCT/逆DCT演算処理部4は、図
3に示すように、逆DCT演算部41、動き検出部42
とORゲート43を備え、上記8×8の時間軸上の2次
元DCT係数データを逆DCT演算部41により逆DC
T変換して画像データを出力するとともに、そのDCT
ブロックが動画ブロックであるか静止画ブロックである
かを上記2次元DCT係数データに基づいて検出する所
謂動き検出を動き検出部42により行って動き検出フラ
グMOTをORゲート43を介して出力するようになっ
ている。
【0040】ここで、図4の(a),(b)に静止画と
動画のDCT係数の分布状態を示してあるように、動画
部分は、フィールド間の差が大きくなるため、静止画部
分と比較して垂直方向の高域係数が低下する傾向にあ
る。上記動き検出部42では、この傾向を利用して、角
形数の分布から求めた係数の総和やピーク値等を予め設
定した閾値と比較することで動き検出を行うことができ
る。
【0041】例えば図5に示すようなDCT係数C00
77を持つ場合の動き検出は、
【0042】
【数1】
【0043】により行う。すなわち、次の3つの条件を
同時に満たすときに動きと判定する。
【0044】(1) C70〜C77までの係数の絶対値の総和
が閾値A以上。
【0045】(2) C70〜C77までの係数で、絶対値の最
大差が閾値B以上。
【0046】(3) C10の絶対値よりC50,C60,C70
絶対値の和が大きい。
【0047】そして、上記DCT/逆DCT演算処理部
4により時間軸上の2次元DCT係数データを逆DCT
変換して得られる画像データは、そのDCTブロックが
動画ブロックであるか静止画ブロックであるかを示す動
き検出フラグMOTとともにブロックキング・シャフリ
ング/デブロックキング・デシャフリング処理部2に供
給される。
【0048】上記ブロックキング・シャフリング/デブ
ロックキング・デシャフリング処理部2は、上記DCT
/逆DCT演算処理部4から供給される画像データを1
フレーム分の画像データをRAM3に蓄積し、このRA
M3上で上記シャフリング/デシャフリング処理部7に
よるシャフリング処理とは逆のデシャフリング処理を画
像データに施す。そして、このデシャフリング/シャフ
リング処理部7は、上記デシャフリング処理により元の
配列に戻した画像データの出力が動き検出フラグMOT
により制御され、静止画ブロック部の画像データはその
ままのフレームでベースバンド信号処理部1を介して出
力し、動画ブロック部分の画像データは片フィールド×
2で上記ベースバンド信号処理部1を介して出力する。
【0049】このように、この実施の形態における画像
記録再生装置では、再生時に、RAMに1フレーム分の
画像データを蓄えて、フレーム内での動き量を求め、動
き量の小さい部分がそのままフレームで出力し、動きの
多い部分は片方のフィールドを2回出力することがで
き、専用の静止画処理部を必要とすることなく、高画質
の静止画を記録再生することができる。
【0050】なお、動画ブロック部分の画像データを片
フィールド×2で出力する際には、図3に示してあるよ
うに、上記ブロックキング・シャフリング/デブロック
キング・デシャフリング処理部2からスチルフィルタ1
4を介して動画ブロック部分の画像データを片フィール
ド×2でベースバンド信号処理部1に出力するようにし
て、上記スチルフィルタ14でラインフリッカを抑制す
ることによって、更に画質を向上させることができる。
【0051】ここで、DCT係数による動き検出のみで
は、動き検出の漏れすなわち動きがあるにも拘わらず静
止画のブロックである検出される虞があるので、さら
に、次のようなような処理を行うようにしても良い。
【0052】(a) 図6の(A),(B)に網掛け処理を
施して示すように、動画ブロックと検出されたDCTブ
ロックを含むマクロブロックは、他のDCTブロックも
全て動きブロックとする。
【0053】(b) 図7の(A),(B)に網掛け処理を
施して示すように、動画ブロックと検出されたDCTブ
ロックを含むマクロブロックの上下左右に位置するマク
ロブロックも全て動きブロックとする。
【0054】これらの処理は上記ブロックキング・シャ
フリング/デブロックキング・デシャフリング処理部2
で行うことができる。
【0055】
【発明の効果】以上のように、本発明に係る画像記録再
生装置では、記録系において、画像入力信号を全てフレ
ームの連続画として2次元配列された所定画素数を単位
とする変換ブロック毎に直交変換し、その直交変換係数
データを量子化して記録媒体に記録し、再生系におい
て、記録媒体から再生した再生信号を逆量子化して得ら
れる直交変換係数データを逆直交変換して再生画像信号
を生成するとともに、直交変換係数データに基づいて変
換ブロック毎の動き検出を行い、その動き検出結果に基
づいて、静止画ブロックと検出された変換ブロックの再
生画像信号はフレームで出力し、動画ブロックと検出さ
れた変換ブロックの再生画像信号は片フィールドを2回
出力するので、専用の静止画処理部を必要とすることな
く、高画質の静止画を記録再生することができる。
【0056】本発明に係る画像記録再生装置では、上記
記録系において、静止画記録モード時に上記量子化した
直交変換係数データを記録動作モードを示すフラグとと
もに記録媒体に記録するので、上記再生系において、上
記フラグに応じて静止画再生モードを設定し、上記動き
検出を行い、その動き検出結果に基づいて、静止画ブロ
ックと検出された変換ブロックの再生画像信号はフレー
ムで出力し、動画ブロックと検出された変換ブロックの
再生画像信号は片フィールドを2回出力する処理を行う
ことができる。これにより、動画記録モードと静止画記
録モードの2つ種類の記録動作モードを有する記録系を
用いて、専用の静止画処理部を必要とすることなく、高
画質の静止画を記録再生することができる。
【0057】また、本発明に係る画像記録再生装置で
は、上記再生系において、例えば、逆量子化により得ら
れた直交変換係数データの各係数の分布から算出した値
と予め設定した閾値との比較により変換ブロック毎に動
き検出を行うことができる。
【0058】また、本発明に係る画像記録再生装置で
は、上記再生系において、例えば、上記動き検出の結果
に基づいて、静止画ブロックと検出された変換ブロック
を含むマクロブロックの再生画像信号はフレームで出力
することにより、動き検出の誤りによる画質の低下を防
止して、高画質の静止画を記録再生することができる。
【0059】さらに、本発明に係る画像記録再生装置で
は、上記再生系において、例えば、上記動き検出の結果
に基づいて、静止画ブロックと検出された変換ブロック
を含むマクロブロックの上下左右に位置するマクロブロ
ックの再生画像信号もフレームで出力することにより、
動き検出の誤りによる画質の低下を確実に防止して、高
画質の静止画を記録再生することができる。
【0060】本発明に係る画像記録再生方法では、記録
時に、画像入力信号を全てフレームの連続画として2次
元配列された所定画素数を単位とする変換ブロック毎に
直交変換し、その直交変換係数データを量子化して記録
媒体に記録し、再生時に、記録媒体から再生した再生信
号を逆量子化して得られる直交変換係数データを逆直交
変換して再生画像信号を生成するとともに、直交変換係
数データに基づいて変換ブロック毎の動き検出を行い、
その動き検出結果に基づいて、静止画ブロックと検出さ
れた変換ブロックの再生画像信号はフレームで出力し、
動画ブロックと検出された変換ブロックの再生画像信号
は片フィールドを2回出力することにより、専用の静止
画処理部を必要とすることなく、高画質の静止画を記録
再生することができる。
【0061】また、本発明に係る画像記録再生方法で
は、例えば、記録時に、量子化した直交変換係数データ
を記録モードを示すフラグとともに記録媒体に記録し、
再生時に、上記フラグに応じて上記動き検出を行い、そ
の動き検出結果に基づいて、静止画ブロックと検出され
た変換ブロックの再生画像信号はフレームで出力し、動
画ブロックと検出された変換ブロックの再生画像信号は
片フィールドを2回出力することにより、複数の記録モ
ードを有する場合にも、専用の静止画処理部を必要とす
ることなく、高画質の静止画を記録再生することができ
る。
【0062】また、本発明に係る画像記録再生方法で
は、例えば、再生時に逆量子化により得られた直交変換
係数データの各係数の分布から算出した値と予め設定し
た閾値との比較により変換ブロック毎に動き検出を行う
ことができる。
【0063】また、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、静止画ブ
ロックと検出された変換ブロックを含むマクロブロック
の再生画像信号はフレームで出力することにより、動き
検出の誤りによる画質の低下を防止して、高画質の静止
画を記録再生することができる。
【0064】さらに、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、静止画ブ
ロックと検出された変換ブロックを含むマクロブロック
の上下左右に位置するマクロブロックの再生画像信号も
フレームで出力することにより、動き検出の誤りによる
画質の低下を確実に防止して、高画質の静止画を記録再
生することができる。
【図面の簡単な説明】
【図1】本発明に係る画像記録再生装置の構成を示すブ
ロック図である。
【図2】上記画像記録再生装置において記録再生する画
像データとともにECCブロックを構成する付加データ
VAUXの構成を示す図である。
【図3】上記画像記録再生装置におけるDCT/逆DC
T演算処理部の再生側での構成を示すブロック図であ
る。
【図4】静止画と動画のDCT係数の分布状態の一例を
示す図である。
【図5】上記DCT/逆DCT演算処理部における動き
検出部で動き検出に用いるDCT係数の一例を示す図で
ある。
【図6】上記画像記録再生装置で記録再生する画像デー
タのマクロブロックを示す図である。
【図7】マクロブロックの拡張例を示す図である。
【符号の説明】
1 ベースバンド信号処理部、2 ブロックキング・シ
ャフリング/デブロックキング・デシャフリング処理
部、3 RAM、4 DCT/逆DCT演算処理部、5
量子化/逆量子化処理部、6 フレーミング/デフレ
ーミング処理部、7 デシャフリング/シャフリング処
理部、8 RAM、9 オーディオインターフェース、
10 IEEE1394インターフェース、11 記録
符号化/再生復号化処理部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成9年7月28日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 画像記録再生装置及び画像記録再生方
【特許請求の範囲】
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、静止画の記録再生
を行う画像記録再生装置及び画像記録再生方法に関す
る。
【0002】
【従来の技術】従来、画像データをデジタル的に記録/
再生するデジタルビデオテープレコーダでは、記録系に
おいて、撮像装置からの画像信号あるいは他の画像入力
信号をランダムアクセスメモリ(RAM:Random Access Mem
ory)に1フレーム分蓄えて、このRAM上で1フレーム
分の画像データを8画素×8画素のブロックに分割し、
所定数ブロックを単位としてシャフリング処理を施して
から、直交変換例えば離散余弦変換(DCT: Discrete Cos
ine Transform)して量子化することにより1フレーム分
の画像データに圧縮処理を施す。そして、圧縮処理の施
された画像データをフレーミングして、RAM上で上記
シャフリング処理とは逆のデシャフリング処理を施して
元の配列に戻してから、エラー訂正用の外符号と内符号
を付加し、記録に適した符号化処理を施してビデオテー
プに記録するようにしている。
【0003】また、再生系では、ビデオテープからの再
生信号に上記符号化処理とは逆の復号化処理を施すこと
により得られる再生データに外符号と内符号を用いてR
AM上でエラー訂正処理を施してからシャフリング処理
を施す。さらに、シャフリング処理の施された再生デー
タをデフレーミングしてから、逆量子化して逆直交変換
することにより1フレーム分の再生データに伸張処理を
施す。そして、伸張処理の施された1フレーム分の再生
データをRAM上で上記シャフリング処理とは逆のデシ
ャフリング処理を施し、さらにデブロッキング処理によ
って、元の画素配列の画像データを再生するようにして
いる。
【0004】
【発明が解決しようとする課題】ところで、NTSC(N
ational Television Systems Committee) 方式やPAL
(Phase Alternation by Line) 方式などの標準テレビジ
ョン方式に準拠した画像信号はインターレース信号であ
り、上述の如き従来のデジタルビデオテープレコーダで
は、画像入力信号をシャフリング処理あるいはデシャフ
リング処理用のRAMに静止画として蓄積し、その静止
画をそのままフレームの連続画として記録再生すると、
再生時に、動き量の大きい部分がフィールド周期のブレ
となってしまう。
【0005】しかし、上記フィールド周期のブレを発生
させないように、片フィールド×2を1フレームとして
記録したのでは、垂直方向の解像度が低下してしまう。
【0006】また、RAMに1フレーム分の画像データ
を蓄えて、フレーム内での動き量を求め、動き量の小さ
い部分がそのままフレームで出力し、動きの多い部分は
片方のフィールドを2回出力する処理を施す専用の静止
画処理部を記録系に設けることにより、ブレのない静止
画を記録することができ、どのような再生装置でも同様
の高品位の静止画を再生可能になるのであるが、専用の
静止画処理部と、この静止画処理部による処理のために
画像データを蓄えるRAMを記録系に設ける必要があ
り、記録系の回路規模が膨大なものになってしまう。
【0007】本発明の目的は、上述の如き従来のデジタ
ルビデオテープレコーダにおける問題点に鑑み、専用の
静止画処理部やこの静止画処理部による処理のために画
像データを蓄えるRAMを必要とすることなく、高品位
の静止画を記録再生することができるようにした画像記
録再生装置及び画像記録再生方法を提供することにあ
る。
【0008】
【課題を解決するための手段】本発明に係る画像記録再
生装置は、画像入力信号を全てフレームの連続画として
2次元配列された所定画素数を単位とする変換ブロック
毎に直交変換し、その直交変換係数データを量子化して
記録媒体に記録する記録系と、記録媒体から再生した再
生信号を逆量子化して得られる直交変換係数データを逆
直交変換して再生画像信号を生成するとともに、直交変
換係数データに基づいて変換ブロック毎の動き検出を行
い、その動き検出結果に基づいて、静止画ブロックと検
出された変換ブロックの再生画像信号はフレームで出力
し、動画ブロックと検出された変換ブロックの再生画像
信号は片フィールドを2回出力する再生系とを備えるこ
とを特徴とする。
【0009】本発明に係る画像記録再生装置において、
上記記録系は、動画記録モードと静止画記録モードの2
つ種類の記録動作モードを有し、静止画記録モード時に
上記量子化した直交変換係数データを記録動作モードを
示すフラグとともに記録媒体に記録し、上記再生系は、
上記フラグに応じて静止画再生モードを設定し、上記動
き検出を行い、その動き検出結果に基づいて、静止画ブ
ロックと検出された変換ブロックの再生画像信号はフレ
ームで出力し、動画ブロックと検出された変換ブロック
の再生画像信号は片フィールドを2回出力する処理を行
う。
【0010】また、本発明に係る画像記録再生装置にお
いて、上記再生系は、例えば、逆量子化により得られた
直交変換係数データの各係数の分布から算出した値と予
め設定した閾値との比較により変換ブロック毎に動き検
出を行う動き検出手段を備える。
【0011】また、本発明に係る画像記録再生装置にお
いて、上記再生系は、例えば、上記動き検出手段による
検出結果に基づいて、動画ブロックと検出された変換ブ
ロックを含むマクロブロックの再生画像信号は片フィー
ルドを2回出力する処理を行う。
【0012】さらに、本発明に係る画像記録再生装置に
おいて、上記再生系は、例えば、上記動き検出手段によ
る検出結果に基づいて、動画ブロックと検出された変換
ブロックを含むマクロブロックの上下左右に位置するマ
クロブロックの再生画像信号も片フィールドを2回出力
する処理を行う。
【0013】本発明に係る画像記録再生方法は、記録時
には、画像入力信号を全てフレームの連続画として2次
元配列された所定画素数を単位とする変換ブロック毎に
直交変換し、その直交変換係数データを量子化して記録
媒体に記録し、再生時には、記録媒体から再生した再生
信号を逆量子化して得られる直交変換係数データを逆直
交変換して再生画像信号を生成するとともに、直交変換
係数データに基づいて変換ブロック毎の動き検出を行
い、その動き検出結果に基づいて、静止画ブロックと検
出された変換ブロックの再生画像信号はフレームで出力
し、動画ブロックと検出された変換ブロックの再生画像
信号は片フィールドを2回出力することを特徴とする。
【0014】本発明に係る画像記録再生方法では、例え
ば、記録時に、量子化した直交変換係数データを記録モ
ードを示すフラグとともに記録媒体に記録し、再生時
に、上記フラグに応じて上記動き検出を行い、その動き
検出結果に基づいて、静止画ブロックと検出された変換
ブロックの再生画像信号はフレームで出力し、動画ブロ
ックと検出された変換ブロックの再生画像信号は片フィ
ールドを2回出力する。
【0015】また、本発明に係る画像記録再生方法で
は、例えば、再生時に逆量子化により得られた直交変換
係数データの各係数の分布から算出した値と予め設定し
た閾値との比較により変換ブロック毎に動き検出を行
う。
【0016】また、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、動画ブロ
ックと検出された変換ブロックを含むマクロブロックの
再生画像信号は片フィールドを2回出力する。
【0017】更に、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、動画ブロ
ックと検出された変換ブロックを含むマクロブロックの
上下左右に位置するマクロブロックの再生画像信号も片
フィールドを2回出力する。
【0018】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
【0019】本発明を適用した画像記録再生装置の構成
を図1に示す。この図1に示した画像記録再生装置は、
IEEE(The International of Electrical and Elect
ronics Engineers,Inc.)1394ハイ・パフォーマンス
・シリアル・バスによるデジタル画像信号の同期・非同
期通信が可能なDVCRに本発明を適用したもので、ベ
ースバンド信号処理部1に接続されたブロッキング・シ
ャフリング/デブロッキング・デシャフリング処理部
2、このブロッキング・シャフリング/デブロッキング
・デシャフリング処理部2に接続されたランダムアクセ
スメモリ(RAM:Random Access Memory)3及びDCT/逆
DCT演算処理部4、このDCT/逆DCT演算処理部
4に接続された量子化/逆量子化処理部5、この量子化
/逆量子化処理部5に接続されたフレーミング/デフレ
ーミング処理部6、このフレーミング/デフレーミング
処理部6に接続されたデシャフリング/シャフリング処
理部7、このデシャフリング/シャフリング処理部7に
接続されたランダムアクセスメモリ(RAM:Random Access
Memory)8、オーディオインターフェース9、IEEE
1394インターフェース10及び記録符号化/再生復
号化処理部11を備えている。
【0020】先ず、この画像記録再生装置における記録
系の構成及び動作について説明する。
【0021】すなわち、この画像記録再生装置では、記
録時に撮像装置からの画像信号あるいは他の画像入力信
号がベースバンド信号処理部1を介してブロッキング・
シャフリング/デブロッキング・デシャフリング処理部
2に供給され、記録する1フレーム分の画像入力信号が
RAM3に蓄えられる。静止画記録モード時には、上記
RAM3に1フレーム分の画像入力信号すなわち静止画
の画像データが蓄えられると、それ以降、その静止画の
フレームの連続画が次段に転送される。
【0022】上記ブロッキング・シャフリング/デブロ
ッキング・デシャフリング処理部2は、上記RAM上で
1フレーム分の画像データを8画素×8画素のブロック
に分割し、所定数ブロックを単位としてシャフリング処
理を施し、シャフリング処理済みの画像データをDCT
/逆DCT演算処理部4に与える。
【0023】上記DCT/逆DCT演算処理部4は、上
記ブロッキング・シャフリング/デブロッキング・デシ
ャフリング処理部2から供給される画像データを離散余
弦変換(DCT: Discrete Cosine Transform)処理を施すこ
とにより、上記画像データを8画素×8画素のブロック
単位で時間軸上の2次元DCT係数データに変換して、
量子化/逆量子化処理部5に供給する。
【0024】この実施の形態における上記DCT/逆D
CT演算処理部4では、動画記録モード時には、従来と
同様に、8画素×8画素のブロック単位の画像データか
ら動き検出を行い、フィールド間の差が小さいブロック
は8×8のDCTモードで画像データを扱い、フィール
ド間の差の大きいブロックは2×4×8のDCTモード
で画像データを扱う。
【0025】また、上記量子化/逆量子化処理部5は、
上記DCT/逆DCT演算処理部4で時間軸上の2次元
DCT係数データに変換された画像データを量子化する
ことにより、圧縮処理を施した画像データを生成する。
【0026】また、上記フレーミング/デフレーミング
処理部6は、上記量子化/逆量子化処理部5から供給さ
れる画像データをフレーミングして、上記デシャフリン
グ/シャフリング処理部7に供給する。
【0027】上記デシャフリング/シャフリング処理部
7は、上記フレーミング/デフレーミング処理部6から
供給される画像データをRAM8に蓄積し、このRAM
8上で上記ブロッキング・シャフリング/デブロッキン
グ・デシャフリング処理部2によるシャフリング処理と
は逆のデシャフリング処理を画像データに施す。そし
て、このデシャフリング/シャフリング処理部7は、上
記デシャフリング処理により元の配列に戻した画像デー
タ(Video data)に付加データ(VAUX:Video auxiliary)と
ともにエラー訂正用のECC(ECC:Error Check and Cor
rection)ブロック単位で外符号(Outer parity)を付加し
て、記録符号化/再生復号化処理部11に供給する。さ
らに、このデシャフリング/シャフリング処理部7は、
オーディオインターフェース9を介して入力されるオー
ディオデータもECCブロック単位で外符号を付加し
て、記録符号化/再生復号化処理部11に供給する。
【0028】そして、上記記録符号化/再生復号化処理
部11は、上記デシャフリング/シャフリング処理部7
から供給されるECCブロック単位の画像データやオー
ディオデータにさらにエラー訂正用の内符号(Inner par
ity)を付加し、さらに、記録に適した符号化処理を施す
ことにより記録信号を生成し、この記録信号を図示しな
い記録/再生部を介してビデオテープに記録する。
【0029】ここで、この画像記録再生装置では、上記
画像データ(Video data)とともにECCブロックを構成
する付加データVAUXとして、図2に示すように、パ
ック・ヘッダ(PC0)とパック・データ(PC1〜C
4)とからなるパック構造のシステム・データを記録す
る。パック・ヘッダ(PC0)が「0110001」の
付加データVAUXは、SOURCE_CONTROLパックであっ
て、そのパック・データ(PC3)によりFF(Frame/F
ield)フラグ、FS(First/Second)フラグ、FC(Frame
change flag)フラグ、IL(Interlace )フラグ、ST(S
till-field picture)フラグ、SC(Still camera pictu
re)フラグを与える。上記FFフラグは、1フレーム期
間に一方のフィールドのみを2回出力する(FF=0)
か1フレーム期間に両方のフィールドを出力する(FF
=1)かを示す。また、上記FSフラグは、第1フィー
ルドを出力する(FS=0)か第2フィールドを出力す
る(FS=1)かを示す。また、上記FCフラグは、現
フレームが直前のフレームと同じ画像である(FC=
0)か異なる画像である(FC=1)かを示す。また、
上記ILフラグは、1フレームを構成する2つのフィー
ルドのデータがインタレースされている(IL=1)か
否(IL=0)かを示す。また、上記STフラグは、フ
レーム内の2つのフィールド間の時間距離が略0秒であ
る(ST=0)か、525−60システム又は625−
50システムのおけるフィールド期間に相当している
(ST=1)かを示す。さらに、上記SCフラグは、ス
チルカメラによる画像である(SC=0)か否(SC=
1)かを示す。
【0030】そして、この実施の形態において、上記S
Tフラグは、フレーム内の2つのフィールド間の時間距
離が略0秒すなわち静止画をST=0にて示し、525
−60システム又は625−50システムのおけるフィ
ールド期間に相当する時間距離の動画をST=1にて示
すフラグであるが、静止画記録モードでは、静止画のデ
ータ部分の付加データVAUXのSOURCE_CONTROLパック
のSTフラグを「1」にして記録を行う。
【0031】なお、この画像記録再生装置では、静止画
の画像データを上記デシャフリング/シャフリング処理
部7のRAM8に蓄積した後、上記ブロッキング・シャ
フリング/デブロッキング・デシャフリング処理部2の
書き込み/読み出しの方向を逆にして、RAM3の画像
データを上記ベースバンド信号処理部1に出力すること
により、記録時に、記録している静止画を電子ビューフ
ァインダや映像出力からモニタすることができる。
【0032】次に、この画像記録再生装置における再生
系の構成及び動作について説明する。
【0033】すなわち、この画像記録再生装置では、再
生時に、図示しない記録/再生部を介してビデオテープ
から再生された再生信号が記録符号化/再生復号化処理
部11に供給される。
【0034】上記記録符号化/再生復号化処理部11
は、記録時の符号化処理に対応する復号化処理を再生信
号に施して再生データを生成し、さらに、内符号(Inner
parity)によるエラー訂正処理を再生データに施して、
エラー訂正処理済みの再生データをデシャフリング/シ
ャフリング処理部7に供給する。
【0035】上記デシャフリング/シャフリング処理部
7は、上記記録符号化/再生復号化処理部11から供給
される再生データをRAM8に蓄積し、このRAM8上
で外符号(Outer parity)によるエラー訂正処理をECC
ブロック単位の再生データに施す。上記エラー訂正処理
の施された再生データの内の再生オーディオデータは、
オーディオインターフェース9を介して出力される。さ
らに、このデシャフリング/シャフリング処理部7は、
記録時における上記ブロッキング・シャフリング/デブ
ロッキング・デシャフリング処理部2と同様なシャフリ
ング処理を再生画像データに施し、シャフリング処理済
みの再生画像データをフレーミング/デフレーミング処
理部6に供給する。
【0036】上記フレーミング/デフレーミング処理部
6は、上記デシャフリング/シャフリング処理部7から
供給される再生画像データをデフレーミングして、量子
化/逆量子化処理部5に供給する。ここで、このフレー
ミング/デフレーミング処理部6により得られる再生画
像データは、記録時に上記DCT/逆DCT演算処理部
4で時間軸上の2次元DCT係数データに変換された画
像データを上記量子化/逆量子化処理部5で量子化した
データに対応している。
【0037】上記量子化/逆量子化処理部5は、上記フ
レーミング/デフレーミング処理部6により得られる再
生画像データを逆量子化することにより、時間軸上の2
次元DCT係数データを再生してDCT/逆DCT演算
処理部4に供給する。
【0038】ここで、この実施の形態における画像記録
再生装置では、再生時に、上記画像データ(Video data)
とともにECCブロックを構成する付加データVAUX
として記録されている静止画のデータ部分の付加データ
VAUXのSOURCE_CONTROLパックのSTフラグに基づい
て、動作モードが切り換えられ、STフラグが「1」の
ときに静止画再生モードに切り換えられる。そして、上
記フレーミング/デフレーミング処理部6から2次元D
CT係数データをDCT/逆DCT演算処理部4に供給
する。
【0039】上記DCT/逆DCT演算処理部4は、図
3に示すように、逆DCT演算部41、動き検出部42
とORゲート43を備え、上記8×8の時間軸上の2次
元DCT係数データを逆DCT演算部41により逆DC
T変換して画像データを出力するとともに、そのDCT
ブロックが動画ブロックであるか静止画ブロックである
かを上記2次元DCT係数データに基づいて検出する所
謂動き検出を動き検出部42により行って動き検出フラ
グMOTをORゲート43を介して出力するようになっ
ている。
【0040】ここで、図4の(a),(b)に静止画と
動画のDCT係数の分布状態を示してあるように、動画
部分は、フィールド間の差が大きくなるため、静止画部
分と比較して垂直方向の高域係数が増加する傾向にあ
る。上記動き検出部42では、この傾向を利用して、各
係数の分布から求めた係数の総和やピーク値等を予め設
定した閾値と比較することで動き検出を行うことができ
る。
【0041】例えば図5に示すようなDCT係数C00
77を持つ場合の動き検出は、
【0042】
【数1】
【0043】により行う。すなわち、次の3つの条件を
同時に満たすときに動きと判定する。
【0044】(1) C70〜C77までの係数の絶対値の総和
が閾値A以上。
【0045】(2) C70〜C77までの係数で、絶対値の最
大差が閾値B以上。
【0046】(3) C10の絶対値よりC50,C60,C70
絶対値の和が大きい。
【0047】そして、上記DCT/逆DCT演算処理部
4により時間軸上の2次元DCT係数データを逆DCT
変換して得られる画像データは、そのDCTブロックが
動画ブロックであるか静止画ブロックであるかを示す動
き検出フラグMOTとともにブロッキング・シャフリン
グ/デブロッキング・デシャフリング処理部2に供給さ
れる。
【0048】上記ブロッキング・シャフリング/デブロ
ッキング・デシャフリング処理部2は、上記DCT/逆
DCT演算処理部4から供給される画像データを1フレ
ーム分の画像データをRAM3に蓄積し、このRAM3
上で上記シャフリング/デシャフリング処理部7による
シャフリング処理とは逆のデシャフリング処理を画像デ
ータに施す。そして、このデシャフリング/シャフリン
グ処理部7は、上記デシャフリング処理により元の配列
に戻した画像データの出力が動き検出フラグMOTによ
り制御され、静止画ブロック部の画像データはそのまま
のフレームでベースバンド信号処理部1を介して出力
し、動画ブロック部分の画像データは片フィールド×2
で上記ベースバンド信号処理部1を介して出力する。
【0049】このように、この実施の形態における画像
記録再生装置では、再生時に、RAMに1フレーム分の
画像データを蓄えて、フレーム内での動き量を求め、動
き量の小さい部分がそのままフレームで出力し、動きの
多い部分は片方のフィールドを2回出力することがで
き、専用の静止画処理部を必要とすることなく、高画質
の静止画を記録再生することができる。
【0050】なお、動画ブロック部分の画像データを片
フィールド×2で出力する際には、図3に示してあるよ
うに、上記ブロッキング・シャフリング/デブロッキン
グ・デシャフリング処理部2からスチルフィルタ14を
介して動画ブロック部分の画像データを片フィールド×
2でベースバンド信号処理部1に出力するようにして、
上記スチルフィルタ14でラインフリッカを抑制するこ
とによって、更に画質を向上させることができる。
【0051】ここで、DCT係数による動き検出のみで
は、動き検出の漏れすなわち動きがあるにも拘わらず静
止画のブロックである検出される虞があるので、さら
に、次のようなような処理を行うようにしても良い。
【0052】(a) 図6の(A),(B)に網掛け処理を
施して示すように、動画ブロックと検出されたDCTブ
ロックを含むマクロブロックは、他のDCTブロックも
全て動きブロックとする。
【0053】(b) 図7の(A),(B)に網掛け処理を
施して示すように、動画ブロックと検出されたDCTブ
ロックを含むマクロブロックの上下左右に位置するマク
ロブロックも全て動きブロックとする。
【0054】これらの処理は上記ブロッキング・シャフ
リング/デブロッキング・デシャフリング処理部2で行
うことができる。
【0055】
【発明の効果】以上のように、本発明に係る画像記録再
生装置では、記録系において、画像入力信号を全てフレ
ームの連続画として2次元配列された所定画素数を単位
とする変換ブロック毎に直交変換し、その直交変換係数
データを量子化して記録媒体に記録し、再生系におい
て、記録媒体から再生した再生信号を逆量子化して得ら
れる直交変換係数データを逆直交変換して再生画像信号
を生成するとともに、直交変換係数データに基づいて変
換ブロック毎の動き検出を行い、その動き検出結果に基
づいて、静止画ブロックと検出された変換ブロックの再
生画像信号はフレームで出力し、動画ブロックと検出さ
れた変換ブロックの再生画像信号は片フィールドを2回
出力するので、専用の静止画処理部を必要とすることな
く、高画質の静止画を記録再生することができる。
【0056】本発明に係る画像記録再生装置では、上記
記録系において、静止画記録モード時に上記量子化した
直交変換係数データを記録動作モードを示すフラグとと
もに記録媒体に記録するので、上記再生系において、上
記フラグに応じて静止画再生モードを設定し、上記動き
検出を行い、その動き検出結果に基づいて、静止画ブロ
ックと検出された変換ブロックの再生画像信号はフレー
ムで出力し、動画ブロックと検出された変換ブロックの
再生画像信号は片フィールドを2回出力する処理を行う
ことができる。これにより、動画記録モードと静止画記
録モードの2つ種類の記録動作モードを有する記録系を
用いて、専用の静止画処理部を必要とすることなく、高
画質の静止画を記録再生することができる。
【0057】また、本発明に係る画像記録再生装置で
は、上記再生系において、例えば、逆量子化により得ら
れた直交変換係数データの各係数の分布から算出した値
と予め設定した閾値との比較により変換ブロック毎に動
き検出を行うことができる。
【0058】また、本発明に係る画像記録再生装置で
は、上記再生系において、例えば、上記動き検出の結果
に基づいて、動画ブロックと検出された変換ブロックを
含むマクロブロックの再生画像信号は片フィールドを2
回出力することにより、動き検出の誤りによる画質の低
下を防止して、高画質の静止画を記録再生することがで
きる。
【0059】さらに、本発明に係る画像記録再生装置で
は、上記再生系において、例えば、上記動き検出の結果
に基づいて、動画ブロックと検出された変換ブロックを
含むマクロブロックの上下左右に位置するマクロブロッ
クの再生画像信号も片フィールドを2回出力することに
より、動き検出の誤りによる画質の低下を確実に防止し
て、高画質の静止画を記録再生することができる。
【0060】本発明に係る画像記録再生方法では、記録
時に、画像入力信号を全てフレームの連続画として2次
元配列された所定画素数を単位とする変換ブロック毎に
直交変換し、その直交変換係数データを量子化して記録
媒体に記録し、再生時に、記録媒体から再生した再生信
号を逆量子化して得られる直交変換係数データを逆直交
変換して再生画像信号を生成するとともに、直交変換係
数データに基づいて変換ブロック毎の動き検出を行い、
その動き検出結果に基づいて、静止画ブロックと検出さ
れた変換ブロックの再生画像信号はフレームで出力し、
動画ブロックと検出された変換ブロックの再生画像信号
は片フィールドを2回出力することにより、専用の静止
画処理部を必要とすることなく、高画質の静止画を記録
再生することができる。
【0061】また、本発明に係る画像記録再生方法で
は、例えば、記録時に、量子化した直交変換係数データ
を記録モードを示すフラグとともに記録媒体に記録し、
再生時に、上記フラグに応じて上記動き検出を行い、そ
の動き検出結果に基づいて、静止画ブロックと検出され
た変換ブロックの再生画像信号はフレームで出力し、動
画ブロックと検出された変換ブロックの再生画像信号は
片フィールドを2回出力することにより、複数の記録モ
ードを有する場合にも、専用の静止画処理部を必要とす
ることなく、高画質の静止画を記録再生することができ
る。
【0062】また、本発明に係る画像記録再生方法で
は、例えば、再生時に逆量子化により得られた直交変換
係数データの各係数の分布から算出した値と予め設定し
た閾値との比較により変換ブロック毎に動き検出を行う
ことができる。
【0063】また、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、動画ブロ
ックと検出された変換ブロックを含むマクロブロックの
再生画像信号は片フィールドを2回出力することによ
り、動き検出の誤りによる画質の低下を防止して、高画
質の静止画を記録再生することができる。
【0064】さらに、本発明に係る画像記録再生方法で
は、例えば、上記動き検出の結果に基づいて、動画ブロ
ックと検出された変換ブロックを含むマクロブロックの
上下左右に位置するマクロブロックの再生画像信号も片
フィールドを2回出力することにより、動き検出の誤り
による画質の低下を確実に防止して、高画質の静止画を
記録再生することができる。
【図面の簡単な説明】
【図1】本発明に係る画像記録再生装置の構成を示すブ
ロック図である。
【図2】上記画像記録再生装置において記録再生する画
像データとともにECCブロックを構成する付加データ
VAUXの構成を示す図である。
【図3】上記画像記録再生装置におけるDCT/逆DC
T演算処理部の再生側での構成を示すブロック図であ
る。
【図4】静止画と動画のDCT係数の分布状態の一例を
示す図である。
【図5】上記DCT/逆DCT演算処理部における動き
検出部で動き検出に用いるDCT係数の一例を示す図で
ある。
【図6】上記画像記録再生装置で記録再生する画像デー
タのマクロブロックを示す図である。
【図7】マクロブロックの拡張例を示す図である。
【符号の説明】 1 ベースバンド信号処理部、2 ブロッキング・シャ
フリング/デブロッキング・デシャフリング処理部、3
RAM、4 DCT/逆DCT演算処理部、5 量子
化/逆量子化処理部、6 フレーミング/デフレーミン
グ処理部、7デシャフリング/シャフリング処理部、8
RAM、9 オーディオインターフェース、10 I
EEE1394インターフェース、11 記録符号化/
再生復号化処理部
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】図1
【補正方法】変更
【補正内容】
【図1】

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 画像入力信号を全てフレームの連続画と
    して2次元配列された所定画素数を単位とする変換ブロ
    ック毎に直交変換し、その直交変換係数データを量子化
    して記録媒体に記録する記録系と、 記録媒体から再生した再生信号を逆量子化して得られる
    直交変換係数データを逆直交変換して再生画像信号を生
    成するとともに、直交変換係数データに基づいて変換ブ
    ロック毎の動き検出を行い、その動き検出結果に基づい
    て、静止画ブロックと検出された変換ブロックの再生画
    像信号はフレームで出力し、動画ブロックと検出された
    変換ブロックの再生画像信号は片フィールドを2回出力
    する再生系とを備えることを特徴とする画像記録再生装
    置。
  2. 【請求項2】上記記録系は、動画記録モードと静止画記
    録モードの2つ種類の記録動作モードを有し、静止画記
    録モード時に上記量子化した直交変換係数データを記録
    動作モードを示すフラグとともに記録媒体に記録し、 上記再生系は、上記フラグに応じて静止画再生モードを
    設定し、上記動き検出を行い、その動き検出結果に基づ
    いて、静止画ブロックと検出された変換ブロックの再生
    画像信号はフレームで出力し、動画ブロックと検出され
    た変換ブロックの再生画像信号は片フィールドを2回出
    力する処理を行うことを特徴とする請求項1記載の画像
    記録再生装置。
  3. 【請求項3】上記再生系は、逆量子化により得られた直
    交変換係数データの各係数の分布から算出した値と予め
    設定した閾値との比較により変換ブロック毎に動き検出
    を行う動き検出手段を備えることを特徴とする請求項1
    記載の画像記録再生装置。
  4. 【請求項4】上記再生系は、上記動き検出手段による検
    出結果に基づいて、静止画ブロックと検出された変換ブ
    ロックを含むマクロブロックの再生画像信号はフレーム
    で出力する処理を行うことを特徴とする請求項3記載の
    画像記録再生装置。
  5. 【請求項5】上記動き検出手段による検出結果に基づい
    て、静止画ブロックと検出された変換ブロックを含むマ
    クロブロックの上下左右に位置するマクロブロックの再
    生画像信号もフレームで出力する処理を行うことを特徴
    とする請求項4記載の画像記録再生装置。
  6. 【請求項6】記録時には、画像入力信号を全てフレーム
    の連続画として2次元配列された所定画素数を単位とす
    る変換ブロック毎に直交変換し、その直交変換係数デー
    タを量子化して記録媒体に記録し、 再生時には、記録媒体から再生した再生信号を逆量子化
    して得られる直交変換係数データを逆直交変換して再生
    画像信号を生成するとともに、直交変換係数データに基
    づいて変換ブロック毎の動き検出を行い、その動き検出
    結果に基づいて、静止画ブロックと検出された変換ブロ
    ックの再生画像信号はフレームで出力し、動画ブロック
    と検出された変換ブロックの再生画像信号は片フィール
    ドを2回出力することを特徴とする画像記録再生方法。
  7. 【請求項7】記録時に、量子化した直交変換係数データ
    を記録モードを示すフラグとともに記録媒体に記録し、 再生時には、上記フラグに応じて上記動き検出を行い、
    その動き検出結果に基づいて、静止画ブロックと検出さ
    れた変換ブロックの再生画像信号はフレームで出力し、
    動画ブロックと検出された変換ブロックの再生画像信号
    は片フィールドを2回出力することを特徴とする請求項
    6記載の画像記録再生方法。
  8. 【請求項8】再生時に逆量子化により得られた直交変換
    係数データの各係数の分布から算出した値と予め設定し
    た閾値との比較により変換ブロック毎に動き検出を行う
    ことを特徴とする請求項6記載の画像記録再生方法。
  9. 【請求項9】上記動き検出の結果に基づいて、静止画ブ
    ロックと検出された変換ブロックを含むマクロブロック
    の再生画像信号はフレームで出力することを特徴とする
    請求項8記載の画像記録再生方法。
  10. 【請求項10】上記動き検出の結果に基づいて、静止画
    ブロックと検出された変換ブロックを含むマクロブロッ
    クの上下左右に位置するマクロブロックの再生画像信号
    もフレームで出力することを特徴とする請求項9記載の
    画像記録再生方法。
JP34423896A 1996-12-24 1996-12-24 画像記録再生装置及び画像記録再生方法 Expired - Fee Related JP4215835B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP34423896A JP4215835B2 (ja) 1996-12-24 1996-12-24 画像記録再生装置及び画像記録再生方法
US08/991,357 US6175685B1 (en) 1996-12-24 1997-12-16 Recording/reproducing of video signals, with video signals played back as a frame or a twice-outputted single-field depending on whether the recorded signals are directed as still or moving pictures
KR1019970073110A KR100511694B1 (ko) 1996-12-24 1997-12-24 화상기록재생장치및화상기록재생방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34423896A JP4215835B2 (ja) 1996-12-24 1996-12-24 画像記録再生装置及び画像記録再生方法

Publications (2)

Publication Number Publication Date
JPH10191250A true JPH10191250A (ja) 1998-07-21
JP4215835B2 JP4215835B2 (ja) 2009-01-28

Family

ID=18367701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34423896A Expired - Fee Related JP4215835B2 (ja) 1996-12-24 1996-12-24 画像記録再生装置及び画像記録再生方法

Country Status (3)

Country Link
US (1) US6175685B1 (ja)
JP (1) JP4215835B2 (ja)
KR (1) KR100511694B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4000543B2 (ja) * 1998-08-03 2007-10-31 ソニー株式会社 信号処理装置及び信号処理方法
KR100686141B1 (ko) * 2005-01-21 2007-02-23 엘지전자 주식회사 이동형 방송 수신기의 디블로킹 필터 및 필터링 방법
US9574142B2 (en) 2010-09-07 2017-02-21 Saudi Arabian Oil Company Process for oxidative desulfurization and sulfone management by gasification
KR101660772B1 (ko) 2014-12-01 2016-09-28 주식회사 포스코 상부 노즐 및 이를 이용한 지금 제거 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278262A (ja) * 1991-03-05 1992-10-02 Sony Corp ディジタル信号記録再生装置
JPH0591336A (ja) * 1991-09-30 1993-04-09 Hitachi Ltd 静止画記録再生装置及び静止画記録再生システム
JPH05111008A (ja) * 1991-10-15 1993-04-30 Sony Corp 情報伝送装置及び情報受信装置
JPH05176171A (ja) * 1991-12-25 1993-07-13 Ricoh Co Ltd 画像データ圧縮方法と装置
JPH05176294A (ja) * 1991-12-25 1993-07-13 Ricoh Co Ltd デジタル電子スチルカメラ及び画像再生方法
JPH0779449A (ja) * 1993-09-06 1995-03-20 Sony Corp Vtr装置
JP3297775B2 (ja) * 1994-04-07 2002-07-02 ソニー株式会社 映像データ記録装置及び映像データ再生装置

Also Published As

Publication number Publication date
KR100511694B1 (ko) 2005-11-08
US6175685B1 (en) 2001-01-16
JP4215835B2 (ja) 2009-01-28
KR19980064553A (ko) 1998-10-07

Similar Documents

Publication Publication Date Title
US7613382B2 (en) Image processing apparatus
JPH0614294A (ja) 信号処理装置
JPH1127675A (ja) データ圧縮装置及び圧縮データ処理方法
JPH10191250A (ja) 画像記録再生装置及び画像記録再生方法
US6205179B1 (en) Picture reproducing apparatus and picture reproducing method
JP3501505B2 (ja) 画像形成装置及び画像処理装置
US6233281B1 (en) Video signal processing apparatus, and video signal processing method
JP4072222B2 (ja) 記録再生装置
JP3666959B2 (ja) ディジタル画像データ記録装置および方法ならびにディジタル画像データ再生装置および方法
JP3060501B2 (ja) 映像信号伝送装置
JP3178512B2 (ja) ディジタル画像信号記録装置及び記録再生装置
JPH08298644A (ja) 画像データ記録装置および方法
JP2002165175A (ja) 画像記録装置、画像再生装置及び画像記録再生装置
JPH0865630A (ja) 画像記録再生装置
JPH06334961A (ja) 映像記録装置、映像再生装置及び映像記録再生装置
JP2007049520A (ja) 画像信号の高能率符号化装置
JPH1032791A (ja) 記録装置、再生装置及び信号処理装置
JPH0787446A (ja) 光ディスク記録装置及び光ディスク再生装置及び光ディスク
JPH07298195A (ja) 画像情報圧縮伸長装置
JP2000023008A (ja) 撮像装置
JP2004242357A (ja) 撮像装置
JPH11234619A (ja) メモリ制御方法
JPH118828A (ja) 映像記録装置および映像再生装置
JP2001094934A (ja) 画像データ処理装置
JPH06121337A (ja) ディジタル電子スチル・カメラおよびその記録方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060501

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060518

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060728

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees