JPH08251583A - 画像符号化装置及び画像復号装置 - Google Patents

画像符号化装置及び画像復号装置

Info

Publication number
JPH08251583A
JPH08251583A JP5108995A JP5108995A JPH08251583A JP H08251583 A JPH08251583 A JP H08251583A JP 5108995 A JP5108995 A JP 5108995A JP 5108995 A JP5108995 A JP 5108995A JP H08251583 A JPH08251583 A JP H08251583A
Authority
JP
Japan
Prior art keywords
area
data
shape
image
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5108995A
Other languages
English (en)
Other versions
JP3086396B2 (ja
Inventor
Hiroyuki Katada
裕之 堅田
Hiroshi Kusao
寛 草尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP5108995A priority Critical patent/JP3086396B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to US08/608,508 priority patent/US5815601A/en
Priority to EP20030000920 priority patent/EP1318682A3/en
Priority to EP19960301337 priority patent/EP0731608B1/en
Priority to DE1996632705 priority patent/DE69632705T2/de
Publication of JPH08251583A publication Critical patent/JPH08251583A/ja
Priority to US09/041,136 priority patent/US5978515A/en
Priority to JP2000167193A priority patent/JP3500112B2/ja
Application granted granted Critical
Publication of JP3086396B2 publication Critical patent/JP3086396B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

(57)【要約】 【目的】 データ量を増やさずに、選択された領域の画
質をそれ以外の領域の画質より良好にするよう符号化す
る符号化装置を提供する。 【構成】 画像内の特定の領域を選択する領域選択部１
０１と、選択された領域の位置及び形状を符号化する領
域位置・形状符号化部１０２と、動画像符号化において
画質やデータ量の制御のために用いられる種々のパラメ
ータを調節して、領域選択部１０１で選択された領域の
画質が他の領域の画質よりも良好に符号化されるよう、
制御する符号化パラメータ調節部１０４と、前記種々の
パラメータを符号化するパラメータ符号化部１０５と、
入力された動画像データを上記種々のパラメータを用い
て符号化する動画像符号化部１０６と、領域位置・形状
符号化部１０２、パラメータ符号化部１０５及び動画像
符号化部１０６で符号化されたデータを組み合わせて伝
送あるいは蓄積する符号化データ統合部１０３とか配接
されている。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は画像符号化装置に関し、
特に、ディジタルの画像データを高能率で符号化する画
像符号化装置に関する。
【０００２】
【従来の技術】従来、画像符号化において、特定の領域
の画質を他の領域より良好にする方式が提案されてい
る。
【０００３】例えば特開平５−１３０６０３号公報に記
載されている方式では、ＴＶ会議で複数の人物のうち、
話者の領域で最小の量子化幅を用い、それ以外の領域で
はビットレートにあわせて量子化幅を制御している。同
様に、文献「動画像符号化における画質改善技術」（シ
ャープ技報、第６号、１９９４年１２月、２５頁〜３０
頁）に記載されている方式では、画像中の顔部分を検出
し、マクロブロック単位に指定される量子化幅を検出さ
れた領域で小さくすることで、顔部分の領域の画質を他
の領域の画質より良好にしている。
【０００４】あるいは、特開平５−７５８６７号公報に
記載されている方式では、指定された領域の符号化にお
いてＤＣＴ（離散コサイン変換）係数を全て用いて符号
化し、それ以外の領域においてはＤＣＴ係数を一部だけ
用いて符号化することで、画像中の重要な領域の画質を
良くしている。
【０００５】いずれの方式も、Ｈ．２６１に代表される
標準符号化方式を変更せずに、選択された領域の画質を
他の領域の画質より良好にすることが特徴である。
【０００６】また、従来よりＴＶ電話などの符号化にお
いて、背景部分の画像をメモリに記憶させておき、予測
符号化に応用することも検討されている。例えば特開昭
６４−３２７８８号公報に記載されている方式では、背
景画像のうち人物の後ろに隠れている部分が人物の動き
に伴って現れてくる度に、逐次背景画像用メモリに追加
していく。これにより、より完全な背景画像が得られ
る。
【０００７】
【発明が解決しようとする問題点】以上説明したよう
な、標準符号化方式を変更せずに、選択された領域の画
質を他の領域より良好にするために、量子化幅を制御し
たり、ＤＣＴ係数を制限したりする方式では、その他の
符号化パラメータの違いによって画質を制御できない。
具体的には、フレームの画素数（空間解像度）やフレー
ムの駒落し数（時間解像度）等が、選択された領域とそ
の他の領域とで同一である。このため、上述の画像符号
化方式では、量子化幅やＤＣＴ係数の数以外の符号化パ
ラメータを調整して選択された領域の画質を他の領域よ
り良好にすることができない。
【０００８】また、背景部分の画像をメモリに記憶させ
ておく方式では、背景画像が静止しているものと仮定し
ている。しかし、実際には、例えば話者の後ろで別の人
物が動いたり、自動車内でＴＶ電話を使用する際、背景
に窓の外の景色が入るとき等背景に動きを伴う動画像を
符号化する場合もある。この場合には、背景画像を完全
に静止させておくのではなく、ある程度動きを持たせる
必要がある。
【０００９】本発明は、上記の問題を解決するためにな
されたもので、データ量を増やさずに、動画像内の選択
された領域を他より良好な画質で符号化する符号化装置
及び復号装置を提供することを目的とする。
【００１０】
【問題を解決するための手段】本発明によれば、前述の
目的は、入力された画像データを分割してブロック毎に
符号化する画像符号化装置であって、前記画像データか
ら画質を良好とするべき領域を選択する領域選択手段
と、前記領域の位置及び形状データを符号化する領域位
置・形状符号化手段と、符号化の際に使用するパラメー
タを前記領域の画質が他の領域と比べて良好となるよう
調節するパラメータ調節手段と、前記パラメータを符号
化するパラメータ符号化手段とを備えることを特徴とす
る請求項１に記載の画像符号化装置によって達成され
る。
【００１１】本発明によれば、前述の目的は、前記領域
は矩形であり、前記領域位置・形状符号化手段は前記領
域の位置及び大きさを前記ブロックを単位とするデータ
で求めて符号化することを特徴とする請求項２に記載の
画像符号化装置によって達成される。
【００１２】本発明によれば、前述の目的は、前記領域
は任意形状であり、前記領域位置・形状符号化手段は前
記領域の位置及び形状を前記ブロックを単位とするデー
タで求めて符号化することを特徴とする請求項３に記載
の画像符号化装置によって達成される。
【００１３】本発明によれば、前述の目的は、前記領域
は矩形であり、前記領域位置・形状符号化手段は前記領
域の位置を画素を単位とするデータで求め、前記領域の
大きさを前記ブロックを単位としたデータで求め、各デ
ータを符号化することを特徴とする請求項４に記載の画
像符号化装置によって達成される。
【００１４】本発明によれば、前述の目的は、前記領域
は任意形状であり、前記領域位置・形状符号化手段は前
記領域の位置を画素を単位とするデータで求め、前記領
域の形状を前記ブロックを単位とするデータで求め、各
データを符号化することを特徴とする請求項５に記載の
画像符号化装置によって達成される。
【００１５】本発明によれば、前述の目的は、前記領域
は矩形であり、前記領域位置・形状符号化手段は前記領
域の位置及び大きさを画素を単位とするデータで求めて
符号化することを特徴とする請求項６に記載の画像符号
化装置によって達成される。
【００１６】本発明によれば、前述の目的は、前記領域
は任意形状であり、前記領域位置・形状符号化手段は前
記領域の位置及び形状を画素を単位とするデータで求め
て符号化することを特徴とする請求項７に記載の画像符
号化装置によって達成される。
【００１７】本発明によれば、前述の目的は、請求項１
に記載の画像符号化装置により分割されたブロック毎に
符号化されたデータから画像を復号する画像復号装置で
あって、前記選択されて符号化された領域の位置及び形
状を復号する領域位置・形状復号手段と、前記調節され
て符号化されたパラメータを復号する符号化パラメータ
復号手段とを備えており、前記領域の画質を他の領域の
画質と比べて良好となるよう復号することを特徴とする
請求項８に記載の画像復号装置によって達成される。
【００１８】本発明によれば、前述の目的は、前記領域
は矩形であり、前記領域位置・形状復号手段は前記ブロ
ックを単位として符号化された前記領域の位置及び大き
さのデータを復号することを特徴とする請求項９に記載
の画像復号装置によって達成される。
【００１９】本発明によれば、前述の目的は、前記領域
は任意形状であり、前記領域位置・形状復号手段は前記
ブロックを単位として符号化された前記領域の位置及び
形状のデータを復号することを特徴とする請求項１０に
記載の画像復号装置によって達成される。
【００２０】本発明によれば、前述の目的は、前記領域
は矩形であり、前記領域位置・形状復号手段は画素を単
位として符号化された前記領域の位置データと前記ブロ
ックを単位として符号化された前記領域の大きさのデー
タとを復号することを特徴とする請求項１１に記載の画
像復号装置によって達成される。
【００２１】本発明によれば、前述の目的は、前記領域
は任意形状であり、前記領域位置・形状復号手段は画素
を単位として符号化された前記領域の位置データと前記
ブロックを単位として符号化された前記領域の形状デー
タとを復号することを特徴とする請求項１２に記載の画
像復号装置によって達成される。
【００２２】本発明によれば、前述の目的は、前記領域
は矩形であり、前記領域位置・形状復号手段は画素を単
位として符号化された前記領域の位置及び大きさのデー
タを復号することを特徴とする請求項１３に記載の画像
復号装置によって達成される。
【００２３】本発明によれば、前述の目的は、前記領域
は任意形状であり、前記領域位置・形状復号手段は画素
を単位として符号化された前記領域の位置及び形状のデ
ータを復号することを特徴とする請求項１４に記載の画
像復号装置によって達成される。
【００２４】
【作用】請求項１に記載の画像符号化装置においては、
領域選択手段により入力された画像データから画質を良
好とするべき領域が選択され、領域位置・形状符号化手
段により選択された領域の位置及び形状が符号化され、
パラメータ調節手段により領域の符号化の際に使用する
パラメータが選択された領域の画質が他の領域の画質よ
り良好となるよう調節され、パラメータ符号化手段によ
りパラメータが符号化される。これにより、データ量を
増やさずに選択された領域の画質がその他の領域の画質
より良好となるように符号化を行うことができる。
【００２５】請求項２に記載の画像符号化装置において
は、領域位置・形状符号化手段により矩形の領域の位置
及び大きさがブロックを単位としたデータで求められて
符号化される。これにより、矩形領域の位置及び大きさ
のデータを簡単に符号化することができる。
【００２６】請求項３に記載の画像符号化装置において
は、領域位置・形状符号化手段により任意形状の領域の
位置及び形状がブロックを単位としたデータで求められ
て符号化される。これにより、任意形状の領域の位置及
び形状のデータを簡単に符号化することができる。
【００２７】請求項４に記載の画像符号化装置において
は、領域位置・形状符号化手段により矩形の領域の位置
が画素を単位とするデータで求められて符号化され、形
状がブロックを単位としたデータで求められて符号化さ
れる。これにより、矩形領域の位置データを精度良く符
号化することができる。
【００２８】請求項５に記載の画像符号化装置において
は、領域位置・形状符号化手段により任意形状の領域の
位置が画素を単位とするデータで求められて符号化さ
れ、形状がブロックを単位としたデータで求められて符
号化される。これにより、任意形状の領域の位置データ
を精度良く符号化することができる。
【００２９】請求項６に記載の画像符号化装置において
は、領域位置・形状符号化手段により矩形の領域の位置
及び大きさが画素を単位としたデータで求められて符号
化される。これにより、矩形領域の位置及び大きさのデ
ータを精度良く符号化することができる。
【００３０】請求項７に記載の画像符号化装置において
は、領域位置・形状符号化手段により任意形状の領域の
位置及び形状が画素を単位としたデータで求められて符
号化される。これにより、任意形状の領域の位置及び形
状のデータを精度良く符号化することができる。
【００３１】請求項８に記載の画像復号装置において
は、領域位置・形状復号手段により符号化の際に選択さ
れた領域の位置及び形状が復号され、符号化パラメータ
復号手段により選択された領域の画質が他の領域と比べ
て良好になるよう調節されて符号化されたパラメータが
復号される。これにより、符号化の際に選択された領域
の画質が他の領域と比べて良好に復号された画像を得る
ことができる。
【００３２】請求項９に記載の画像復号装置において
は、領域位置・形状復号手段によりブロックを単位とし
て符号化されたデータから矩形領域の位置及び大きさが
復号される。これにより、矩形領域の位置及び大きさの
データを簡単に復号することができる。
【００３３】請求項１０に記載の画像復号装置において
は、領域位置・形状復号手段によりブロックを単位とし
て符号化されたデータから任意形状の領域の位置及び形
状が復号される。これにより、任意形状の領域の位置及
び形状のデータを簡単に復号することができる。
【００３４】請求項１１に記載の画像復号装置において
は、領域位置・形状復号手段により画素を単位として符
号化されたデータから矩形領域の位置が復号され、ブロ
ックを単位として符号化されたデータから矩形領域の大
きさが復号される。これにより、矩形領域の位置を精度
良く復号することができる。
【００３５】請求項１２に記載の画像復号装置において
は、領域位置・形状復号手段により画素を単位として符
号化されたデータから任意形状の領域の位置が復号さ
れ、ブロックを単位として符号化されたデータから任意
形状の領域の大きさが復号される。これにより、任意形
状の領域の位置を精度良く復号することができる。
【００３６】請求項１３に記載の画像復号装置において
は、領域位置・形状復号手段により画素を単位として符
号化されたデータから矩形領域の位置及び大きさが復号
される。これにより、矩形領域の位置及び大きさのデー
タを精度良く復号することができる。
【００３７】請求項１４に記載の画像復号装置において
は、領域位置・形状復号手段により画素を単位として符
号化されたデータから任意形状の領域の位置及び形状が
復号される。これにより、任意形状の領域の位置及び形
状のデータを精度良く復号することができる。
【００３８】
【実施例】以下、本発明の実施例を図を参照しながら詳
細に説明する。
【００３９】まず本発明の符号化装置の第１の実施例に
ついて説明する。
【００４０】図１は、本実施例の構成を示すブロック図
である。本実施例の符号化装置は、画像内の特定の領域
を選択する領域選択部１０１と、選択された領域の位置
及び形状を符号化する領域位置・形状符号化部１０２
と、動画像符号化において画質やデータ量の制御のため
に用いられる種々のパラメータを調節して、領域選択部
１０１で選択された領域の画質が他の領域の画質よりも
良好に符号化されるよう、制御する符号化パラメータ調
節部１０４と、前記種々のパラメータを符号化するパラ
メータ符号化部１０５と、入力された動画像データを上
記種々のパラメータを用いて符号化する動画像符号化部
１０６と、領域位置・形状符号化部１０２、パラメータ
符号化部１０５及び動画像符号化部１０６で符号化され
たデータを組み合わせて伝送あるいは蓄積する符号化デ
ータ統合部１０３とから構成されている。
【００４１】領域選択部１０１における方式は、例えば
テレビ電話等の画像で顔領域を選択する場合、文献「リ
アルタイム顔画像追尾方式」（画像電子学会研究会予
稿、９３−０４−０４、１３頁〜１６頁、１９９４年）
に記載されているような方式を用いることができる。
【００４２】動画像符号化部１０６においては、従来と
同様に、動き補償予測、直交変換、量子化、可変長符号
化等が組み合わせられ高能率符号化が実現される。
【００４３】本実施例の符号化装置では、領域選択部１
０１により入力された原画像から特定の領域が選択さ
れ、領域位置・形状符号化部１０２により選択された領
域の位置及び形状が符号化される。符号化パラメータ調
節部１０４により動画像を符号化する際に用いられる種
々のパラメータが、選択された領域の画質が他の領域の
画質よりも良好となるように調節され、パラメータ符号
化部１０６により種々のパラメータが符号化される。動
画像符号化部１０６により入力された動画像を種々のパ
ラメータを用いて符号化され、符号化データ統合部１０
３により領域位置・形状符号化部１０２、パラメータ符
号化部１０５及び動画像符号化部１０６で符号化された
データが組み合わされて伝送あるいは蓄積される。
【００４４】以上のようにして、画像内の選択された領
域の画質が他の領域よりも良好になるよう符号化がなさ
れる。
【００４５】次に、本発明の符号化装置に対応する復号
装置の第１の実施例について説明する。
【００４６】図２は、本実施例の復号装置の構成を示す
ブロック図である。本実施例の復号装置は、入力された
符号化データを分離して出力する符号化データ分離部２
０１と、分離された符号化データから選択された領域の
位置及び形状を復号する領域位置・形状復号部２０２
と、分離された符号化データから符号化パラメータを復
号するパラメータ復号部２０３と、分離された符号化デ
ータから符号化パラメータを用いて動画像を復号する動
画像復号部２０４とから構成されている。
【００４７】本実施例の復号装置では、符号化データ分
離手段２０１により符号化データが分離され、領域位置
・形状復号部２０２により符号化パラメータが選択され
た領域のものか他の領域のものか区別されて領域の位置
及び形状が復号され、パラメータ復号部２０３により符
号化されたパラメータが復号され、動画像復号部２０４
により符号化パラメータを用いて動画像が復号される。
【００４８】以上のようにして、画像内の選択された領
域の画質が他の領域よりも良好になるよう復号がなされ
る。
【００４９】次に、本発明の符号化装置及び復号装置で
扱われる領域の位置と形状の表し方について図を参照し
ながら説明する。
【００５０】図３は、本発明の装置で扱う画像における
領域の第１の例である。画像全体が符号化のためにブロ
ックに分割にされている。各ブロックの大きさは例えば
縦８画素×横８画素である。このとき、選択された領域
は斜線部のような矩形で表される。領域の位置及び形状
は、例えば領域の左上のブロックの座標（４，１）と、
領域の縦横の大きさ（３，４）で表され、これらの情報
が符号化される。領域の位置と形状情報の符号化には固
定長符号化または可変長符号化が用いられる。
【００５１】図４は、本発明の装置で扱う画像における
領域の第２の例である。画像全体が符号化のためにブロ
ックに分割されており、選択された領域は斜線部のよう
なブロックの集合で表される。領域の位置及び形状は、
例えば始点となるブロックの座標（４，１）及び領域の
周囲のブロックの８方向量子化符号の列３，４，５，
６，０，０で表される。８方向量子化符号は図５のよう
に、次の点への方向を数値で示したもので、デジタル図
形を表現する際に一般的に使用されるものである。
【００５２】図６は、本発明の装置で扱う画像における
領域の第３の例である。選択された領域は斜線部のよう
な矩形で表され、領域の位置及び形状は、例えば領域の
左上の画素の座標（１０２，４９）と、領域の縦横のブ
ロック数（３，４）で表され、これらの情報が符号化さ
れる。第１の例との違いは、領域の位置が画素単位で選
択されることである。
【００５３】図７は、本発明の装置で扱う画像における
領域の第４の例である。選択された領域は斜線部のよう
なブロックの集合で表される。領域の位置及び形状は、
例えば始点となるブロックの左上の画素の座標（１０
２，４９）と、領域の周囲のブロックの８方向量子化符
号の列３，４，５，６，０，０で表される。第２の例と
の違いは、領域の位置が画素単位で選択されることであ
る。
【００５４】図８は、本発明の装置で扱う画像における
領域の第５の例である。選択された領域は斜線部のよう
な矩形で表され、領域の位置及び形状は、例えば領域の
左上の画素の座標（１０２，４９）と、領域の縦横の画
素数（３１，５０）で表され、これらの情報が符号化さ
れる。第１の例との違いは、領域の位置と大きさがそれ
ぞれ画素単位で選択されることである。ただし、領域の
位置をブロック単位で表し、領域の大きさを画素単位で
表すこともできる。
【００５５】図９は、本発明の装置で扱う画像における
領域の第６の例である。選択された領域は斜線部のよう
な任意形状で表される。領域の位置及び形状は、例えば
始点のブロックの左上の画素の座標（１０２，４９）
と、領域周囲の画素の８方向量子化符号の列で表され
る。第２の例との違いは、領域の形状が自由であり、領
域の位置と形状が画素単位で選択されることである。
【００５６】次に、本発明の符号化装置の第１の実施例
の動画像符号化部１０６において符号化処理の単位とな
るブロックの設定方法について述べる。
【００５７】図１０は、本発明の符号化装置におけるブ
ロック設定の第１の例を示す図である。図中に斜線で示
す選択された領域１１は、それぞれが等しい大きさのブ
ロックに分割される。選択されなかった領域について
は、画像中央部では等しい大きさのブロックに分割され
るが、画像端では網掛け部分１２で示したように不規則
な大きさのブロックに分割されることがある。これら不
規則な大きさのブロックも他のブロックと同様動き補償
予測、直交変換、量子化、可変長符号化などを用いて符
号化される。あるいは、画像中央部ではないので多少歪
みが許容されるという場合は、動き補償予測だけを用い
て符号化してもよい。すなわち動ベクトルのみが符号化
され、予測誤差については符号化しなくてもよい。
【００５８】図１１は、本発明の符号化装置におけるブ
ロック設定の第２の例を示す図である。画像全体はそれ
ぞれが等しい大きさの矩形ブロックに分割されている
が、選択された領域の境界を含むブロックは斜線部２１
及び網掛け部２２で示した部分に分割される。斜線部２
１は選択された領域の境界に位置する任意形状ブロッ
ク、網掛け部２２は選択されなかった領域の境界に位置
する任意形状ブロックである。符号化の際はこれらは別
々に符号化される。このような任意形状のブロックも、
他のブロックと同様動き補償予測、直交変換、量子化、
可変長符号化などを用いて符号化される。直交変換とし
ては、例えば文献「任意形状ＤＣＴにおける基底選定法
に関する一検討」（１９９３年電子情報通信学会春季大
会Ｄ−２５１）に記されているような任意形状ＤＣＴや
文献「カラー画像の可変ブロック形状ＫＬ変換符号化の
画質改善」（１９９２年電子情報通信学会春季大会Ｄ−
１３４）に記されているような任意形状ＫＬＴ等を用い
ることもできる。あるいは領域端で多少の歪みが許容さ
れる場合は、動き補償予測だけを用いて符号化してもよ
い。すなわち動ベクトルのみが符号化され、予測誤差に
ついては符号化しなくてもよい。
【００５９】図１２は、本発明の符号化装置におけるブ
ロック設定の第３の例を示す図である。第２の例との違
いは、選択された領域のブロック位置が、選択されなか
った領域のブロック位置と独立に定められている点にあ
る。このため、一般的な場合には選択された領域内で等
しい大きさの矩形ブロックをより多く設定することがで
きる。図１２で、斜線部３１は選択された領域の境界に
位置する任意形状ブロック、網掛け部３２は選択されな
かった領域の境界に位置する任意形状ブロックである。
符号化の際はこれらは別々に符号化される。任意形状ブ
ロックの扱いについては、第２の例と同様である。
【００６０】ブロックの設定方法としては、ここで述べ
たものの他にもさまざまな方法がある。例えば図１３の
ように、画像周辺部のブロックを、他の部分と独立して
設定することもできる。この例は第１の例に似ている
が、画像上下端のブロックの設定方法が異なり、網掛け
部４２で表された部分のブロック数が減っている。
【００６１】次に、本発明の符号化装置の第１の実施例
の符号化パラメータ調節部１０４での量子化幅制御につ
いて述べる。
【００６２】文献「ＭＰＥＧ２量子化と符号化制御」
（テレビジョン学会技術報告Ｖｏｌ．１６．Ｎｏ６１．
４３頁〜４８頁）に述べられている手法は、ブロック毎
の量子化幅を調節することによって、与えられた区間内
（通常十数フレーム）の平均ビット数を一定に制御す
る。文献「動画像符号化における画質改善技術」（シャ
ープ技法、第６号・１９９４年１２月、２５頁〜３０
頁）に記載されている方式ではデータ量制御のために一
旦求められた量子化幅を、選択された領域内のブロック
に対しては小さく、それ以外のブロックに対しては大き
く設定している。こうすることによって選択された領域
の画質を良くすることができる。
【００６３】本発明の符号化装置でも同様に、選択され
た領域内で、量子化幅が他の領域に比べて小さくなるよ
う調節する。従来の方法との違いは、本発明の符号化装
置では領域の座標を符号化するため、例えば各領域で量
子化幅のオフセットをあらかじめ定めておけば量子化幅
の情報量を従来の方法より少なくでき、高能率符号化に
都合が良いということである。図１４の（ａ）は従来法
におけるブロック毎の量子幅の例を示す図である。高能
率符号化のためにはこれらの値を予測符号化することが
望ましい。即ち、量子化幅をラスタスキャン順に符号化
する時、現在のブロックの量子化幅と左隣のブロックの
量子化幅との差を符号化する。図１４の（ｂ）は斜線部
を選択領域として、量子化幅を選択された領域内のブロ
ックに対しては３だけ小さく（すなわちオフセットを−
３として）、それ以外のブロックに対しては３だけ大き
く（すなわちオフセットを＋３として）設定したもので
ある。従来の方法では図１４の（ｂ）の量子化幅をその
まま符号化するため、選択された領域とそれ以外の領域
の境界部分で量子化幅の大きさの差が大きくなり、差を
符号化対象とする予測符号化で効率を向上することがで
きない。
【００６４】ところが、これと比べて本発明の符号化装
置の方法では領域の座標を符号化しているので、量子化
幅の情報としては図１４の（ａ）のもの、すなわち隣接
ブロックの量子化幅の差の小さいものを符号化できるの
で高能率となる。この方法では、符号化した量子化幅か
ら実際に用いる量子化幅を求める方法を符号化側、復号
側で決めておき、符号化側、復号側で実際に用いる量子
化幅として、図１４の（ｂ）のように変更してから用い
ることになる。
【００６５】なお、上記の例では各領域で量子化幅にオ
フセットを持たせる方法を説明したが、各領域で量子化
幅に所定の係数を乗じるようにしてもよい。さらに、上
記オフセットや係数をあらかじめ定めておいても良い
し、適応的に制御してその値を符号化データに組み込ん
でも良い。
【００６６】次に、本発明の符号化装置の第１の実施例
の符号化パラメータ調節部１０４での駒落し制御につい
て述べる。
【００６７】テレビ電話、テレビ会議で用いられる動画
像の国際標準符号化方式Ｈ．２６１では駒落しフレー
ム、即ち符号化しないフレームがある。符号化したフレ
ームの時間的な位置を示すために、フレーム番号が符号
化されて符号化データに組み込まれる。本発明の符号化
装置ではこのような駒落しの他に、選択された領域以外
の領域のみを駒落しする場合を設ける。
【００６８】このように、選択された領域以外の領域を
駒落しする、すなわち符号化しない場合を表すために、
フレーム毎に１ビットの情報を用い、符号化データに組
み込む。例えば図１５に示すように、符号化データ中に
１ビットのデータを組み込み、このデータが１の時は選
択された領域だけを符号化し、０の時は画面全体を符号
化する。あるいは図１６に示すように、符号化データ中
に１ビットのデータを組み込み、このデータが１の時は
選択された領域だけを符号化し、０の時は選択された領
域以外の領域だけを符号化する。図１６及び図１７で
は、斜線部が符号化する部分を表している。
【００６９】どちらの場合も、対応する復号装置では上
記１ビットのデータと、領域の座標を表すデータによっ
て、符号化データ中に画像内のどの部分のデータがある
かがわかる。
【００７０】上記１ビットのデータを符号化装置で決定
する方法としては、あらかじめ周期を決めておく方法、
符号データのデータレートを監視し、所定のレート以上
の際に値１を頻繁に発生し、所定のレートより小さい時
に値０を頻繁に発生するように制御する方法などが用い
られる。前者の方法では符号化データに、上記の１ビッ
トデータを付加する必要はない。いずれにしても、選択
された領域の時間解像度をそれ以外の領域より高くする
ことで、選択された領域の画質を良くすることができ
る。また、選択された領域以外の領域でも時間解像度を
持たせることによって、例えばテレビ電話の背景が変化
した場合にも対応することができる。
【００７１】次に、本発明の符号化装置の第１の実施例
の符号化パラメータ調節部１０４での空間解像度制御に
ついて述べる。
【００７２】本発明の符号化装置では、選択された領域
の画素を間引きをせずに符号化し、それ以外の領域につ
いては間引きによって画素数を少なくし、空間解像度を
低くした後に符号化する。間引きの比率はあらかじめ定
められてもよいし、適応的に間引き率を制御し、間引き
情報を符号化しても良い。復号装置では、符号化データ
が選択された領域のデータである場合はそのまま表示
し、それ以外の領域のデータである場合には画素補間に
よって、もとの解像度に変換した後に表示する。このよ
うに空間解像度を制御することで、選択された領域の画
質を良くすることができる。
【００７３】以上、符号化パラメータとして量子化幅、
駒落し数、空間解像度を調節する方法について述べた
が、これらのパラメータを組み合わせて用いることもで
きる。以下、これらのパラメータを組み合わせて用いる
符号化装置及び復号装置について説明する。
【００７４】図１７は本発明の符号化装置の第２の実施
例を示すブロック図である。
【００７５】本実施例の符号化装置は、画像内のどの部
分を駒落しするかを決定する駒落し決定部１１１と、符
号化されるフレームのフレーム番号を符号化するフレー
ム番号符号化部１１２２、画像内の特定の領域を選択す
る領域選択部１１４と、選択された領域の位置及び形状
を符号化する領域位置・形状符号化部１１５と、与えら
れた区間内の平均ビット数を一定に制御しつつ、選択さ
れた領域内で量子化幅が他の領域に比べて小さくなるよ
う調節する量子化幅制御部１１６と、求められた量子化
幅を符号化する量子化幅符号化部１１７と、領域毎に画
素の間引き率を制御する間引き部１１８と、入力された
動画像データを符号化する動画像符号化部１１９と、符
号化されたデータを統合して組み込む符号化データ統合
部１１３とで構成されている。
【００７６】駒落し決定部１１１は、例えば、図１５の
ように、フレーム０は駒落しせず全画面を符号化し、フ
レーム１，２，３は駒落しを行い、フレーム４は選択さ
れた領域だけを符号化しそれ以外の領域は駒落しを行
う、というように、駒落し方法を決定する。量子化幅符
号化部１１７においては、既に述べたように、データ量
制御のために求めた量子化幅から実際にもちいる量子化
幅を求める方法はあらかじめ定めておいても良いし、適
応的に変化させその情報を符号化しても良い。いずれに
しろ、選択された領域の境界で量子化幅が大きく変化す
ることによる符号量の増加を避けることができる。間引
き部１１８により、選択された領域では高い空間解像度
が保たれ、それ以外の領域では空間解像度が低くなる。
なお、間引き率は原画を間引かずそのまま遅延されるモ
ードも含んでいる。選択された領域については、高い空
間解像度のデータが符号化される。それ以外の領域につ
いては、間引かれて空間解像度が低くなったデータが符
号化される。図示していないが、一般に動き補償予測を
用いた符号化では、符号化装置に「ローカルデコーダ」
と呼ばれる復号部やフレームメモリが備えられ、復号装
置で得られるのと同じ復号画像が求められ、フレームメ
モリに蓄積される。
【００７７】以上のようにして、画像内の選択された領
域の符号化が行われる。
【００７８】上記のように構成された符号化装置によれ
ば、画像内の選択された領域について、量子化幅やＤＣ
Ｔ係数の数のみならず、駒落し数、解像度などの違いに
よって、選択された領域の画質を他に比べて良好に符号
化することができる。
【００７９】図１８は本発明の復号装置の第２の実施例
を示すブロック図である。
【００８０】本実施例の復号装置は、入力された符号化
データを分離する符号化データ分離部２１１と、符号化
されたフレームのフレーム番号を復号するフレーム番号
復号部２１２と、量子化幅を復号する量子化幅復号部２
１３と、符号化データから領域の位置及び形状を復号領
域位置・形状復号部２１４と、動画像データを複合する
動画像復号部２１５と、空間解像度の異なっている領域
のデータを補間する補間部２１６と、復号された画像を
記憶するフレームメモリ２１７とから構成されている。
【００８１】符号化データ分離部２１１は、入力された
符号化データを分離してフレーム番号復号部２１２、量
子化幅復号部２１３、領域位置・形状復号部２１４及び
動画像復号部２１５にそれぞれ必要な符号化データを供
給する。量子化幅復号部２１３では、データ量制御のた
めに求めた量子化幅が復号化されている場合には、所定
の方法で選択された領域の量子化幅を小さく、それ以外
の領域で量子化幅を大きく変更して、画像データの復号
に用いる。補間部２１６では、空間解像度が異なってい
る領域のデータを補間して、画素数が全ての領域で同じ
になるようにする。復号された画像データはディスプレ
イなどに表示されると共に、同図「フレームメモリ」に
記憶され動き補償予測の参照画像として用いられる。
【００８２】以上のようにして、画像内の選択された領
域の符号化データが復号される。
【００８３】上記のように構成された復号装置によれ
ば、符号化の際に選択された領域の位置及び形状を復号
し、量子化幅やＤＣＴ係数の数のみならず、駒落し数、
解像度などの違いによって、選択された領域の画質を他
の領域の画質に比べて良好に復号することができる。
【００８４】
【発明の効果】請求項１に記載の画像符号化装置によれ
ば、データ量を増やさずに選択された領域の画質がその
他の領域の画質より良好となるように符号化を行うこと
ができる。
【００８５】請求項２に記載の画像符号化装置によれ
ば、矩形領域の位置及び大きさのデータを簡単に符号化
することができる。
【００８６】請求項３に記載の画像符号化装置によれ
ば、任意形状の領域の位置及び形状のデータを簡単に符
号化することができる。
【００８７】請求項４に記載の画像符号化装置によれ
ば、矩形領域の位置データを精度良く符号化することが
できる。
【００８８】請求項５に記載の画像符号化装置によれ
ば、任意形状の領域の位置データを精度良く符号化する
ことができる。
【００８９】請求項６に記載の画像符号化装置によれ
ば、矩形領域の位置及び大きさのデータを精度良く符号
化することができる。
【００９０】請求項７に記載の画像符号化装置によれ
ば、任意形状の領域の位置及び形状のデータを精度良く
符号化することができる。
【００９１】請求項８に記載の画像復号装置によれば、
符号化の際に選択された領域の画質が他の領域と比べて
良好に復号された画像を得ることができる。
【００９２】請求項９に記載の画像復号装置によれば、
矩形領域の位置及び大きさのデータを簡単に復号するこ
とができる。
【００９３】請求項１０に記載の画像復号装置によれ
ば、任意形状の領域の位置及び形状のデータを簡単に復
号することができる。
【００９４】請求項１１に記載の画像復号装置によれ
ば、矩形領域の位置を精度良く復号することができる。
【００９５】請求項１２に記載の画像復号装置によれ
ば、任意形状の領域の位置を精度良く復号することがで
きる。
【００９６】請求項１３に記載の画像復号装置によれ
ば、矩形領域の位置及び大きさのデータを精度良く復号
することができる。
【００９７】請求項１４に記載の画像復号装置によれ
ば、任意形状の領域の位置及び形状のデータを精度良く
復号することができる。
【図面の簡単な説明】
【図１】本発明の符号化装置の第１の実施例を示すブロ
ック図である。
【図２】本発明の復号装置の第１の実施例を示すブロッ
ク図である。
【図３】本発明の符号化装置で扱う画像における領域の
第１の例である。
【図４】本発明の符号化装置で扱う画像における領域の
第２の例である。
【図５】８方向量子化符号を示す図である。
【図６】本発明の符号化装置で扱う画像における領域の
第３の例である。
【図７】本発明の符号化装置で扱う画像における領域の
第４の例である。
【図８】本発明の符号化装置で扱う画像における領域の
第５の例である。
【図９】本発明の符号化装置で扱う画像における領域の
第６の例である。
【図１０】本発明の符号化装置で扱う画像におけるブロ
ック設定の第１の例である。
【図１１】本発明の符号化装置で扱う画像におけるブロ
ック設定の第２の例である。
【図１２】本発明の符号化装置で扱う画像におけるブロ
ック設定の第３の例である。
【図１３】本発明の符号化装置で扱う画像におけるブロ
ック設定の第４の例である。
【図１４】ブロック毎の量子化幅の例を示す図である。
【図１５】本発明の符号化装置の駒落しの第１の例を示
す図である。
【図１６】本発明の符号化装置の駒落しの第２の例を示
す図である。
【図１７】本発明の符号化装置の第２の実施例を示すブ
ロック図である。
【図１８】本発明の復号装置の第２の実施例を示すブロ
ック図である。
【符号の説明】
101,114 領域選択部 102,115 領域位置・形状符号化部 103,113 符号化データ統合部 104 符号化パラメータ調節部 105 パラメータ符号化部 106,119 動画像符号化部 111 駒落とし決定部 112 フレーム番号符号化部 116 量子化幅制御部 117 量子化幅符号化部 118 間引き部 201,211 符号化データ分離部 202,214 領域位置・形状復号部 203 パラメータ復号部 204,215 動画像復号部 212 フレーム番号復号部 213 量子化幅復号部 216 補間部 217 フレームメモリ

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 入力された画像データを分割してブロッ
    ク毎に符号化する画像符号化装置であって、前記画像デ
    ータから画質を良好とするべき領域を選択する領域選択
    手段と、前記領域の位置及び形状データを符号化する領
    域位置・形状符号化手段と、符号化の際に使用するパラ
    メータを前記領域の画質が他の領域と比べて良好となる
    よう調節するパラメータ調節手段と、前記パラメータを
    符号化するパラメータ符号化手段とを備えることを特徴
    とする画像符号化装置。
  2. 【請求項２】 前記領域は矩形であり、前記領域位置・
    形状符号化手段は前記領域の位置及び大きさを前記ブロ
    ックを単位とするデータで求めて符号化することを特徴
    とする請求項１に記載の画像符号化装置。
  3. 【請求項３】 前記領域は任意形状であり、前記領域位
    置・形状符号化手段は前記領域の位置及び形状を前記ブ
    ロックを単位とするデータで求めて符号化することを特
    徴とする請求項１に記載の画像符号化装置。
  4. 【請求項４】 前記領域は矩形であり、前記領域位置・
    形状符号化手段は前記領域の位置を画素を単位とするデ
    ータで求め、前記領域の大きさを前記ブロックを単位と
    したデータで求め、各データを符号化することを特徴と
    する請求項１に記載の画像符号化装置。
  5. 【請求項５】 前記領域は任意形状であり、前記領域位
    置・形状符号化手段は前記領域の位置を画素を単位とす
    るデータで求め、前記領域の形状を前記ブロックを単位
    とするデータで求め、各データを符号化することを特徴
    とする請求項１に記載の画像符号化装置。
  6. 【請求項６】 前記領域は矩形であり、前記領域位置・
    形状符号化手段は前記領域の位置及び大きさを画素を単
    位とするデータで求めて符号化することを特徴とする請
    求項１に記載の画像符号化装置。
  7. 【請求項７】 前記領域は任意形状であり、前記領域位
    置・形状符号化手段は前記領域の位置及び形状を画素を
    単位とするデータで求めて符号化することを特徴とする
    請求項１に記載の画像符号化装置。
  8. 【請求項８】 請求項１に記載の画像符号化装置により
    分割されたブロック毎に符号化されたデータから画像を
    復号する画像復号装置であって、前記選択されて符号化
    された領域の位置及び形状を復号する領域位置・形状復
    号手段と、前記調節されて符号化されたパラメータを復
    号する符号化パラメータ復号手段とを備えており、前記
    領域の画質を他の領域の画質と比べて良好となるよう復
    号することを特徴とする画像復号装置。
  9. 【請求項９】 前記領域は矩形であり、前記領域位置・
    形状復号手段は前記ブロックを単位として符号化された
    前記領域の位置及び大きさのデータを復号することを特
    徴とする請求項８に記載の画像復号装置。
  10. 【請求項１０】 前記領域は任意形状であり、前記領域
    位置・形状復号手段は前記ブロックを単位として符号化
    された前記領域の位置及び形状のデータを復号すること
    を特徴とする請求項８に記載の画像復号装置。
  11. 【請求項１１】 前記領域は矩形であり、前記領域位置
    ・形状復号手段は画素を単位として符号化された前記領
    域の位置データと前記ブロックを単位として符号化され
    た前記領域の大きさのデータとを復号することを特徴と
    する請求項８に記載の画像復号装置。
  12. 【請求項１２】 前記領域は任意形状であり、前記領域
    位置・形状復号手段は画素を単位として符号化された前
    記領域の位置データと前記ブロックを単位として符号化
    された前記領域の形状データとを復号することを特徴と
    する請求項８に記載の画像復号装置。
  13. 【請求項１３】 前記領域は矩形であり、前記領域位置
    ・形状復号手段は画素を単位として符号化された前記領
    域の位置及び大きさのデータを復号することを特徴とす
    る請求項８に記載の画像復号装置。
  14. 【請求項１４】 前記領域は任意形状であり、前記領域
    位置・形状復号手段は画素を単位として符号化された前
    記領域の位置及び形状のデータを復号することを特徴と
    する請求項８に記載の画像復号装置。
JP5108995A 1995-03-10 1995-03-10 画像符号化装置及び画像復号装置 Expired - Lifetime JP3086396B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP5108995A JP3086396B2 (ja) 1995-03-10 1995-03-10 画像符号化装置及び画像復号装置
EP20030000920 EP1318682A3 (en) 1995-03-10 1996-02-28 Image encoder and image decoder
EP19960301337 EP0731608B1 (en) 1995-03-10 1996-02-28 Image encoder and decoder with area selection
DE1996632705 DE69632705T2 (de) 1995-03-10 1996-02-28 Bildkodierer und -dekodierer mit Bereichsauswahl
US08/608,508 US5815601A (en) 1995-03-10 1996-02-28 Image encoder and image decoder
US09/041,136 US5978515A (en) 1995-03-10 1998-03-12 Image encoder and image decoder
JP2000167193A JP3500112B2 (ja) 1995-03-10 2000-06-05 画像符号化装置及び画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5108995A JP3086396B2 (ja) 1995-03-10 1995-03-10 画像符号化装置及び画像復号装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP36008698A Division JP3115866B2 (ja) 1998-12-18 1998-12-18 画像符号化装置及び画像復号装置
JP2000167193A Division JP3500112B2 (ja) 1995-03-10 2000-06-05 画像符号化装置及び画像復号装置

Publications (2)

Publication Number Publication Date
JPH08251583A true JPH08251583A (ja) 1996-09-27
JP3086396B2 JP3086396B2 (ja) 2000-09-11

Family

ID=12877097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5108995A Expired - Lifetime JP3086396B2 (ja) 1995-03-10 1995-03-10 画像符号化装置及び画像復号装置

Country Status (4)

Country Link
US (2) US5815601A (ja)
EP (2) EP0731608B1 (ja)
JP (1) JP3086396B2 (ja)
DE (1) DE69632705T2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271515A (ja) * 1997-03-26 1998-10-09 Sanyo Electric Co Ltd 注目領域追跡方法、その方法を用いた注目領域追跡装置および画像符号化方法
WO1999038330A1 (en) * 1998-01-27 1999-07-29 Sharp Kabushiki Kaisha Moving picture coder and moving picture decoder
JP2003219383A (ja) * 2001-11-13 2003-07-31 Matsushita Electric Ind Co Ltd 画像を用いる通信方法及びその装置
JP2007235934A (ja) * 2006-03-02 2007-09-13 Mitsubishi Electric Research Laboratories Inc スケーラブルな画像トランスコーディング方法及び装置
JP2008532427A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド テレビ電話のための背景のスキッピングを用いた関心領域の符号化
JP2008532428A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド テレビ電話のための品質測定法バイアス関心領域コーディング
JP2008532429A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド テレビ電話のための背景のスキッピングを用いた関心領域の符号化
JP2009501476A (ja) * 2005-07-13 2009-01-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ時間アップコンバージョンを用いた処理方法及び装置
JP2009247019A (ja) * 1997-04-24 2009-10-22 Mitsubishi Electric Corp 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
WO2011125730A1 (ja) * 2010-04-09 2011-10-13 ソニー株式会社 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
JP2013126056A (ja) * 2011-12-14 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
JP2014197806A (ja) * 2013-03-29 2014-10-16 富士フイルム株式会社 画像圧縮装置および画像伸張装置，ならびにこれらの動作制御方法
US9667980B2 (en) 2005-03-01 2017-05-30 Qualcomm Incorporated Content-adaptive background skipping for region-of-interest video coding

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2191177T3 (es) * 1996-05-17 2003-09-01 Matsushita Electric Ind Co Ltd Decodificador de imagenes.
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
CN1196319C (zh) 1996-07-31 2005-04-06 松下电器产业株式会社 图象解码装置和图象解码方法
FR2752474B1 (fr) * 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
US6008853A (en) * 1996-11-15 1999-12-28 Texas Instruments Incorporated Sub-frame decoder with area dependent update rate for digital camcorder transmission standard
JP3213561B2 (ja) 1997-02-05 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
US6351565B1 (en) * 1997-02-07 2002-02-26 Matsushita Electric Industrial Co, Ltd. Data structure for image transmission, method of image transmission, image decoding apparatus, and data recording media
CN101005624B (zh) * 1997-02-13 2011-11-16 三菱电机株式会社 动态图象译码装置和方法
JP3721716B2 (ja) * 1997-06-02 2005-11-30 富士ゼロックス株式会社 画像情報符号化装置および方法
JP3381827B2 (ja) * 1997-06-04 2003-03-04 富士ゼロックス株式会社 カラー画像符号化装置およびカラー画像復号装置
JP3570863B2 (ja) * 1997-08-05 2004-09-29 三菱電機株式会社 動画像復号化装置および動画像復号化方法
JP2001522174A (ja) 1997-10-28 2001-11-13 シーメンス アクチエンゲゼルシヤフト デジタル画像の処理方法および処理装置
GB2333590A (en) * 1998-01-23 1999-07-28 Sharp Kk Detecting a face-like region
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6310970B1 (en) 1998-06-24 2001-10-30 Colorcom, Ltd. Defining surfaces in border string sequences representing a raster image
US6324300B1 (en) * 1998-06-24 2001-11-27 Colorcom, Ltd. Defining color borders in a raster image
US6226618B1 (en) * 1998-08-13 2001-05-01 International Business Machines Corporation Electronic content delivery system
US20020051491A1 (en) * 1998-11-20 2002-05-02 Kiran Challapali Extraction of foreground information for video conference
US6850565B2 (en) * 1998-12-18 2005-02-01 Intel Corporation Real time bit rate control system
KR100325884B1 (ko) * 1999-04-06 2002-03-07 이민화 3차원 칼라 초음파영상의 부호화 및 복호화시스템
JP2001218206A (ja) * 2000-02-02 2001-08-10 Sony Corp 画像符号化装置及び方法、媒体
JP2002064821A (ja) * 2000-06-06 2002-02-28 Office Noa:Kk 動画像情報の圧縮方法およびそのシステム
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
JP4596227B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
JP4153202B2 (ja) * 2001-12-25 2008-09-24 松下電器産業株式会社 映像符号化装置
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
CN1926576A (zh) * 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和系统
EP1727090A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital decoding 3d stereoscopic video images
CN1914915A (zh) 2004-04-23 2007-02-14 住友电气工业株式会社 活动图像数据的编码方法、解码方法及实施这些方法的终端装置、以及双向对话型系统
CN101164341B (zh) * 2005-03-01 2012-05-02 高通股份有限公司 用于视频电话的质量度量偏移的关注区编码
EP1734768A1 (en) * 2005-06-15 2006-12-20 Matsushita Electric Industrial Co., Ltd. Adaptive video with intra/inter mode decision based on network congestion
US8081684B2 (en) * 2005-08-19 2011-12-20 Qualcomm Incorporated Picture-in-picture processing for video telephony
CN103118252B (zh) * 2005-09-26 2016-12-07 三菱电机株式会社 运动图像编码装置以及运动图像译码装置
CN101523917A (zh) * 2006-09-29 2009-09-02 汤姆逊许可证公司 几何帧内预测
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
US8238428B2 (en) 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
US20090067494A1 (en) * 2007-09-06 2009-03-12 Sony Corporation, A Japanese Corporation Enhancing the coding of video by post multi-modal coding
JP5115398B2 (ja) * 2008-08-27 2013-01-09 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8363720B2 (en) * 2009-01-26 2013-01-29 Panasonic Corporation Moving image processing device, moving image processing method and imaging apparatus
US8379985B2 (en) * 2009-07-03 2013-02-19 Sony Corporation Dominant gradient method for finding focused objects
EP2620121A4 (en) * 2010-09-22 2017-08-09 The Yoshida Dental Mfg. Co., Ltd. Air turbine handpiece
US9554132B2 (en) 2011-05-31 2017-01-24 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
US20130279882A1 (en) * 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP6537396B2 (ja) * 2015-08-03 2019-07-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
GB201714791D0 (en) * 2017-09-14 2017-11-01 Univ Bristol Video processing method
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1171627A (en) * 1966-10-07 1969-11-26 Post Office Improvements in or relating to Character Recognition Machines
US4494144A (en) * 1982-06-28 1985-01-15 At&T Bell Laboratories Reduced bandwidth video transmission
US4550438A (en) * 1982-06-29 1985-10-29 International Business Machines Corporation Retro-stroke compression and image generation of script and graphic data employing an information processing system
JPS59101969A (ja) * 1982-12-01 1984-06-12 Dainippon Screen Mfg Co Ltd ２値画像パタ−ンのデ−タ処理方法及び装置
EP0131676B1 (de) * 1983-07-04 1989-08-02 URW Software & Type GmbH Verfahren zum automatischen Digitalisieren des Umrisses von Strichgraphiken z.B. Buchstaben
US4777651A (en) * 1984-06-25 1988-10-11 Tektronix, Inc. Method of pixel to vector conversion in an automatic picture coding system
IE852259L (en) * 1985-09-13 1987-03-13 Scottish & Newcastle Breweries A method and apparatus for constructing, storing and¹displaying characters
GB2190560B (en) * 1986-05-08 1990-06-20 Gen Electric Plc Data compression
US5136659A (en) * 1987-06-30 1992-08-04 Kokusai Denshin Denwa Kabushiki Kaisha Intelligent coding system for picture signal
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
JPH0273793A (ja) * 1988-09-08 1990-03-13 Canon Inc 高能率符号化装置
JPH02126780A (ja) * 1988-11-07 1990-05-15 Nec Corp 画像信号の符号化装置
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
JPH0493894A (ja) * 1990-08-03 1992-03-26 Canon Inc 文字処理方法および装置
JPH04334188A (ja) * 1991-05-08 1992-11-20 Nec Corp 動画像信号の符号化方式
JPH0537924A (ja) * 1991-07-29 1993-02-12 Hitachi Ltd 画像信号符号化方法および装置
JPH0575867A (ja) * 1991-09-12 1993-03-26 Matsushita Electric Ind Co Ltd 画像データ符号化装置
JP3033622B2 (ja) * 1991-10-31 2000-04-17 日本電気株式会社 Ｔｖ会議システム
EP0648400A1 (en) * 1992-06-29 1995-04-19 BRITISH TELECOMMUNICATIONS public limited company Coding and decoding video signals
JP2856300B2 (ja) * 1993-02-19 1999-02-10 富士ゼロックス株式会社 画像符号化装置および復号装置
AU6381394A (en) * 1993-03-30 1994-10-24 Lewis, Adrian S. Data compression and decompression
US5546477A (en) * 1993-03-30 1996-08-13 Klics, Inc. Data compression and decompression
JP2812168B2 (ja) * 1993-12-27 1998-10-22 松下電器産業株式会社 形状データ圧縮方法および形状データ伸長方法
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271515A (ja) * 1997-03-26 1998-10-09 Sanyo Electric Co Ltd 注目領域追跡方法、その方法を用いた注目領域追跡装置および画像符号化方法
JP2009247019A (ja) * 1997-04-24 2009-10-22 Mitsubishi Electric Corp 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
JP2011010371A (ja) * 1997-04-24 2011-01-13 Mitsubishi Electric Corp 動画像復号装置
WO1999038330A1 (en) * 1998-01-27 1999-07-29 Sharp Kabushiki Kaisha Moving picture coder and moving picture decoder
US6714591B1 (en) 1998-01-27 2004-03-30 Sharp Kabushiki Kaisha Video image coding device and video image decoding device
JP2003219383A (ja) * 2001-11-13 2003-07-31 Matsushita Electric Ind Co Ltd 画像を用いる通信方法及びその装置
JP2008532427A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド テレビ電話のための背景のスキッピングを用いた関心領域の符号化
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
JP2008532428A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド テレビ電話のための品質測定法バイアス関心領域コーディング
JP2008532429A (ja) * 2005-03-01 2008-08-14 クゥアルコム・インコーポレイテッド テレビ電話のための背景のスキッピングを用いた関心領域の符号化
US9667980B2 (en) 2005-03-01 2017-05-30 Qualcomm Incorporated Content-adaptive background skipping for region-of-interest video coding
JP2012110008A (ja) * 2005-03-01 2012-06-07 Qualcomm Inc ロー領域ビット割り振りを使用するテレビ電話における関心領域の符号化
JP2012110002A (ja) * 2005-03-01 2012-06-07 Qualcomm Inc テレビ電話のための背景のスキッピングを用いた関心領域の符号化
JP2012147431A (ja) * 2005-03-01 2012-08-02 Qualcomm Inc テレビ電話のための品質メトリックバイアス関心領域コーディング
JP2013062824A (ja) * 2005-03-01 2013-04-04 Qualcomm Inc ロー領域ビット割り振りを使用するテレビ電話における関心領域の符号化
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
JP2009501476A (ja) * 2005-07-13 2009-01-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ時間アップコンバージョンを用いた処理方法及び装置
JP2007235934A (ja) * 2006-03-02 2007-09-13 Mitsubishi Electric Research Laboratories Inc スケーラブルな画像トランスコーディング方法及び装置
WO2011125730A1 (ja) * 2010-04-09 2011-10-13 ソニー株式会社 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
JP2013126056A (ja) * 2011-12-14 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
JP2014197806A (ja) * 2013-03-29 2014-10-16 富士フイルム株式会社 画像圧縮装置および画像伸張装置，ならびにこれらの動作制御方法

Also Published As

Publication number Publication date
EP0731608A3 (en) 1998-09-16
EP0731608B1 (en) 2004-06-16
EP1318682A2 (en) 2003-06-11
JP3086396B2 (ja) 2000-09-11
EP1318682A3 (en) 2004-12-08
DE69632705T2 (de) 2005-07-07
DE69632705D1 (de) 2004-07-22
US5815601A (en) 1998-09-29
EP0731608A2 (en) 1996-09-11
US5978515A (en) 1999-11-02

Similar Documents

Publication Publication Date Title
JP3086396B2 (ja) 画像符号化装置及び画像復号装置
KR100476486B1 (ko) 해상도변환방법및장치,및해상도변환을위한디코더
KR100319944B1 (ko) 화상부호화장치및화상복호장치
JP4014263B2 (ja) 映像信号変換装置及び映像信号変換方法
US6088061A (en) Video coding device and video decoding device
US20080084932A1 (en) Controlling loop filtering for interlaced video frames
KR100504641B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JPH07222145A (ja) 画像符号化装置
JPH09214970A (ja) 画像符号変換方式
WO2013191193A1 (ja) 映像圧縮伝送システム
JP2933561B2 (ja) 動画符号変換装置
KR100981456B1 (ko) 서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체 및 서브 화상 조정 장치
JP3115866B2 (ja) 画像符号化装置及び画像復号装置
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
Martins et al. A unified approach to restoration, deinterlacing and resolution enhancement in decoding MPEG-2 video
JP3500112B2 (ja) 画像符号化装置及び画像復号装置
JP4264811B2 (ja) 画像復号化装置及び画像復号化方法
JP2001346207A (ja) 画像情報変換装置及び方法
JP2002044668A (ja) 画像情報変換装置及び方法
JP2002051345A (ja) 画像情報変換装置及び方法
JPH10145788A (ja) 映像再生装置
JP2001346214A (ja) 画像情報変換装置及び方法
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置
JP2002199399A (ja) 動きベクトル変換方法及び変換装置
JPH10126749A (ja) 順次走査変換装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070707

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080707

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080707

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 13

EXPY Cancellation because of completion of term