JPH1056645A - 画像信号符号化装置及び画像信号符号化方法 - Google Patents
画像信号符号化装置及び画像信号符号化方法Info
- Publication number
- JPH1056645A JPH1056645A JP9165476A JP16547697A JPH1056645A JP H1056645 A JPH1056645 A JP H1056645A JP 9165476 A JP9165476 A JP 9165476A JP 16547697 A JP16547697 A JP 16547697A JP H1056645 A JPH1056645 A JP H1056645A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image signal
- circuit
- signal
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 誤った動きベクトルを検出し、これを用いて
内挿フレームを合成した場合、合成された内挿フレーム
は歪みが大きくなってしまう。 【解決手段】 入力画像信号を所定の画面間隔で符号化
し符号化信号として出力するフレーム符号化回路１０３
と、入力画像信号の画面間の動きベクトルを求める動き
ベクトル検出回路１０４と、動きベクトルを用いて符号
化される画面間に内挿画面を合成するフレーム内挿回路
１０５と、内挿画面と当該内挿画面に対応する入力画像
信号の画面の差分を求め、内挿画面と入力画像信号の画
面の差分をブロック単位で評価し、当該差分の大きなブ
ロックについては当該ブロックの入力画像信号を補償画
像として出力する歪み評価回路１０６、補償画像選択回
路１０７と、符号化信号と動きベクトルと補償画像から
出力信号を得て送出する送出回路１０８とを備えてい
る。
内挿フレームを合成した場合、合成された内挿フレーム
は歪みが大きくなってしまう。 【解決手段】 入力画像信号を所定の画面間隔で符号化
し符号化信号として出力するフレーム符号化回路１０３
と、入力画像信号の画面間の動きベクトルを求める動き
ベクトル検出回路１０４と、動きベクトルを用いて符号
化される画面間に内挿画面を合成するフレーム内挿回路
１０５と、内挿画面と当該内挿画面に対応する入力画像
信号の画面の差分を求め、内挿画面と入力画像信号の画
面の差分をブロック単位で評価し、当該差分の大きなブ
ロックについては当該ブロックの入力画像信号を補償画
像として出力する歪み評価回路１０６、補償画像選択回
路１０７と、符号化信号と動きベクトルと補償画像から
出力信号を得て送出する送出回路１０８とを備えてい
る。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像信号の伝送
もしくは記録において、動画像信号の圧縮符号化を行な
う画像信号符号化装置および符号化方法に関する。
もしくは記録において、動画像信号の圧縮符号化を行な
う画像信号符号化装置および符号化方法に関する。
【０００２】
【従来の技術】近年、動画像信号符号化装置および復号
化装置においては、テレビ電話やテレビ会議システムの
開発にともない、各種の圧縮符号化方式が実用化されて
いる。符号化時に動画像信号のフレーム数を間引くこと
より、伝送情報量は確実に削減できる。しかし、再生画
像の動きに不自然さを生じるため、復号化時に再生フレ
ーム間に合成したフレームを内挿する「フレーム内挿」
が行われている。
化装置においては、テレビ電話やテレビ会議システムの
開発にともない、各種の圧縮符号化方式が実用化されて
いる。符号化時に動画像信号のフレーム数を間引くこと
より、伝送情報量は確実に削減できる。しかし、再生画
像の動きに不自然さを生じるため、復号化時に再生フレ
ーム間に合成したフレームを内挿する「フレーム内挿」
が行われている。
【０００３】以下、図面を参照しながら上述した従来の
動画像信号符号化装置および復号化装置について説明す
る。
動画像信号符号化装置および復号化装置について説明す
る。
【０００４】図６は従来の動画像信号符号化装置および
復号化装置のブロック図を示すものである。図６におい
て、１は動画像信号を符号化して送出する動画像信号符
号化装置であり、１０１は動画像信号符号化装置の入
力、１０２はフレーム間引き回路、１０３はフレーム符
号化回路、１０８は送出回路、１０９は動画像信号符号
化装置の出力である。２は動画像信号を再生する動画像
信号復号化装置であり、２０１は動画像信号復号化装置
の入力、２０８は受信回路、２０３はフレーム復号化回
路、２０９は動きベクトル検出回路、２０４はフレーム
内挿回路、２０６は切り換え回路、２０７は動画像信号
復号化装置の出力である。
復号化装置のブロック図を示すものである。図６におい
て、１は動画像信号を符号化して送出する動画像信号符
号化装置であり、１０１は動画像信号符号化装置の入
力、１０２はフレーム間引き回路、１０３はフレーム符
号化回路、１０８は送出回路、１０９は動画像信号符号
化装置の出力である。２は動画像信号を再生する動画像
信号復号化装置であり、２０１は動画像信号復号化装置
の入力、２０８は受信回路、２０３はフレーム復号化回
路、２０９は動きベクトル検出回路、２０４はフレーム
内挿回路、２０６は切り換え回路、２０７は動画像信号
復号化装置の出力である。
【０００５】以上のように構成された動画像信号復号化
装置および復号化装置について、以下その動作を説明す
る。
装置および復号化装置について、以下その動作を説明す
る。
【０００６】符号化する動画像信号は、動画像信号符号
化装置１の入力１０１に入力する。以下、入力１０１に
入力する信号を入力動画像信号と呼ぶ。入力動画像信号
は、フレーム間引き回路１０２により、２フレームに１
フレームの割合でフレーム数が間引かれる。この様子を
図７に示す。（ａ）は入力動画像信号の連続するフレー
ムＡ，Ｂ，Ｃ，Ｄを表す。このうちＢ，Ｄはフレーム間
引き回路１０２により間引かれるフレームであり、Ａ，
Ｃはフレーム間引き回路を通過するフレームである。フ
レームＡ，Ｃを符号化フレームと呼ぶ。フレーム符号化
回路１０３は符号化フレームの符号化を行ないフレーム
符号を出力する。送出回路１０８は入力されるフレーム
符号を出力の形態に合わせ、動画像信号符号化装置の出
力１０９から出力する。
化装置１の入力１０１に入力する。以下、入力１０１に
入力する信号を入力動画像信号と呼ぶ。入力動画像信号
は、フレーム間引き回路１０２により、２フレームに１
フレームの割合でフレーム数が間引かれる。この様子を
図７に示す。（ａ）は入力動画像信号の連続するフレー
ムＡ，Ｂ，Ｃ，Ｄを表す。このうちＢ，Ｄはフレーム間
引き回路１０２により間引かれるフレームであり、Ａ，
Ｃはフレーム間引き回路を通過するフレームである。フ
レームＡ，Ｃを符号化フレームと呼ぶ。フレーム符号化
回路１０３は符号化フレームの符号化を行ないフレーム
符号を出力する。送出回路１０８は入力されるフレーム
符号を出力の形態に合わせ、動画像信号符号化装置の出
力１０９から出力する。
【０００７】動画像信号復号化装置２は、動画像信号符
号化装置１により符号化された信号を復号化して動画像
信号を再生する。受信回路２０８は、動画像信号復号化
装置２の入力２０１に入力される信号を再生し、受信フ
レーム符号を得る。受信フレーム符号は動画像信号符号
化装置１におけるフレーム符号に相当するものである。
フレーム復号化回路２０３は受信フレーム符号を復号化
して再生フレームを得る。図７（ｂ）に再生フレームの
様子を示す。Ａ’，Ｃ’は再生フレームであり、符号化
フレームＡ，Ｃを再生したものである。動きベクトル検
出回路２０９は再生フレーム間の動きベクトルを求め
る。フレーム内挿回路２０４は動きベクトルを用いて再
生フレーム間に位置するフレームを合成する。以下、こ
の合成したフレームを再生内挿フレームと呼ぶ。次に、
再生フレームＡ’，Ｃ’間に位置する内挿フレームＢｉ
を求める場合について説明する。動きベクトル検出回路
２０９は再生フレームＡ’，Ｃ’から、これらのフレー
ム間の動きベクトルＶACを求める。フレーム内挿回路２
０４は、再生フレームＡ’，Ｃ’と動きベクトルＶACを
用いて内挿フレームＢｉを合成する。図７（ｃ）は動画
像信号復号化装置２の出力２０７におけるフレームを示
す。切り換えスイッチ２０６をｃ側に切り換えると再生
フレームが、ｉ側に切り換えると内挿フレームが、２０
７より出力される。動画像信号復号化装置２の出力は再
生動画像信号である。
号化装置１により符号化された信号を復号化して動画像
信号を再生する。受信回路２０８は、動画像信号復号化
装置２の入力２０１に入力される信号を再生し、受信フ
レーム符号を得る。受信フレーム符号は動画像信号符号
化装置１におけるフレーム符号に相当するものである。
フレーム復号化回路２０３は受信フレーム符号を復号化
して再生フレームを得る。図７（ｂ）に再生フレームの
様子を示す。Ａ’，Ｃ’は再生フレームであり、符号化
フレームＡ，Ｃを再生したものである。動きベクトル検
出回路２０９は再生フレーム間の動きベクトルを求め
る。フレーム内挿回路２０４は動きベクトルを用いて再
生フレーム間に位置するフレームを合成する。以下、こ
の合成したフレームを再生内挿フレームと呼ぶ。次に、
再生フレームＡ’，Ｃ’間に位置する内挿フレームＢｉ
を求める場合について説明する。動きベクトル検出回路
２０９は再生フレームＡ’，Ｃ’から、これらのフレー
ム間の動きベクトルＶACを求める。フレーム内挿回路２
０４は、再生フレームＡ’，Ｃ’と動きベクトルＶACを
用いて内挿フレームＢｉを合成する。図７（ｃ）は動画
像信号復号化装置２の出力２０７におけるフレームを示
す。切り換えスイッチ２０６をｃ側に切り換えると再生
フレームが、ｉ側に切り換えると内挿フレームが、２０
７より出力される。動画像信号復号化装置２の出力は再
生動画像信号である。
【０００８】
【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、（ア）ブロック内に異なる方向に動く物
体があるとき、（イ）動体の影から背景が現われたり、
動体により背景がかくれるとき、（ウ）動体の形状が変
化するとき、（エ）回転をともなう運動をするとき、等
において、正しい動きベクトルが存在しないため、誤っ
た動きベクトルが検出され、これを用いて合成した内挿
フレームに歪みを生じるという課題を有していた。
うな構成では、（ア）ブロック内に異なる方向に動く物
体があるとき、（イ）動体の影から背景が現われたり、
動体により背景がかくれるとき、（ウ）動体の形状が変
化するとき、（エ）回転をともなう運動をするとき、等
において、正しい動きベクトルが存在しないため、誤っ
た動きベクトルが検出され、これを用いて合成した内挿
フレームに歪みを生じるという課題を有していた。
【０００９】
【課題を解決するための手段】上記課題を解決するため
に本発明の画像信号符号化装置は、入力画像信号を所定
の画面間隔で符号化し符号化信号として出力する符号化
手段と、前記入力画像信号の画面間の動きベクトルを求
める動きベクトル検出手段と、前記動きベクトルを用い
て符号化される画面間に内挿画面を合成する内挿手段
と、前記内挿画面と当該内挿画面に対応する前記入力画
像信号の画面の差分を求める減算手段と、前記内挿画面
と前記入力画像信号の画面の差分をブロック単位で評価
し当該差分の大きなブロックについては当該ブロックの
前記入力画像信号を補償画像として出力する歪み評価手
段と、前記符号化信号と前記動きベクトルと前記補償画
像から出力信号を得て送出する送出手段とを備えたもの
である。
に本発明の画像信号符号化装置は、入力画像信号を所定
の画面間隔で符号化し符号化信号として出力する符号化
手段と、前記入力画像信号の画面間の動きベクトルを求
める動きベクトル検出手段と、前記動きベクトルを用い
て符号化される画面間に内挿画面を合成する内挿手段
と、前記内挿画面と当該内挿画面に対応する前記入力画
像信号の画面の差分を求める減算手段と、前記内挿画面
と前記入力画像信号の画面の差分をブロック単位で評価
し当該差分の大きなブロックについては当該ブロックの
前記入力画像信号を補償画像として出力する歪み評価手
段と、前記符号化信号と前記動きベクトルと前記補償画
像から出力信号を得て送出する送出手段とを備えたもの
である。
【００１０】本発明は上記した構成により、画像信号符
号化装置において、あらかじめ内挿画面の合成を行な
い、この内挿画面内で歪みが大きいブロックについては
入力画像信号を補償画像として、符号化信号、動きベク
トルと共に送出し、画像信号復号化装置において、合成
した内挿画面の一部を、受信した補償画像で置き換える
ようにしたことにより、内挿画面に生じる歪みを低減で
きる。
号化装置において、あらかじめ内挿画面の合成を行な
い、この内挿画面内で歪みが大きいブロックについては
入力画像信号を補償画像として、符号化信号、動きベク
トルと共に送出し、画像信号復号化装置において、合成
した内挿画面の一部を、受信した補償画像で置き換える
ようにしたことにより、内挿画面に生じる歪みを低減で
きる。
【００１１】
【発明の実施の形態】以下、本発明の一実施形態におけ
る動画像信号符号化装置および復号化装置、ならびに参
考例である動画像信号符号化装置および復号化装置につ
いて図面を参照しながら説明する。
る動画像信号符号化装置および復号化装置、ならびに参
考例である動画像信号符号化装置および復号化装置につ
いて図面を参照しながら説明する。
【００１２】図１（ａ），（ｂ）は本発明の実施形態に
おける動画像信号符号化装置および復号化装置のブロッ
ク図を示すものである。図１において、１は動画像信号
を符号化して送出する動画像信号符号化装置であり、１
０１は動画像信号符号化装置の入力、１０２はフレーム
間引き回路、１０３はフレーム符号化回路、１０４は動
きベクトル検出回路、１０５はフレーム内挿回路、１０
６は歪み評価回路、１０７は補償画像選択回路、１０８
は送出回路、１０９は動画像信号符号化装置の出力であ
る。２は動画像信号を再生する動画像信号復号化装置で
あり、２０１は動画像信号復号化装置の入力、２０２は
受信回路、２０３はフレーム復号化回路、２０４はフレ
ーム内挿回路、２０５は歪み補償回路、２０６は切り換
え回路、２０７は動画像信号復号化装置の出力である。
おける動画像信号符号化装置および復号化装置のブロッ
ク図を示すものである。図１において、１は動画像信号
を符号化して送出する動画像信号符号化装置であり、１
０１は動画像信号符号化装置の入力、１０２はフレーム
間引き回路、１０３はフレーム符号化回路、１０４は動
きベクトル検出回路、１０５はフレーム内挿回路、１０
６は歪み評価回路、１０７は補償画像選択回路、１０８
は送出回路、１０９は動画像信号符号化装置の出力であ
る。２は動画像信号を再生する動画像信号復号化装置で
あり、２０１は動画像信号復号化装置の入力、２０２は
受信回路、２０３はフレーム復号化回路、２０４はフレ
ーム内挿回路、２０５は歪み補償回路、２０６は切り換
え回路、２０７は動画像信号復号化装置の出力である。
【００１３】以上のように構成された動画像信号符号化
装置および復号化装置について、図１を用いてその動作
を説明する。
装置および復号化装置について、図１を用いてその動作
を説明する。
【００１４】符号化する動画像信号は動画像信号符号化
装置１の入力１０１に入力する。以下、入力１０１に入
力する信号を入力動画像信号と呼ぶ。入力動画像信号は
フレーム間引き回路１０２により２フレームに１フレー
ムの割合でフレーム数が間引かれる。この様子を図２に
示す。（ａ）は入力動画像信号の連続するフレームＡ，
Ｂ，Ｃ，Ｄを表わす。このうちＢ，Ｄはフレーム間引き
回路１０２により間引かれるフレームであり、Ａ，Ｃは
フレーム間引き回路１０２を通過するフレームである。
以下、Ａ，Ｃを符号化フレームと呼ぶ。フレーム符号化
回路１０３は符号化フレームの符号化を行ないフレーム
符号を得る。動きベクトル検出回路１０４は入力動画像
信号を用い、符号化フレーム間の動きベクトルを求め
る。フレーム内挿回路１０５は符号化フレーム間に位置
する内挿フレームを合成する。次に、符号化フレーム
Ａ，Ｃ間に位置する内挿フレームＢｉを求める動作を説
明する。動きベクトル検出回路１０４はフレームＡ，Ｃ
から、これらのフレーム間の動きベクトルＶACを求め
る。フレーム内挿回路１０５は、フレームＡ，Ｃと動き
ベクトルＶACを用いて内挿フレームＢｉを合成する。図
２（ｂ）に内挿フレームＢｉの様子を示す。この後、内
挿フレームＢｉは歪み評価回路１０６により歪みの評価
が行なわれる。歪みの評価について図３により説明す
る。歪みの評価は複数画素の集合であるブロック単位で
行なう。内挿フレームＢｉ上の座標（ｘ，ｙ）のブロッ
クｂｉxyと、入力動画像信号のフレームＢ上の座標
（ｘ，ｙ）のブロックｂxyの各画素について差を求め、
この差の最大値をブロックｂｉxyの歪みとする。内挿フ
レームＢｉのすべてのブロックについて歪みを求め、歪
みの大きいものから順にＮブロックを選択する。このＮ
ブロックは後述する補償画像により歪みが補償されるブ
ロックである。歪み評価回路１０６は、このＮブロック
の座標を補償画像選択回路１０７に与える。補償画像選
択回路１０７は、この座標に対応するブロックを入力動
画像信号のフレームＢから切り出す。切り出した画像は
補償画像と呼び、フレーム符号，動きベクトルとともに
送出回路１０８の出力の形態に合わせた後、出力１０９
より送出される。
装置１の入力１０１に入力する。以下、入力１０１に入
力する信号を入力動画像信号と呼ぶ。入力動画像信号は
フレーム間引き回路１０２により２フレームに１フレー
ムの割合でフレーム数が間引かれる。この様子を図２に
示す。（ａ）は入力動画像信号の連続するフレームＡ，
Ｂ，Ｃ，Ｄを表わす。このうちＢ，Ｄはフレーム間引き
回路１０２により間引かれるフレームであり、Ａ，Ｃは
フレーム間引き回路１０２を通過するフレームである。
以下、Ａ，Ｃを符号化フレームと呼ぶ。フレーム符号化
回路１０３は符号化フレームの符号化を行ないフレーム
符号を得る。動きベクトル検出回路１０４は入力動画像
信号を用い、符号化フレーム間の動きベクトルを求め
る。フレーム内挿回路１０５は符号化フレーム間に位置
する内挿フレームを合成する。次に、符号化フレーム
Ａ，Ｃ間に位置する内挿フレームＢｉを求める動作を説
明する。動きベクトル検出回路１０４はフレームＡ，Ｃ
から、これらのフレーム間の動きベクトルＶACを求め
る。フレーム内挿回路１０５は、フレームＡ，Ｃと動き
ベクトルＶACを用いて内挿フレームＢｉを合成する。図
２（ｂ）に内挿フレームＢｉの様子を示す。この後、内
挿フレームＢｉは歪み評価回路１０６により歪みの評価
が行なわれる。歪みの評価について図３により説明す
る。歪みの評価は複数画素の集合であるブロック単位で
行なう。内挿フレームＢｉ上の座標（ｘ，ｙ）のブロッ
クｂｉxyと、入力動画像信号のフレームＢ上の座標
（ｘ，ｙ）のブロックｂxyの各画素について差を求め、
この差の最大値をブロックｂｉxyの歪みとする。内挿フ
レームＢｉのすべてのブロックについて歪みを求め、歪
みの大きいものから順にＮブロックを選択する。このＮ
ブロックは後述する補償画像により歪みが補償されるブ
ロックである。歪み評価回路１０６は、このＮブロック
の座標を補償画像選択回路１０７に与える。補償画像選
択回路１０７は、この座標に対応するブロックを入力動
画像信号のフレームＢから切り出す。切り出した画像は
補償画像と呼び、フレーム符号，動きベクトルとともに
送出回路１０８の出力の形態に合わせた後、出力１０９
より送出される。
【００１５】次に、動画像信号復号化装置２の動作につ
いて説明する。動画像信号復号化装置２は動画像符号化
装置１により符号化された動画像信号を復号化して動画
像信号を再生するものである。伝送路や記録媒体等から
得られた信号は、動画像信号復号化装置２の入力２０１
に入力される。受信回路２０２は、受信フレーム符号を
２０２１に、受信動きベクトルを２０２２に、受信補償
画像を２０２３にそれぞれ出力する。これらは動画像信
号符号化装置１におけるフレーム符号，動きベクトル，
補償画像にそれぞれ相当するものである。フレーム復号
化回路２０３は受信フレーム符号を復号化して再生フレ
ームを出力する。フレーム内挿回路２０４は再生フレー
ム間に位置する内挿フレームを合成する。この様子を図
２（ｃ）に示す。Ａ’，Ｃ’は再生フレームであり、Ｂ
ｉ’，Ｄｉ’はフレーム内挿回路２０４で合成される内
挿フレームである。フレーム復号化回路２０３から再生
フレームＡ’，Ｃ’が出力され、受信回路２０２から符
号化フレームＡ，Ｃ間の動きベクトルＶACが出力される
とき、フレーム内挿回路２０４は内挿フレームＢｉ’を
合成して出力する。歪み補償回路２０５は、内挿フレー
ムの一部を受信補償画像で置き換える。受信補償画像に
より置き換えられるフレームＢｉ’内の位置は、動画像
信号符号化装置１において補償画像選択回路１０７が入
力動画像信号のフレームＢから補償画像を取り出された
のと同じ位置である。切り換え回路２０６をｃ側に切り
換えると再生フレームが、ｉ側に切り換えると歪み補償
回路２０５を通過した内挿フレームが動画像信号符号化
装置の出力２０７に得られる。
いて説明する。動画像信号復号化装置２は動画像符号化
装置１により符号化された動画像信号を復号化して動画
像信号を再生するものである。伝送路や記録媒体等から
得られた信号は、動画像信号復号化装置２の入力２０１
に入力される。受信回路２０２は、受信フレーム符号を
２０２１に、受信動きベクトルを２０２２に、受信補償
画像を２０２３にそれぞれ出力する。これらは動画像信
号符号化装置１におけるフレーム符号，動きベクトル，
補償画像にそれぞれ相当するものである。フレーム復号
化回路２０３は受信フレーム符号を復号化して再生フレ
ームを出力する。フレーム内挿回路２０４は再生フレー
ム間に位置する内挿フレームを合成する。この様子を図
２（ｃ）に示す。Ａ’，Ｃ’は再生フレームであり、Ｂ
ｉ’，Ｄｉ’はフレーム内挿回路２０４で合成される内
挿フレームである。フレーム復号化回路２０３から再生
フレームＡ’，Ｃ’が出力され、受信回路２０２から符
号化フレームＡ，Ｃ間の動きベクトルＶACが出力される
とき、フレーム内挿回路２０４は内挿フレームＢｉ’を
合成して出力する。歪み補償回路２０５は、内挿フレー
ムの一部を受信補償画像で置き換える。受信補償画像に
より置き換えられるフレームＢｉ’内の位置は、動画像
信号符号化装置１において補償画像選択回路１０７が入
力動画像信号のフレームＢから補償画像を取り出された
のと同じ位置である。切り換え回路２０６をｃ側に切り
換えると再生フレームが、ｉ側に切り換えると歪み補償
回路２０５を通過した内挿フレームが動画像信号符号化
装置の出力２０７に得られる。
【００１６】以上のように本実施形態によれば、動画像
信号符号化装置において内挿フレームの合成をあらかじ
め行ない、内挿フレームで歪みが大きくなる部分を調
べ、この部分を入力動画像信号から取り出して補償画像
とし、動画像信号復号化装置へ送出し、動画像信号復号
化装置において、内挿フレームを合成した後、受信した
補償画像により、内挿フレームの一部を置き換えるよう
にしたことにより、内挿フレームで歪みが大きい部分が
補償画像で置き換えられるため、内挿フレームの歪みを
低減できるものである。
信号符号化装置において内挿フレームの合成をあらかじ
め行ない、内挿フレームで歪みが大きくなる部分を調
べ、この部分を入力動画像信号から取り出して補償画像
とし、動画像信号復号化装置へ送出し、動画像信号復号
化装置において、内挿フレームを合成した後、受信した
補償画像により、内挿フレームの一部を置き換えるよう
にしたことにより、内挿フレームで歪みが大きい部分が
補償画像で置き換えられるため、内挿フレームの歪みを
低減できるものである。
【００１７】図４、図５は本発明の参考例における動画
像信号符号化装置および復号化装置のブロック図を示す
ものである。図４、図５において、１は動画像信号を符
号化して送出する動画像信号符号化装置であり、１０１
は動画像信号符号化装置の入力、１０２はフレーム間引
き回路、１０３はフレーム符号化回路、１０３１は減算
回路、１０３２は量子化回路、１０３３は加算回路、１
０３４はフレームメモリ、１０４は動きベクトル検出回
路、１０５はフレーム内挿回路、１１０は減算回路、１
１１はフレームメモリ、１１２は歪み評価回路、１１３
は内挿歪み信号選択回路、１０８は送出回路、１０９は
動画像信号符号化装置の出力である。２は動画像信号を
再生する動画像信号復号化装置であり、２０１は動画像
信号復号化装置の入力、２０２は受信回路、２０３はフ
レーム復号化回路、２０３１は加算回路、２０３２はフ
レームメモリ、２０４はフレーム内挿回路、２０８は加
算回路、２０９はフレームメモリ、２０６は切り換え回
路、２０７は動画像信号復号化装置の出力である。
像信号符号化装置および復号化装置のブロック図を示す
ものである。図４、図５において、１は動画像信号を符
号化して送出する動画像信号符号化装置であり、１０１
は動画像信号符号化装置の入力、１０２はフレーム間引
き回路、１０３はフレーム符号化回路、１０３１は減算
回路、１０３２は量子化回路、１０３３は加算回路、１
０３４はフレームメモリ、１０４は動きベクトル検出回
路、１０５はフレーム内挿回路、１１０は減算回路、１
１１はフレームメモリ、１１２は歪み評価回路、１１３
は内挿歪み信号選択回路、１０８は送出回路、１０９は
動画像信号符号化装置の出力である。２は動画像信号を
再生する動画像信号復号化装置であり、２０１は動画像
信号復号化装置の入力、２０２は受信回路、２０３はフ
レーム復号化回路、２０３１は加算回路、２０３２はフ
レームメモリ、２０４はフレーム内挿回路、２０８は加
算回路、２０９はフレームメモリ、２０６は切り換え回
路、２０７は動画像信号復号化装置の出力である。
【００１８】以上のように構成された動画像信号符号化
装置および復号化装置について、図４、図５を用いてそ
の動作を説明する。
装置および復号化装置について、図４、図５を用いてそ
の動作を説明する。
【００１９】符号化する動画像信号は動画像信号符号化
装置の入力１０１に入力する。以下、入力１０１に入力
する信号を入力動画像信号と呼ぶ。入力動画像信号は、
フレーム間引き回路１０２により、２フレームに１フレ
ームの割合でフレーム数が間引かれる。この様子を図２
に示す。（ａ）は入力動画像信号の連続するフレーム
Ａ，Ｂ，Ｃ，Ｄを表わす。このうちＢ，Ｄはフレーム間
引き回路１０２により間引かれるフレームであり、Ａ，
Ｃはフレーム間引き回路１０２を通過するフレームであ
る。以下、Ａ，Ｃを符号化フレームと呼ぶ。フレーム符
号化回路１０３は符号化フレームの符号化を行いフレー
ム符号を出力する。フレーム符号化回路１０３は動き補
償フレーム間符号化方式によるものであり、加算回路１
０３３，フレームメモリ１０３４からなる局部復号器を
備える。減算回路１０３１に符号化フレームが入力され
るとき、フレームメモリ１０３４は１フレーム前の再生
フレームを動き補償した予測フレームを出力する。減算
回路１０３１はフレーム間予測誤差信号を出力し、量子
化回路１０３２でこれを量子化する。この値をフレーム
符号と呼ぶ。動きベクトル検出回路１０４は入力動画像
信号を用いて符号化フレーム間の動きベクトルを求め
る。フレーム内挿回路１０５は動きベクトルを用いて符
号化フレームから内挿フレームを合成する。
装置の入力１０１に入力する。以下、入力１０１に入力
する信号を入力動画像信号と呼ぶ。入力動画像信号は、
フレーム間引き回路１０２により、２フレームに１フレ
ームの割合でフレーム数が間引かれる。この様子を図２
に示す。（ａ）は入力動画像信号の連続するフレーム
Ａ，Ｂ，Ｃ，Ｄを表わす。このうちＢ，Ｄはフレーム間
引き回路１０２により間引かれるフレームであり、Ａ，
Ｃはフレーム間引き回路１０２を通過するフレームであ
る。以下、Ａ，Ｃを符号化フレームと呼ぶ。フレーム符
号化回路１０３は符号化フレームの符号化を行いフレー
ム符号を出力する。フレーム符号化回路１０３は動き補
償フレーム間符号化方式によるものであり、加算回路１
０３３，フレームメモリ１０３４からなる局部復号器を
備える。減算回路１０３１に符号化フレームが入力され
るとき、フレームメモリ１０３４は１フレーム前の再生
フレームを動き補償した予測フレームを出力する。減算
回路１０３１はフレーム間予測誤差信号を出力し、量子
化回路１０３２でこれを量子化する。この値をフレーム
符号と呼ぶ。動きベクトル検出回路１０４は入力動画像
信号を用いて符号化フレーム間の動きベクトルを求め
る。フレーム内挿回路１０５は動きベクトルを用いて符
号化フレームから内挿フレームを合成する。
【００２０】１０５１に符号化フレームＡ，Ｃが、１０
５２にフレームＡ，Ｃ間の動きベクトルＶACが入力され
るとき、入力動画像信号のフレームＢに相当する内挿フ
レームＢｉを合成して１０５３に出力する。図２（ｂ）
に内挿フレームＢｉの様子を示す。フレームメモリ１１
１は入力動画像信号の遅延を行なう。フレーム内挿回路
１０５が内挿フレームＢｉを出力するとき、フレームメ
モリ１１１は入力動画像信号のフレームＢを出力する。
内挿フレームＢｉと入力動画像信号のフレームＢは減算
回路１１０で差が求められる。この値は内挿フレームＢ
ｉの歪みであり、フレーム誤差信号と呼ぶ。内挿フレー
ム内でフレーム誤差信号の大きな部分、すなわち内挿フ
レームの歪みが多い部分については、フレーム誤差信号
の値をフレーム符号とともに送出する。次に、この方法
について説明する。
５２にフレームＡ，Ｃ間の動きベクトルＶACが入力され
るとき、入力動画像信号のフレームＢに相当する内挿フ
レームＢｉを合成して１０５３に出力する。図２（ｂ）
に内挿フレームＢｉの様子を示す。フレームメモリ１１
１は入力動画像信号の遅延を行なう。フレーム内挿回路
１０５が内挿フレームＢｉを出力するとき、フレームメ
モリ１１１は入力動画像信号のフレームＢを出力する。
内挿フレームＢｉと入力動画像信号のフレームＢは減算
回路１１０で差が求められる。この値は内挿フレームＢ
ｉの歪みであり、フレーム誤差信号と呼ぶ。内挿フレー
ム内でフレーム誤差信号の大きな部分、すなわち内挿フ
レームの歪みが多い部分については、フレーム誤差信号
の値をフレーム符号とともに送出する。次に、この方法
について説明する。
【００２１】フレーム誤差信号は歪み評価回路１１２に
よりブロック毎に大きさが評価される。ブロック内にお
けるフレーム誤差信号の最大値をこのブロックの最大歪
み値とし、最大歪みの値の大きなものから順にＮ個のブ
ロックを選択する。内挿歪み信号選択回路１１３は、歪
み評価回路１１２により選択されたＮブロックをフレー
ム誤差信号から切り出す。ここで切り出された信号を内
挿歪み信号と呼ぶ。また、歪み評価回路１１２は選択し
たＮブロックの座標も出力する。これを内挿歪み信号の
座標と呼ぶ。フレーム符号，動きベクトル，内挿歪み信
号，内挿歪み信号の座標，は送出回路１０８により出力
の形態に合わせられた後、出力１０９より送出される。
よりブロック毎に大きさが評価される。ブロック内にお
けるフレーム誤差信号の最大値をこのブロックの最大歪
み値とし、最大歪みの値の大きなものから順にＮ個のブ
ロックを選択する。内挿歪み信号選択回路１１３は、歪
み評価回路１１２により選択されたＮブロックをフレー
ム誤差信号から切り出す。ここで切り出された信号を内
挿歪み信号と呼ぶ。また、歪み評価回路１１２は選択し
たＮブロックの座標も出力する。これを内挿歪み信号の
座標と呼ぶ。フレーム符号，動きベクトル，内挿歪み信
号，内挿歪み信号の座標，は送出回路１０８により出力
の形態に合わせられた後、出力１０９より送出される。
【００２２】次に、動画像信号復号化装置２の動作につ
いて説明する。動画像信号復号化装置２は動画像符号化
装置１により符号化された動画像信号を復号化して再生
するものである。伝送路や記録媒体等から得られた信号
は、動画像信号復号化装置の入力２０１に入力される。
受信回路２０２は、受信フレーム符号を２０２１に、受
信動きベクトルを２０２２に、受信内挿歪み信号を２０
２３に、受信内挿歪み信号の座標を２０２４にそれぞれ
出力する。これらは、動画像符号化装置１におけるフレ
ーム符号，動きベクトル，内挿歪み信号，内挿歪み信号
の座標，にそれぞれ相当するものである。フレーム復号
化回路２０３は受信フレーム符号を復号化して再生フレ
ームを出力する。フレーム内挿回路２０４は再生フレー
ム間に位置する内挿フレームを合成する。この様子を図
２（ｃ）に示す。
いて説明する。動画像信号復号化装置２は動画像符号化
装置１により符号化された動画像信号を復号化して再生
するものである。伝送路や記録媒体等から得られた信号
は、動画像信号復号化装置の入力２０１に入力される。
受信回路２０２は、受信フレーム符号を２０２１に、受
信動きベクトルを２０２２に、受信内挿歪み信号を２０
２３に、受信内挿歪み信号の座標を２０２４にそれぞれ
出力する。これらは、動画像符号化装置１におけるフレ
ーム符号，動きベクトル，内挿歪み信号，内挿歪み信号
の座標，にそれぞれ相当するものである。フレーム復号
化回路２０３は受信フレーム符号を復号化して再生フレ
ームを出力する。フレーム内挿回路２０４は再生フレー
ム間に位置する内挿フレームを合成する。この様子を図
２（ｃ）に示す。
【００２３】Ａ’，Ｃ’は再生フレームであり、Ｂ
ｉ’，Ｄｉ’はフレーム内挿回路２０４で合成される再
生内挿フレームである。フレーム復号化回路２０３から
再生フレームＡ’，Ｃ’が、受信回路２０２から符号化
フレームＡ，Ｃ間の動きベクトルＶACが出力されると
き、フレーム内挿回路２０４は再生内挿フレームＢｉ’
を合成して出力する。この後、再生内挿フレームＢｉ’
は歪み補償回路２０８に入力される。フレームメモリ２
０９は、受信内挿歪み信号を、受信内挿歪み信号の座標
で示される位置に記憶する。歪み補償回路２０８は、再
生内挿フレームにフレームメモリ２０９の値を加算す
る。切り換え回路２０６はｃ側に切り換えると再生フレ
ームが、ｉ側に切り換えると歪み補償回路２０８を通過
した再生内挿フレームが、動画像信号復号化装置の出力
２０７から得られる。
ｉ’，Ｄｉ’はフレーム内挿回路２０４で合成される再
生内挿フレームである。フレーム復号化回路２０３から
再生フレームＡ’，Ｃ’が、受信回路２０２から符号化
フレームＡ，Ｃ間の動きベクトルＶACが出力されると
き、フレーム内挿回路２０４は再生内挿フレームＢｉ’
を合成して出力する。この後、再生内挿フレームＢｉ’
は歪み補償回路２０８に入力される。フレームメモリ２
０９は、受信内挿歪み信号を、受信内挿歪み信号の座標
で示される位置に記憶する。歪み補償回路２０８は、再
生内挿フレームにフレームメモリ２０９の値を加算す
る。切り換え回路２０６はｃ側に切り換えると再生フレ
ームが、ｉ側に切り換えると歪み補償回路２０８を通過
した再生内挿フレームが、動画像信号復号化装置の出力
２０７から得られる。
【００２４】この参考例によれば、動画像信号符号化装
置において、内挿フレームの合成を行ない、内挿フレー
ムで歪みが大きくなる部分を調べ、この部分の歪みを内
挿歪み信号として動画像信号復号化装置へ送り、動画像
信号復号化装置において、内挿フレームを合成した後、
受信した内挿歪み信号を、内挿フレームに加算するよう
にしたことにより、内挿フレームの歪みを低減できるも
のである。
置において、内挿フレームの合成を行ない、内挿フレー
ムで歪みが大きくなる部分を調べ、この部分の歪みを内
挿歪み信号として動画像信号復号化装置へ送り、動画像
信号復号化装置において、内挿フレームを合成した後、
受信した内挿歪み信号を、内挿フレームに加算するよう
にしたことにより、内挿フレームの歪みを低減できるも
のである。
【００２５】この参考例が上述した本発明の実施形態と
異なる点は、動画像信号符号化装置で合成した内挿フレ
ームにおいて、歪みの大きい領域の歪み値を送出するよ
うにしたことである。このことにより、入力動画像信号
を送出するよりも情報量を低減できる。また、上記参考
例ではフレーム符号化回路に動き補償フレーム間符号化
方式を用いた。このことにより、局部復号化器で再生フ
レームが得られるため、符号化装置と復号化装置でそれ
ぞれ合成した内挿フレームが等しく、符号化装置におい
て再生内挿フレームの歪みが正確に評価できるため、よ
り適した選択領域を決定できるという優れた特徴があ
る。
異なる点は、動画像信号符号化装置で合成した内挿フレ
ームにおいて、歪みの大きい領域の歪み値を送出するよ
うにしたことである。このことにより、入力動画像信号
を送出するよりも情報量を低減できる。また、上記参考
例ではフレーム符号化回路に動き補償フレーム間符号化
方式を用いた。このことにより、局部復号化器で再生フ
レームが得られるため、符号化装置と復号化装置でそれ
ぞれ合成した内挿フレームが等しく、符号化装置におい
て再生内挿フレームの歪みが正確に評価できるため、よ
り適した選択領域を決定できるという優れた特徴があ
る。
【００２６】
【発明の効果】以上のように本発明は、画像信号符号化
装置に内挿手段を設けたことにより、画像信号復号化装
置で合成する内挿画面において歪みが大きいブロックを
前もって画像信号符号化装置で推測することができる。
したがって、画像信号符号化装置は内挿画面において歪
みが大きいブロックについて入力画像信号を補償画像と
して、符号化信号，動きベクトルとともに送出すること
により、画像信号復号化装置では合成した内挿画面の歪
みを低減することができる。
装置に内挿手段を設けたことにより、画像信号復号化装
置で合成する内挿画面において歪みが大きいブロックを
前もって画像信号符号化装置で推測することができる。
したがって、画像信号符号化装置は内挿画面において歪
みが大きいブロックについて入力画像信号を補償画像と
して、符号化信号，動きベクトルとともに送出すること
により、画像信号復号化装置では合成した内挿画面の歪
みを低減することができる。
【図１】本発明の実施形態における動画像信号符号化装
置および復号化装置のブロック図
置および復号化装置のブロック図
【図２】本発明の実施形態における動画像信号符号化装
置および復号化装置のフレームを説明する説明図
置および復号化装置のフレームを説明する説明図
【図３】本発明の実施形態における歪み評価回路の動作
を説明する説明図
を説明する説明図
【図４】本発明の参考例における動画像信号符号化装置
のブロック図
のブロック図
【図５】本発明の参考例における動画像信号復号化装置
のブロック図
のブロック図
【図６】従来の動画像信号符号化装置および復号化装置
のブロック図
のブロック図
【図７】従来の動画像信号符号化装置および復号化装置
のフレームを説明する説明図
のフレームを説明する説明図
１ 動画像信号符号化装置 １０１ 動画像信号符号化装置の入力 １０２ フレーム間引き回路 １０３ フレーム符号化回路 １０３１ 減算回路 １０３２ 量子化回路 １０３３ 加算回路 １０３４ フレームメモリ １０４ 動きベクトル検出回路 １０５ フレーム内挿回路 １０６ 歪み評価回路 １０７ 補償画像選択回路 １０８ 送出回路 １０９ 動画像信号符号化装置の出力 １１０ 減算回路 １１１ フレームメモリ １１２ 歪み評価回路 １１３ 内挿歪み信号選択回路 ２ 動画像信号復号化装置 ２０１ 動画像信号復号化装置の入力 ２０２ 受信回路 ２０２１ 受信フレーム符号 ２０２２ 受信動きベクトル ２０２３ 受信内挿歪み信号 ２０２４ 受信内挿歪み信号座標 ２０３ フレーム復号化回路 ２０３１ 加算回路 ２０３２ フレームメモリ ２０４ フレーム内挿回路 ２０５ 歪み補償回路 ２０６ 切り換え回路 ２０７ 動画像信号復号化装置の出力 ２０８ 歪み補償回路 ２０９ フレームメモリ
Claims (4)
- 【請求項１】 入力画像信号を所定の画面間隔で符号化
し符号化信号として出力する符号化手段と、前記入力画
像信号の画面間の動きベクトルを求める動きベクトル検
出手段と、前記動きベクトルを用いて符号化される画面
間に内挿画面を合成する内挿手段と、前記内挿画面と当
該内挿画面に対応する前記入力画像信号の画面の差分を
求める減算手段と、前記内挿画面と前記入力画像信号の
画面の差分をブロック単位で評価し当該差分の大きなブ
ロックについては当該ブロックの前記入力画像信号を補
償画像として出力する歪み評価手段と、前記符号化信号
と前記動きベクトルと前記補償画像から出力信号を得て
送出する送出手段と、を備えたことを特徴とする画像信
号符号化装置。 - 【請求項２】 符号化手段は、動き補償画面間符号化方
式により画像信号を符号化する請求項１記載の画像信号
符号化装置。 - 【請求項３】 入力画像信号を所定の画面間隔で符号化
し符号化信号として出力する符号化ステップと、前記入
力画像信号の画面間の動きベクトルを求める動きベクト
ル検出ステップと、前記動きベクトルを用いて符号化さ
れる画面間に内挿画面を合成する内挿ステップと、前記
内挿画面と当該内挿画面に対応する前記入力画像信号の
画面の差分を求める減算ステップと、前記内挿画面と前
記入力画像信号の画面の差分をブロック単位で評価し当
該差分の大きなブロックについては当該ブロックの前記
入力画像信号を補償画像として出力する歪み評価ステッ
プと、前記符号化信号と前記動きベクトルと前記補償画
像から出力信号を得て送出する送出ステップと、を有す
ることを特徴とする画像信号符号化方法。 - 【請求項４】 符号化ステップは、動き補償画面間符号
化方式により画像信号を符号化する請求項３記載の画像
信号符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16547697A JP2828096B2 (ja) | 1997-06-23 | 1997-06-23 | 画像信号符号化装置及び画像信号符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16547697A JP2828096B2 (ja) | 1997-06-23 | 1997-06-23 | 画像信号符号化装置及び画像信号符号化方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16932089A Division JP2695244B2 (ja) | 1989-05-11 | 1989-06-29 | 画像信号符号化装置と画像信号復号化装置及び画像信号符号化方法と画像信号復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1056645A true JPH1056645A (ja) | 1998-02-24 |
| JP2828096B2 JP2828096B2 (ja) | 1998-11-25 |
Family
ID=15813138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16547697A Expired - Lifetime JP2828096B2 (ja) | 1997-06-23 | 1997-06-23 | 画像信号符号化装置及び画像信号符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2828096B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005076630A1 (ja) * | 2004-02-03 | 2007-08-02 | 松下電器産業株式会社 | 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5365687B2 (ja) * | 2009-03-26 | 2013-12-11 | 富士通株式会社 | 情報処理装置およびプログラム |
-
1997
- 1997-06-23 JP JP16547697A patent/JP2828096B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005076630A1 (ja) * | 2004-02-03 | 2007-08-02 | 松下電器産業株式会社 | 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム |
| JP4685636B2 (ja) * | 2004-02-03 | 2011-05-18 | パナソニック株式会社 | 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム |
| US8160143B2 (en) | 2004-02-03 | 2012-04-17 | Panasonic Corporation | Decoding device, encoding device, interpolation frame creating system, integrated circuit device, decoding program, and encoding program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2828096B2 (ja) | 1998-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5475435A (en) | Layer encoding apparatus and layer decoding apparatus for input non-interlace video signal | |
| KR100964526B1 (ko) | 전환 효과를 위한 멀티미디어 코딩 기술 | |
| US20060062299A1 (en) | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks | |
| JP2002514866A (ja) | ビデオ・フレーム・レートを増加させる方法および装置 | |
| JPH06205386A (ja) | 画像再生装置 | |
| JPH0884293A (ja) | 変換アーチファクトの減少方法及び装置 | |
| US5481310A (en) | Image encoding apparatus | |
| JP3864444B2 (ja) | 画像信号処理装置および方法 | |
| JPH11239351A (ja) | 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体 | |
| JP2828095B2 (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
| JP2828096B2 (ja) | 画像信号符号化装置及び画像信号符号化方法 | |
| JP2875549B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP2695244B2 (ja) | 画像信号符号化装置と画像信号復号化装置及び画像信号符号化方法と画像信号復号化方法 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP2000041257A (ja) | ビデオ階層符号化装置 | |
| JP2006270294A (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP3441120B2 (ja) | 動画像フレーム再生方式 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| JPH06217346A (ja) | 信号伝送装置およびビデオシステム | |
| JP3831960B2 (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 | |
| JP3285892B2 (ja) | オフセットサブサンプリングデコード装置 | |
| JP2000013817A (ja) | 符号化装置及び復号化装置 | |
| JPH10271509A (ja) | 画像符号化装置及び画像復号装置 | |
| JP2001169282A (ja) | 動画像復号化方法、動画像復号化装置、及びプログラム記録媒体 | |
| JPH0865679A (ja) | 動画像符号化装置及び動画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080918 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080918 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090918 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |