JP2616552B2

JP2616552B2 - 動画像の符号化・復号化装置

Info

Publication number: JP2616552B2
Application number: JP5333992A
Authority: JP
Inventors: 義弘宮本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1993-12-28
Filing date: 1993-12-28
Publication date: 1997-06-04
Anticipated expiration: 2012-06-04
Also published as: JPH07203425A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像の符号化・復号化
装置に関するものである。

【０００２】

【従来の技術】従来の技術では、画像の被写体構造を考
慮せずに前フレームの復号画像から予測データを生成
し、入力画像と予測データとの差分を符号化していた。

【０００３】例えば電子情報通信学会技術研究報告ＩＥ
９０−１０６「３角形パッチによる動き補償の基礎検
討」に記載の方式では、まず入力画像上に複数の動き検
出代表点を設定し、この代表点上でフレーム間動きベク
トルを検出している。この代表点の設定位置は予め定め
た等間隔で行ない、画像の被写体構造は考慮していな
い。次に入力画像の画素毎に動きベクトルを内挿計算し
て求めている。内挿計算では注目している画素の近傍に
ある複数の代表点を参照している。動き補償フレーム間
予測は内挿計算して求めた動きベクトルを利用し画素毎
に行なう。

【０００４】この方式では、画素間での動きベクトルの
値の変化が滑らかになる。従って復号画像上にブロック
状の歪みが発生せず、視覚的に良好な符号復号化を実現
することができる。また被写体領域内部で動きが連続的
に変化する場合にも簡単に対応でき、符号化効率を改善
する効果があった。

【０００５】

【発明が解決しようとする課題】従来の動画像の符号化
および復号方式では、画像の被写体構造を考慮せずに動
きベクトルの内挿処理を行なっている。このため、実際
には動きが不連続に変化している部分でも一律に内挿処
理し、符号化効率を損なうことがあった。

【０００６】図７の（ａ）、（ｂ）を用いて問題が生じ
る場合を説明する。

【０００７】図７の（ａ）は静止した背景の前面を被写
体が動いている場合を示す。図７の（ａ）では輪郭線の
左側が動いている被写体領域で、右側が背景である。従
来の方法では、動き検出代表点を被写体輪郭線に関係無
く設定し、動きベクトルを検出する。図７の（ａ）で、
被写体領域内部の代表点では０以外の値の動きベクトル
を検出し、被写体の外側の代表点では０の値の動きベク
トルを検出している。つまり実際の画像上では、輪郭線
を境界に動きベクトルは急峻に変化している。

【０００８】図７の（ｂ）は、図７の（ａ）で検出した
代表点の動きベクトルから、従来の方式に従って画素毎
に動きベクトルを内挿した結果を示す。図７の（ｂ）で
は、輪郭線の近傍で動きベクトルの急峻な変化が失われ
ている。この結果、輪郭線の近傍では動き補償フレーム
間予測の精度が低下し、符号化効率を阻害することがあ
った。また輪郭線上の動きベクトルが実際とは異なる値
となるため、被写体領域の輪郭形状が変形するという問
題もあった。

【０００９】本発明の目的は、画像の被写体構造を考慮
した動きベクトルの内挿処理を行うことで、動きが不連
続に変化している部分でも優れた符号化効率を持った符
号化・復号化装置を実現することにある。

【００１０】

【課題を解決するための手段】第１の発明は、符号化部
と復号化部とから構成される動画像の符号化・復号化装
置において、前記符号化部は、入力画像から被写体領域
の輪郭線データを検出する手段と、前記輪郭線データを
参照して前記入力画像上に複数の動き検出代表点を設定
する手段と、前フレームの復号画像を参照して前記代表
点でのフレーム間の動き量を計算し、動きデータとして
出力する手段と、前記入力画像の画素毎に、前記輪郭線
データを参照して該当画素と同じ被写体領域上にある前
記代表点の一部を選択し、前記選択された複数の代表点
での動きデータから前記該当画素の動き量を内挿計算
し、前記画素毎に得た動き量のデータを用いて前記前フ
レームの復号画像から動き補償フレーム間予測を行い、
符号化予測データを出力する手段と、前記入力画像と前
記符号化予測データとの差分データを出力する手段と、
前記差分データを量子化し、量子化データを出力する手
段と、前記量子化データを逆量子化する手段と、前記逆
量子化したデータと前記符号化予測データとを加算して
復号画像を再生する手段と、前記再生した復号画像を保
持し、次フレームの符号化時に出力する手段と、前記輪
郭線データと前記量子化データと前記複数の代表点での
動きデータとを符号化し、符号化データとして復号化部
へ出力する手段とを備え、前記復号部は、前記符号化部
から供給された前記符号化データを復号し、量子化デー
タと輪郭線データと複数の代表点での動きデータとを出
力する手段と、前記復号した量子化データを逆量子化す
る手段と、前記復号した輪郭線データを参照して前記復
号した複数の代表点が何れの領域に属するかを分類し、
画素毎の動き量を該当画素と同じ領域上にある複数の代
表点での動きデータから内挿計算して求め、前記画素毎
に求めた動き量のデータを用いて前フレームでの復号画
像から動き補償フレーム間予測を行い、復号予測データ
を出力する手段と、前記逆量子化したデータと前記復号
予測データとを加算して復号画像を再生し、外部へ出力
する手段と、前記再生した復号画像を保持し、次フレー
ムの復号時に出力する手段とを備えることを特徴とす
る。

【００１１】第２の発明は、符号化部と復号化部とから
構成される動画像の符号化・復号化装置において、前記
符号化部は、前フレームの復号画像から被写体領域の輪
郭線データを検出する手段と、前記輪郭線データを参照
して前記前フレームの復号画像上に複数の動き検出代表
点を設定する手段と、前記入力画像を参照して前記代表
点でのフレーム間の動き量を計算し、動きデータとして
出力する手段と、前記入力画像の画素毎に、前記輪郭線
データを参照して該当画素と同じ被写体領域上にある前
記代表点の一部を選択し、前記選択された複数の代表点
での動きデータから前記該当画素の動き量を内挿計算
し、前記画素毎に得た動き量のデータを用いて前記前フ
レームの復号画像から動き補償フレーム間予測を行い、
符号化予測データを出力する手段と、前記入力画像と前
記符号化予測データとの差分データを出力する手段と、
前記差分データを量子化し、量子化データを出力する手
段と、前記量子化データを逆量子化する手段と、前記逆
量子化したデータと前記符号化予測データとを加算して
復号画像を再生する手段と、前記再生した復号画像を保
持し、次フレームの符号化時に出力する手段と、前記量
子化データと前記複数の代表点での動きデータとを符号
化し、符号化データとして復号化部へ出力する手段とを
備え、前記復号化部は、前記符号化部から供給された前
記符号化データを復号し、量子化データと複数の代表点
での動きデータとを出力する手段と、前記復号した量子
化データを逆量子化する手段と、前フレームの復号画像
から被写体領域の輪郭線データを検出する手段と、復号
化部で前記検出した輪郭線データを参照して前記復号し
た複数の代表点が何れの領域に属するかを分類し、画素
毎の動き量を該当画素と同じ領域上にある複数の代表点
での動きデータから内挿計算して求め、前記画素毎に求
めた動き量のデータを用いて前フレームでの復号画像か
ら動き補償フレーム間予測を行い、復号予測データを出
力する手段と、前記逆量子化したデータと前記復号予測
データとを加算して復号画像を再生し、外部に出力する
手段と、前記再生した復号画像を保持し、次フレームの
復号時に出力する手段とを復号化部に備えることを特徴
とする。

【００１２】

【実施例】図１は、第１の発明の動画像の符号化・復号
化装置の一実施例を示すブロック図である。この動画像
の符号化および復号装置は符号化部と復号部とから構成
される。符号化部は、入力画像１２１から被写体領域の
輪郭線データ１２２を検出する輪郭検出回路１００と、
輪郭線データ１２２を参照して入力画像上に複数の動き
検出代表点を設定する代表点検出回路１０１と、前フレ
ームの復号画像１２３を参照して前記代表点でのフレー
ム間の動きデータ１２４を検出する動き検出回路１０２
と、輪郭線データ１２２と動きデータ１２４と前フレー
ムの復号画像１２３とを参照し、入力画像の画素毎に動
き補償フレーム間予測をして符号化予測データ１２５を
出力する動き補償回路１０３と、入力画像１２１と符号
化予測データ１２５との差分をとる差分器１０４と、前
記差分データを量子化し、量子化データ１２６を出力す
る量子化回路１０５と、量子化データ１２６を逆量子化
する逆量子化回路１０６と、前記逆量子化したデータと
符号化予測データ１２５とを加算して復号画像を再生す
る加算器１０７と、前記再生した復号画像を保持し、次
フレームの符号化時に出力する復号画像メモリ１０８
と、輪郭線データ１２２と動きデータ１２４と量子化デ
ータ１２６とを符号化し、符号化データ１２７を復号部
へ出力する符号変換回路１０９とからなる。

【００１３】復号部は符号化部から供給された符号化デ
ータ１２７を復号し、量子化データ１２８と輪郭線デー
タ１２９と動きデータ１３０とを出力する逆符号変換回
路１１０と、量子化データ１２８を逆量子化する逆量子
化回路１１１と、輪郭線データ１２９と動きデータ１３
０と前フレームの復号画像１３１とを参照し、画素毎に
動き補償フレーム間予測をして復号予測データ１３２を
出力する動き補償回路１１２と、前記逆量子化したデー
タと復号予測データ１３２とを加算して復号画像１３３
を再生し、外部へ出力する加算器１１３と、復号画像１
３３を保持し、次フレームの復号時に出力する復号画像
メモリ１１４とからなる。

【００１４】本実施例の動作を説明する。

【００１５】符号化部では、まず輪郭検出回路１００で
入力画像１２１から被写体領域の輪郭線データ１２２を
検出する。輪郭線データの検出方法の例を図３の
（ａ）、（ｂ）、（ｃ）、（ｄ）に示し、それぞれにつ
いて説明する。

【００１６】図３の（ａ）、（ｂ）、（ｃ）、（ｄ）
は、輪郭線データの検出を実現する装置の例のブロック
図である。

【００１７】図３の（ａ）では、まず画像メモリに保持
した前フレームの入力画像３０２と現在の入力画像３０
１との差分を求める。差分データは動きの無い領域では
０になり、動きのある領域では０以外の値をとることが
多い。境界検出回路では、差分データの値の分布から０
の多い領域と０以外の値が多い領域とを分離し、その領
域境界線を被写体領域の輪郭線データ３０３として出力
する。

【００１８】図３の（ｂ）では、まず入力画像３１１か
ら全ての被写体領域の輪郭線データ３１２を検出する。
次に輪郭線メモリに保持した前フレームでの輪郭線デー
タ３１３と現在の輪郭線データ３１２との差分をとる。
現在の入力画像上にのみ存在する輪郭線成分を有効な輪
郭線データ３１４として出力する。図３の（ｂ）のよう
にすれば、画像上の動きのある被写体領域の輪郭線のみ
を選択できる。

【００１９】図３の（ｃ）では、まず背景画像メモリに
保持した背景画像３２２と入力画像３２１との差分を求
める。差分は背景領域では０になり、背景以外の被写体
領域では０以外の値をとることが多い。境界検出回路で
は、差分の値の分布から０の多い領域と０以外の値が多
い領域とを分離し、その領域境界線を被写体領域の輪郭
線データ３２３として出力する。背景画像メモリに保持
する背景画像は、予め適当な画像を設定しても良く、ま
た入力画像から生成しても良い。図３の（ｃ）の方法を
用いれば、背景が複雑な場合にも正確な輪郭検出が可能
である。また被写体領域の背後から現れるアンカバード
領域でも輪郭線の誤検出が少ない。

【００２０】図３の（ｄ）では、まず動き検出回路で入
力画像３３１の画素毎に動きベクトル３３３の検出を行
なう。このとき画像メモリに保持した前フレームの入力
画像３３２を参照する。境界検出回路では、画素毎に検
出した動きベクトルの値から動きが異なる被写体領域の
輪郭線データ３３４を検出し出力する。動きの連続した
被写体内部では隣接画素間の動きベクトルの差分が小さ
く、動きの異なる被写体境界部分では動きベクトルの値
が急激に変化することを利用する。図３の（ｄ）の方法
を用いれば、背景部分以外に複数個の動きの異なる被写
体が存在する場合に、被写体毎に輪郭線を検出すること
が可能である。代表点設定回路１０１では、入力画像上
の動き検出代表点を設定する。動き検出代表点の位置は
輪郭線データ１２２を参照して設定する。

【００２１】図４の（ａ）、（ｂ）、（ｃ）に被写体領
域の輪郭線が検出されている場合の、動き検出代表点の
例を示す。

【００２２】図４の（ａ）は等間隔の正方格子状に動き
検出代表点を設定した例である。図４の（ｂ）は予め定
めた小さい間隔で動き検出代表点を仮に設定した後に、
輪郭線に近い代表点は残し、輪郭線に遠い代表点を間引
いた最終的な設定の例である。図４の（ｃ）は等間隔の
正方格子状に動き検出代表点を仮に設定した後に、輪郭
線に近い代表点は輪郭線上に移動し、輪郭線に遠い代表
点はそのままの位置に残した最終的な設定の例である。
図４の（ｃ）では、等間隔の正方格子状に初期設定した
動き検出代表点のうち、輪郭線に近い動き検出代表点Ｐ
１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６を輪郭線上に移動し
た場合を示している。正方格子の間隔を２Ｓとした時
に、初期設定した動き検出代表点と輪郭線との距離がＳ
より小さければ、両者の間隔は近いと判断し、動き検出
代表点を移動する。

【００２３】また動き検出代表点は、図４の（ａ）、
（ｂ）、（ｃ）の例のような正方格子状の設定に限らな
い。符号化部と復号化部で共通した代表点配置を予め定
めておけば、任意の配置で設定しても良い。

【００２４】動き検出回路１０２では、入力画像上に設
定した動き検出代表点で動きデータを検出する。このと
き動き検出代表点が図４の（ｂ）、（ｃ）のように被写
体領域の輪郭線に適応した設定となっていれば、被写体
の境界部分での動きを精細に検出することが可能にな
る。

【００２５】動きデータの検出は、注目する代表点の近
傍の画素をまとめてブロックとし、ブロックマッチング
で実現することができる。あるいは輝度勾配法を用いて
も良い。

【００２６】動き補償予測回路１０３では、まず輪郭線
データ１２２と動き検出代表点の動きデータ１２４とを
参照し、入力画像１２１の画素毎に動きベクトルを内挿
計算する。注目する画素の近傍に輪郭線が存在しない場
合には、該当画素の近傍に在る複数の代表点の動きデー
タから動きベクトルを内挿計算する。注目する画素の近
傍に輪郭線が存在する場合には、該当画素の近傍で、且
つ同じ被写体領域側に在る複数の代表点の動きデータか
ら動きベクトルを内挿計算する。

【００２７】図５の（ａ）、（ｂ）に輪郭線の近傍位置
での動きベクトルの内挿方式の例を示す。

【００２８】図５の（ａ）では、被写体領域の輪郭線の
内側の動き検出代表点Ｐ１、Ｐ２と、外側の動き検出代
表点Ｐ３、Ｐ４で動きデータが検出されている。このと
き輪郭線の内側の画素Ｘ１の動きベクトルはＰ１、Ｐ２
での動きデータのみから内挿計算して求める。また輪郭
線の外側の画素位置Ｘ２の動きベクトルはＰ３、Ｐ４で
の動きデータのみから内挿計算して求める。即ち任意の
画素位置の動きベクトルは、輪郭線を境界にして同じ側
にある近傍の動き検出代表点の動きデータのみから内挿
する。図５の（ａ）では近傍の動き検出代表点が２つの
みの場合を示したが、１つ以上の幾つの代表点を参照し
ても良い。

【００２９】図５の（ｂ）では被写体領域の輪郭線の内
側の動き検出代表点Ｒ１と、輪郭線上のＲ２、Ｒ３およ
び輪郭線の外側のＲ４で動きデータが検出されている。
このとき輪郭線自身は被写体領域の内側と見なす。輪郭
線の内側の画素位置Ｙ１の動きベクトルはＲ１、Ｒ２、
Ｒ３の動きデータから内挿計算して求める。また輪郭線
の外側の画素位置Ｙ２の動きベクトルはＰ４の動きデー
タから内挿計算して求める。

【００３０】次に動き補償予測回路１０３では、内挿計
算して求めた動きベクトルの値を参照し、入力画像１２
１の画素毎に動き補償フレーム間予測を行なう。前フレ
ームの復号画像１２３の動き補償位置から画素の値を読
み出し、該画素の符号化予測データ１２５を得る。差分
器１０４では入力画像１２１と符号化予測データ１２５
との差分をとる。量子化回路１０５では前記差分データ
を量子化し、量子化データ１２６を出力する。逆量子化
回路１０６では量子化データ１２６を逆量子化する。加
算器１０７では逆量子化したデータと符号化予測データ
１２５とを加算して復号画像を再生する。復号画像メモ
リ１０８は復号画像を保持し、次フレームの符号化時に
出力する。符号変換回路１０９では輪郭線データ１２２
と動きデータ１２４と量子化データ１２６とを符号化
し、符号化データ１２７を復号部へ伝送する。

【００３１】復号部では、まず逆符号変換回路１１０で
符号化部から供給された符号化データ１２７を復号し、
量子化データ１２８と輪郭線データ１２９と動きデータ
１３０とを得る。逆量子化回路１１１では量子化データ
１２８を逆量子化する。動き補償予測回路１１２では、
輪郭線データ１２９と動きデータ１３０と前フレームの
復号画像１３１とを参照し、画素毎に復号予測データ１
３２を求めて出力する。動き補償予測回路１１２におけ
る復号予測データ１３２の生成は、符号化部の動き補償
予測回路１０３における符号化予測データ１２５の生成
と同様な方法で実現できる。加算器１１３では、逆量子
化したデータと復号予測データ１３２とを加算して復号
画像１３３を再生し、外部へ出力する。同時に、再生し
た復号画像１３３を復号画像メモリ１１４に保持し、次
フレームの復号時に出力する。

【００３２】図２は、第２の発明の動画像の符号化・復
号化装置の一実施例を示すブロック図である。この動画
像の符号化および復号装置は符号化部と復号部とから構
成される。

【００３３】符号化部は前フレームの復号画像２２２か
ら被写体領域の輪郭線データ２２３を検出する輪郭検出
回路２００と、輪郭線データ２２３を参照して前フレー
ムの復号画像上に複数の動き検出代表点を設定する代表
点設定回路２０１と、入力画像２２１を参照して前記代
表点でのフレーム間の動きデータ２２４を検出する動き
検出回路２０２と、輪郭線データ２２３と動きデータ２
２４と前フレームの復号画像２２２とを参照し、入力画
像の画素毎に動き補償フレーム間予測をして符号化予測
データ２２５を出力する動き補償予測回路２０３と、入
力画像２２１と符号化予測データ２２５との差分をとる
差分器２０４と、前記差分データを量子化し、量子化デ
ータ２２６を出力する量子化回路２０５と、量子化デー
タ２２６を逆量子化する逆量子化回路２０６と、前記逆
量子化したデータと符号化予測データ２２５とを加算し
て復号画像を再生する加算器２０７と、前記再生した復
号画像を保持し、次フレームの符号化時に出力する復号
画像メモリ２０８と、動きデータ２２４と量子化データ
２２６とを符号化し、符号化データ２２７を復号部へ出
力する符号変換回路２０９とからなる。

【００３４】復号部は、符号化部から供給された符号化
データ２２７を復号し、量子化データ２２８と動きデー
タ２２９とを出力する逆符号変換回路２１０と、量子化
データ２２８を逆量子化する逆量子化回路２１１と、前
フレームの復号画像２３０から被写体領域の輪郭線デー
タ２３１を検出する輪郭検出回路２１２と、動きデータ
２２９と輪郭線データ２３１と前フレームの復号画像２
３０とを参照し、入力画像の画素毎に動き補償フレーム
間予測をして復号化予測データ２３２を出力する動き補
償予測回路２１３と、逆量子化したデータと復号予測デ
ータ２３２とを加算して復号画像２３３を再生し、外部
へ出力する加算器２１４と、復号画像２３３を保持し、
次フレームの復号時に出力する復号画像メモリ２１５と
からなる。

【００３５】本実施例の動作を説明する。

【００３６】符号化部では、輪郭検出回路２００で前フ
レームの復号画像２２２から被写体領域の輪郭線データ
２２３を検出する。輪郭線データ２２３の検出は、本発
明の第１の動画像の符号復号化装置の実施例において、
図３を用いて前記説明したのと同様な方法で実現でき
る。

【００３７】代表点設定回路２０１では、輪郭線データ
２２３を参照し、前フレームの復号画像２２２の上に複
数の動き検出代表点を設定する。動き検出代表点の設定
は、第１の発明の実施例において、図４を用いて前記説
明したのと同様な方法で実現できる。

【００３８】動き検出回路２０２では、入力画像２２１
を参照し、動き検出代表点での動きデータ２２４を検出
する。動き補償予測回路２０３では、輪郭線データ２２
３と動きデータ２２４とを参照し、前フレームの復号画
像２２２の画素毎に動きベクトルを内挿計算する。動き
ベクトルの内挿は、第１の発明の実施例において、図５
を用いて前記説明したのと同様な方法で実現できる。

【００３９】次にこの動きベクトルの値を参照し、前フ
レームの復号画像２２２の画素毎に入力画像上での動き
補償位置を計算する。該画素の値は入力画像上での動き
補償位置の画素の符号化予測データ２２５となる。この
方法では入力画像２２１と復号画像２２２との動き補償
フレーム間対応が与えられない画素が、入力画像上に生
じることがある。これらの画素では、動き補償フレーム
間対応が与えられている近傍の画素の動きデータから、
動きデータを内挿補間する。

【００４０】図６に動きデータを内挿補間する方法の例
を示す。図６では動き補償フレーム間予測により、前フ
レームの復号画像上の画素Ｐ１、Ｐ２が入力画像上の画
素Ｃ１、Ｃ２それぞれと対応づけられている。一方、入
力画像上でＣ１、Ｃ２の近傍にあるの画素Ｃｘには動き
補償フレーム間予測による対応点が与えられていない。
そこでＣ１、Ｃ２の動きデータを内挿補間し、Ｃｘの動
きデータを得る。Ｃ１、Ｃ２の動きデータはＰ１、Ｐ２
のそれぞれの動きデータを正負号反転するだけで得られ
る。以上の方法によりＣｘの前フレームの復号画像上で
の動き補償フレーム間対応位置Ｐｘが定まる。Ｃｘの符
号化予測データはＰｘの画素の値となる。

【００４１】差分器２０４では、入力画像２２１と符号
化予測データ２２５との差分をとる。量子化回路２０５
では差分データを量子化し、量子化データ２２６を出力
する。逆量子化回路２０６では量子化データ２２６を逆
量子化し、加算器２０７で符号化予測データ２２５と加
算して復号画像を再生する。復号画像は復号画像メモリ
２０８に保持し、次フレームの符号化時に出力する。符
号変換回路２０９では、動きデータ２２４と量子化デー
タ２２６を符号化し、符号化データ２２７として復号部
へ伝送する。

【００４２】復号部では、まず符号化部から供給された
符号化データ２２７を逆符号変換回路２１０で復号し、
量子化データ２２８と動きデータ２２９とを得る。逆量
子化回路２１１では量子化データ２２８を逆量子化す
る。輪郭検出回路２１２では、前フレームの復号画像２
３０から被写体領域の輪郭線データ２３１を検出する。
輪郭線データ２３１の検出は、符号化部の輪郭検出回路
２０１と同様の方法で実現できる。動き補償予測回路２
１３では、動きデータ２２９と輪郭線データ２３１と前
フレームの復号画像２３０とを参照し、動き補償フレー
ム間予測処理により画素毎の復号化予測データ２３２を
得る。動き補償予測回路２１３における復号予測データ
２３２の生成は、符号化部の動き補償予測回路２０３に
おける符号化予測データ２２５の生成と同様な方法によ
り実現できる。

【００４３】加算器２１４では、逆量子化したデータと
復号予測データ２３２とを加算して復号画像２３３を再
生し、外部へ出力する。同時に、再生した復号画像２３
３を復号画像メモリ２１５に保持し、次フレームの復号
時に出力する。

【００４４】

【発明の効果】以上説明したように本発明では、動きの
異なる被写体の輪郭線を境界とし、被写体領域毎に別々
に動きベクトルの内挿を行なう。このため被写体の輪郭
線付近での、動きベクトルの不必要な歪みを抑制でき
る。この効果の一例を、図８の（ａ）、（ｂ）を用いて
説明する。図８の（ａ）は静止した背景の前面を被写体
が動いている場合を示す。図８の（ａ）では輪郭線の左
側が動いている被写体領域で、右側が背景である。本
発明の装置では、動き検出代表点を被写体輪郭線を参照
して設定し、動きベクトルを検出する。図８の（ａ）で
は、予め定めた方法で代表点を初期設定し、輪郭線近傍
にある代表点を輪郭線上に移動した最終的な設定位置を
示している。被写体領域内部および輪郭線上の代表点で
は０以外の値の動きベクトルを検出し、被写体の外側の
代表点では０の値の動きベクトルを検出している。図８
の（ｂ）は、図８の（ａ）の代表点で検出したの動きベ
クトルから、本発明の装置に従って画素毎に動きベクト
ルを内挿した結果を示す。

【００４５】本発明の装置では、輪郭線を境界とし同じ
領域上の代表点のみを参照して動きベクトルを内挿する
ので、輪郭線近傍での急峻な動きベクトルの変化をより
正確に再現できる。この結果、画像の被写体構造を考慮
せずに動きベクトルの内挿処理をしていた従来に比較し
て、動き補償フレーム間予測の効率が大幅に改善でき
る。また輪郭線上に動き検出代表点を設定することで、
被写体の輪郭形状をより正確に再現し、視覚的に良好な
動画像の符号化および復号を実現できる。

【図面の簡単な説明】

【図１】第１の発明の一実施例を示すブロック図であ
る。

【図２】第２の発明の一実施例を示すブロック図であ
る。

【図３】画像から被写体領域の輪郭線を検出する方法を
説明する図である。

【図４】輪郭線データを参照し動き検出代表点を設定す
る方法を説明する図である。

【図５】輪郭線データを参照し動き検出代表点で検出し
た動きデータから任意の画素位置の動きベクトルを内挿
計算する方法を説明する図である。

【図６】第２の発明の実施例において、動き補償フレー
ム間対応の与えられていない画素に動きデータを内挿補
間する方法を説明する図である。

【図７】従来の方式における問題点の一例を説明する図
である。

【図８】本発明の効果の一例を説明する図である。

【符号の説明】

１００、２００、２１２輪郭検出回路１０１、２０１代表点設定回路１０２、２０２動き検出回路１０３、１１２、２０３、２１３動き補償予測回路１０４、２０４差分器１０５、２０５量子化回路１０６、１１１、２０６、２１１逆量子化回路１０７、１１３、２０７、２１４加算器１０８、１１４、２０８、２１５復号画像メモリ１０９、２０９符号変換回路１１０、２１０符号逆変換回路１２１、２２１入力画像１２２、１２９、２２３、２３１輪郭線データ１２３、１３１、２２２、２３０前フレームの復号画
像１２４、１３０、２２４、２２９動きデータ１２５、２２５符号化予測データ１２６、１２８、２２６、２２８量子化データ１２７、２２７符号化データ１３２、２３２復号予測データ１３３、２３３復号画像

Claims

(57)【特許請求の範囲】

【請求項１】符号化部と復号化部とから構成される動
画像の符号化・復号化装置において、前記符号化部は、
入力画像から被写体領域の輪郭線データを検出する手段
と、前記輪郭線データを参照して前記入力画像上に複数
の動き検出代表点を設定する手段と、前フレームの復号
画像を参照して前記代表点でのフレーム間の動き量を計
算し、動きデータとして出力する手段と、前記入力画像
の画素毎に、前記輪郭線データを参照して該当画素と同
じ被写体領域上にある前記代表点の一部を選択し、前記
選択された複数の代表点での動きデータから前記該当画
素の動き量を内挿計算し、前記画素毎に得た動き量のデ
ータを用いて前記前フレームの復号画像から動き補償フ
レーム間予測を行い、符号化予測データを出力する手段
と、前記入力画像と前記符号化予測データとの差分デー
タを出力する手段と、前記差分データを量子化し、量子
化データを出力する手段と、前記量子化データを逆量子
化する手段と、前記逆量子化したデータと前記符号化予
測データとを加算して復号画像を再生する手段と、前記
再生した復号画像を保持し、次フレームの符号化時に出
力する手段と、前記輪郭線データと前記量子化データと
前記複数の代表点での動きデータとを符号化し、符号化
データとして復号化部へ出力する手段とを備え、前記復号部は、前記符号化部から供給された前記符号化
データを復号し、量子化データと輪郭線データと複数の
代表点での動きデータとを出力する手段と、前記復号し
た量子化データを逆量子化する手段と、前記復号した輪
郭線データを参照して前記復号した複数の代表点が何れ
の領域に属するかを分類し、画素毎の動き量を該当画素
と同じ領域上にある複数の代表点での動きデータから内
挿計算して求め、前記画素毎に求めた動き量のデータを
用いて前フレームでの復号画像から動き補償フレーム間
予測を行い、復号予測データを出力する手段と、前記逆
量子化したデータと前記復号予測データとを加算して復
号画像を再生し、外部へ出力する手段と、前記再生した
復号画像を保持し、次フレームの復号時に出力する手段
とを備えることを特徴とする動画像の符号化・復号化装
置。
【請求項２】符号化部と復号化部とから構成される動
画像の符号化・復号化装置において、前記符号化部は、
前フレームの復号画像から被写体領域の輪郭線データを
検出する手段と、前記輪郭線データを参照して前記前フ
レームの復号画像上に複数の動き検出代表点を設定する
手段と、前記入力画像を参照して前記代表点でのフレー
ム間の動き量を計算し、動きデータとして出力する手段
と、前記入力画像の画素毎に、前記輪郭線データを参照
して該当画素と同じ被写体領域上にある前記代表点の一
部を選択し、前記選択された複数の代表点での動きデー
タから前記該当画素の動き量を内挿計算し、前記画素毎
に得た動き量のデータを用いて前記前フレームの復号画
像から動き補償フレーム間予測を行い、符号化予測デー
タを出力する手段と、前記入力画像と前記符号化予測デ
ータとの差分データを出力する手段と、前記差分データ
を量子化し、量子化データを出力する手段と、前記量子
化データを逆量子化する手段と、前記逆量子化したデー
タと前記符号化予測データとを加算して復号画像を再生
する手段と、前記再生した復号画像を保持し、次フレー
ムの符号化時に出力する手段と、前記量子化データと前
記複数の代表点での動きデータとを符号化し、符号化デ
ータとして復号化部へ出力する手段とを備え、前記復号
化部は、前記符号化部から供給された前記符号化データ
を復号し、量子化データと複数の代表点での動きデータ
とを出力する手段と、前記復号した量子化データを逆量
子化する手段と、前フレームの復号画像から被写体領域
の輪郭線データを検出する手段と、復号化部で前記検出
した輪郭線データを参照して前記復号した複数の代表点
が何れの領域に属するかを分類し、画素毎の動き量を該
当画素と同じ領域上にある複数の代表点での動きデータ
から内挿計算して求め、前記画素毎に求めた動き量のデ
ータを用いて前フレームでの復号画像から動き補償フレ
ーム間予測を行い、復号予測データを出力する手段と、
前記逆量子化したデータと前記復号予測データとを加算
して復号画像を再生し、外部に出力する手段と、前記再
生した復号画像を保持し、次フレームの復号時に出力す
る手段とを復号化部に備えることを特徴とする動画像の
符号化・復号化装置。