JPH0546770A - 動画像の領域分割方式 - Google Patents
動画像の領域分割方式Info
- Publication number
- JPH0546770A JPH0546770A JP3186157A JP18615791A JPH0546770A JP H0546770 A JPH0546770 A JP H0546770A JP 3186157 A JP3186157 A JP 3186157A JP 18615791 A JP18615791 A JP 18615791A JP H0546770 A JPH0546770 A JP H0546770A
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- image
- area
- frame
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 動きの異なる複数の領域で構成される動画像
において、画素単位でのより正確な動画像の領域分割を
可能とする。 【構成】 入力画像である第（ｎ＋１）フレーム画像１
０１は領域分割回路１３に供給され、フレームメモリＡ
１１からは第ｎフレーム画像１０２が領域分割回路１３
と領域分割回路１４に供給され、かつフレームメモリ１
２からは第（ｎ−１）フレーム画像１０３が領域分割回
路１４に供給される。領域分割回路１４では順方向フレ
ーム間の動き情報を検出して、この検出結果を利用して
第ｎフレーム画像１０２を領域分割して分割結果１０５
を出力する。一方、領域分割回路１３では逆方向フレー
ム間の動き情報を検出して、この検出結果を利用して第
ｎフレーム画像１０２を領域分割して分割結果１０４を
出力する。領域補正回路１５では２つの領域分割回路１
０４，１０５とから補正された領域分割結果１０７を求
めて出力する。
において、画素単位でのより正確な動画像の領域分割を
可能とする。 【構成】 入力画像である第（ｎ＋１）フレーム画像１
０１は領域分割回路１３に供給され、フレームメモリＡ
１１からは第ｎフレーム画像１０２が領域分割回路１３
と領域分割回路１４に供給され、かつフレームメモリ１
２からは第（ｎ−１）フレーム画像１０３が領域分割回
路１４に供給される。領域分割回路１４では順方向フレ
ーム間の動き情報を検出して、この検出結果を利用して
第ｎフレーム画像１０２を領域分割して分割結果１０５
を出力する。一方、領域分割回路１３では逆方向フレー
ム間の動き情報を検出して、この検出結果を利用して第
ｎフレーム画像１０２を領域分割して分割結果１０４を
出力する。領域補正回路１５では２つの領域分割回路１
０４，１０５とから補正された領域分割結果１０７を求
めて出力する。
Description
【０００１】
【産業上の利用分野】本発明は動画像の領域分割方式に
関するものである。
関するものである。
【０００２】
【従来の技術】従来、動画像の領域分割方式において
は、分割の対象である第ｎフレーム画像における第（ｎ
−１）フレーム画像からの順方向フレーム間での動き検
出結果を基に画素毎あるいは小ブロック毎の分割を行う
方式が知られている（特願平３−０００５２３号「動画
像の符号化方式」）。この方式では前記順方向フレーム
間動き検出結果をもとに動画像内の被写体毎にパラメー
タｐｉ＝（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）を計
算により求める。そして該被写体領域内の各画素の順方
向動きベクトル（ｖｘ，ｖｙ）を式（１）に示す画素位
置（ｘ，ｙ）の一次変換により求める。
は、分割の対象である第ｎフレーム画像における第（ｎ
−１）フレーム画像からの順方向フレーム間での動き検
出結果を基に画素毎あるいは小ブロック毎の分割を行う
方式が知られている（特願平３−０００５２３号「動画
像の符号化方式」）。この方式では前記順方向フレーム
間動き検出結果をもとに動画像内の被写体毎にパラメー
タｐｉ＝（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）を計
算により求める。そして該被写体領域内の各画素の順方
向動きベクトル（ｖｘ，ｖｙ）を式（１）に示す画素位
置（ｘ，ｙ）の一次変換により求める。
【０００３】
【数１】
【０００４】画像内に動きの異なるｎ個の領域が存在す
る場合には、計算により求めたｎ個のパラメータｐｉ
（ｉ＝１．．．ｎ）に対して画素毎に式（１）で動きベ
クトルを展開して順方向動き補償フレーム間差分が最も
小さくなるパラメータを選択して、該画素をこの選択パ
ラメータで特徴づけられる被写体領域に分類する。
る場合には、計算により求めたｎ個のパラメータｐｉ
（ｉ＝１．．．ｎ）に対して画素毎に式（１）で動きベ
クトルを展開して順方向動き補償フレーム間差分が最も
小さくなるパラメータを選択して、該画素をこの選択パ
ラメータで特徴づけられる被写体領域に分類する。
【０００５】以上のように動きの異なる被写体領域毎に
動きを表現するパラメータを求め、これら検出された複
数のパラメータのうち最適なものを画素単位で選択する
ことにより領域分割を行うので、被写体毎の動きに応じ
たより正確な領域分割を実現することが可能となる。
動きを表現するパラメータを求め、これら検出された複
数のパラメータのうち最適なものを画素単位で選択する
ことにより領域分割を行うので、被写体毎の動きに応じ
たより正確な領域分割を実現することが可能となる。
【０００６】
【発明が解決しようとする課題】第ｎフレーム画像の領
域分割において第（ｎ−１）フレーム画像からの順方向
フレーム間での動き検出結果を基に画像の領域分割を行
う方式では、動く被写体の背後から現れる画像部分を正
確に分類して領域分割を行うことは困難である。このた
め動く被写体の輪郭付近で背景部分を前記被写体の一部
とする誤った領域分割を行う場合や、被写体同士の隣接
部分が何れの領域にも分類できず残される場合などがあ
る。
域分割において第（ｎ−１）フレーム画像からの順方向
フレーム間での動き検出結果を基に画像の領域分割を行
う方式では、動く被写体の背後から現れる画像部分を正
確に分類して領域分割を行うことは困難である。このた
め動く被写体の輪郭付近で背景部分を前記被写体の一部
とする誤った領域分割を行う場合や、被写体同士の隣接
部分が何れの領域にも分類できず残される場合などがあ
る。
【０００７】本発明の目的は、画像内に動きの異なる複
数の領域が存在する場合に、第ｎフレーム画像の領域分
割を実現するに際して、第（ｎ−１）フレーム画像から
の順方向フレーム間動き情報を用いて領域分割を行うだ
けでなく、第（ｎ＋１）フレーム画像からの逆方向フレ
ーム間動き情報を検出して領域分割を行い、これら２つ
の領域分割結果から補正された領域分割結果を得ること
で、被写体同士の隣接部分でもより正確な領域分割を可
能とする動画像の領域分割方式を提供することにある。
数の領域が存在する場合に、第ｎフレーム画像の領域分
割を実現するに際して、第（ｎ−１）フレーム画像から
の順方向フレーム間動き情報を用いて領域分割を行うだ
けでなく、第（ｎ＋１）フレーム画像からの逆方向フレ
ーム間動き情報を検出して領域分割を行い、これら２つ
の領域分割結果から補正された領域分割結果を得ること
で、被写体同士の隣接部分でもより正確な領域分割を可
能とする動画像の領域分割方式を提供することにある。
【０００８】
【課題を解決するための手段】本発明の第１の動画像の
領域分割方式は、順方向フレーム間での動き情報を検出
して前記動き情報を基にフレーム画像を画素毎あるいは
小ブロック毎に領域分割して順方向領域分割結果を出力
する手段と、逆方向フレーム間での動き情報を検出して
前記動き情報を基にフレーム画像を画素毎あるいは小ブ
ロック毎に領域分割して逆方向領域分割結果を出力する
手段と、前記２つの領域分割結果を利用して補正された
フレーム画像の領域分割結果を出力する手段とを備える
ことを特徴とする。
領域分割方式は、順方向フレーム間での動き情報を検出
して前記動き情報を基にフレーム画像を画素毎あるいは
小ブロック毎に領域分割して順方向領域分割結果を出力
する手段と、逆方向フレーム間での動き情報を検出して
前記動き情報を基にフレーム画像を画素毎あるいは小ブ
ロック毎に領域分割して逆方向領域分割結果を出力する
手段と、前記２つの領域分割結果を利用して補正された
フレーム画像の領域分割結果を出力する手段とを備える
ことを特徴とする。
【０００９】本発明の第２の動画像の領域分割方式は、
第（ｎ＋１）フレーム画像が現入力画像である場合、第
ｎフレーム画像を出力する手段と、第（ｎ−１）フレー
ム画像を出力する手段と、第ｎフレーム画像における第
（ｎ−１）フレーム画像からの順方向フレーム間での動
き情報を検出して前記動き情報を基に第ｎフレーム画像
を画素毎あるいは小ブロック毎に領域分割して順方向領
域分割結果を出力する手段と、第ｎフレーム画像におけ
る第（ｎ＋１）フレーム画像からの逆方向フレーム間で
の動き情報を検出して前記動き情報を基に第ｎフレーム
画像を画素毎あるいは小ブロック毎に領域分割して逆方
向領域分割結果を出力する手段と、前記２つの領域分割
結果を利用して補正された第ｎフレーム画像の領域分割
結果を出力する手段とを備えることを特徴とする。
第（ｎ＋１）フレーム画像が現入力画像である場合、第
ｎフレーム画像を出力する手段と、第（ｎ−１）フレー
ム画像を出力する手段と、第ｎフレーム画像における第
（ｎ−１）フレーム画像からの順方向フレーム間での動
き情報を検出して前記動き情報を基に第ｎフレーム画像
を画素毎あるいは小ブロック毎に領域分割して順方向領
域分割結果を出力する手段と、第ｎフレーム画像におけ
る第（ｎ＋１）フレーム画像からの逆方向フレーム間で
の動き情報を検出して前記動き情報を基に第ｎフレーム
画像を画素毎あるいは小ブロック毎に領域分割して逆方
向領域分割結果を出力する手段と、前記２つの領域分割
結果を利用して補正された第ｎフレーム画像の領域分割
結果を出力する手段とを備えることを特徴とする。
【００１０】本発明の第３の動画像の領域分割方式は、
第（ｎ＋１）フレーム画像が現入力画像である場合、第
ｎフレーム画像を出力する手段と、第（ｎ＋１）フレー
ム画像における第ｎフレーム画像からの順方向フレーム
間での動き情報を検出して前記動き情報を基に第（ｎ＋
１）フレーム画像を画素毎あるいは小ブロック毎に領域
分割して順方向領域分割結果を出力する手段と、前記順
方向領域分割結果を１フレーム期間遅延して出力する領
域分割情報記憶手段と、第ｎフレーム画像における第
（ｎ＋１）フレーム画像からの逆方向フレーム間での動
き情報を検出して前記動き情報を基に第ｎフレーム画像
を画素毎あるいは小ブロック毎に領域分割して逆方向領
域分割結果を出力する手段と、前記逆方向領域分割結果
と前記１フレーム遅延されて出力された順方向領域分割
結果を利用して補正された第ｎフレーム画像の領域分割
結果を出力する手段とを備えることを特徴とする。 本
発明の第４の動画像の領域分割方式は、前述の本発明の
第２又は第３の領域分割方式に、前記補正された領域分
割結果をもとに背景領域部分の画素値をあらかじめ定め
た値に固定するフィルタ手段とを備えることを特徴とす
る。
第（ｎ＋１）フレーム画像が現入力画像である場合、第
ｎフレーム画像を出力する手段と、第（ｎ＋１）フレー
ム画像における第ｎフレーム画像からの順方向フレーム
間での動き情報を検出して前記動き情報を基に第（ｎ＋
１）フレーム画像を画素毎あるいは小ブロック毎に領域
分割して順方向領域分割結果を出力する手段と、前記順
方向領域分割結果を１フレーム期間遅延して出力する領
域分割情報記憶手段と、第ｎフレーム画像における第
（ｎ＋１）フレーム画像からの逆方向フレーム間での動
き情報を検出して前記動き情報を基に第ｎフレーム画像
を画素毎あるいは小ブロック毎に領域分割して逆方向領
域分割結果を出力する手段と、前記逆方向領域分割結果
と前記１フレーム遅延されて出力された順方向領域分割
結果を利用して補正された第ｎフレーム画像の領域分割
結果を出力する手段とを備えることを特徴とする。 本
発明の第４の動画像の領域分割方式は、前述の本発明の
第２又は第３の領域分割方式に、前記補正された領域分
割結果をもとに背景領域部分の画素値をあらかじめ定め
た値に固定するフィルタ手段とを備えることを特徴とす
る。
【００１１】
【作用】本発明の動画像の領域分割方式では、入力画像
は動きの異なる複数の領域で構成されており、各領域の
動きは画像平面内の平行移動と回転および拡大・縮小の
動きのみで近似できることを前提とする。このような近
似は、画像内の動きがカメラ操作に起因する場合や被写
体の２フレーム間での動きが小さい場合などに広く適用
できる。この場合に特定の被写体領域Ｓｉの動きはパラ
メータｐｉ＝（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）
で記述でき、該領域Ｓｉ内の各画素の動きベクトルは
「従来の技術」項の式（１）に示した一次変換式により
画像内の位置の関数として計算により求めることができ
る。また前記パラメータｐｉの検出方式は特願平３−０
００５２３号「動画像の符号化方式」において説明され
ている。この方式では小ブロック毎に動きベクトルをも
とめ、隣接ブロック間で前記動きベクトルの差分が小さ
いブロック同士を統合することで画像全体を粗く領域分
割して、分割された領域毎に前記ブロック単位に検出さ
れた動きベクトルから最小２乗誤差法によりパラメータ
を求めている。
は動きの異なる複数の領域で構成されており、各領域の
動きは画像平面内の平行移動と回転および拡大・縮小の
動きのみで近似できることを前提とする。このような近
似は、画像内の動きがカメラ操作に起因する場合や被写
体の２フレーム間での動きが小さい場合などに広く適用
できる。この場合に特定の被写体領域Ｓｉの動きはパラ
メータｐｉ＝（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）
で記述でき、該領域Ｓｉ内の各画素の動きベクトルは
「従来の技術」項の式（１）に示した一次変換式により
画像内の位置の関数として計算により求めることができ
る。また前記パラメータｐｉの検出方式は特願平３−０
００５２３号「動画像の符号化方式」において説明され
ている。この方式では小ブロック毎に動きベクトルをも
とめ、隣接ブロック間で前記動きベクトルの差分が小さ
いブロック同士を統合することで画像全体を粗く領域分
割して、分割された領域毎に前記ブロック単位に検出さ
れた動きベクトルから最小２乗誤差法によりパラメータ
を求めている。
【００１２】本発明の第１の実施例である第ｎフレーム
画像の領域分割の作用を図１において説明する。このと
き外部からの入力画像は第（ｎ＋１）フレーム画像１０
１であり、フレームメモリＡ１１は第ｎフレーム画像１
０２を出力して、フレームメモリＢ１２は第（ｎ−１）
フレーム画像１０３を出力している。まず領域分割回路
Ｂ１４において、第ｎフレーム画像１０２における第
（ｎ−１）フレーム画像１０３からの被写体毎の順方向
フレーム間の動きを記述する複数のパラメータを検出し
て、この検出パラメータを用いて第１段階の領域分割を
行う。領域分割では検出された複数のパラメータから画
素毎に「従来の技術」項の式（１）に示した一次変換式
を用いて動きベクトルを展開して、動き補償フレーム間
差分が最小となるパラメータを選択する。該画素は選択
されたパラメータで特徴づけられる領域に分割され、こ
の操作を画像内の全ての画素に行うことで画像全体の領
域分割結果１０５を出力する。ところで画像が図４に示
すように背景領域Ｓ１とその前方にある動く被写体領域
Ｓ２で構成されていると仮定すると、図４（ａ）の斜線
部で示した動く被写体後方の部分では誤った領域分割が
発生する可能性が高い。なぜならばこの斜線部は第（ｎ
−１）フレーム画像上では表示されていないためであ
る。次に領域分割の第２段階として、領域分割回路Ａ１
３において第ｎフレーム画像１０２における第（ｎ＋
１）フレーム画像１０１からの被写体毎の逆方向フレー
ム間の動きを記述する複数のパラメータを検出して、こ
のパラメータを利用した領域分割を行い領域分割結果１
０４を出力する。この場合には図４（ｂ）の斜線部で示
した動く被写体前方で領域分割に誤りが生じ易くなる。
しかしこの第２段階では図４（ａ）の斜線部である動く
被写体後方では、検出されたパラメータによるフレーム
間対応を求めることが可能なので正確な領域分割が実現
できる。そこで領域補正回路１５でこれら第１・第２段
階で検出された２つの領域分割結果１０４，１０５を補
足しあうことで補正されたより正確な領域分割結果１０
７が得られる。具体的には第１段階での領域分割結果の
うち、何れのパラメータを用いても順方向動き補償フレ
ーム間差分があらかじめ定めたしきい値より大きい画素
はパラメータ未適用画素に分類する。次に第１段階でパ
ラメータ未適用画素に分類された画素に対して、第２段
階で検出された複数のパラメータから最適なものを選択
する。このとき図４（ａ）（ｂ）の斜線部以外の画素で
は第１・第２段階の双方で最適なパラメータが正確に選
択されており双方のパラメータの対応関係が明らかであ
る。そこで第２段階でのみパラメータ選択が行われた画
素は前記対応づけに基づき第１段階で分割された何れか
の領域に分類される。
画像の領域分割の作用を図１において説明する。このと
き外部からの入力画像は第（ｎ＋１）フレーム画像１０
１であり、フレームメモリＡ１１は第ｎフレーム画像１
０２を出力して、フレームメモリＢ１２は第（ｎ−１）
フレーム画像１０３を出力している。まず領域分割回路
Ｂ１４において、第ｎフレーム画像１０２における第
（ｎ−１）フレーム画像１０３からの被写体毎の順方向
フレーム間の動きを記述する複数のパラメータを検出し
て、この検出パラメータを用いて第１段階の領域分割を
行う。領域分割では検出された複数のパラメータから画
素毎に「従来の技術」項の式（１）に示した一次変換式
を用いて動きベクトルを展開して、動き補償フレーム間
差分が最小となるパラメータを選択する。該画素は選択
されたパラメータで特徴づけられる領域に分割され、こ
の操作を画像内の全ての画素に行うことで画像全体の領
域分割結果１０５を出力する。ところで画像が図４に示
すように背景領域Ｓ１とその前方にある動く被写体領域
Ｓ２で構成されていると仮定すると、図４（ａ）の斜線
部で示した動く被写体後方の部分では誤った領域分割が
発生する可能性が高い。なぜならばこの斜線部は第（ｎ
−１）フレーム画像上では表示されていないためであ
る。次に領域分割の第２段階として、領域分割回路Ａ１
３において第ｎフレーム画像１０２における第（ｎ＋
１）フレーム画像１０１からの被写体毎の逆方向フレー
ム間の動きを記述する複数のパラメータを検出して、こ
のパラメータを利用した領域分割を行い領域分割結果１
０４を出力する。この場合には図４（ｂ）の斜線部で示
した動く被写体前方で領域分割に誤りが生じ易くなる。
しかしこの第２段階では図４（ａ）の斜線部である動く
被写体後方では、検出されたパラメータによるフレーム
間対応を求めることが可能なので正確な領域分割が実現
できる。そこで領域補正回路１５でこれら第１・第２段
階で検出された２つの領域分割結果１０４，１０５を補
足しあうことで補正されたより正確な領域分割結果１０
７が得られる。具体的には第１段階での領域分割結果の
うち、何れのパラメータを用いても順方向動き補償フレ
ーム間差分があらかじめ定めたしきい値より大きい画素
はパラメータ未適用画素に分類する。次に第１段階でパ
ラメータ未適用画素に分類された画素に対して、第２段
階で検出された複数のパラメータから最適なものを選択
する。このとき図４（ａ）（ｂ）の斜線部以外の画素で
は第１・第２段階の双方で最適なパラメータが正確に選
択されており双方のパラメータの対応関係が明らかであ
る。そこで第２段階でのみパラメータ選択が行われた画
素は前記対応づけに基づき第１段階で分割された何れか
の領域に分類される。
【００１３】本発明に係わる第２の実施例の作用を図２
を用いて説明する。ここでは現入力画像が第（ｎ＋１）
フレーム画像２０１であるときに、フレームメモリ２１
から出力される第ｎフレーム画像２０２の領域分割を実
現することを考える。まず領域分割回路Ｂ２３において
第（ｎ＋１）フレーム画像２０１における第ｎフレーム
画像２０２からの被写体毎の順方向フレーム間の動きを
記述する複数のパラメータを検出して、この検出パラメ
ータにより第（ｎ＋１）フレーム画像２０１の領域分割
を行う。この順方向の動きに基づく第（ｎ＋１）フレー
ム画像２０１の領域分割結果２０５は、遅延回路２４で
１フレーム期間遅延させて次なるフレーム期間での第
（ｎ＋１）フレーム画像２０１の領域分割に用いる。一
方、領域分割回路Ａ２２において第ｎフレーム画像２０
２における第（ｎ＋１）フレーム画像２０１からの被写
体毎の逆方向フレーム間の動きを記述する複数のパラメ
ータを検出して、この検出パラメータにより第ｎフレー
ム画像２０２の領域分割を行う。領域補正回路２５では
領域分割回路Ａ２２での領域分割結果２０４と領域分割
回路Ｂ２３の出力を１フレーム期間遅延した領域分割結
果２０６を用いて補正された領域分割結果２０７を得
る。
を用いて説明する。ここでは現入力画像が第（ｎ＋１）
フレーム画像２０１であるときに、フレームメモリ２１
から出力される第ｎフレーム画像２０２の領域分割を実
現することを考える。まず領域分割回路Ｂ２３において
第（ｎ＋１）フレーム画像２０１における第ｎフレーム
画像２０２からの被写体毎の順方向フレーム間の動きを
記述する複数のパラメータを検出して、この検出パラメ
ータにより第（ｎ＋１）フレーム画像２０１の領域分割
を行う。この順方向の動きに基づく第（ｎ＋１）フレー
ム画像２０１の領域分割結果２０５は、遅延回路２４で
１フレーム期間遅延させて次なるフレーム期間での第
（ｎ＋１）フレーム画像２０１の領域分割に用いる。一
方、領域分割回路Ａ２２において第ｎフレーム画像２０
２における第（ｎ＋１）フレーム画像２０１からの被写
体毎の逆方向フレーム間の動きを記述する複数のパラメ
ータを検出して、この検出パラメータにより第ｎフレー
ム画像２０２の領域分割を行う。領域補正回路２５では
領域分割回路Ａ２２での領域分割結果２０４と領域分割
回路Ｂ２３の出力を１フレーム期間遅延した領域分割結
果２０６を用いて補正された領域分割結果２０７を得
る。
【００１４】本発明に係わる第３の実施例の作用を図３
を用いて説明する。現入力画像である第（ｎ＋１）フレ
ーム画像３０１はフレームメモリ３１と領域分割手段３
２に供給される。同時にフレームメモリ３１は１フレー
ム期間遅延させた第ｎフレーム画像３０２を領域分割手
段３２とフィルタ処理回路３３に供給する。まず領域分
割手段３２では第ｎフレーム画像３０２の領域分割を行
い分割結果３０７をフィルタ処理回路３３に出力する。
このとき領域分割手段３２では本発明の第２の動画像の
領域分割方式あるいは本発明の第３の動画像の領域分割
方式を用い、フレームメモリ３１は図１のフレームメモ
リＡｌｌまたは図２のフレームメモリ２１を用いて前記
第ｎフレーム画像３０２の領域分割を実現する。次にフ
ィルタ処理回路３３では第ｎフレーム画像３０２に対し
て前記領域分割結果３０７が示す背景領域部分をあらか
じめ設定した値に置き換える。背景領域の選択は、パン
ニングやズーミング等のどの様なカメラ操作が行われて
いるかが予め判っている場合には、検出されたパラメー
タから容易に実現することができる。具体的には「従来
の技術」項の式（１）に示した一次変換式のパラメータ
ｐｉ＝（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）におい
て、（ｅｉ，ｆｉ）はパンニングの大きさを示す値に、
ｚｉ＝（ａｉ＋ｄｉ）／２はズーミングによる拡大・縮
小の大きさを示す値に、またＲｉ＝（−ｂｉ＋ｃｉ）／
２は回転の大きさを示す値にそれぞれ対応する。また背
景が画像周辺部分の多くを占める様な画像では、画像の
周辺部分で最も多くの画素が分類された領域を背景領域
とすることも可能である。以上のような背景領域におけ
るフィルタ処理を行えば動画像のフレーム間差分符号化
において背景部分の符号化が不要である場合に、動く被
写体部分の画質を損ねることなく背景部分からの発生符
号量を抑制することが可能となる。
を用いて説明する。現入力画像である第（ｎ＋１）フレ
ーム画像３０１はフレームメモリ３１と領域分割手段３
２に供給される。同時にフレームメモリ３１は１フレー
ム期間遅延させた第ｎフレーム画像３０２を領域分割手
段３２とフィルタ処理回路３３に供給する。まず領域分
割手段３２では第ｎフレーム画像３０２の領域分割を行
い分割結果３０７をフィルタ処理回路３３に出力する。
このとき領域分割手段３２では本発明の第２の動画像の
領域分割方式あるいは本発明の第３の動画像の領域分割
方式を用い、フレームメモリ３１は図１のフレームメモ
リＡｌｌまたは図２のフレームメモリ２１を用いて前記
第ｎフレーム画像３０２の領域分割を実現する。次にフ
ィルタ処理回路３３では第ｎフレーム画像３０２に対し
て前記領域分割結果３０７が示す背景領域部分をあらか
じめ設定した値に置き換える。背景領域の選択は、パン
ニングやズーミング等のどの様なカメラ操作が行われて
いるかが予め判っている場合には、検出されたパラメー
タから容易に実現することができる。具体的には「従来
の技術」項の式（１）に示した一次変換式のパラメータ
ｐｉ＝（ａｉ，ｂｉ，ｃｉ，ｄｉ，ｅｉ，ｆｉ）におい
て、（ｅｉ，ｆｉ）はパンニングの大きさを示す値に、
ｚｉ＝（ａｉ＋ｄｉ）／２はズーミングによる拡大・縮
小の大きさを示す値に、またＲｉ＝（−ｂｉ＋ｃｉ）／
２は回転の大きさを示す値にそれぞれ対応する。また背
景が画像周辺部分の多くを占める様な画像では、画像の
周辺部分で最も多くの画素が分類された領域を背景領域
とすることも可能である。以上のような背景領域におけ
るフィルタ処理を行えば動画像のフレーム間差分符号化
において背景部分の符号化が不要である場合に、動く被
写体部分の画質を損ねることなく背景部分からの発生符
号量を抑制することが可能となる。
【００１５】
【実施例】本発明について図面を参照して説明する。
【００１６】図１は本発明の第１の実施例のブロック図
である。図１において、入力画像１０１がフレームメモ
リＡ１１と領域分割回路Ａ１３に供給される。またフレ
ームメモリＡ１１に供給された画像は、１フレーム期間
遅延した画像１０２として領域分割回路Ａ１３と領域分
割回路Ｂ１４とフレームメモリＢ１２に出力される。フ
レームメモリＢ１２では供給された画像を更に１フレー
ム期間遅延した画像１０３として領域分割回路Ｂ１４に
出力する。領域分割回路Ｂ１４では画像１０２における
画像１０３からの順方向フレーム間の動き情報を利用し
た領域分割を行い領域分割結果１０５を領域補正回路１
５に出力する。一方、領域分割回路Ａ１３では画像１０
２における画像１０１からの逆方向フレーム間の動き情
報を利用した領域分割を行い領域分割結果１０４を領域
補正回路１５に出力する。領域補正回路１５では供給さ
れた２つの領域分割結果１０４，１０５を用いて画像１
０２に対する補正された領域分割結果１０７を出力す
る。
である。図１において、入力画像１０１がフレームメモ
リＡ１１と領域分割回路Ａ１３に供給される。またフレ
ームメモリＡ１１に供給された画像は、１フレーム期間
遅延した画像１０２として領域分割回路Ａ１３と領域分
割回路Ｂ１４とフレームメモリＢ１２に出力される。フ
レームメモリＢ１２では供給された画像を更に１フレー
ム期間遅延した画像１０３として領域分割回路Ｂ１４に
出力する。領域分割回路Ｂ１４では画像１０２における
画像１０３からの順方向フレーム間の動き情報を利用し
た領域分割を行い領域分割結果１０５を領域補正回路１
５に出力する。一方、領域分割回路Ａ１３では画像１０
２における画像１０１からの逆方向フレーム間の動き情
報を利用した領域分割を行い領域分割結果１０４を領域
補正回路１５に出力する。領域補正回路１５では供給さ
れた２つの領域分割結果１０４，１０５を用いて画像１
０２に対する補正された領域分割結果１０７を出力す
る。
【００１７】図２は本発明の第２の実施例のブロック図
である。図２において、入力画像２０１はフレームメモ
リ２１と領域分割回路Ａ２２と領域分割回路Ｂ２３に供
給される。またフレームメモリ２１に供給された画像２
０１は、１フレーム期間遅延した画像２０２として領域
分割回路Ａ２２と領域分割回路Ｂ２３に出力される。領
域分割回路Ｂ２３ではまず画像２０１における画像２０
２からの順方向フレーム間の動き情報を利用した領域分
割を行い領域分割結果２０５を遅延回路２４供給する。
遅延回路２４では供給された領域分割結果２０５を１フ
レーム期間遅延させて領域分割結果２０６として領域補
正回路２５に出力する。一方、領域分割回路Ａ２２では
画像２０２における画像２０１からの逆方向フレーム間
の動き情報を利用した領域分割を行い領域分割結果２０
４を領域補正回路２５に出力する。領域補正回路２５で
は供給された２つの領域分割結果２０４，２０６を用い
て画像２０２に対する補正された領域分割結果２０７を
求めて出力する。
である。図２において、入力画像２０１はフレームメモ
リ２１と領域分割回路Ａ２２と領域分割回路Ｂ２３に供
給される。またフレームメモリ２１に供給された画像２
０１は、１フレーム期間遅延した画像２０２として領域
分割回路Ａ２２と領域分割回路Ｂ２３に出力される。領
域分割回路Ｂ２３ではまず画像２０１における画像２０
２からの順方向フレーム間の動き情報を利用した領域分
割を行い領域分割結果２０５を遅延回路２４供給する。
遅延回路２４では供給された領域分割結果２０５を１フ
レーム期間遅延させて領域分割結果２０６として領域補
正回路２５に出力する。一方、領域分割回路Ａ２２では
画像２０２における画像２０１からの逆方向フレーム間
の動き情報を利用した領域分割を行い領域分割結果２０
４を領域補正回路２５に出力する。領域補正回路２５で
は供給された２つの領域分割結果２０４，２０６を用い
て画像２０２に対する補正された領域分割結果２０７を
求めて出力する。
【００１８】図３は本発明の第３の実施例のブロック図
である。図３において、入力画像３０１はフレームメモ
リ３１と領域分割手段３２に供給される。またフレーム
メモリ３１は供給された画像を１フレーム期間遅延させ
て画像３０２として領域分割手段３２とフィルタ処理回
路３３に出力する。領域分割手段３２では本発明の第２
の動画像の領域分割方式あるいは本発明の第３の動画像
の領域分割方式を用い、フレームメモリ３１は図１のフ
レームメモリＡ１１または図２のフレームメモリ２１を
用いて領域分割を行い、領域分割結果３０７をフィルタ
処理回路３３に供給する。フィルタ処理回路３３では領
域分割結果３０７を利用してフレームメモリ３１から供
給された画像３０２の背景領域に対してフィルタ処理を
実行して、フィルタ処理後の画像３０８を出力する。
である。図３において、入力画像３０１はフレームメモ
リ３１と領域分割手段３２に供給される。またフレーム
メモリ３１は供給された画像を１フレーム期間遅延させ
て画像３０２として領域分割手段３２とフィルタ処理回
路３３に出力する。領域分割手段３２では本発明の第２
の動画像の領域分割方式あるいは本発明の第３の動画像
の領域分割方式を用い、フレームメモリ３１は図１のフ
レームメモリＡ１１または図２のフレームメモリ２１を
用いて領域分割を行い、領域分割結果３０７をフィルタ
処理回路３３に供給する。フィルタ処理回路３３では領
域分割結果３０７を利用してフレームメモリ３１から供
給された画像３０２の背景領域に対してフィルタ処理を
実行して、フィルタ処理後の画像３０８を出力する。
【００１９】
【発明の効果】以上説明したように本発明では、領域分
割対象とするフレーム画像に対して時間的に前後する２
つのフレームからの順方向と逆方向とのフレーム間動き
情報をもとに領域分割を行うので、動く被写体の背後か
ら現れる部分も含めたより正確な領域分割を実現でき
る。またこの分割結果を用いた背景領域に対するフィル
タ処理では動く被写体領域への影響を排除しつつ、効率
的な背景領域のフィルタ処理を実現でき、動画像のフレ
ーム間差分符号化での符号量を削減するのに効果があ
る。
割対象とするフレーム画像に対して時間的に前後する２
つのフレームからの順方向と逆方向とのフレーム間動き
情報をもとに領域分割を行うので、動く被写体の背後か
ら現れる部分も含めたより正確な領域分割を実現でき
る。またこの分割結果を用いた背景領域に対するフィル
タ処理では動く被写体領域への影響を排除しつつ、効率
的な背景領域のフィルタ処理を実現でき、動画像のフレ
ーム間差分符号化での符号量を削減するのに効果があ
る。
【図１】本発明に係わる第１の実施例の基本ブロック図
である。
である。
【図２】本発明に係わる第２の実施例の基本ブロック図
である。
である。
【図３】本発明に係わる第３の実施例の基本ブロック図
である。
である。
【図４】動画像の順方向および逆方向フレーム間動き情
報による領域分割を説明する図である。
報による領域分割を説明する図である。
１１ フレームメモリＡ １２ フレームメモリＢ １３，２２ 領域分割回路Ａ １４，２３ 領域分割回路Ｂ １５，２５ 領域補正回路 ２１，３１ フレームメモリ ２４ 遅延回路 ３２ 領域分割手段 ３３ フィルタ処理回路 １０１，２０１，３０１ 第（ｎ＋１）フレーム入力画
像 １０２，２０２，３０２ 第ｎフレーム画像 １０３ 第（ｎ−１）フレーム画像 １０４，２０４ 逆方向領域分割結果 １０５，２０５ 順方向領域分割結果 ２０６ １フレーム期間遅延した順方向領域分割結果 １０７，２０７，３０７ 領域分割結果 ３０８ フィルタ処理画像
像 １０２，２０２，３０２ 第ｎフレーム画像 １０３ 第（ｎ−１）フレーム画像 １０４，２０４ 逆方向領域分割結果 １０５，２０５ 順方向領域分割結果 ２０６ １フレーム期間遅延した順方向領域分割結果 １０７，２０７，３０７ 領域分割結果 ３０８ フィルタ処理画像
Claims (4)
- 【請求項１】 動画像を複数領域に分割する方式におい
て、順方向フレーム間での動き情報を検出して前記動き
情報を基にフレーム画像を画素毎あるいは小ブロック毎
に領域分割して順方向領域分割結果を出力する手段と、
逆方向フレーム間での動き情報を検出して前記動き情報
を基にフレーム画像を画素毎あるいは小ブロック毎に領
域分割して逆方向領域分割結果を出力する手段と、前記
２つの領域分割結果を利用して補正されたフレーム画像
の領域分割結果を出力する手段とを備えることを特徴と
する動画像の領域分割方式。 - 【請求項２】 動画像を複数領域に分割する方式におい
て、第（ｎ＋１）フレーム画像が現入力画像である場
合、第ｎフレーム画像を出力する手段と、第（ｎ−１）
フレーム画像を出力する手段と、第ｎフレーム画像にお
ける第（ｎ−１）フレーム画像からの順方向フレーム間
での動き情報を検出して前記動き情報を基に第ｎフレー
ム画像を画素毎あるいは小ブロック毎に領域分割して順
方向領域分割結果を出力する手段と、第ｎフレーム画像
における第（ｎ＋１）フレーム画像からの逆方向フレー
ム間での動き情報を検出して前記情報を基に第ｎフレー
ム画像を画素毎あるいは小ブロック毎に領域分割して逆
方向領域分割結果を出力する手段と、前記２つの領域分
割結果を利用して補正された第ｎフレーム画像の領域分
割結果を出力する手段とを備えることを特徴とする動画
像の領域分割方式。 - 【請求項３】 動画像を複数領域に分割する方式におい
て、第（ｎ＋１）フレーム画像が現入力画像である場
合、第ｎフレーム画像を出力する手段と、第（ｎ＋１）
フレーム画像における第ｎフレーム画像からの順方向フ
レーム間での動き情報を検出して前記動き情報を基に第
（ｎ＋１）フレーム画像を画素毎あるいは小ブロック毎
に領域分割して順方向領域分割結果を出力する手段と、
前記順方向領域分割結果を１フレーム期間遅延して出力
する領域分割情報記憶手段と、第ｎフレーム画像におけ
る第（ｎ＋１）フレーム画像からの逆方向フレーム間で
の動き情報を検出して前記動き情報を基に第ｎフレーム
画像を画素毎あるいは小ブロック毎に領域分割して逆方
向領域分割結果を出力する手段と、前記逆方向領域分割
結果と前記１フレーム遅延されて出力された順方向領域
分割結果を利用して補正された第ｎフレーム画像の領域
分割結果を出力する手段とを備えることを特徴とする動
画像の領域分割方式。 - 【請求項４】 前記補正された領域分割結果を基に背景
領域部分の画素値をあらかじめ定めた値に固定するフィ
ルタ手段をさらに備えることを特徴とする請求項２又は
３記載の動画像の領域分割方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3186157A JPH0546770A (ja) | 1991-07-25 | 1991-07-25 | 動画像の領域分割方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3186157A JPH0546770A (ja) | 1991-07-25 | 1991-07-25 | 動画像の領域分割方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0546770A true JPH0546770A (ja) | 1993-02-26 |
Family
ID=16183382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3186157A Pending JPH0546770A (ja) | 1991-07-25 | 1991-07-25 | 動画像の領域分割方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0546770A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019154027A (ja) * | 2018-03-02 | 2019-09-12 | 富士通株式会社 | ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム |
-
1991
- 1991-07-25 JP JP3186157A patent/JPH0546770A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019154027A (ja) * | 2018-03-02 | 2019-09-12 | 富士通株式会社 | ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR930002613B1 (ko) | 화상의 움직임벡터검출장치 | |
| US5784115A (en) | System and method for motion compensated de-interlacing of video frames | |
| JP3103894B2 (ja) | ビデオデータの手振れ補正装置およびその方法 | |
| EP0677958B1 (en) | Motion adaptive scan conversion using directional edge interpolation | |
| JP4847040B2 (ja) | ビデオシーケンスでのティッカー処理 | |
| US20060222077A1 (en) | Method, apparatus and computer program product for generating interpolation frame | |
| US8817878B2 (en) | Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach | |
| US7865030B2 (en) | Method and system for motion compensated temporal filtering using both FIR and IIR filtering | |
| KR100914619B1 (ko) | 디인터레이싱 방법, 장치 및 시스템 | |
| US20090167952A1 (en) | Noise reduction device and noise reduction method | |
| US20070133686A1 (en) | Apparatus and method for frame interpolation based on motion estimation | |
| US20090296818A1 (en) | Method and system for creating an interpolated image | |
| JPH07193763A (ja) | テレビジョン受信機 | |
| US8345148B2 (en) | Method and system for inverse telecine and scene change detection of progressive video | |
| US5452021A (en) | Image fluctuation detection apparatus | |
| AU2004200237B2 (en) | Image processing apparatus with frame-rate conversion and method thereof | |
| JPH0546770A (ja) | 動画像の領域分割方式 | |
| JPH08149421A (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路 | |
| JPH11275584A (ja) | 画像信号のブロック歪み低減回路 | |
| EP2237559A1 (en) | Background motion estimate based halo reduction | |
| JPH07336650A (ja) | フィールド内挿方法 | |
| JP3833076B2 (ja) | 映像信号処理装置、映像信号の処理方法及び映像信号の処理方法のプログラム | |
| JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
| US20080002055A1 (en) | Spatio-temporal adaptive video de-interlacing for parallel processing | |
| JPH11146417A (ja) | 動き検出回路 |