JPS6262110B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は、画像信号が表わす画像の動きの検出
誤差を修正する動き検出誤差修正方法に関し、特
に、画像の動きに対する補正を施して予測した画
像信号の動き検出誤差に基づく誤差を修正するよ
うにしたものである。

画像信号が表わす画像の動きを検出する方法に
関しては、従来、種々検討されており、本発明者
も、特願昭53−32408号明細書により「動ベクト
ル検出方法」と称する画像の動き検出方法を提案
した。

しかして、画像の動きを検出するにあたつて、
画面を多数のブロツクに区分し、それぞれのブロ
ツクについてそれぞれ１個ずつの動ベクトルを検
出するようにした上述の動ベクトル検出方法は、
実用的な意味では唯一の動き検出方法であるとい
うことができるが、この動き検出方法にはつぎの
ような欠点がある。

すなわち、画面を区分した１個のブロツク内に
動きのある部分と静止部分とが混在している場合
に動き検出に誤差が生じ、また、信号対ノイズ比
のよくない画像の場合に混入したノイズによつて
動き検出に誤差が生ずることもある。このよう
に、発生の確率はわずかではあるが、誤つた動き
を検出することがあるので、かかる動き検出を行
なつて得た動ベクトルを用いて、例えばフレーム
間差信号のみを符号化して伝送し、あるいは、受
信側で形成し得る前フレームの画像信号と、その
前フレームの画像信号に予測した画像の動きに基
づく補正を施した現フレームの予測画像信号との
差信号をフレーム間差信号として符号化して伝送
し、伝送すべき符号信号の量を低減させて符号化
画像信号の伝送効率を向上させる場合に、誤つた
動きを検出した部分に対しては前フレームの画像
信号に誤つた補正を施すことになるので、予測画
像信号に誤差が生ずる。しかして、フレーム間差
信号の符号化伝送に際しては、ノイズによる微細
なフレーム間差信号は除去して伝送効率を高くす
るために、かかる微細なフレーム間差信号を越え
て設定するスレツシホールド信号レベルが十分低
く設定されていれば、単に、伝送すべきフレーム
間差信号の量が増大して伝送効率が低下するのみ
であつて、伝送する符号化画像信号の画質には動
き検出誤差はあまり影響しない。

一方、フレーム間差信号の符号化伝送の際の上
述したスレツシホールド信号レベルを高く設定し
場合には、画像の緩かな動きによる小さいフレー
ム間差信号は伝送されず、画像の急速な動きによ
る大きいフレーム間差信号のみが伝送されるの
で、画像の動きの量がそのスレツシホールド信号
レベルに相当する値を超えると突然に再生画像に
動きが現われ、したがつて、画像の動きの量の大
小により再生画像の輪郭が不揃いになつて、いわ
ゆる偽輪郭が再生画像に生ずるのが一般である。
しかして、上述した画像の動きに検出誤差があれ
ば、画像の動きに基づいて生ずるフレーム間差信
号にも誤差が生ずるので、かかる偽輪郭が動き検
出誤差によつて不規則に動くために強調され、フ
レーム間差信号の伝送を行なつた高効率の符号化
伝送による再生画像の画質が著しく劣化すること
になる。

また、画像の動きに関連させて画像のノイズを
低減させる場合においても、上述したと同様に、
かかるノイズ低減を施したがために生ずる同様の
偽輪郭が、画像の動きの検出誤差に基づいて不規
則に動くために、却つて画質の劣化を招くことに
なる。

なお、上述したような画像の動きの検出誤差に
よつて生ずる画質の劣化について最も問題となる
のは、本来静止している画像部分に、その動きの
検出誤差によつて偽の不規則な動きが現われるこ
とである。

本発明の目的は、上述した従来の問題を解決し
てその欠点を除去し、画像の動きの検出結果に誤
差があつても、画像の動きに基づいて補正を施し
た画像に、その動き検出誤差に基づく画質劣化が
生じないようにした動き検出誤差修正方法を提供
することにある。

すなわち、本発明動き検出誤差修正方法は、前
フレームの画像信号について検出した画像の動き
に基づいて現フレームの画像に近似する予測画像
信号を形成するにあたり、前フレームの画像信号
と前記検出した画像の動きに基づいて前フレーム
の画像信号に画像の動きに対する補正を施した画
像信号とを、現フレームの画像信号とそれぞれ比
較した結果に基づいて、選択的に前記予測画像信
号とすることにより、前記検出した画像の動きの
誤差に基づく前記予測画像信号の誤差を修正する
ようにしたことを特徴とするものである。

以下に図面を参照して実施例につき本発明を詳
細に説明する。

例えば、前述したような画像の動きに基づく補
正を施した予測画像信号とのフレーム間差信号の
伝送による画像信号の符号化伝送における画像の
動きの検出誤差による再生画質の劣化の問題を解
決してその欠点を解消する最も好適な方法は、前
フレームの画像について検出した画像の動きに基
づいて前フレームの画像に補正を施した画像信号
と、かかる補正を施さないもとのままの前フレー
ムの画像信号とのうち、現フレームの画像信号に
近似した方の画像信号を上述した予測画像信号と
して用いる方法である。なお、かかる予測画像信
号の選択的設定を行なつた場合には、いずれの画
像信号を選択したかを各画素信号毎に明示する必
要があり、したがつて、フレーム間差信号の符号
化伝送の際には、各符号化画素信号毎に、その選
択の結果を示す１ビツトの切換信号を付加して伝
送する必要があり、かかる１ビツトの切換信号の
付加伝送をも含めた検出誤差修正方法も考えられ
るが、かかる修正方法については、改めて後述す
る。

まず、本発明検出誤差修正方法により、上述し
たように予測画像信号の選択的設定を行なうよう
にした回路装置の基本構成の例を第１図に示す。

第１図に示す基本的構成例においては、画像の
動きに対する補正を施した前フレームの画像信号
と現フレームの画像信号とを差算器１に供給して
それらの画像信号の差信号を絶対値器３に導き、
その差信号の絶対値を求める。一方、前フレーム
のもとのままの画像信号と現フレームの画像信号
とを差算器２に供給してそれらの画像信号の差信
号を絶対値器４に導き、その差信号の絶対値を求
める。ついで、それら差信号の絶対値を差算器も
しくは比較器５に供給してそれら差信号の絶対値
の大小関係を比較し、その比較の結果に基づい
て、画像の動きに対する補正すなわち動補正を施
した前フレームの画像信号と同じく前フレームの
もとのままの画像信号とをそれぞれ導いた切換イ
ツチ６を制御し、現フレームの画像信号との差の
絶対値が小さい方の前フレーム画像信号を現フレ
ームの予測画像信号として取出す。

しかして、上述した態様による予測画像信号の
選択的設定を行なつた場合には、その予測画像信
号を用いたフレーム間差信号を符号化伝送するに
際して、使用した予測画像信号が動補正を施した
ものであるか、動補正を施さないもとのままの前
フレーム画像信号であるかの情報を受信側に伝送
する必要があり、その選択的設定の情報を伝送す
るために少なくとも１ビツトを画素毎に割当てる
必要があり、それだけ伝送効率を低下させること
になる。かかる伝送効率低下の欠点を除去し得る
ようにした態様で予測画像信号の選択的設定を行
なう回路装置の基本構成の例を第２図に示す。

第２図に示す基本的構成例においては、動補正
を施した前フレーム画像信号ともとのままの前フ
レーム画像信号とを差算器１に供給してそれらの
画像信号の差信号を絶対値器３に導き、得られた
差信号の絶対値を比較器７に供給して、適切に設
定したスレツシホールドレベル１とのレベル比較
を行ない、その差信号の絶対値がスレツシホール
ドレベル１を超えず、したがつて、画像の動きが
緩慢であつて、動補正を施してももとの画像信号
との差が小さいときに限つて高論理レベルの比較
出力信号が得られるようにする。一方、前フレー
ムの画像信号と現フレームの画像信号とを差算器
２に供給していわゆるフレーム間差信号を形成
し、そのフレーム間差信号を絶対値器４に導いて
求めたフレーム間差信号の絶対値を比較器８に供
給して、連続した２フレーム間で画像信号が有意
の差を示したときにのみフレーム間差信号の符号
化伝送を行なうようにするために適切に設定した
符号化スレツシホールドレベル２とのレベル比較
を行ない、フレーム間差信号の絶対値が符号化ス
レツシホールドレベル２を超えず、したがつて、
連続２フレーム間で画像信号に有意の差がないと
きに限つて高論理レベルの比較出力信号が得られ
るようにする。

上述したような比較器７および８の比較出力信
号をアンド回路９に供給して、そのアンド出力信
号により、動補正を施した前フレーム画像信号と
もとのままの前フレーム画像信号とを切換入力端
子に供給して常時は動補正を施した前フレーム画
像信号の方を切換出力端子に導くようにした切換
スイツチ６を制御し、アンド回路９の入力信号が
ともに高論理レベルとなり、したがつて、動補正
による画像信号の変化が少なく、しかも、連続２
フレーム間で画像信号に有意の差がないときに限
つて、切換スイツチ６の接続状態が切換えられ、
もとのままの前フレーム画像信号が現フレームの
予測画像信号として取出され、その予測画像信号
を用いたフレーム間差信号が符号化伝送されるよ
うにする。

上述した態様により選択的に設定した予測画像
信号を用いてフレーム間差信号の符号化伝送を行
なえば、受信側においても、伝送されてきたフレ
ーム間差信号が零であることを検出すれば、その
ときには、上述したようにして動補正による画像
信号の変化が少なく、したがつて、フレーム間差
信号の形成に使用した予測画像信号がもとのまま
の前フレーム画像信号であつたことを判断し得る
ので、第１図に示した基本的構成によつた場合に
必要とした予測画像信号の選択的設定の情報を伝
送する必要がなくなるから、第２図に示した基本
的構成によれば、第１図に示したものに比して、
それだけ伝送効率を改善することができる。

なお、上述したように、動補正による画像信号
の変化が小さく、その差信号の絶対値がスレツシ
ホールドレベル１を超えないときには動補正を施
さないもとのままの前フレーム画像信号を予測画
像信号とするのは、動補正による画像信号の変化
が小さい程度に、画像の動きが緩慢なとき、ある
いは、画像内の動きのある部分が少ないときに、
動きの検出に誤差が生ずるおそれが大きく、した
がつて、その動き検出誤差に基づき、偽輪郭が動
くことによる画質劣化の増大が見込まれるので、
かかる場合には動補正を施さないようにするため
である。

なお、上述したように、第２図に示した基本的
構成によれば、予測画像信号として用いた画像信
号における動補正の有無の判断を伝送されてきた
フレーム間差信号の弁別のみによつて行ない得る
が、受信側において非動補正前フレーム画像信号
を現フレームの予測画像信号として用いるときの
アルゴリズムは、「伝送されてきたフレーム間差
信号が零であつて、同時に、動補正の前後におけ
る前フレーム画像信号の差が所定のスレツシホー
ルトレベルより小さいときには、動補正を施さな
い前フレーム画像信号を現フレームの予測画像信
号として用いる。」ということになる。しかし
て、上述した所定のスレツシホールドレベルは、
送信側と同一とする限りにおいては、完全に固定
した一定レベルであつてもよく、また、例えば、
画像の内容に応じて適切に変化させ、例えば、１
フレーム周期に１回程度の頻度で変化させ、か
つ、受信側に伝送するようにすることもできる。

つぎに、本発明動き検出誤差修正方法を適用し
て画像信号のフレーム間差符号化伝送を行なう場
合の送信側および受信側における回路装置の構成
例を、第１図に示した基本的構成に準じて第３図
および第４図にそれぞれ示し、また、第２図に示
した基本的構成に準じて第５図および第６図にそ
れぞれ示す。

第３図に示すフレーム間差符号化伝送用送信装
置においては、後述するようにして量子化器１４
から取出した伝送用フレーム間差信号と後述する
ようにして切換スイツチ６から選択的に取出した
画像信号とを和算器１６に供給して得た加算出力
画像信号、すなわち、ローカルデコーダ出力画像
信号を、受信側で再生し得ると同じ状態の現フレ
ーム画像信号としてフレームメモリ１０に供給
し、そのフレームメモリ１０から得られる１フレ
ーム期間遅延出力画像信号を第１図示の基本的構
成における動補正なしの前フレーム画像信号と
し、その前フレーム画像信号と入力画像信号とを
動き検出補正器１１に供給して得た補正出力画像
信号を第１図示の基本的構成における動補正前フ
レーム画像信号とし、入力画像信号を第１図示の
基本的構成における現フレーム画像信号として、
以下、第１図に示したとおりの選択的設定を行な
つた予測画像信号を切換イツチ６から取出すとと
もに、差算器５から得た切換イツチ制御信号を、
前述したとおりの予測画像信号選択設定の情報Ｂ
として送出する。さらに、切換スイツチ６から取
出した予測画像信号と入力画像信号とを差算器１
２に供給し、その差出力信号としていわゆるフレ
ーム間差信号を取出し、そのフレーム間差信号を
比較器１３に供給して符号化スレツシホールドレ
ベルとのレベル比較を行ない、２フレーム間の画
像信号に有意の差があるときに得られる比較出力
のフレーム間差信号を、量子化器１４に導いて符
号化したうえで、バツフアメモリ１５を介し、伝
送用画像信号Ａとして送出する。

一方、第４図に示すフレーム間差符号化伝送用
受信装置においては、後述するようにして形成し
た出力画像信号を第１図示の基本的構成における
現フレーム画像信号としてフレームメモリ１０′
に供給し、その１フレーム期間遅延出力画像信号
を第１図示の基本的構成における動補正なしの前
フレーム画像信号として切換イツチ６′の一方の
入力端子に供給するとともに、その前フレーム画
像信号を動き検出補正器１１′に供給して得た補
正出力画像信号を第１図示の基本的構成における
動補正前フレーム画像信号として切換イツチ６′
の他方の入力端子に供給する。かかる状態におい
て伝送されてきた送信側における予測画像信号選
択設定情報の切換信号Ｂにより切換イツチ６′を
送信側と同期して同様に切換え、送信側で選択し
た方の前フレーム画像信号を切換出力として取出
し、その切換出力画像信号と伝送されて来た画像
信号成分であるフレーム間差信号Ａをバツフアメ
モリ１７を介して取出したものとを和算器１８に
供給し、その加算出力として現フレームの再生画
像信号を取り出す。

つぎに、第５図に示すフレーム間差符号化伝送
用送信装置においては、第３図に示した送信装置
における第１図示の基本的構成と全く同様の予測
画像信号選択設定部を第２図示の基本的構成と全
く同様に構成したほかは、第３図示の送信装置と
全く同様に構成してあり、したがつて、動補正を
施した前フレーム画像信号ともとのままの前フレ
ーム画像信号とを切換える切換スイツチ６の制御
を第２図示の基本的構成におけると全く同様にし
て行なうほかは、第３図示の送信装置におけると
全く同様に動作する。

一方、第６図に示すフレーム間差符号化伝送用
受信装置は、第２図示の基本的構成に関連して前
述した受信側のアルゴリズムのとおりの回路動作
を行なうように構成したものであり、第４図に示
した受信装置におけると全く同様にして、切換ス
イツチ６′の切換出力画像信号と伝送されて来た
画像信号成分であるフレーム間差信号をバツフア
メモリ１７を介して取出したものとを和算器１８
に供給し、その加算出力として現フレームの再生
画像信号を取出すとともに、その現フレームの再
生画像信号をフレームメモリ１０′に供給して得
た１フレーム期間遅延出力画像信号を第２図示の
基本的構成における動補正なしの前フレーム画像
信号として切換スイツチ６′の一方の入力端子に
供給するとともに、その前フレーム画像信号を動
き検出補正器１１′に供給して得た補正出力画像
信号を第２図示の基本的構成における動補正前フ
レーム画像信号として切換スイツチ６′の他方の
入力端子に供給してある。

しかして、その切換スイツチ６′の切換制御に
ついては、第２図示の基本的構成におけると全く
同様にして行なつた動補正の有無による前フレー
ム画像信号の差の絶対値のスレツシホールドレベ
ルとのレベル比較出力信号と、バツフアメモリ１
７からの入力フレーム間差信号を零検出器２０に
供給してフレーム間差信号が零のときに得られる
高論理レベルの零検出出力信号とを供給したアン
ド回路１９のアンド出力信号により、その切換ス
イツチ６′を制御して、フレーム間差信号が零の
ときには画像の動きによる連続２フレーム期間に
おける画像信号の差が小さく、したがつて、動補
正による前フレーム画像信号の変化が少ないがた
めに、送信側における予測画像信号としてはもと
のままの前フレーム画像信号が用いられたものと
判断し、フレーム間差信号の零が検出されたとき
に限つて、その零検出を切換制御情報とみなし
て、動補正なしの前フレーム画像信号を取出すよ
うに切換スイツチ６′の接続を切換えるようにす
る。

つぎに、本発明者が特願昭53−109680号明細書
によりさきに提案した「動補正ノイズ低減方式」
に本発明動き検出誤差修成方法を適用してそのノ
イズ低減効果を増大させるようにした回路装置の
構成例を第７図に示す。

しかして、上述した動補正ノイズ低減方式は、
例えばフレームメモリによる１フレーム期間遅延
出力画像信号を適切なレベル比をもつてフレーム
メモリの入力側に正帰還することにより画像信号
のノイズを低減させる際に、フレームメモリの入
出力画像信号を比較して検出した画像の動きに応
じて、フレームメモリに正帰還する１フレーム期
間遅延出力画像信号を補正するようにしたもので
ある。

第７図に示す構成の動補正ノイズ低減装置にお
いては、その出力画像信号を、第３図示のフレー
ム間差符号化伝送用送信装置におけると同様にし
て、フレームメモリ１０に供給し、その１フレー
ム期間遅延出力画像信号を第１図示の基本的構成
における動補正なしの前フレーム画像信号として
切換スイツチ６の一方の入力端子に供給するとと
もに、その前フレーム画像信号を動き検出補正器
１１に供給して得た補正出力画像信号を第１図示
の基本的構成における動補正前フレーム画像信号
として切換スイツチ６の他方の入力端子に供給
し、さらに、それらの前フレーム画像信号と第１
図示の基本的構成における現フレーム画像信号と
しての入力画像信号とを第１図示の基本的構成に
おけると全く同様にして比較した比較出力信号に
より切換スイツチ６を制御して、画像の動きの大
小に応じて動補正を施し、あるいは動補正を施さ
ないもとのままの前フレーム画像信号を、前述し
た動補正ノイズ低減方式におけるフレームメモリ
からの出力画像信号として取出すとともに、その
選択出力画像信号と入力画像信号とを差算器１２
に供給してフレーム間差信号を形成し、そのフレ
ーム間差信号を係数器２２に供給して適切なレベ
ル比を付与したうえで和算器２３により上述の選
択出力画像信号に加算してフレームメモリ１０に
正帰還するようにしてある。したがつて、第７図
に示した構成の動補正ノイズ低減装置において
は、フレームメモリに正帰還する画像信号に施す
動補正を、画像の動きが小さい場合には中止する
ことにより、画像の動き検出誤差に伴う動補正ノ
イズ低減の誤動作を防止するようにしてある。

以上の説明から明らかなように、本発明によれ
ば、フレーム間差信号の符号化伝送に際して、使
用する符号化スレツシホールドレベルを高いレベ
ルに設定して伝送効率を高くするようにしても、
偽輪郭の発生およびその増大による再生画質の劣
化が生じないので、十分に符号化スレツシホール
ドレベルを高いレベルに設定して伝送効率を十分
に向上させることができる。

また、動補正を施した画像ノイズの低減におい
ては、上述したと同様にして、ノイズ低減量を大
きく設定することができるので、ノイズ低減効果
を十分に増大させることができる。

【図面の簡単な説明】

第１図は本発明方法による動き検出誤差修正装
置の基本的構成例を示すブロツク線図、第２図は
同じくその他の基本的構成例を示すブロツク線
図、第３図は本発明方法を適用したフレーム間差
符号化伝送装置における送信側の構成例を示すブ
ロツク線図、第４図は同じくその受信側の構成例
を示すブロツク線図、第５図は同じくその送信側
の他の構成例を示すブロツク線図、第６図は同じ
くその受信側の他の構成例を示すブロツク線図、
第７図は本発明方法を適用した動補正ノイズ低減
装置の構成例を示すブロツク線図である。 １，１′，２，５，１２……差算器、３，３′，
４……絶対値器、６，６′……切換スイツチ、
７，７′８，１３，２１……比較器、９，１９…
…アンド回路、１０，１０′……フレームメモ
リ、１１，１１′……動き検出補正器、１４……
量子化器、１５，１７……バツフアメモリ、１
６，１８，２３……和算器、２０……零検出器、
２２……係数器。

Claims (1)

1. 【特許請求の範囲】 １ 前フレームの画像信号について検出した画像
   の動きに基づいて現フレームの画像に近似する予
   測画像信号を形成するにあたり、前フレームの画
   像信号と、前記検出した画像の動きに基づいて前
   フレームの画像信号に画像の動きに対する補正を
   施した画像信号とを、現フレームの画像信号とそ
   れぞれ比較した結果に基づいて、選択的に前記予
   測画像信号とすることにより、前記検出した画像
   の動きの誤差に基づく前記予測画像信号の誤差を
   修正するようにしたことを特徴とする動き検出誤
   差修正方法。 ２ 特許請求の範囲第１項記載の動き検出誤差修
   正方法において、前フレームの画像信号と前記画
   像の動きに対する補正を施した画像信号とのう
   ち、現フレームの画像信号との差が少ない方の画
   像信号を前記予測画像信号とすることを特徴とす
   る動き検出誤差修正方法。 ３ 特許請求の範囲第１項記載の動き検出誤差修
   正方法において、前フレームの画像信号と前記画
   像の動きに対して補正を施した画像信号との差の
   絶対値、および、前フレームの画像信号と現フレ
   ームの画像信号との差の絶対値がそれぞれ所定の
   値をそれぞれ超えないときには、前フレームの画
   像信号を前記予測画像信号とすることを特徴とす
   る動き検出誤差修正方法。