JP2524044B2 - 画像符号化方法及び画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル画像を圧縮し
て、伝送、記録する際に用いる画像符号化方法および画
像符号化装置に関するものである。

【０００２】

【従来の技術】従来、デジタル画像の符号化方法とし
て、画像を近接する複数の画素からなるブロックに分割
し、対象としている画像の時間的に前または後の画像を
参照画像として現在の画像を予測し、その予測誤差をブ
ロック毎に符号化する方法が行われている。この方法で
は、符号化の対象としているブロックの画素レベルの分
散と、時間的に前の画像を参照画像としたときの予測誤
差ブロックの誤差信号の分散と、時間的に後の画像を参
照画像としたときの予測誤差ブロックの誤差信号の分散
とを比較して、符号化対象ブロックを直接符号化する
か、あるいは時間的に前の画像を参照画像として予測誤
差を符号化するか、あるいは時間的に後の画像を参照画
像として予測誤差を符号化するかを選択している。

【０００３】

【発明が解決しようとする課題】しかしながら、前記の
方法では移動体の残像ノイズが発生し、画質劣化を招く
という問題点を有していた。これは、画像内の物体の移
動によって、参照画像内にはなかった画像の部分が新た
に出現したり、参照画像では消滅していたりするため、
新たに出現した絵柄について時間的に前の参照画像から
予測するのは困難であり、また消滅する絵柄を時間的に
後の参照画像から予測するのは困難であるからである。
この場合、新たに出現した絵柄や消滅する絵柄において
は、符号化ノイズが増大し残像ノイズとして目につくよ
うになる。また、画像の画素レベルの変化量が少ない領
域に発生する符号化ノイズは特に目立ち、著しく画質の
劣化を招く。

【０００４】本発明はかかる点に鑑み、この移動体によ
る符号化ノイズを除去し、かつ高能率な画像符号化を実
現する画像符号化方法及び画像符号化装置を提供するこ
とを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達するため本
発明の画像符号化方法は、画像を近接する複数の画素か
らなるブロックに分割し、符号化対象画像からみて時間
的に前の画像を前方参照画像とし、前記符号化対象画像
からみて時間的に後の画像を後方参照画像とし、また前
記前方参照画像と前記後方参照画像とから補間して求め
た画像を補間画像として、前記前方参照画像内のブロッ
クである前方参照ブロックあるいは前記後方参照画像内
のブロックである後方参照ブロックあるいは前記補間画
像内のブロックである補間ブロックを予測参照ブロック
として前記符号化対象画像内の符号化対象ブロックを予
測したときの予測誤差信号列を符号化処理する方法であ
って、前記符号化対象ブロックの絵柄が前記前方参照画
像内と前記後方参照画像内とのどちらか一方あるいは両
方に存在することを検出し、前記符号化対象ブロックの
絵柄が前記前方参照画像および前記後方参照画像に存在
する場合、前記符号化対象ブロックを両方向予測ブロッ
クとし、前記両方向予測ブロックを前記予測参照ブロッ
クから予測したときの予測誤差信号列の符号化において
所定の符号化情報量で最小の符号化歪が得られるように
前記前方参照ブロックあるいは前記後方参照ブロックあ
るいは前記補間ブロックのいずれか一つを最適予測参照
ブロックとして選択し、また前記符号化対象ブロックの
絵柄が前記前方参照画像に存在するが前記後方参照画像
に存在しない場合、前記符号化対象ブロックを前方予測
ブロックとし、前記前方予測ブロックにおいては前記前
方参照ブロックを最適予測参照ブロックとして選択し、
また前記符号化対象ブロックの絵柄が前記前方参照画像
に存在しないが前記後方参照画像に存在する場合、前記
符号化対象ブロックを後方予測ブロックとし、前記後方
予測ブロックにおいては前記後方参照ブロックを最適予
測参照ブロックとして選択し、前記両方向予測ブロック
あるいは前記前方予測ブロックあるいは前記後方予測ブ
ロックを前記最適予測参照ブロックから予測したときの
予測誤差信号列を符号化するか、または前記両方向予測
ブロックあるいは前記前方予測ブロックあるいは前記後
方予測ブロック内の画素信号列を前記最適予測参照ブロ
ックから予測せずに独立に符号化するかのどちらか一方
を所定の情報量で少ない符号化歪が得られるように選択
し、また前記符号化対象ブロックの絵柄が前記前方参照
画像および前記後方参照画像に存在しない場合、前記符
号化対象ブロックを独立ブロックとして検出し、前記独
立ブロックにおいては前記予測参照ブロックから予測せ
ずに前記符号化対象ブロック内の画素信号列を独立に符
号化処理するように構成されたものである。

【０００６】また、本発明の画像符号化装置は前述の画
像符号化方法を実現するための装置であり、画像を近接
する複数の画素からなるブロックに分割し、符号化対象
画像からみて時間的に前の画像を前方参照画像とし、前
記符号化対象画像からみて時間的に後の画像を後方参照
画像とし、また前記前方参照画像と前記後方参照画像と
から補間して求めた画像を補間画像として、前記前方参
照画像内のブロックである前方参照ブロックを予測参照
ブロックとしたときの前方予測誤差信号列、あるいは前
記後方参照画像内のブロックである後方参照ブロックを
予測参照ブロックとしたときの後方予測誤差信号列、あ
るいは前記補間画像内のブロックである補間ブロックを
予測参照ブロックとしたときの補間予測誤差信号列を符
号化処理する装置であって、前記符号化対象ブロックの
絵柄が前記前方参照画像あるいは前記後方参照画像内に
存在することを検出するパターン検出器と、前記パター
ン検出器の出力によって前記前方予測誤差信号列と前記
後方予測誤差信号列と前記補間予測誤差信号列との内の
いずれか一つまたは全てを出力する第一の選択器と、前
記符号化対象ブロック内の画素信号列と前記第一の選択
器の出力とを入力信号列とし、前記入力信号列の内で所
定の符号量で最小の符号化歪が得られる信号列を最小歪
信号列として検出する符号化歪判定器と、前記符号化歪
判定器の出力によって前記符号化対象ブロック内の画素
信号列と前記第一の選択器の出力との内の一つを選択し
出力する第二の選択器によって構成され、前記第一の選
択器は、前記パターン検出器によって前記符号化対象ブ
ロックの絵柄が前記前方参照画像に存在し、かつ前記後
方参照画像にも存在することが検出された場合、前記前
方予測誤差信号列と前記後方予測誤差信号列と前記補間
予測誤差信号列とを出力し、前記パターン検出器によっ
て前記符号化対象ブロックの絵柄が前記前方参照画像に
存在するが前記後方参照画像には存在しないことが検出
された場合、前記前方予測誤差信号列を出力し、前記パ
ターン検出器によって前記符号化対象ブロックの絵柄が
前記前方画像参照画像には存在しないが前記後方参照画
像に存在することが検出された場合、前記後方予測誤差
信号列を出力するものであり、前記第二の選択器は、前
記符号化歪判定器によって検出された前記最小歪信号列
を出力するか、あるいは前記パターン検出器によって前
記符号化対象ブロックの絵柄が前記前方参照画像および
前記後方参照画像に存在しないことが検出された場合は
前記画素信号列を出力するものであり、前記第二の選択
器の出力を符号化処理するように構成されたものであ
る。

【０００７】

【作用】これにより、符号化対象画像内の符号化対象ブ
ロックの絵柄が存在する予測参照画像を適応的に選択し
符号化することが可能であり、また前記符号化対象ブロ
ックの絵柄が前記予測参照画像に存在しない場合におい
ては、前記予測参照画像とは独立に符号化し、物体の移
動によって時間的に前の予測参照画像からみて新たに出
現した絵柄、あるいは時間的に後の予測参照画像におい
て消滅する絵柄における残像ノイズが除去され、画質の
向上が得られ、かつ高能率な符号化が実現できる。

【０００８】

【実施例】以下本発明の画像符号化方法及び画像符号化
装置の一実施例について、図面を参照しながら詳細に説
明する。ここでは、画像はフレーム単位に処理し、符号
化対象画像よりも時間的に前の前方参照画像、後の後方
参照画像、および前方参照画像と後方参照画像から求め
た補間画像から符号化対象画像を予測し符号化する。ま
た、時間的に前方参照画像と後方参照画像とに挟まれて
位置する符号化対象画像数は限られたものではないがこ
こでは５つあるとし、前記の５つの符号化対象画像は前
記の同じ前方参照画像あるいは後方参照画像から予測し
符号化するとして説明する。

【０００９】まず、図１は、本発明の第一の実施例を示
すものである。また、図２は画像の時間的な位置の一例
を表現したものである。図２において、符号化対象画像
６から時間的にみて前に位置し、かつ、前方参照画像７
までに位置する画像列を前方画像列９とし、符号化対象
画像６から時間的にみて後に位置し、かつ、後方参照画
像８までに位置する画像列を後方画像列１０としてい
る。また、前方画像列９のそれぞれの画像内で符号化対
象ブロック１１と同位置にあるブロックを前方ブロック
１２とし、後方画像列１０のそれぞれの画像内で符号化
対象ブロック１１と同位置にあるブロックを後方ブロッ
ク１３としている。以下、第一の実施例、第二の実施例
および第三の実施例においても、図２の場合について説
明する。

【００１０】図１の実施例は、パターン検出器１、第一
の選択器２、符号化歪判定器３、第二の選択器４、およ
び符号化器５によって構成されている。パターン検出器
１は、符号化対象ブロックの絵柄が前方参照画像あるい
は後方参照画像に存在することを、前方参照画像を含め
た前方画像および後方参照画像を含めた後方画像を入力
して検出し、その結果をパターンコントロール信号とし
て出力する。

【００１１】第一の選択器２は、前方参照画像から予測
したときの前方予測誤差信号列、あるいは後方参照画像
から予測したときの後方予測誤差信号列、あるいは補間
画像から予測したときの補間予測誤差信号列のいずれか
一つ、あるいは全てをパターンコントロール信号によっ
て選択し出力する。つまり、第一の選択器２は、符号化
対象ブロックの絵柄が前方参照画像および後方参照画像
の両方に存在する場合は、前方予測誤差信号列および後
方予測誤差信号列および補間予測誤差信号列を出力し、
いずれか一方の予測参照画像のみに存在する場合は、存
在する予測参照画像のみを出力する。

【００１２】次に、符号化歪判定器３は、符号化対象ブ
ロックの画素信号列と第一の選択器２の出力信号列を入
力信号列とし、前記入力信号列の内で所定の符号量で最
小の符号化歪の得られる信号列を検出し、その結果を歪
判定コントロール信号として出力する。第二の選択器４
は、符号化対象ブロック画素信号列と第一の選択器２の
出力信号列とを入力信号列とし、入力信号列の内で所定
の符号量で最小の符号化歪の得られる信号列を歪判定コ
ントロール信号によって選択し出力する。出力信号列は
符号化器５に入力され、符号化が実行され、符号化デー
タが得られる。

【００１３】なお、符号化歪判定器３および第二の選択
器４の入力信号列は、符号化対象ブロックの絵柄が前方
参照画像および後方参照画像の両方に存在する場合、前
方予測誤差信号列と後方予測誤差信号列と補間予測誤差
信号列と符号化対象ブロック画素信号列の四つの信号列
である。また、符号化対象ブロックの絵柄が前方参照画
像のみに存在し後方参照画像には存在しない場合は、前
方予測誤差信号列と対符号化象ブロック画素信号列の二
つの信号列が入力信号列となり、後方参照画像のみに存
在する場合は、後方予測誤差信号列と符号化対象ブロッ
ク画素信号列の二つの信号列が入力信号列となる。

【００１４】このように構成することにより、符号化対
象ブロックの絵柄が存在する予測参照画像のみから予測
し、存在しない予測参照画像とは独立に符号化し、移動
体の移動による残像ノイズが除去され画質改善が得られ
る。なお、符号化歪判定器３は入力された信号列の分散
を測定し、最も小さいものを出力してもよいし、入力信
号列のエントロピーを測定し、エントロピーの最も小さ
いものを出力してもよいし、所定の符号量で最小の符号
化歪が得られるものを検出すれば何でも構わない。ま
た、符号化器５は入力信号列を符号化するものであって
何でも構わない。

【００１５】次に、本発明の第二の実施例を、図３を用
いて説明する。なお、符号化対象画像は図２の位置にあ
るとしている。図３は第一の実施例で述べたパターン検
出器１の一実施例を示している。このパターン検出器１
は第一の変化量測定器１４、第三の選択器１５、差分器
１６、第一の比較器１７、および第一のコントロール信
号出力器１８によって構成されている。図３において、
第一の変化量測定器１４は各入力信号列の画素レベルの
変化量を測定するものであり、前方ブロック、符号化対
象ブロックおよび後方ブロックの画素信号列が入力され
る。ここでは、画素レベルの変化量として、画素レベル
の分散を計算し、出力するものとする。

【００１６】次に、第三の選択器１５は符号化対象ブロ
ックの分散を選択し出力するのであり、前方参照画像と
後方参照画像にはさまれて位置する画像列の内のどの画
像を符号化対象としているかは、符号化対象画像コント
ロール信号によって得られる。次に、差分器１６は、第
一の変化量測定器１４によって得られた前方ブロックお
よび後方ブロックの画素レベルの分散と、第三の選択器
１５の出力である符号化対象ブロックの画素レベルの分
散との差分を測定し出力する。第一の比較器１７は、差
分器１６の出力である前方ブロックおよび後方ブロック
の分散と符号化対象ブロックの分散との差分量を所定量
ｔ１と比較する。

【００１７】第一の比較器１７での検出結果は、第一の
コントロール信号出力器１８に入力され、前方ブロック
の内の少なくとも一つのブロックの分散と符号化対象ブ
ロックの分散との差分量が所定量ｔ１以上であれば、符
号化対象ブロックの絵柄は前方参照画像に存在しないと
して検出される。一方、後方ブロックの内の少なくとも
一つのブロックの分散と符号化対象ブロックの分散との
差分量が所定量ｔ１以上であれば、符号化対象ブロック
の絵柄は後方参照画像に存在しないとして検出される。
第一のコントロール信号出力器１８で検出した結果は、
パターンコントロール信号として出力される。

【００１８】前方ブロックのうちの少なくとも一つのブ
ロックの分散と符号化対象ブロックの分散との差分が所
定量ｔ１よりも大きければ、時間的に前方参照画像から
対象画像までの間に物体の移動があったことを示し、こ
の場合、符号化対象ブロックの絵柄は前方参照画像には
存在せず前方参照画像からみて新たに出現した絵柄であ
ると認識できる。物体の移動によって後方参照画像にお
いては消滅する絵柄についても、同様に後方ブロックの
分散と符号化対象ブロックの分散との差分の大きさを調
べることによって認識することができる。

【００１９】このように第一のコントロール信号出力器
１８の出力であるパターンコントロール信号によって、
適応的に予測参照画像を選択することにより、物体の移
動による残像ノイズが除去され、画質の向上が得られ、
かつ高能率な符号化が実現できる。なお、符号化対象ブ
ロックの予測参照画像の選択方法は、第一の実施例と同
様にすればよい。

【００２０】また、所定量ｔ１は画素レベルを２５６諧
調とした場合、５００前後が適している。これは、画素
レベルの変化が小さいブロックの分散は、３０以下であ
り、画素レベルの変化が大きなブロックの分散は、５０
０を越す値になるからである。しかし、これに限るもの
でなく、また画像によって適応的に変化させることによ
って効率的な符号化が行える。

【００２１】次に、本発明の第三の実施例を、図４を用
いて説明する。なお、符号化対象画像は図２の位置にあ
るとしている。図４は第一の実施例で述べたパターン検
出器１の一例を示したものであり、第二の変化量測定器
１９、第四の選択器２０、第二の比較器２１、第三の比
較器２２、および第二のコントロール信号出力器２３に
よって構成されるものである。図４における第二の変化
量測定器１９および第四の選択器２０は、第二の実施例
で説明した第一の変化量測定器１４および第三の選択器
２０とそれぞれ同様の構成であり、第二の変化量測定器
１９は入力信号列である前方ブロック、符号化対象ブロ
ック、後方ブロックのそれぞれのブロックの画素レベル
変化量を測定し出力するもので、ここでは画素レベルの
分散を測定し出力する。また、第四の選択器２０は符号
化対象ブロックの画素レベルの分散を選択し出力するも
のである。

【００２２】次に、第二の比較器２１は、第二の変化量
測定器１９によって得られた前方ブロックと後方ブロッ
クのブロックの画素レベルの分散と所定量ｔ２とを比較
し、その結果を出力する。また、第三の比較器２２は符
号化対象ブロックの分散と所定量ｔ３とを比較し、その
結果を出力する。第二の比較器２１および第三の比較器
２２の出力は、第二のコントロール信号出力器２３に入
力される。第二のコントロール信号出力器２３は、前方
ブロックの内の少なくとも一つのブロックの分散が所定
量ｔ２以上であり、かつ符号化対象ブロックの分散が所
定量ｔ３以下である場合は、符号化対象ブロックの絵柄
は前方参照画像に存在しないとして検出する。

【００２３】また、後方ブロックの内の少なくとも一つ
のブロックの分散が所定量ｔ２以上であり、かつ符号化
対象ブロックの分散が所定量ｔ３以下である場合は、符
号化対象ブロックの絵柄は後方参照画像に存在しないと
して検出する。第二のコントロール信号出力器２２で検
出した結果は、パターンコントロール信号として出力さ
れる。得られたパターンコントロール信号により符号化
対象画像の予測参照画像を適応的に選択し符号化する。
この予測参照画像の選択方法は第一の実施例で述べたも
のと同様にすればよい。

【００２４】また、前方ブロックあるいは後方ブロック
の内のブロックの分散が所定量ｔ２以上のブロックが少
なくとも一つあり、かつ符号化対象ブロックの分散が所
定量ｔ３以下の場合は、画素レベルの変化が大きい物体
の移動が前方画像あるいは後方画像に存在し、符号化対
象ブロックはその物体の背景として前方参照画像からみ
て新たに出現したり、あるいは後方参照画像において隠
れたりする画素レベルの変化の小さい絵柄と考えられ、
符号化対象ブロックの絵柄は前方参照画像あるいは後方
参照画像には存在しないと認識することができる。

【００２５】また、画素レベルの変化が少ない絵柄で発
生した移動体による残像ノイズは、人間の目に特につき
やすいため、第三の比較器２２によって符号化対象ブロ
ックの分散が小さい場合のみ予測参照画像を適応的に選
択し、符号化対象ブロックの分散が所定量ｔ３よりも大
きい場合は、前方参照画像および後方参照画像に存在す
るとしてパターンコントロール信号を出力し、第一の実
施例で述べた第二の選択器４で符号化器５に入力する信
号列を選択すればよい。

【００２６】なお、上述の第三の実施例における所定量
ｔ２、ｔ３は、画素レベルを２５６諧調としたとき、そ
れぞれ５００、３０前後が適しているが、これは、画素
のレベル変化量の小さい平坦なブロックの分散は３０以
下であり、レベル変化量の大きい複雑なブロックの分散
は５００を越える値をとるためである。しかし、これに
限るものでなく、また画像によって適応的に変化させる
ことによって効率的な符号化が行える。

【００２７】なお、第一の実施例、第二の実施例、およ
び第三の実施例では画像をフレーム単位で扱ったがフィ
ールド単位で扱っても構わない。また、実施例の第一の
変化量測定器１４および第二の変化量測定器１９ではブ
ロック内の画素レベルの分散を計算し出力するが、これ
に限るものではなく、例えばブロック内の画素レベルと
その平均値との差の絶対値の和、周辺の画素レベルとの
差分値の和など画素レベルの変化量を示す尺度であれば
何でも構わない。

【００２８】なお、時間的に前方参照画像と後方参照画
像とに挟まれた画像数を５つとしたが、これに限るもの
でなくいくらでも構わない。なお、第一の実施例、第二
の実施例、および第三の実施例で符号化対象画像と前方
参照画像と後方参照画像との時間的な位置を図２で示し
説明したが、これに限るものでなく、符号化対象画像は
前方参照画像と後方参照画像にはさまれて位置すればど
の画像を符号化対象画像としても構わない。したがっ
て、図２、図３および図４では前方ブロックと後方ブロ
ックの数が同じだが、符号化対象画像の位置が変われば
前方ブロック数と後方ブロック数は変わる。また、前方
参照画像あるいは後方参照画像の符号化方法はフレーム
内符号化でもよいし、フィールド内符号化でもよいし、
他の画像を新たに予測参照画像として予測し予測誤差信
号を符号化してもよいし、何でも構わない。

【００２９】また、符号化対象ブロック内の画素の複数
の画素レベルが所定量範囲内にある場合のみ、符号化対
象ブロックの絵柄が予測参照画像に存在することを検出
してもよい。これは、残像ノイズが人間の目につき易い
画素レベルの範囲があるためであり、この範囲内のみ処
理しようというものである。この一実施例としては、符
号化対象ブロック内の画素の画素レベルの平均値を測定
し、前記平均値が所定範囲内にあるときのみ、符号化対
象ブロックの絵柄が前方参照画像あるいは後方参照画像
に存在することを検出する。また、平均値に限らず、複
数の代表画素の画素レベルが所定範囲内にあることを検
出してもよい。所定範囲は画素レベルが２５６諧調の場
合、１２０〜１８０程度が適当であるがこれに限るもの
ではない。

【００３０】なお、ブロックのサイズは符号化において
二次元離散コサイン変換を行い、変換係数を量子化、符
号化する場合は８画素×８画素が一般的であるが、これ
に限るものではなく、いくらであっても構わない。ま
た、小ブロック単位で符号化対象ブロックの絵柄が予測
参照画像に存在することを検出し、複数の小ブロックか
らなる大ブロックにその結果を適用してもよい。大ブロ
ックに適用する方法は、大ブロックの内の一つでも予測
参照画像に存在しないと検出された場合、前記の大ブロ
ックは前記の予測参照画像には存在しないとしてもよい
し、大ブロックを構成する小ブロックの最も多い検出結
果を前記大ブロックの検出結果として認識してもよい。

【００３１】また、画像信号が輝度信号と色信号とから
なる場合、それぞれ符号化対象ブロックの絵柄が予測参
照画像に存在することを検出してもよいし、輝度信号の
みで検出を行い、輝度信号において符号化対象ブロック
の絵柄が予測参照画像に存在しないと検出された場合
は、色信号のブロックについても絵柄は予測参照画像に
は存在しないとしてもよい。また、輝度信号において符
号化対象ブロックの絵柄が予測参照画像に存在しないと
認識された場合のみ、色信号においても絵柄が予測参照
画像に存在するかを検出してもよい。

【００３２】

【発明の効果】以上のように本発明は、符号化対象ブロ
ックの絵柄が前記前方参照画像内と前記後方参照画像内
とのどちらか一方あるいは両方に存在することを検出
し、前記符号化対象ブロックの絵柄が前記前方参照画像
および前記後方参照画像に存在する場合、前記符号化対
象ブロックを両方向予測ブロックとし、前記両方向予測
ブロックを前記予測参照ブロックから予測したときの予
測誤差信号列の符号化において所定の符号化情報量で最
小の符号化歪が得られるように前記前方参照ブロックあ
るいは前記後方参照ブロックあるいは前記補間ブロック
のいずれか一つを最適予測参照ブロックとして選択し、
また前記符号化対象ブロックの絵柄が前記前方参照画像
に存在するが前記後方参照画像に存在しない場合、前記
符号化対象ブロックを前方予測ブロックとし、前記前方
予測ブロックにおいては前記前方参照ブロックを最適予
測参照ブロックとして選択し、また前記符号化対象ブロ
ックの絵柄が前記前方参照画像に存在しないが前記後方
参照画像に存在する場合、前記符号化対象ブロックを後
方予測ブロックとし、前記後方予測ブロックにおいては
前記後方参照ブロックを最適予測参照ブロックとして選
択し、前記両方向予測ブロックあるいは前記前方予測ブ
ロックあるいは前記後方予測ブロックを前記最適予測参
照ブロックから予測したときの予測誤差信号列を符号化
するか、または前記両方向予測ブロックあるいは前記前
方予測ブロックあるいは前記後方予測ブロック内の画素
信号列を前記最適予測参照ブロックから予測せずに独立
に符号化するかのどちらか一方を所定の情報量で少ない
符号化歪が得られるように選択し、また前記符号化対象
ブロックの絵柄が前記前方参照画像および前記後方参照
画像に存在しない場合、前記符号化対象ブロックを独立
ブロックとして検出し、前記独立ブロックにおいては前
記予測参照ブロックから予測せずに前記符号化対象ブロ
ック内の画素信号列を独立に符号化処理するように構成
することにより、物体の移動によって前記前方参照画像
からみて新たに出現した絵柄の符号化対象ブロックは前
記前方参照画像とは独立に符号化し、また前記後方参照
画像において消滅する絵柄の符号化対象ブロックは前記
後方参照画像とは独立に符号化することが可能となり、
物体の移動によって生じる残像ノイズが除去され、画質
改善が得られる。

【００３３】また、符号化対象ブロックの絵柄が前記前
方参照画像あるいは前記後方参照画像内に存在すること
を検出するパターン検出器と、前記パターン検出器の出
力によって前記前方予測誤差信号列と前記後方予測誤差
信号列と前記補間予測誤差信号列との内のいずれか一つ
または全てを出力する第一の選択器と、前記符号化対象
ブロック内の画素信号列と前記第一の選択器の出力とを
入力信号列とし前記入力信号列の内で所定の符号量で最
小の符号化歪が得られる信号列を最小歪信号列として検
出する符号化歪判定器と、前記符号化歪判定器の出力に
よって前記符号化対象ブロック内の画素信号列と前記第
一の選択器の出力との内の一つを選択し出力する第二の
選択器によって構成され、前記第一の選択器は、前記パ
ターン検出器によって前記符号化対象ブロックの絵柄が
前記前方参照画像に存在しかつ前記後方参照画像にも存
在することが検出された場合、前記前方予測誤差信号列
と前記後方予測誤差信号列と前記補間予測誤差信号列と
を出力し、前記パターン検出器によって前記符号化対象
ブロックの絵柄が前記前方参照画像に存在するが前記後
方参照画像には存在しないことが検出された場合、前記
前方予測誤差信号列を出力し、前記パターン検出器によ
って前記符号化対象ブロックの絵柄が前記前方参照画像
には存在しないが前記後方参照画像に存在することが検
出された場合、前記後方予測誤差信号列を出力するもの
であり、前記第二の選択器は、前記符号化歪判定器によ
って検出された前記最小歪信号列を出力するか、あるい
は前記パターン検出によって前記符号化対象ブロックの
絵柄が前記前方参照画像および前記後方参照画像に存在
しないことが検出された場合は前記画素信号列を出力す
るものであり、前記第二の選択器の出力を符号化処理す
るように構成することにより、物体の移動によって前記
前方参照画像からみて新たに出現した絵柄の符号化対象
ブロックは前記前方参照画像とは独立に符号化し、また
前記後方参照画像において消滅する絵柄の符号化対象ブ
ロックは前記後方参照画像とは独立に符号化することが
可能となり、物体の移動によって生じる残像ノイズが除
去され、画質改善が得られる。

【図面の簡単な説明】

【図１】本発明の第一の実施例における画像符号化装置
のブロック図

【図２】第一、第二、第三の実施例における符号化対象
画像の時間的な位置の説明図

【図３】本発明の第二の実施例のパターン検出器のブロ
ック図

【図４】本発明の第三の実施例のパターン検出器のブロ
ック図

【符号の説明】

１ パターン検出器 ２ 第一の選択器 ３ 符号化歪判定器 ４ 第二の選択器 ５ 符号化器 ６ 符号化対象画像 ７ 前方参照画像 ８ 後方参照画像 ９ 前方画像列 １０ 後方画像列 １１ 符号化対象ブロック １２ 前方ブロック １３ 後方ブロック １４ 第一の変化量測定器 １５ 第三の選択器 １６ 差分器 １７ 第一の比較器 １８ 第一のコントロール信号出力器 １９ 第二の変化量測定器 ２０ 第四の選択器 ２１ 第二の比較器 ２２ 第三の比較器 ２３ 第二のコントロール信号出力器

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 画像を近接する複数の画素からなるブロ
   ックに分割し、符号化対象画像からみて時間的に前の画
   像を前方参照画像とし、前記符号化対象画像からみて時
   間的に後の画像を後方参照画像とし、また前記前方参照
   画像と前記後方参照画像とから補間して求めた画像を補
   間画像として、前記前方参照画像内のブロックである前
   方参照ブロックあるいは前記後方参照画像内のブロック
   である後方参照ブロックあるいは前記補間画像内のブロ
   ックである補間ブロックを予測参照ブロックとして前記
   符号化対象画像内の符号化対象ブロックを予測したとき
   の予測誤差信号列を符号化処理する方法であって、前記
   符号化対象ブロックの絵柄が前記前方参照画像内と前記
   後方参照画像内とのどちらか一方あるいは両方に存在す
   ることを検出し、前記符号化対象ブロックの絵柄が前記
   前方参照画像および前記後方参照画像に存在する場合、
   前記符号化対象ブロックを両方向予測ブロックとし、前
   記両方向予測ブロックを前記予測参照ブロックから予測
   したときの予測誤差信号列の符号化において、所定の符
   号化情報量で最小の符号化歪が得られるように前記前方
   参照ブロックあるいは前記後方参照ブロックあるいは前
   記補間ブロックのいずれか一つを最適予測参照ブロック
   として選択し、また前記符号化対象ブロックの絵柄が前
   記前方参照画像に存在するが前記後方参照画像に存在し
   ない場合、前記符号化対象ブロックを前方予測ブロック
   とし、前記前方予測ブロックにおいては前記前方参照ブ
   ロックを最適予測参照ブロックとして選択し、また前記
   符号化対象ブロックの絵柄が前記前方参照画像に存在し
   ないが前記後方参照画像に存在する場合、前記符号化対
   象ブロックを後方予測ブロックとし、前記後方予測ブロ
   ックにおいては前記後方参照ブロックを最適予測参照ブ
   ロックとして選択し、前記両方向予測ブロックあるいは
   前記前方予測ブロックあるいは前記後方予測ブロックを
   前記最適予測参照ブロックから予測したときの予測誤差
   信号列を符号化するか、または前記両方向予測ブロック
   あるいは前記前方予測ブロックあるいは前記後方予測ブ
   ロック内の画素信号列を前記最適予測参照ブロックから
   予測せずに独立に符号化するかのどちらか一方を所定の
   情報量で少ない符号化歪が得られるように選択し、また
   前記符号化対象ブロックの絵柄が前記前方参照画像およ
   び前記後方参照画像に存在しない場合、前記符号化対象
   ブロックを独立ブロックとして検出し、前記独立ブロッ
   クにおいては前記予測参照ブロックから予測せずに前記
   符号化対象ブロック内の画素信号列を独立に符号化処理
   することを特徴とする画像符号化方法。
2. 【請求項２】 符号化対象画像内の符号化対象ブロック
   の絵柄が前方参照画像あるいは後方参照画像に存在する
   ことを検出する方法は、時間的に前記符号化対象画像か
   らみて前の画像であって、かつ前記前方参照画像までの
   一つあるいは複数の画像を前方画像列とし、時間的に前
   記符号化対象画像からみて後の画像であって、かつ前記
   後方参照画像までの一つあるいは複数の画像を後方画像
   列とし、前記前方画像列の画像内で前記符号化対象ブロ
   ックと同位置にあるブロックを前方ブロック列とし、前
   記後方画像列の画像内で前記符号化対象ブロックと同位
   置にあるブロックを後方ブロック列として、前記前方ブ
   ロック列および前記後方ブロック列のそれぞれのブロッ
   ク内の画素レベルの変化量と前記符号化対象ブロック内
   の画素レベルの変化量との差を測定し、前記前方ブロッ
   ク列の内の少なくとも一つのブロックの画素レベルの変
   化量と前記符号化対象ブロック内の画素レベルの変化量
   との差が第一の所定量以上である場合、前記符号化対象
   ブロックの絵柄は前記前方参照画像に存在しないとして
   検出し、前記後方ブロック列の内の少なくとも一つのブ
   ロックの画素レベルの変化量と前記符号化対象ブロック
   内の画素レベルの変化量との差が前記第一の所定量以上
   である場合、前記符号化対象ブロックの絵柄は前記後方
   参照画像に存在しないとして検出することを特徴とする
   請求項１記載の画像符号化方法。
3. 【請求項３】 符号化対象画像内の符号化対象ブロック
   の絵柄が前方参照画像あるいは後方参照画像に存在する
   ことを検出する方法は、時間的に前記符号化対象画像か
   らみて前の画像であって、かつ前記前方参照画像までの
   一つあるいは複数の画像を前方画像列とし、時間的に前
   記符号化対象画像からみて後の画像であって、かつ前記
   後方参照画像までの一つあるいは複数の画像を後方画像
   列とし、前記前方画像列の画像内で前記符号化対象ブロ
   ックと同位置にあるブロックを前方ブロック列とし、前
   記後方画像列の画像内で前記符号化対象ブロックと同位
   置にあるブロックを後方ブロック列として、前記前方ブ
   ロック列および前記後方ブロック列のそれぞれのブロッ
   ク内の画素レベルの変化量を測定し、前記前方ブロック
   列内の少なくとも一つのブロック内の画素レベルの変化
   量が第二の所定量以上であり、かつ前記符号化対象ブロ
   ック内の画素レベルの変化量が第三の所定量以下である
   場合、前記符号化対象ブロックの絵柄は前記前方参照画
   像に存在しないとして検出し、前記後方ブロック列内の
   少なくとも一つのブロック内の画素レベルの変化量が前
   記第二の所定量以上であり、かつ前記符号化対象ブロッ
   ク内の画素レベルの変化量が前記第三の所定量以下であ
   る場合、前記符号化対象ブロックの絵柄は前記後方参照
   画像に存在しないとして検出することを特徴とする請求
   項１記載の画像符号化方法。
4. 【請求項４】 符号化対象ブロック内の複数の画素の画
   素レベルが所定範囲内である場合に、前記符号化対象ブ
   ロックに対して両方向予測ブロックあるいは前方予測ブ
   ロックあるいは後方予測ブロックあるいは独立ブロック
   の検出を行うことを特徴とする請求項２または３記載の
   画像符号化方法。
5. 【請求項５】 画像信号が輝度信号と色信号からなる場
   合において、輝度信号の第一の符号化対象ブロックと同
   位置にある色信号のブロックを第二の符号化対象ブロッ
   クとすると、両方向予測ブロックあるいは前方予測ブロ
   ックあるいは後方予測ブロックあるいは独立ブロックの
   検出は、輝度信号については常に行うが、色信号につい
   ては常に行うか、もしくは前記第一の符号化対象ブロッ
   クで前方予測ブロックあるいは後方予測ブロックあるい
   は独立ブロックが検出された場合のみ前記第二の符号化
   対象ブロックにおいて両方向予測ブロックあるいは前方
   予測ブロックあるいは後方予測ブロックあるいは独立ブ
   ロックの検出を行うか、もしくは色信号では両方向予測
   ブロックあるいは前方予測ブロックあるいは後方予測ブ
   ロックあるいは独立ブロックの検出は行わずに前記第一
   の符号化対象ブロックが両方向予測ブロックであれば前
   記第二の符号化対象ブロックも両方向予測ブロックと
   し、前記第一の符号化対象ブロックが前方予測ブロック
   であれば第二の符号化対象ブロックも前方予測ブロック
   とし、前記第一の符号化対象ブロックが後方予測ブロッ
   クであれば前記第二の符号化対象ブロックも後方予測ブ
   ロックとし、前記第一の符号化対象ブロックが独立ブロ
   ックであれば前記第二の符号化対象ブロックも独立ブロ
   ックとすることを特徴とする請求項１記載の画像符号化
   方法。
6. 【請求項６】 画像を近接する複数の画素からなるブロ
   ックに分割し、符号化対象画像からみて時間的に前の画
   像を前方参照画像とし、前記符号化対象画像からみて時
   間的に後の画像を後方参照画像とし、また前記前方参照
   画像と前記後方参照画像とから補間して求めた画像を補
   間画像として、前記前方参照画像内のブロックである前
   方参照ブロックを予測参照ブロックとしたときの前方予
   測誤差信号列、あるいは前記後方参照画像内のブロック
   である後方参照ブロックを予測参照ブロックとしたとき
   の後方予測誤差信号列、あるいは前記補間画像内のブロ
   ックである補間ブロックを予測参照ブロックとしたとき
   の補間予測誤差信号列を符号化処理する装置であって、
   前記符号化対象ブロックの絵柄が前記前方参照画像ある
   いは前記後方参照画像内に存在することを検出するパタ
   ーン検出器と、前記パターン検出器の出力によって前記
   前方予測誤差信号列と前記後方予測誤差信号列と前記補
   間予測誤差信号列との内のいずれか一つまたは全てを出
   力する第一の選択器と、前記符号化対象ブロック内の画
   素信号列と前記第一の選択器の出力とを入力信号列と
   し、前記入力信号列の内で所定の符号量で最小の符号化
   歪が得られる信号列を最小歪信号列として検出する符号
   化歪判定器と、前記符号化歪判定器の出力によって前記
   符号化対象ブロック内の画素信号列と前記第一の選択器
   の出力との内の一つを選択し出力する第二の選択器によ
   って構成され、前記第一の選択器は、前記パターン検出
   器によって前記符号化対象ブロックの絵柄が前記前方参
   照画像に存在しかつ前記後方参照画像にも存在すること
   が検出された場合、前記前方予測誤差信号列と前記後方
   予測誤差信号列と前記補間予測誤差信号列とを出力し、
   前記パターン検出器によって前記符号化対象ブロックの
   絵柄が前記前方参照画像に存在するが前記後方参照画像
   には存在しないことが検出された場合、前記前方予測誤
   差信号列を出力し、前記パターン検出器によって前記符
   号化対象ブロックの絵柄が前記前方参照画像に存在しな
   いが前記後方参照画像に存在することが検出された場
   合、前記後方予測誤差信号列を出力するものであり、前
   記第二の選択器は、前記符号化歪判定器によって検出さ
   れた前記最小歪信号列を出力するか、あるいは前記パタ
   ーン検出器によって前記符号化対象ブロックの絵柄が前
   記前方参照画像および前記後方参照画像に存在しないこ
   とが検出された場合は前記画素信号列を出力するもので
   あり、前記第二の選択器の出力を符号化処理することを
   特徴とする画像符号化装置。
7. 【請求項７】 時間的に符号化対象画像からみて前の画
   像であってかつ前方参照画像までの一つあるいは複数の
   画像を前方画像列とし、時間的に符号化対象画像からみ
   て後の画像であってかつ後方参照画像までの一つあるい
   は複数の画像を後方画像列とし、前記前方画像列の画像
   内で前記符号化対象画像内の符号化対象ブロックと同位
   置にあるブロックを前方ブロック列とし、前記後方画像
   列の画像内で前記符号化対象ブロックと同位置にあるブ
   ロックを後方ブロック列とすると、パターン検出器は、
   前記前方ブロック列および前記後方ブロック列のそれぞ
   れのブロックおよび前記符号化対象ブロックの画素レベ
   ルの変化量を測定する第一の変化量測定器と、前記第一
   の変化量測定器によって得られた前記前方ブロック列お
   よび前記後方ブロック列の一つのブロックの画素レベル
   の変化量と前記符号化対象ブロックの画素レベルの変化
   量との差分を測定する差分器と、前記差分器の出力と第
   四の所定量とを比較する第一の比較器とによって構成さ
   れ、前記前方ブロック列の内の少なくとも一つのブロッ
   クの画素レベルの変化量と前記符号化対象ブロックの画
   素レベルの変化量との差分が前記第四の所定量以上であ
   れば、前記符号化対象ブロックの絵柄は前記前方参照画
   像に存在しないとして検出し、前記後方ブロック列の内
   の少なくとも一つのブロックの画素レベルの変化量と前
   記符号化対象ブロックの画素レベルの変化量との差分が
   前記第四の所定量以上であれば、前記符号化対象ブロッ
   クの絵柄は前記後方参照画像に存在しないとして検出す
   ることを特徴とする請求項６記載の画像符号化装置。
8. 【請求項８】 時間的に符号化対象画像からみて前の画
   像であってかつ前方参照画像までの一つあるいは複数の
   画像を前方画像列とし、時間的に符号化対象画像からみ
   て後の画像であってかつ後方参照画像までの一つあるい
   は複数の画像を後方画像列とし、前記前方画像列の画像
   内で前記符号化対象画像内の符号化対象ブロックと同位
   置にあるブロックを前方ブロック列とし、前記後方画像
   列の画像内で前記符号化対象ブロックと同位置にあるブ
   ロックを後方ブロック列とすると、パターン検出器は、
   前記前方ブロック列および前記後方ブロック列のそれぞ
   れのブロックの画素レベルの変化量と前記符号化対象ブ
   ロックの画素レベルの変化量とを測定する第二の変化量
   測定器と、前記第二の変化量測定器によって得られた前
   記前方ブロック列および前記後方ブロック列のそれぞれ
   のブロックの画素レベルの変化量と第五の所定量との大
   きさを比較する第二の比較器と、前記符号化対象ブロッ
   クの画素レベルの変化量と第六の所定量との大きさを比
   較する第三の比較器とによって構成され、前記前方ブロ
   ック列の内の少なくとも一つのブロックの画素レベルの
   変化量が前記第五の所定量以上であり、かつ前記符号化
   対象ブロックの画素レベルの変化量が前記第六の所定量
   以下である場合、前記符号化対象ブロックの絵柄は前記
   前方参照画像に存在しないとして検出し、前記後方ブロ
   ック列の内の少なくとも一つのブロックの画素レベルの
   変化量が前記第五の所定量以上であり、かつ前記符号化
   対象ブロックの画素レベルの変化量が前記第六の所定量
   以下である場合、前記符号化対象ブロックの絵柄は前記
   後方参照画像に存在しないとして検出することを特徴と
   する請求項６記載の画像符号化装置。
9. 【請求項９】 パターン検出器は、符号化対象画像内の
   符号化対象ブロック内の複数の画素の画素レベルが所定
   範囲内であることを検出する手段と、前記符号化対象ブ
   ロックの絵柄が前方参照画像あるいは後方参照画像に存
   在することを検出する手段とを有し、前記複数の画素の
   画素レベルが所定範囲内である場合、前記符号化対象ブ
   ロックに対して前記符号化対象ブロックの絵柄が前方参
   照画像あるいは後方参照画像に存在することを検出する
   ことを特徴とする請求項７または８記載の画像符号化装
   置。
10. 【請求項１０】 画像信号が輝度信号と色信号からなる
    場合において、輝度信号の第一の符号化対象ブロックと
    同位置にある色信号のブロックを第二の符号化対象ブロ
    ックとすると、両方向予測ブロックあるいは前方予測ブ
    ロックあるいは後方予測ブロックあるいは独立ブロック
    の検出は、輝度信号については常に行うが、色信号につ
    いては常に行うか、もしくは前記第一の符号化対象ブロ
    ックで前方予測ブロックあるいは後方予測ブロックある
    いは独立ブロックが検出された場合のみ前記第二の符号
    化対象ブロックにおいて両方向予測ブロックあるいは前
    方予測ブロックあるいは後方予測ブロックあるいは独立
    ブロックの検出を行うか、もしくは色信号では両方向予
    測ブロックあるいは前方予測ブロックあるいは後方予測
    ブロックあるいは独立ブロックの検出は行わずに前記第
    一の符号化対象ブロックが両方向予測ブロックであれば
    前記第二の符号化対象ブロックも両方向予測ブロックと
    し、前記第一の符号化対象ブロックが前方予測ブロック
    であれば第二の符号化対象ブロックも前方予測ブロック
    とし、前記第一の符号化対象ブロックが後方予測ブロッ
    クであれば前記第二の符号化対象ブロックも後方予測ブ
    ロックとし、前記第一の符号化対象ブロックが独立ブロ
    ックであれば前記第二の符号化対象ブロックも独立ブロ
    ックとすることを特徴とする請求項６記載の画像符号化
    装置。