JP4591767B2 - 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4591767B2
JP4591767B2 JP2005053877A JP2005053877A JP4591767B2 JP 4591767 B2 JP4591767 B2 JP 4591767B2 JP 2005053877 A JP2005053877 A JP 2005053877A JP 2005053877 A JP2005053877 A JP 2005053877A JP 4591767 B2 JP4591767 B2 JP 4591767B2
Authority
JP
Japan
Prior art keywords
motion vector
frame data
processing
pixel
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005053877A
Other languages
English (en)
Other versions
JP2006238372A (ja
JP2006238372A5 (ja
Inventor
智宏 安岡
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005053877A priority Critical patent/JP4591767B2/ja
Publication of JP2006238372A publication Critical patent/JP2006238372A/ja
Publication of JP2006238372A5 publication Critical patent/JP2006238372A5/ja
Application granted granted Critical
Publication of JP4591767B2 publication Critical patent/JP4591767B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関する。
近年、テレビ番組などのコンテンツをデジタル信号でＨＤ（ハードディスク）やＤＶＤ（Digital Versatile Disk）などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
ＨＤやＤＶＤを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
一方で、デジタル記録再生装置の普及により、ＤＶＤなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
図１において、画像処理システム１は、ＤＶＤなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号を出力する再生装置１１、再生装置１１が出力するアナログ画像信号を画像として表示するディスプレイ１２、および、再生装置１１が出力するアナログ画像信号を利用して、光ディスク等の記録媒体に記録する記録装置１３により構成されている。
再生装置１１は、復号部２１とＤ／Ａ（Digital-to-Analog）変換部２２とから構成されている。復号部２１は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号し、その結果得られるデジタル画像信号をＤ／Ａ変換部２２に供給する。Ｄ／Ａ変換部２２は、復号部２１から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号を出力する。
ディスプレイ１２は、例えばＣＲＴ(Cathode-Ray Tube)やＬＣＤ（Liquid Crystal Display）等で構成され、Ｄ／Ａ変換部２２からのアナログ画像信号を画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。
また、再生装置１１から出力されたアナログ画像信号は、記録装置１３にも供給(入力)される。
記録装置１３は、Ａ／Ｄ（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力されるアナログ画像信号を光ディスク等の図示せぬ記録媒体に記録する。
Ａ／Ｄ変換部３１には、再生装置１１が出力するアナログ画像信号が入力される。Ａ／Ｄ変換部３１は、入力されたアナログ画像信号をデジタル信号に変換し、その結果得られるデジタル画像信号を符号化部３２に供給する。符号化部３２は、Ａ／Ｄ変換部３１からのデジタル画像信号を符号化し、その結果得られる符号化デジタル画像信号を記録部３３に供給する。記録部３３は、符号化デジタル画像信号を記録媒体に記録する。
以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログ画像信号を利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置１１が出力するアナログ画像信号を利用して、コンテンツ（の画像信号）が、不正にコピーされるおそれがある。
従来、このようなアナログ画像信号を利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止することが提案されている。
しかしながら、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献１参照）。
２００４−２８９６８５号公報
特許文献１に記載の手法では、アナログ画像信号をＡ／Ｄ変換することにより得られるデジタル画像信号の位相ずれに着目し、そのデジタル画像信号に対して位相ずれに着目した符号化を施すことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
本発明の符号化装置は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、抽出手段により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、第１の係数の最適値を予測データとして算出する予測データ算出手段と、第１の動きベクトル推定手段により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出手段とを備え、第１の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出手段により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする。
第１のフレームデータおよび第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理手段を更に備えさせるようにすることができ、画像処理手段には、第１の動きベクトル推定手段、第２の動きベクトル推定手段、抽出手段、および誤差算出手段に、エッジが強調された第１のフレームデータを出力し、第１の動きベクトル推定手段、第２の動きベクトル推定手段、予測データ算出手段、および誤差算出手段に、エッジが強調された第２のフレームデータを出力させるようにすることができる。
画像処理手段は、ハイパスフィルタであるものとすることができる。
フレームデータにノイズを付加するノイズ付加手段を更に備えさせるようにすることができ、ノイズ付加手段には、第１の動きベクトル推定手段、第２の動きベクトル推定手段、抽出手段、および誤差算出手段に、ノイズが付加された第１のフレームデータを出力し、第１の動きベクトル推定手段、第２の動きベクトル推定手段、予測データ算出手段、および誤差算出手段に、ノイズが付加された第２のフレームデータを出力させるようにすることができる。
抽出手段にはまた、動きベクトル選択手段により選択されていない第１の動きベクトルと第２の動きベクトルのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値を選択外画素値として抽出させるようにすることができ、予測データ算出手段にはまた、選択外画素値に対して画素ごとに第２の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、第２の係数の最適値を選択外予測データとして算出させるようにすることができる。
第２のフレームデータに対応する符号化結果を出力する出力手段を更に備えさせるようにすることができ、出力手段には、第１の動きベクトル推定手段により推定された第１の動きベクトルと、第２の動きベクトル推定手段により推定された第２の動きベクトルと、動きベクトル選択手段による選択結果を示すデータと、予測データ算出手段により算出された予測データとを出力させるようにすることができる。
本発明の符号化方法は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、所定の係数の最適値を予測データとして算出する予測データ算出ステップと、第１の動きベクトル推定ステップの処理により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップとを含み、第１の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出ステップの処理により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする。
本発明の第１の記録媒体に記録されているプログラムは、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、所定の係数の最適値を予測データとして算出する予測データ算出ステップと、第１の動きベクトル推定ステップの処理により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップとを含み、第１の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出ステップの処理により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定する処理をコンピュータに実行させることを特徴とする。
本発明の第１のプログラムは、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、所定の係数の最適値を予測データとして算出する予測データ算出ステップと、第１の動きベクトル推定ステップの処理により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップとを含み、第１の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出ステップの処理により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする処理をコンピュータに実行させる。
本発明の復号装置は、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データと抽出手段により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出手段とを備え、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする。
算出手段により算出された第２のフレームデータに、ノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。
第２のフレームデータの符号化結果には、第１の動きベクトルと、第２の動きベクトルと、最適動きベクトル情報と、予測データと、第１の動きベクトルと第２の動きベクトルのうちの最適な動きベクトルではない方に基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第２の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第２の係数の最適値である最適外予測データとを含ませるようにすることができる。
本発明の復号方法は、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データと抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出ステップとを含み、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする。
本発明の第２の記録媒体に記録されているプログラムは、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データと抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出ステップとを含み、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される処理をコンピュータに実行させることを特徴とする。
本発明の第２のプログラムは、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データと抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出ステップとを含み、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする処理をコンピュータに実行させる。
本発明の第１の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、符号化部は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、抽出手段により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、第１の係数の最適値を予測データとして算出する予測データ算出手段と、第１の動きベクトル推定手段により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出手段とを備え、第１の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出手段により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする。
本発明の第２の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムにおいて、復号部は、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データと抽出手段により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出手段とを備え、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする。
本発明の符号化装置および符号化方法、第１のプログラム、並びに、第１の画像処理システムにおいては、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルが推定され、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルが推定され、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかが選択され、選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値が抽出され、抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、所定の係数の最適値が予測データとして算出され、推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差が算出される。なお、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理が行われることにより推定される。
本発明の復号装置および復号方法、第２のプログラム、並びに、第２の画像処理システムにおいては、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報が、第２のフレームデータの符号化結果の一部として取得され、処理ブロックの処理領域ごとに最適な動きベクトルが決定され、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値が抽出され、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された第１の係数の最適値である予測データが、第２のフレームデータの符号化結果の他の一部として取得され、予測データと抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和が第２のフレームデータとして算出される。なお、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される。
本発明によると、画像データを符号化することができ、特に、２つの動きベクトルを探索することにより、残差情報なしに、符号化および復号処理を行うことができる。
また、他の本発明によると、画像データを復号することができ、特に、２つの動きベクトルのいずれかを用いて画像データを復号することにより、残差情報なしに、符号化および復号処理を行うことができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
更に、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の符号化装置（例えば、図２の符号化装置６３または符号化部８２）は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定手段（例えば、図３のブロックマッチング動き探索部１０８）と、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段（例えば、図３の評価値変更ブロックマッチング動き探索部１１１）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段（例えば、図３の最適動き決定部１１２）と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値（例えば、図１３の５つのタップ）を抽出する抽出手段（例えば、図１２の第１のタップ抽出部２４６および第２のタップ抽出部２４７）と、抽出手段により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係（例えば、式３および式４）を基に、最小自乗法を用いて、第１の係数の最適値を予測データ（例えば、フィルタ係数）として算出する予測データ算出手段（例えば、図１２の第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９）と、第１の動きベクトル推定手段により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出手段（例えば、図３の絶対値誤差算出部１０９）とを備え、第１の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出手段により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする。
第１のフレームデータおよび第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理手段（例えば、図３のハイパスフィルタ１０６およびハイパスフィルタ１０７）を更に備え、画像処理手段は、第１の動きベクトル推定手段、第２の動きベクトル推定手段、抽出手段、および誤差算出手段に、エッジが強調された第１のフレームデータを出力し、第１の動きベクトル推定手段、第２の動きベクトル推定手段、予測データ算出手段、および誤差算出手段に、エッジが強調された第２のフレームデータを出力することができる。
フレームデータにノイズを付加するノイズ付加手段（例えば、図２のＡ／Ｄ変換部８１）を更に備え、ノイズ付加手段は、第１の動きベクトル推定手段、第２の動きベクトル推定手段、抽出手段、および誤差算出手段に、ノイズが付加された第１のフレームデータを出力し、第１の動きベクトル推定手段、第２の動きベクトル推定手段、予測データ算出手段、および誤差算出手段に、ノイズが付加された第２のフレームデータを出力することができる。
第２のフレームデータに対応する符号化結果を出力する出力手段（例えば、図３の符号出力部１１５）を更に備えることができ、出力手段は、第１の動きベクトル推定手段により推定された第１の動きベクトルと、第２の動きベクトル推定手段により推定された第２の動きベクトルと、動きベクトル選択手段による選択結果を示すデータと、予測データ算出手段により算出された予測データとを出力することができる。
請求項７に記載の符号化方法は、複数のフレームデータからなる画像データの供給を受けて符号化する符号化装置（例えば、図２の符号化装置６３または符号化部８２）の符号化方法であって、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定ステップ（例えば、図１７のステップＳ７およびステップＳ８の処理）と、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップ（例えば、図１７のステップＳ１０の処理）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップ（例えば、図１７のステップＳ１１の処理）と、動きベクトル選択ステップの処理により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値（例えば、図１３の５つのタップ）を抽出する抽出ステップ（例えば、図２０のステップＳ８３またはステップＳ８６の処理）と、抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、所定の係数の最適値を予測データ（例えば、フィルタ係数）として算出する予測データ算出ステップ（例えば、図２０のステップＳ８５またはステップＳ８８の処理）と、第１の動きベクトル推定ステップの処理により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップとを含み、第１の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定ステップでは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出ステップの処理により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする。
また、請求項８に記載の記録媒体に記録されているプログラム、および、請求項９に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項７に記載の符号化方法と同様である。
請求項１０に記載の復号装置（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）は、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段（例えば、図１４または図１６の動き対象位置算出部２７３）と、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値（例えば、図１３の５つのタップ）を抽出する抽出手段（例えば、図１４または図１６の画素切り出し部２７４）と、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係（例えば、式３および式４）を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データ（例えば、フィルタ係数）と抽出手段により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出手段（例えば、図１４または図１６のフィルタ係数乗算部２７６）とを備え、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする。
算出手段により算出された第２のフレームデータに、ノイズを付加するノイズ付加手段（例えば、図２のＤ／Ａ変換部７２またはＤ／Ａ変換部８５）を更に備えることができる。
請求項１３に記載の復号方法は、符号化された複数のフレームデータからなる画像データの供給を受けて復号する復号装置（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）の復号方法であって、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップ（例えば、図２１のステップＳ１１５の処理）と、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値を抽出する抽出ステップ（例えば、図２１のステップＳ１１６の処理）と、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係（例えば、式３および式４）を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データ（例えば、フィルタ係数）と抽出ステップの処理により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出ステップ（例えば、図２１のステップＳ１１８の処理）とを含み、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする。
また、請求項１４に記載の記録媒体に記録されているプログラム、および、請求項１５に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１３に記載の復号方法と同様である。
請求項１６に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムにおいて、符号化部は、第１のフレームデータ、および、第１のフレームデータと異なる第２のフレームデータを用いて、第１のフレームデータの複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトルを推定する第１の動きベクトル推定手段（例えば、図３のブロックマッチング動き探索部１０８）と、第１のフレームデータおよび第２のフレームデータを用いて、処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段（例えば、図３の評価値変更ブロックマッチング動き探索部１１１）と、処理領域ごとに、第１の動きベクトルと第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段（例えば、図３の最適動き決定部１１２）と、動きベクトル選択手段により選択された第１の動きベクトルと第２の動きベクトルとのうちのいずれか一方に基づいて、処理領域に対応する第１のフレームデータの複数の画素の画素値（例えば、図１３の５つのタップ）を抽出する抽出手段（例えば、図１２の第１のタップ抽出部２４６および第２のタップ抽出部２４７）と、抽出手段により抽出された第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係（例えば、式３および式４）を基に、最小自乗法を用いて、第１の係数の最適値を予測データ（例えば、フィルタ係数）として算出する予測データ算出手段（例えば、図１２の第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９）と、第１の動きベクトル推定手段により推定された第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて、第１の動きベクトルの処理ブロック内の画素ごとの検出誤差を算出する誤差算出手段とを備え、第１の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により、第１の動きベクトルを推定し、第２の動きベクトル推定手段は、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、誤差算出手段により算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、第２の動きベクトルを推定することを特徴とする。
請求項１７に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図３のデコーダ１１４）を含み、符号化部および復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムにおいて、復号部は、第１のフレームデータと、第１のフレームデータと異なる第２のフレームデータとを用いて推定された第１のフレームデータの複数の処理領域（例えば、画素）を有する処理ブロック（例えば、動き探索を実行するときのブロック）における第１の動きベクトル、第１のフレームデータと第２のフレームデータを用いて推定された処理ブロックにおける第１の動きベクトルとは異なる第２の動きベクトル、および、第１の動きベクトルと第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを処理領域ごとに示す最適動きベクトル情報を、第２のフレームデータの符号化結果の一部として取得し、処理ブロックの処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段（例えば、図１４または図１６の動き対象位置算出部２７３）と、最適な動きベクトルに基づいて、第１のフレームデータの符号化結果から処理領域に対応する第１のフレームデータの複数の画素の画素値（例えば、図１３の５つのタップ）を抽出する抽出手段と、最適な動きベクトルに基づいて抽出された処理領域に対応する第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、処理領域に対応する第２のフレームデータの画素値との関係（例えば、式３および式４）を基に最小自乗法を用いて算出された第１の係数の最適値である予測データを、第２のフレームデータの符号化結果の他の一部として取得し、予測データ（例えば、フィルタ係数）と抽出手段により抽出された第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を第２のフレームデータとして算出する算出手段（例えば、図１４または図１６の画素切り出し部２７４およびフィルタ係数乗算部２７６）とを備え、第１の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対するブロックマッチング処理により推定され、第２の動きベクトルは、第１のフレームデータおよび第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、第１の動きベクトル、第１のフレームデータ、および第２のフレームデータに基づいて第１の動きベクトルの処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定されることを特徴とする。
以下、図を参照して、本発明の実施の形態について説明する。
図２は、本発明を適用した画像表示システム５１の構成を示すブロック図である。
この画像表示システム５１は、アナログの画像データを出力する再生機６１と、再生機６１から出力される画像データによる画像を表示するディスプレイ６２と、再生機６１から出力されるアナログ画像データを符号化する符号化装置６３により構成されている。
再生機６１は、復号部７１およびＤ／Ａ（Digital-to-Analog）変換部７２を備えている。復号部７１は、図示しない光ディスク等の記録媒体から再生された、符号化されている画像データを復号し、Ｄ／Ａ変換部７２に供給する。Ｄ／Ａ変換部７２は、復号されて得られたデジタルの画像データをアナログの画像データに変換し、アナログの画像データを出力する。ディスプレイ６２は、例えばＣＲＴ（Cathode-Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）等で構成され、供給されたアナログ画像データを表示する。
符号化装置６３は、Ａ／Ｄ（Analog-to-Digital）変換部８１、符号化部８２、記録部８３、復号部８４、Ｄ／Ａ変換部８５、および、ディスプレイ８６で構成され、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような処理を施すことができるように構成されている。Ａ／Ｄ変換部８１は、再生機６１より出力されるアナログの画像データを、Ａ／Ｄ変換し、符号化部８２に供給する。符号化部８２は、デジタルの画像データを符号化し、記録部８３および復号部８４に供給する。記録部８３は、供給されたデジタルの符号化画像データを、光ディスク等の記録媒体に記録する。復号部８４は、供給されたデジタルの符号化画像データを復号し、Ｄ／Ａ変換部８５に供給する。Ｄ／Ａ変換部８５は、復号されて得られたデジタルの画像データをアナログデータに変換し、アナログの画像データをディスプレイ８６に出力する。ディスプレイ８６は、例えばＣＲＴディスプレイ、ＬＣＤ等で構成され、供給されたアナログ画像データを表示する。
ところで、Ｄ／Ａ変換部７２においてデジタルの画像データをＤ／Ａ変換するとき、Ａ／Ｄ変換部８１においてアナログの画像データをＡ／Ｄ変換するとき、および、Ｄ／Ａ変換部８５においてデジタルの画像データをＤ／Ａ変換するとき、もしくは、再生機６１からディスプレイ６２または符号化装置６３にアナログデータを伝送するとき、画像データにノイズが付加されてしまう。
特に、Ａ／Ｄ変換、Ｄ／Ａ変換、または、アナログデータの伝送において、高周波成分の歪みや位相ずれなどが、画像データに発生する。この高周波成分の歪みや位相ずれなどは、アナログノイズとも称される。
このアナログノイズのうち、高周波成分の歪みは、主にホワイトノイズと呼ばれるノイズに起因するものである。
Ｄ／Ａ変換部７２、および、Ｄ／Ａ変換部８５において、デジタルの画像データがアナログの画像データに変換される過程、Ａ／Ｄ変換部８１において、アナログの画像データがデジタルの画像データに変換される過程、または、アナログデータが伝送される過程において、周波数成分がほぼ均一なホワイトノイズが画像データに付加される。ホワイトノイズのレベルは、時系列でランダムに変化し、その分布はほぼ正規分布に従う。すなわち、各画素に対応するアナログの画像データに付加されるホワイトノイズのレベルはランダムに変化する。
したがって、例えば、復号部７１から出力されるデジタル画像データにおいて、水平方向と垂直方向に整列して位置する画素のうちの所定の複数の画素が同一の画素値を有していたとしても、Ｄ／Ａ変換部７２よりＤ／Ａ変換されて伝送され、更に、Ａ／Ｄ変換部８１によりＡ／Ｄ変換された後のデジタルの画像データのうち、変換前は同一の画素値を有していた画素の画素値は、もとの値を中心値としたある程度の範囲内に分散された値となってしまう。これらの分散された値と、もとの値との差異は乱数で表現される性質のものであり、一律に決まるものではない。その結果、画像データに高周波成分の歪みが生じる。また、水平方向だけでなく、垂直方向にも同様に高周波成分の歪みが生じる。なお、各画素に付加されるホワイトノイズのレベルの散らばり具合によっては、高周波成分以外の成分の歪みが生じる場合もある。
また、アナログノイズのうち、位相ずれによる歪みが付加されることにより、画像データの画素の位置は、本来の画像データの画素の位置と比べて、水平方向および垂直方向にずれてしまう。なお、水平方向の位相ずれの幅は、水平方向の画素間隔より小さくなったり大きくなったりする一方、垂直方向の位相ずれの幅は、垂直方向の画素間隔の整数倍となる。また、位相ずれは、水平方向または垂直方向の一方向のみ生じる場合がある。なお、位相がずれて空いてしまった画素には、例えば、本来の画像データの画素の画素値ではない、同期信号などに基づく値が設定される。
この位相ずれが発生することにより、位相ずれの幅だけ画像の表示位置がずれ、ずれた部分に、画素値以外の同期信号などに基づく画像が表示されてしまうことになる。しかしながら、表示位置のずれはわずかであり、多くの場合、ユーザが視認することができるレベルにおける画像の画質にはほとんど影響を及ぼさない。
なお、画像処理やデータ伝送において付加されるノイズには、上記したノイズ以外のノイズも含まれる場合があることはいうまでもない。
なお、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、ノイズ成分（特に、ハイパスフィルタにより強調されるノイズ成分）を、出力されるデータに付加するようにしても良い。
また、Ｄ／Ａ変換部７２は復号部７１と、Ａ／Ｄ変換部８１は、符号化部８２と、Ｄ／Ａ変換部８５は復号部８４と、それぞれ、１つの構成要素として構成とするようにしても良い。
また、図２の再生機６１および符号化装置６３を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、Ｄ／Ａ変換部７２と復号部７１とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部８２や復号部８４をそれぞれ独立した装置として構成したり、Ａ／Ｄ変換部８１と符号化部８２との２つの構成要素を持つ１つの装置として構成したり、Ｄ／Ａ変換部８５と復号部８４との２つの構成要素を持つ１つの装置として構成するようにしてもよい。
図３は、図２の符号化部８２の構成を示すブロック図である。
符号化部８２は、複数のフレームデータのうちの所定のフレームを基準フレームとし、図４に示されるように、基準フレームをフレーム内符号化するとともに、基準フレーム以外のフレームを、１つ前のフレームに対する動き検出により符号化するものである。通常、動き検出による符号化においては、残差補償が行われるようになされているが、符号化部８２は、残差補償を行わず、２種類のブロックマッチングを行うことにより、予測精度を向上させるようになされている。
基準フレーム抽出部１０１は、Ａ／Ｄ変換部８１によりデジタルデータに変換された画像データの供給を受け、基準フレームは、基準フレーム符号化部１０２に供給し、基準フレーム以外のフレームは、フレームメモリ１０５に供給する。
基準フレーム符号化部１０２は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＡＤＲＣ（Adaptive Dynamic Range Coding）などのフレーム内符号化方法を用いて、供給された基準フレームを符号化し、基準フレームデコータ１０３、デコーダ１１４、および、符号出力部１１５に供給する。
基準フレームデコータ１０３は、供給された符号化データを、対応する方法でデコードし、フレームメモリ１０４に供給する。
フレームメモリ１０４は、基準フレームデコーダ１０３、または、後述するデコーダ１１４から供給されたフレームデータを一時保存し、ハイパスフィルタ（ＨＰＦ）１０７に供給する。
フレームメモリ１０５は、基準フレーム抽出部１０１から供給されたフレームデータを一時保存し、ハイパスフィルタ（ＨＰＦ）１０６に供給する。
すなわち、フレームメモリ１０４に一時保存されるフレームデータは、フレームメモリ１０５に一時保存されるフレームデータに対して、時間的に１つ前のフレームデータである。以下、フレームメモリ１０５に一時保存されるフレームデータを現フレームデータ、フレームメモリ１０４に一時保存されるフレームデータを前フレームデータと称するものとする。
ハイパスフィルタ１０６およびハイパスフィルタ１０７は、供給されたフレームデータにハイパスフィルタをかけ、ブロックマッチング動き探索部１０８、評価値変更ブロックマッチング動き探索部１１１、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給する。また、ハイパスフィルタ１０６は、絶対値誤差算出部１０９にもデータを供給する。
すなわち、フレームメモリ１０４に一時保存されている前フレームデータが、図５のフレーム１３１である場合、ハイパスフィルタ１０７から出力される前フレームデータは、エッジ部分が強調されたフレーム１３２となり、フレームメモリ１０５に一時保存されている現フレームデータが、図５のフレーム１４１である場合、ハイパスフィルタ１０６から出力される現フレームデータは、エッジ部分が強調されたフレーム１４２となる。
なお、ハイパスフィルタ１０６およびハイパスフィルタ１０７に代わって、例えば、Sobel（ゾーベル)フィルタなどのエッジ抽出フィルタのように、エッジなどの元の画像の特徴を抽出するとともに、ノイズも強調するフィルタを用いるようにしても良い。
ブロックマッチング動き探索部１０８は、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータを用いて、ブロックマッチングを行い、算出された第１の動きベクトルを、符号メモリ１１０、最適動き決定部１１２、および最適近傍予測フィルタ最小自乗設計部１１３に供給する。
ブロックマッチング処理とは、画像中の画素の輝度の差を利用して、移動物体の位置をブロックごとに割り出す技術である。具体的には、図６に示されるように、前フレームデータであるフレーム１５１および現フレームデータであるフレーム１５２が、それぞれ所定のブロックに分割され、フレーム１５２の探索元であるブロック１６３に対して、対応するフレーム１５１のブロック１６１周辺の探索範囲１６２内においてマッチング処理が行われて、フレーム１５３に示されるような第１の動きベクトルが算出される。
ブロックマッチング動き探索部１０８は、更に、算出された第１の動きベクトルと前フレームデータから、第１の動きベクトルを用いた動き予測により、このフレームが復号された場合の予測フレームを算出し、絶対値算出部１０９に供給する。
絶対値誤差算出部１０９は、ブロックマッチング動き探索部１０８から供給された予測フレームと、ハイパスフィルタ１０６から供給された現フレームデータを基に、ブロックマッチング動き探索部１０８により実行された動きベクトル探索処理により得られた第１の動きベクトルによる予測の野絶対値誤差を算出し、評価値変更ブロックマッチング動き探索部１１１に供給する。
図７を用いて、絶対値誤差算出部１０９が実行する処理について説明する。
例えば、図７のブロック１６１と、ブロック１６１を含むフレームの次のフレーム（現フレーム）に含まれるブロック１６２に示されるように、ブロック内に、複数の動きが混入した場合、ブロックマッチング動き探索部１０８による通常のブロックマッチングで算出される第１の動きベクトルは、いずれかの動きに引きずられ、ブロック内の一方の動きには合致するが、他方の動きには合致しないものとなってしまう。
例えば、ブロックマッチング動き探索部１０８から供給された予測フレームの対応するブロックがブロック１６３である場合、通常のブロックマッチング処理では、ブロック１６３の一方の動き（右側のボールの上側への動き）は正確に反映されているが、他方の動き（左側のボールが下に向かって動く動き）は正確に反映されない。
そこで、絶対値誤差算出部１０９は、ブロックマッチング動き探索部１０８から供給された予測フレームの対応するブロック１６３と、現フレームに含まれるブロック１６４とを比較して、絶対値誤差を求める。絶対値誤差算出部１０９により得られた絶対値誤差を視覚化すると、ブロック１６５に示されるようになる。そして、ブロック内を、例えば、４×４の正方行列として、この絶対値誤差を数値化すると、ブロック内の絶対値誤差の大きさと位置を示すマトリクス１６６を得ることができる。絶対値誤差算出部１０９は、このマトリクス１６６を絶対値誤差情報として、評価値変更ブロックマッチング動き探索部１１１に供給する。
符号メモリ１１０は、供給された符号を一時保存し、デコーダ１１４および符号出力部１１５に供給する。
評価値変更ブロックマッチング動き探索部１１１は、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータに対して、絶対値誤差算出部１０９により算出された絶対値誤差（図７を用いて説明したマトリクス１６６に対応する情報）で画素位置ごとに重み付けを行うことにより、ブロックマッチング動き探索部１０８で得られた第１の動きベクトルの誤差が大きい部分の重みが増すようにしてブロックマッチングを行い、算出された第２の動きベクトルを、符号メモリ１１０、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給する。
すなわち、ブロック内の位置（ｘ、ｙ）における差分自乗誤差値をｆ（ｘ、ｙ）とし、ブロック内の位置（ｘ、ｙ）におけるブロックマッチング動き探索部１０８による動き探索の絶対値誤差をｇ（ｘ、ｙ）とした場合、ブロックマッチング動き探索部１０８による動き探索が次の式（１）で表される場合、評価値変更ブロックマッチング動き探索部１１１による動き探索は、次の式（２）で表される。
Figure 0004591767
 ・・・（１）
Figure 0004591767
 ・・・（２）
評価値変更ブロックマッチング動き探索部１１１の処理の詳細については後述する。
最適動き決定部１１２は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトル、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトル、並びに、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータを用いて、各ブロックの画素位置ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるべきかを示す最適動きフラグを生成し、符号メモリ１１０および最適近傍予測フィルタ最小自乗設計部１１３に供給する。最適動き決定部１１２の処理の詳細と最適動きフラグについては後述する。
最適近傍予測フィルタ最小自乗設計部１１３は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトル、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトル、最適動き決定部１１２から供給された最適動きフラグ、並びに、ハイパスフィルタ１０６およびハイパスフィルタ１０７から供給された現フレームデータと前フレームデータを用いて、２つの動きベクトルごとに、最適予測フィルタを設計し、そのフィルタ係数を、符号メモリ１１０に供給する。最適近傍予測フィルタ最小自乗設計部１１３の詳細については後述する。
デコーダ１１４は、基準フレーム符号化部１０２から供給される基準フレームの符号化データ、符号メモリ１１４から供給される、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、および、最適予測フィルタを基に、デコードを行い、デコードされたフレームデータを、フレームメモリ１０４に供給する。デコーダ１１４の詳細については後述する。
符号出力部１１５は、符号メモリ１１４から供給される、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、および、最適予測フィルタを、記録部８３または復号部８４に出力する。
次に、図８は、評価値変更ブロックマッチング動き探索部１１１の更に詳細な機能を示す機能ブロック図である。
評価値変更ブロックマッチング動き探索部１１１は、絶対値誤差取得部１７１、現フレームデータ取得部１７２、前フレームデータ取得部１７３、および、重み付けブロックマッチング動き探索部１７４で構成されている。
絶対値誤差取得部１７１は、絶対値誤差算出部１０９から供給された絶対値誤差を取得し、重み付けブロックマッチング動き探索部１７４に供給する。
現フレームデータ取得部１７２は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、重み付けブロックマッチング動き探索部１７４に供給する。
前フレームデータ取得部１７３は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、重み付けブロックマッチング動き探索部１７４に供給する。
重み付けブロックマッチング動き探索部１７４は、絶対値誤差取得部１７１により取得された絶対値誤差（図７を用いて説明したマトリクス１６６に対応する情報）で画素位置ごとに重み付けを行い、現フレームデータと前フレームデータに対してブロックマッチングを行い、検出された第２の動きベクトルを出力する。
具体的には、図９に示されるように、前フレームデータであるフレーム１５１および現フレームデータであるフレーム１５２が、それぞれ所定のブロックに分割され、フレーム１５２の探索元であるブロック１６３に対して、対応するフレーム１５１のブロック１６１周辺の探索範囲１６２内とのマッチング処理が、絶対値誤差に基づいて重み付けされて実行される。したがって、第１の動きベクトルが、図６を用いて説明したように、人間の横方向の動きを検出したものであったのに対して、重み付けブロックマッチング動き探索部１７４においては、フレーム１８１に示されるように、例えば、手やボールの動きなど、第１の動きベクトルとは異なる縦方向や斜め方向の動きが、第２の動きベクトルとして検出される。
図１０は、最適動き決定部１１２の更に詳細な機能を示す機能ブロック図である。
最適動き決定部１１２は、第１の動き探索結果取得部２０１、第２の動き探索結果取得部２０２、前フレームデータ取得部２０３、現フレームデータ取得部２０４、第１の予測データ生成部２０５、第２の予測データ生成部２０６、第１の予測誤差検出部２０７、第２の予測誤差検出部２０８、および、最適動きフラグ検出部２０９で構成されている。
第１の動き探索結果取得部２０１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトルを取得し、第１の予測データ生成部２０５に供給する。
第２の動き探索結果取得部２０２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトルを取得し、第２の予測データ生成部２０６に供給する。
前フレームデータ取得部２０３は、ハイパスフィルタ１０６から供給された前フレームデータを取得し、第１の予測データ生成部２０５および第２の予測データ生成部２０６に供給する。
現フレームデータ取得部２０４は、ハイパスフィルタ１０７から供給された現フレームデータを取得し、第１の予測誤差検出部２０７および第２の予測誤差検出部２０８に供給する。
第１の予測データ生成部２０５は、第１の動き探索結果取得部２０１から供給された第１の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第１の動きベクトルを用いて復号処理を行った場合の画像データに対応する第１の予測データを生成し、第１の予測誤差検出部２０７に供給する。
第２の予測データ生成部２０６は、第２の動き探索結果取得部２０２から供給された第２の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第２の動きベクトルを用いて復号処理を行った場合の画像データに対応する第２の予測データを生成し、第２の予測誤差検出部２０８に供給する。
第１の予測誤差検出部２０７は、第１の予測データ生成部２０５から供給された第１の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第１の予測データと現フレームデータとの予測誤差である第１の予測誤差を検出し、最適動きフラグ検出部２０９に供給する。
第２の予測誤差検出部２０８は、第２の予測データ生成部２０６から供給された第２の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第２の予測データと現フレームデータとの予測誤差である第２の予測誤差を検出し、最適動きフラグ検出部２０９に供給する。
最適動きフラグ検出部２０９は、第１の予測誤差検出部２０７から供給された第１の予測誤差、および、第２の予測誤差検出部２０８から供給された第２の予測誤差を画素ごとに比較し、予測誤差が少ないのは、第１の予測データであるか第２の予測データであるかを判断し、ブロック内の画素ごとに、第１の動きベクトルを使うべきであるか、第２の動きベクトルを使うべきであるかを示す最適動きフラグを設定し、出力する。
図１１を参照して、最適動きフラグの設定について説明する。
第１の予測データ生成部２０５により第１の動きベクトルを用いて生成された第１の予測データに含まれるあるブロックがブロック２２１である場合、第１の予測誤差検出部２０７において、現フレームデータ取得部２０４により取得された現フレームデータの対応するブロック２２３とブロック２２１とが比較されて第１の予測誤差が検出される。そして、第２の予測データ生成部２０６により第２の動きベクトルを用いて生成された第２の予測データに含まれるあるブロックがブロック２２２である場合、第２の予測誤差検出部２０８において、現フレームデータ取得部２０４により取得された現フレームデータの対応するブロック２２３とブロック２２２とが比較されて第２の予測誤差が検出される。
例えば、第１の動きベクトルを使うべき画素位置にフラグ０が、第２の動きベクトルを使うべき画素位置にフラグ１が設定される場合、最適動きフラグ検出部２０９は、第１の予測誤差検出部２０７から供給された第１の予測誤差、および、第２の予測誤差検出部２０８から供給された第２の予測誤差を画素ごとに比較し、予測誤差が少ないのが第１の予測データである場合に対応する画素位置にフラグ０を設定し、予測誤差が少ないのが第２の予測データである場合に対応する画素位置にフラグ１を設定する。
図１１の動きフラグ２２４は、例えば、ブロック内の画素数が４×４である場合の最適動きフラグの例を示している。すなわち、図中右側のボールの動きは、ブロック２２１に示されるように、第１の動きベクトルで精度よく予測され、図中左側のボールの動きは、ブロック２２２に示されるように、第２の動きベクトルで精度よく予測されるので、それぞれの画素位置に、対応するフラグが設定される。
なお、ここでは、各ブロックの画素位置ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるべきかを示す最適動きフラグを生成するものとして説明したが、最適動きフラグは、画素単位で設定する以外にも、例えば、２×２や３×３などの所定の範囲内の複数の画素における最適動きフラグとして設定するようにしても良い。
次に、図１２は、最適近傍予測フィルタ最小自乗設計部１１３の更に詳細な機能を示す機能ブロック図である。
最適近傍予測フィルタ最小自乗設計部１１３は、第１の動き探索結果取得部２４１、第２の動き探索結果取得部２４２、最適動きフラグ取得部２４３、前フレームデータ取得部２４４、現フレームデータ取得部２４５、第１のタップ抽出部２４６、第２のタップ抽出部２４７、第１の近傍予測フィルタ係数算出部２４８、および、第２の近傍予測フィルタ係数算出部２４９で構成されている。
第１の動き探索結果取得部２４１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトルを取得し、第１のタップ抽出部２４６に供給する。
第２の動き探索結果取得部２４２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトルを取得し、第２のタップ抽出部２４７に供給する。
最適動きフラグ取得部２４３は、最適動き決定部１１２から供給された最適動きフラグを取得し、第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９に供給する。
前フレームデータ取得部２４４は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、第１のタップ抽出部２４６および第２のタップ抽出部２４７に供給する。
現フレームデータ取得部２４５は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９に供給する。
第１のタップ抽出部２４６は、第１の動き探索結果取得部２４１から第１の動きベクトルの供給を受け、第１の近傍予測フィルタ係数算出部２４８から指定された注目画素に対して、第１の動きベクトルに基づいて予測される画素位置の周辺の複数画素を第１のタップとし、第１のタップのそれぞれの位置の情報と第１のタップに対応する画素値を抽出し、第１の近傍予測フィルタ係数算出部２４８に供給する。
第２のタップ抽出部２４７は、第２の動き探索結果取得部２４２から第２の動きベクトルの供給を受け、第２の近傍予測フィルタ係数算出部２４９から指定された注目画素に対して、第２の動きベクトルに基づいて予測される画素位置の周辺の複数画素を第２のタップとし、第２のタップのそれぞれの位置の情報と第２のタップに対応する画素値を抽出し、第２の近傍予測フィルタ係数算出部２４９に供給する。
例えば、第１のタップおよび第２のタップとして、５つの画素が抽出される場合、図１３に示されるように、第１の動きベクトルまたは第２の動きベクトルにあわせて、注目画素に対応する画素と、その周辺画素との５つの画素が、第１のタップまたは第２のタップとして抽出されて、それぞれの位置情報と、タップの位置に対応する画素値が、第１の近傍予測フィルタ係数算出部２４８または第２の近傍予測フィルタ係数算出部２４９に供給される。
なお、図１３においては、注目画素に対応して予測される画素位置と、その上下左右に隣接する５つの画素を、予測フィルタを算出するための周辺画素として選択するものとして説明したが、予測フィルタを算出するための周辺画素は、これに限らず、例えば、５つ以外の数の画素を抽出することができるようにしても良いし、斜めの位置に隣接する画素や、隣接する２つ以上の連続する画素、または、隣接しない周辺画素などを、予測フィルタを算出するための周辺画素として選択することができるようにしても良い。
第１の近傍予測フィルタ係数算出部２４８は、現フレームデータ取得部２４５から現フレームの供給を受け、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第１の動きフラグを使用するべき画素を注目画素とする。そして、第１の近傍予測フィルタ係数算出部２４８は、第１のタップ抽出部２４６に注目画素に対応する第１のタップを要求して、第１のタップに対応するそれぞれの位置における画素値を取得する。
そして、第１の近傍予測フィルタ係数算出部２４８は、第１の動きフラグを使用するべきそれぞれの画素において、次の式（３）を求める。
Figure 0004591767
 ・・・（３）
ここで、ｆt（ｘ、ｙ）は、現フレームの注目画素の画素値であり、ｆt-1（ｘ、ｙ）は、前フレームの対応する第１のタップのそれぞれの位置の画素値を示す。式（３）のａ1乃至ａ5は、第１の動きベクトルに対応する予測係数である。
そして、第１の近傍予測フィルタ係数算出部２４８は、式（３）を基に、最小自乗法を用いて、第１の動きベクトルに対する予測係数ａ1乃至ａ5の最適の値を算出し、最適フィルタ係数として出力する。
第２の近傍予測フィルタ係数算出部２４９は、現フレームデータ取得部２４５から現フレームの供給を受け、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第２の動きフラグを使用するべき画素を注目画素とする。そして、第２の近傍予測フィルタ係数算出部２４９は、第２のタップ抽出部２４７に注目画素に対応する第２のタップを要求して、第２のタップに対応するそれぞれの位置における画素値を取得する。
そして、第２の近傍予測フィルタ係数算出部２４９は、第２の動きフラグを使用するべきそれぞれの画素において、次の式（４）を求める。
Figure 0004591767
 ・・・（４）
ここで、ｆt（ｘ、ｙ）は、現フレームの注目画素の画素値であり、ｆt-1（ｘ、ｙ）は、前フレームの対応する第２のタップのそれぞれの位置の画素値を示す。式（３）のｂ1乃至ｂ5は、第２の動きベクトルに対応する予測係数である。
第２の近傍予測フィルタ係数算出部２４９は、式（４）を基に、最小自乗法を用いて、第２の動きベクトルに対する予測係数ｂ1乃至ｂ5の最適の値を算出し、最適フィルタ係数として出力する。
以上説明したように、符号化部８２においては、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、並びに、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5および第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5を生成して符号メモリ１１０に一時記憶させ、符号出力部１１５から出力するとともに、デコーダ１１４においてデコードさせて、次のフレーム符号化に利用する。
次に、図１４は、図３のデコーダ１１４の更に詳細な機能を示す機能ブロック図である。
デコーダ１１４は、基準フレームデコーダ２７１、フレームメモリ２７２、動き対象位置算出部２７３、画素切り出し部２７４、係数選択部２７５、フィルタ係数乗算部２７６、および、フレームメモリ２２７で構成されている。
基準フレームデコーダ２７１は、基準フレームの符号を取得し、基準フレームを復号して出力するとともに、フレームメモリ２７２に供給する。
フレームメモリ２７２は、基準フレームデコーダ２７１から供給された、復号された基準フレーム、または、後述するフレームメモリ２７７から供給された、復号された基準フレーム以外のフレームの供給を受け、これを一時保持し、画素切り出し部２７４に供給する。
すなわち、デコーダ１１４においては、フレーム内符号化された基準フレームと、その他のフレームの動き成分である、上述した、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、並びに、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5および第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5の供給を受け、復号処理が行われるようになされている。したがって、図１５に示されるように、基準フレームは、基準フレームデコーダ２７１において、フレーム内での復号処理が行われ、動き成分を符号として供給されている基準フレーム以外のフレームは、前のフレームの復号結果を基に、復号処理が行われるようになされている。
動き対象位置算出部２７３は、第１の動きベクトル、第２の動きベクトル、および、最適動きフラグの供給を受け、画素ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるかを決定し、注目画素の動き対象位置を算出し、画素切り出し部２７４に供給する。
画素切り出し部２７４は、フレームメモリ２７２に保持されている、一つ前の復号画像データを読み出し、動き対象位置算出部２７３から供給される動き対象位置の周辺画素を、符号化時に近傍予測フィルタ係数を設定したときに用いたタップと同様に（例えば、図１３に示される５タップ）設定して切り出し、フィルタ係数乗算部２７６に供給する。
係数選択部２７５は、最適動きフラグと最適フィルタ係数の供給を受け、注目画素を予測するためのフィルタ係数として、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5または第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5のいずれを用いるかを決定し、フィルタ係数乗算部２７６に供給する。
フィルタ係数乗算部２７６は、画素切り出し部２７４から、最適な動きベクトルを基に抽出された周辺画素（例えば、５タップ）の供給を受け、係数選択部２７５から供給されたフィルタ係数を乗算して注目画素の画素値を求める。フィルタ係数乗算部２７６は、このようにして求められた１フレーム分の画素値、すなわち、復号された画像データを、フレームメモリ２２７に供給する。
フレームメモリ２２７は、フィルタ係数乗算部２７６から供給された復号された画像データを保持し、復号結果として出力するとともに、次のフレームの復号に用いるため、フレームメモリ２７２に供給して保持させる。
デコーダ１１４から出力される復号結果は、フレームメモリ１０４に供給され、次のフレームの符号化に用いられる。
図３乃至図１５を用いて説明したようにして、符号化部８２においてフレームデータが符号化される。
次に、図１６は、図２の復号部８４の更に詳細な構成を示す機能ブロック図である。
なお、図１４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図１６の復号部８４は、図１４のデコーダ１１４と基本的に同様の構成および機能を有しており、同様の処理を実行するものである。
なお、図２の再生機６１が、符号化部８２により符号化され、記録部８３により所定の記録媒体に記録された画像データを再生することができるようになされている場合、復号部７１も、図１６に示される復号部８４と基本的に同様の構成および機能を有しており、同様の処理を実行することができるようになされている。
次に、図１７のフローチャートを参照して、符号化部８２が実行する符号化処理について説明する。
ステップＳ１において、基準フレーム抽出部１０１は、供給されたフレームデータは、基準フレームであるか否かを判断する。ステップＳ１において、基準フレームではないと判断された場合、処理は、後述するステップＳ６に進む。
このとき供給されたフレーム画像データは、再生機６１の復号部７１で復号され、Ｄ／Ａ変換部７２でアナログデータに変換されて、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データが伝送されて、Ａ／Ｄ変換部８１において、デジタルの画像データに変換されたものである。したがって、ステップＳ１において供給されたフレームデータには、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１のデータ変換処理の過程で、または、その間の伝送路上で、例えば、上述したアナログノイズなどのノイズ成分が付加されている。
なお、上述したように、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１において、ノイズ成分が積極的に付加されている場合もある。そのような場合、ステップＳ１の前の段階において、Ａ／Ｄ変換部８１は、供給されたアナログの画像データをデジタルの画像データに変換するとともに、ノイズ成分を付加する処理を実行し、ノイズ成分が付加されたデジタルの画像データを、符号化部８２に供給する。
ステップＳ１において、基準フレームであると判断された場合、ステップＳ２において、基準フレーム抽出部１０１は、供給されたフレームデータを、基準フレーム符号化部１０２に供給するので、基準フレーム符号化部１０２は、例えば、ＪＰＥＧやＡＤＲＣなどのフレーム内符号化方法を用いて、供給された基準フレームを符号化し、基準フレームデコータ１０３、デコーダ１１４、および、符号出力部１１５に供給する。
ステップＳ３において、符号出力部１１５は、符号化された基準フレームを出力する。
ステップＳ４において、基準フレームデコーダ１０３は、供給された基準フレームをデコードし、フレームメモリ１０４に供給する。
ステップＳ５において、フレームメモリ１０４は、基準フレームデコーダ１０３においてデコードされた基準フレームをキャッシュし、処理は、後述するステップＳ１７に進む。
ステップＳ１において、基準フレームではないと判断された場合、ステップＳ６において、基準フレーム抽出部１０１は、供給されたフレームデータを、フレームメモリ１０５に供給する。そして、フレームメモリ１０５は、供給されたフレームデータをハイパスフィルタ１０６に、フレームメモリ１０４は、保存されているフレームデータをハイパスフィルタ１０７に、それぞれ供給するので、ハイパスフィルタ１０６は現フレームにハイパスフィルタをかけて、ブロックマッチング動き探索部１０８、絶対値誤差算出部１０９、評価値変更ブロックマッチング動き探索部１１１、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給し、ハイパスフィルタ１０７は前フレームにハイパスフィルタをかけて、ブロックマッチング動き探索部１０８、評価値変更ブロックマッチング動き探索部１１１、最適動き決定部１１２、および、最適近傍予測フィルタ最小自乗設計部１１３に供給する。
ステップＳ７において、ブロックマッチング動き探索部１０８は、供給されたフレームから、未処理ブロックのいずれかを選択する。
ステップＳ８において、ブロックマッチング動き探索部１０８は、第１の動きベクトルの探索処理を実行する。具体的には、ブロックマッチング動き探索部１０８は、図６を用いて説明したように、現フレームデータであるフレーム１５２のうちの選択された探索元であるブロック１６３に対して、対応する前フレームデータのブロック１６１周辺の探索範囲１６２内とのマッチング処理を実行し、第１の動きベクトルを算出し、算出された第１の動きベクトルを、符号メモリ１１０、最適動き決定部１１２、および最適近傍予測フィルタ最小自乗設計部１１３に供給する。
ステップＳ９において、ブロックマッチング動き探索部１０８は、算出された第１の動きベクトルと前フレームデータから、予測フレームを算出し、絶対値算出部１０９に供給するので、絶対値誤差算出部１０９は、ブロックマッチング動き探索部１０８から供給された予測フレームと、ハイパスフィルタ１０６から供給された現フレームデータを基に、ブロックマッチング動き探索部１０８により実行された第１の動きベクトル探索処理の絶対値誤差（例えば、図７を用いて説明したマトリクス１６６に対応する情報）を算出し、評価値変更ブロックマッチング動き探索部１１１に供給する。
ステップＳ１０において、図１８を用いて後述する評価値変更ブロックマッチング動き探索処理が実行される。
ステップＳ１１において、図１９を用いて後述する最適動き決定処理が実行される。
ステップＳ１２において、図２０を用いて後述する最適フィルタ係数算出処理が実行される。
ステップＳ１３において、デコーダ１１４または符号出力部１１５は、フレーム内のすべてのブロックの処理が終了され、符号メモリ１１０に、１フレーム分の符号が記録されたか否かを判断する。ステップＳ１３において、フレーム内のすべてのブロックの処理が終了されていないと判断された場合、処理は、ステップＳ７に戻り、それ以降の処理が繰り返される。
ステップＳ１３において、フレーム内のすべてのブロックの処理が終了されたと判断された場合、ステップＳ１４において、符号出力部１１５は、符号メモリ１１０から１フレーム分の符号を読み出して、符号データを出力する。
ステップＳ１５において、図２１を用いて後述する復号処理が、デコーダ１１４において実行される。
ステップＳ１６において、フレームメモリ１０４は、デコーダ１１４から供給された、デコードされたフレームデータをキャッシュする。
ステップＳ１７において、基準フレーム抽出部１０１は、最後のフレームの処理が終了したか否かを判断する。ステップＳ１７において、最後のフレームの処理が終了していないと判断された場合、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。ステップＳ１７において、最後のフレームの処理が終了したと判断された場合、処理は終了される。
このような処理により、符号化部８２においてフレームデータが符号化される。
次に、図１８のフローチャートを参照して、図１７のステップＳ１０において実行される、評価値変更ブロックマッチング動き探索処理について説明する。
ステップＳ３１において、評価値変更ブロックマッチング動き探索部１１１の絶対値誤差取得部１７１は、絶対値誤差算出部１０９から供給された、第１の動きベクトルの探索処理結果と得られるべき画像との絶対値誤差（例えば、図７を用いて説明したマトリクス１６６に対応する情報）を取得し、重み付けブロックマッチング動き探索部１７４に供給する。
ステップＳ３２において、現フレームデータ取得部１７２は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、前フレームデータ取得部１７３は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、それぞれ、重み付けブロックマッチング動き探索部１７４に供給する。
ステップＳ３３において、重み付けブロックマッチング動き探索部１７４は、絶対値誤差取得部１７１により取得された絶対値誤差に対応する重み付けを施して、現フレームデータと前フレームデータに対してブロックマッチングを行い、第２の動きベクトルの探索処理を実行し、探索結果として第２の動きベクトルを出力する。具体的には、重み付けブロックマッチング動き探索部１７４は、図９を用いて説明したように、現フレームデータであるフレーム１５２の探索元であるブロック１６３に対して、対応する前フレームデータのフレーム１５１のブロック１６１周辺の探索範囲１６２内とのマッチング処理を、絶対値誤差に基づいた重み付けに基づいて実行する。ステップＳ３３の処理の終了後、処理は、図１７のステップＳ１０に戻り、ステップＳ１１に進む。
このような処理により、通常のブロックマッチングとは異なる方法でブロックマッチングが行われ、通常のブロックマッチングによって求められる第１の動きベクトルとは異なる第２の動きベクトルが探索される。
次に、図１９のフローチャートを参照して、図１７のステップＳ１１において実行される、最適動き決定処理について説明する。
ステップＳ５１において、最適動き決定部１１２の第１の動き探索結果取得部２０１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトル探索結果を取得して、第１の予測データ生成部２０５に供給し、第２の動き探索結果取得部２０２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトル探索結果を取得して、第２の予測データ生成部２０６に供給する。
ステップＳ５２において、前フレームデータ取得部２０３は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、第１の予測データ生成部２０５および第２の予測データ生成部２０６に供給する。
ステップＳ５３において、第１の予測データ生成部２０５は、第１の動き探索結果取得部２０１から供給された第１の動きベクトル探索結果である第１の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第１の動きベクトルを用いて復号処理を行った場合の画像データに対応する第１の予測データを生成し、第１の予測誤差検出部２０７に供給する。
ステップＳ５４において、第２の予測データ生成部２０６は、第２の動き探索結果取得部２０２から供給された第２の動きベクトル探索結果である第２の動きベクトル、および、前フレームデータ取得部２０３から供給された前フレームデータを取得し、第２の動きベクトルを用いて復号処理を行った場合の画像データに対応する第２の予測データを生成し、第２の予測誤差検出部２０８に供給する。
ステップＳ５５において、現フレームデータ取得部２０４は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、第１の予測誤差検出部２０７および第２の予測誤差検出部２０８に供給する。
ステップＳ５６において、第１の予測誤差検出部２０７は、第１の予測データ生成部２０５から供給された第１の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第１の予測データと現フレームデータとの予測誤差である第１の予測誤差を画素ごとに検出し、最適動きフラグ検出部２０９に供給する。
ステップＳ５７において、第２の予測誤差検出部２０８は、第２の予測データ生成部２０６から供給された第２の予測データ、および、現フレームデータ取得部２０４から供給された現フレームデータを取得し、第２の予測データと現フレームデータとの予測誤差である第２の予測誤差を画素ごとに検出し、最適動きフラグ検出部２０９に供給する。
ステップＳ５８において、最適動きフラグ検出部２０９は、第１の予測誤差検出部２０７から供給された第１の予測誤差、および、第２の予測誤差検出部２０８から供給された第２の予測誤差を画素ごとに比較し、予測誤差が少ないのは、第１の予測データであるか第２の予測データであるかを判断し、ブロック内の画素ごとに、第１の動きベクトルを使うべきであるか、第２の動きベクトルを使うべきであるかを示す最適動きフラグを検出して出力し、処理は、図１７のステップＳ１１に戻り、ステップＳ１２に進む。
このような処理により、ブロック内のそれぞれの画素を復号するに当たって、第１の動きベクトルを使うべきであるか、第２の動きベクトルを使うべきであるかを示す最適動きフラグが生成されて、出力される。
次に、図２０のフローチャートを参照して、図１７のステップＳ１２において実行される、最適フィルタ係数算出処理について説明する。
ステップＳ８１において、最適近傍予測フィルタ最小自乗設計部１１３の第１の動き探索結果取得部２４１は、ブロックマッチング動き探索部１０８から供給された第１の動きベクトルを取得し、第１のタップ抽出部２４６に供給し、第２の動き探索結果取得部２４２は、評価値変更ブロックマッチング動き探索部１１１から供給された第２の動きベクトルを取得し、第２のタップ抽出部２４７に供給する。
ステップＳ８２において、前フレームデータ取得部２４４は、ハイパスフィルタ１０７から供給された前フレームデータを取得し、第１のタップ抽出部２４６および第２のタップ抽出部２４７に供給し、現フレームデータ取得部２４５は、ハイパスフィルタ１０６から供給された現フレームデータを取得し、第１の近傍予測フィルタ係数算出部２４８および第２の近傍予測フィルタ係数算出部２４９に供給する。
ステップＳ８３において、第１の近傍予測フィルタ係数算出部２４８は、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第１の動きフラグを使用するべき画素を注目画素として、第１のタップ抽出部２４６に注目画素に対応する第１のタップを要求する。そして、第１のタップ抽出部２４６は、第１の動き探索結果取得部２４１から供給された第１の動きベクトル探索結果である第１の動きベクトルを基に、前フレームデータ取得部２４４により抽出された前フレームデータから、フィルタ検出用の所定数の第１のタップのそれぞれの位置と対応する画素値を抽出し、第１の近傍予測フィルタ係数算出部２４８に供給する。
ステップＳ８４において、第１の近傍予測フィルタ係数算出部２４８は、抽出された第１のタップを基に、現フレームデータの対象となる画素値と、予測タップの画素値との関係式である、上述した式（３）を作成する。
ステップＳ８５において、第１の近傍予測フィルタ係数算出部２４８は、最小自乗法を用いて、第１の近傍予測フィルタ係数を算出して出力する。
ステップＳ８６において、第２の近傍予測フィルタ係数算出部２４９は、最適動きフラグ取得部２４３から供給される最適動きフラグを基に、第２の動きフラグを使用するべき画素を注目画素として、第２のタップ抽出部２４７に注目画素に対応する第１のタップを要求する。そして、第２のタップ抽出部２４７は、第２の動き探索結果取得部２４２から供給された第２の動きベクトル探索結果である第２の動きベクトルを基に、前フレームデータ取得部２４４により抽出された前フレームデータから、フィルタ検出用の所定数の第１のタップのそれぞれの位置と対応する画素値を抽出し、第２の近傍予測フィルタ係数算出部２４９に供給する。
ステップＳ８７において、第２の近傍予測フィルタ係数算出部２４９は、抽出された第２のタップを基に、現フレームデータの対象となる画素値と、予測タップの画素値との関係式である、上述した式（４）を作成する。
ステップＳ８８において、第２の近傍予測フィルタ係数算出部２４９は、最小自乗法を用いて、第２の近傍予測フィルタ係数を算出して出力し、処理は、図１７のステップＳ１２に戻り、ステップＳ１３に進む。
このような処理により、最適近傍予測フィルタ最小自乗設計部１１３は、第１の動きベクトルに対する予測係数ａ1乃至ａ5の最適の値、および、第２の動きベクトルに対する予測係数ｂ1乃至ｂ5の最適の値を算出し、最適フィルタ係数として出力することができる。
次に、図２１のフローチャートを参照して、図１７のステップＳ１５において実行されるとともに、復号部８４または復号部７１において実行される復号処理について説明する。
ステップＳ１１１において、デコーダ１１４、復号部８４、または復号部７１は、供給された符号化フレームは、基準フレームであるか否かを判断する。ステップＳ１１１において、基準フレームではないと判断された場合、処理は、ステップＳ１１４に進む。
なお、供給された符号化フレームが、上述した符号化処理により符号化されたフレームデータである場合、そのフレームデータには、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、または、Ｄ／Ａ変換部８５のデータ変換処理の過程で、または、その間の伝送路上で、例えば、上述したアナログノイズなどのノイズ成分が付加されている。
ステップＳ１１１において、基準フレームであると判断された場合、ステップＳ１１２において、デコーダ１１４、復号部８４、または復号部７１の基準フレームデコーダ２７１は、供給された基準フレームを復号する。
なお、復号処理では、以下の処理においても、デコーダ１１４、復号部８４、または復号部７１のうちのいずれにおいても同様の処理が実行されるので、デコーダ１１４、復号部８４、または復号部７１という記載は必要に応じて省略する。
ステップＳ１１３において、基準フレームデコーダ２７１は、復号された基準フレームを出力するとともに、フレームメモリ２７２に供給する。フレームメモリ２７２は、供給されたフレームデータをキャッシュし、処理は、後述するステップＳ１２２に進む。
ステップＳ１１１において、基準フレームではないと判断された場合、ステップＳ１１４において、動き対象位置算出部２７３は、供給された、基準フレーム以外のフレームの符号化データのうち、未処理ブロックのいずれかを選択する。
第ステップＳ１１５において、動き対象位置算出部２７３は、１の動きベクトル、および、第２の動きベクトル、並びに、最適動きフラグを基に、画素ごとに、第１の動きベクトルと第２の動きベクトルとのいずれを用いるかを決定し、注目画素の動き対象位置を算出して、画素切り出し部２７４に供給する。
ステップＳ１１６において、画素切り出し部２７４は、フレームメモリ２７２に保持されている、一つ前の復号画像データ（すなわち、前フレームデータ）から、符号化時に近傍予測フィルタ係数を設定したときに用いたタップ（例えば、図１３に示される５タップ）と同様に、注目画素の周辺画素を設定し、その画素値を取得して、フィルタ係数乗算部２７６に供給する。
ステップＳ１１７において、係数選択部２７５は、供給された最適動きフラグに基づいて、フィルタ乗算部２７６の演算に用いる最適フィルタ係数を、画素ごとに選択し、フィルタ係数乗算部２７６に供給する。
ステップＳ１１８において、フィルタ係数乗算部２７６は、画素切り出し部２７４から供給された周辺画素の画素値に係数選択部２７５から供給されたフィルタ係数を乗算して合計することにより、注目画素の画素値を求める。フィルタ係数乗算部２７６は、画素値とフィルタ係数との乗算結果の合計によって得られた画素値、すなわち、復号された画像データの１画素分の画素値を、フレームメモリ２２７に供給する。
ステップＳ１１９において、デコーダ１１４、復号部８４、または復号部７１は、ブロック内のすべての画素の処理が終了されたか否かを判断する。ステップＳ１１９において、ブロック内のすべての画素の処理が終了されていないと判断された場合、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。
ステップＳ１１９において、ブロック内のすべての画素の処理が終了されたと判断された場合、ステップＳ１２０において、デコーダ１１４、復号部８４、または復号部７１は、フレーム内のすべてのブロックの処理が終了されたか否かを判断する。ステップＳ１２０において、フレーム内のすべてのブロックの処理が終了されていないと判断された場合、処理は、ステップＳ１１４に戻り、それ以降の処理が繰り返される。
ステップＳ１２０において、フレーム内のすべてのブロックの処理が終了されたと判断された場合、ステップＳ１２１において、フレームメモリ２７７は、１フレーム分の復号結果を出力するとともに、フレームメモリ２７２に供給する。フレームメモリ２７２は供給された復号結果をキャッシュする。
ステップＳ１１３またはステップＳ１２１の処理の終了後、ステップＳ１２２において、デコーダ１１４、復号部８４、または復号部７１は、最後のフレームの処理が終了したか否かを判断する。ステップＳ１２１において、最後のフレームの処理が終了していないと判断された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。ステップＳ１２１において、最後のフレームの処理が終了したと判断された場合、復号部８４、または復号部７１の処理は終了され、デコーダ１１４が復号処理を実行している場合、処理は、図１７のステップＳ１５に戻り、ステップＳ１６に進む。
このような処理により、フレーム内符号化された基準フレームと、その他のフレームの動き成分、すなわち、上述した、第１の動きベクトル、第２の動きベクトル、最適動きフラグ、並びに、第１の動きフラグに対応する最適フィルタ係数ａ1乃至ａ5および第２の動きフラグに対応する最適フィルタ係数ｂ1乃至ｂ5で構成される符号化フレームを復号することができる。
なお、上述したように、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５において、例えば、上述したアナログノイズなどのノイズ成分が積極的に付加されている場合もある。そのような場合、復号部７１または復号部８４において復号処理が行われた後、換言すれば、ステップＳ１２２の後の段階において、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５は、供給されたデジタルの画像データをアナログの画像データに変換するとともに、ノイズ成分を付加する処理を実行する。
以上説明した処理により、符号化フレームデータに残差情報を含めることなく、符号化および復号処理を行うことができる。図２を用いて説明した画像表示システム５１において、復号部７１で復号されて出力される画像データは、Ｄ／Ａ変換部７２においてアナログ画像信号に変換され、伝送される。伝送されたアナログデータは、ディスプレイ６２で表示されるか、Ａ／Ｄ変換部８１でデジタルデータに変換されて、符号化装置６３に供給される。
すなわち、符号化装置６３に供給される画像は、Ｄ／Ａ変換部７２やＡ／Ｄ変換部８１の変換処理により、または、データの伝送途中において、ノイズが付加された画像である。
従来の符号化における場合のように、符号化情報に動き残差が含まれていた場合、Ｄ／Ａ変換部７２やＡ／Ｄ変換部８１の変換処理により、または、データの伝送途中において、ノイズが付加されても、残差情報を基に、画像の劣化を防ぐことができるようになされている。
しかしながら、本発明を適用した場合、符号化フレームデータに残差情報を含めずに、符号化および復号処理を行うことができるので、Ｄ／Ａ変換部７２やＡ／Ｄ変換部８１の変換処理により、または、データの伝送途中において、ノイズが付加されることにより、再生機６１から出力されるアナログ画像信号を、良好な画質を維持したまま記録媒体に記録する（ダビングする、コピーする）ことができなくなる。
更に、符号化装置６３には、図３を用いて説明したように、ハイパスフィルタ１０６およびハイパスフィルタ１０７が設けられ、エッジなどの元の画像の特徴を抽出するとともに、ノイズも強調するようになされている。したがって、画像を記録媒体に記録（いわゆる、ダビングまたはコピーを実行）し、再生させる場合、符号化処理および復号処理が繰り返されることにより、ノイズが強調され、画像は大きく劣化する。
すなわち、本発明を適用した画像表示システムによると、再生機６１から出力されるアナログ画像信号を、良好な画質を維持したまま記録媒体に記録する（ダビングする、コピーする）ことが不可能となる。
したがって、本発明を適用した図２の画像表示システム５１は、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような静止画像の符号化および復号が行われるような構成となっている。
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２を用いて説明した画像表示システムのすべてまたは一部は、図２２に示されるようなパーソナルコンピュータ３０１により構成される。
図２２において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
従来の画像表示システムの構成を示すブロック図である。 本発明を適用した、画像表示システムの構成を示すブロック図である。 図２の符号化部８２の更に詳細な構成を示すブロック図である。 基準フレームとその他のフレームについて説明するための図である。 ハイパスフィルタの処理について説明するための図である。 第１の動きベクトルについて説明するための図である。 絶対値誤差について説明するための図である。 図３の評価値変更ブロックマッチング動き探索部の更に詳細な構成を示すブロック図である。 第２の動きベクトルについて説明するための図である。 図３の最適動き決定部の更に詳細な構成を示すブロック図である。 最適動きフラグについて説明するための図である。 図３の最適近傍予測フィルタ最小自乗設計部の更に詳細な構成を示すブロック図である。 最適近傍予測フィルタ係数を算出するためのタップと動きベクトルとの関係について説明するための図である。 図３のデコーダの更に詳細な構成を示すブロック図である。 基準フレームと復号について説明するための図である。 図２の復号部８４の更に詳細な構成を示すブロック図である。 符号化処理について説明するためのフローチャートである。 評価値変更ブロックマッチング動き探索処理について説明するためのフローチャートである。 最適動き決定処理について説明するためのフローチャートである。 最適フィルタ係数算出処理について説明するためのフローチャートである。 復号処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。
符号の説明
５１ 画像表示システム， ６１ 再生機， ６２ 符号化装置， ７１ 復号部， ７２ Ｄ／Ａ変換部， ８１ Ａ／Ｄ変換部， ８２ 符号化部， ８３ 記録部， ８４ 復号部， ８５ Ｄ／Ａ変換部， ８６ ディスプレイ， １０１ 基準フレーム抽出部， １０２ 基準フレーム符号化部， １０３ 基準フレームデコーダ， １０４，１０５ フレームメモリ， １０６，１０７ ハイパスフィルタ， １０８ ブロックマッチング動き探索部， １０９ 絶対値誤差算出部， １１０ 符号メモリ， １１１ 評価値変更ブロックマッチング動き探索部， １１２ 最適動き決定部， １１３ 最適近傍予測フィルタ最小自乗設計部， １１４ デコーダ， １１５ 符号出力部， １７１ 絶対値誤差取得部， １７２ 現フレームデータ取得部， １７３ 前フレームデータ取得部， １７４ 重み付けブロックマッチング動き探索部， ２０１ 第１の動き探索結果取得部， ２０２ 第２の動き探索結果取得部， ２０３ 前フレームデータ取得部， ２０４ 現フレームデータ取得部， ２０５ 第１の予測データ生成部， ２０６ 第２の予測データ生成部， ２０７ 第１の予測誤差検出部， ２０８ 第２の予測誤差検出部， ２４１ 第１の動き探索結果取得部， ２４２ 第２の動き探索結果取得部， ２４３ 最適動きフラグ取得部， ２４４ 前フレームデータ取得部， ２４５ 現フレームデータ取得部， ２４６ 第１のタップ抽出部， ２４７ 第２のタップ抽出部， ２４８ 第１の近傍予測フィルタ係数算出部， ２４９ 第２の近傍予測フィルタ係数算出部， ２７１ 基準フレームデコーダ， ２７２ フレームメモリ， ２７３ 動き対象位置検出部， ２７４ 画素切り出し部， ２７５ 係数選択部， ２７６ フィルタ係数乗算部， ２７７ フレームメモリ

Claims (17)

  1. 複数のフレームデータからなる画像データの供給を受けて符号化する符号化装置において、
    第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータを用いて、前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、
    前記第１のフレームデータおよび前記第２のフレームデータを用いて、前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、
    前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、
    前記動きベクトル選択手段により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、
    前記抽出手段により抽出された前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、前記第１の係数の最適値を予測データとして算出する予測データ算出手段と、
    前記第１の動きベクトル推定手段により推定された前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて、前記第１の動きベクトルの前記処理ブロック内の画素ごとの検出誤差を算出する誤差算出手段と
    を備え、
    前記第１の動きベクトル推定手段は、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルを推定し、
    前記第２の動きベクトル推定手段は、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記誤差算出手段により算出された前記検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、前記第２の動きベクトルを推定する
    ことを特徴とする符号化装置。
  2. 前記第１のフレームデータおよび前記第２のフレームデータに対して、画像のエッジを強調させる処理を施す画像処理手段
    を更に備え、
    前記画像処理手段は、前記第１の動きベクトル推定手段、前記第２の動きベクトル推定手段、前記抽出手段、および前記誤差算出手段に、前記エッジが強調された前記第１のフレームデータを出力し、前記第１の動きベクトル推定手段、前記第２の動きベクトル推定手段、前記予測データ算出手段、および前記誤差算出手段に、前記エッジが強調された前記第２のフレームデータを出力する
    ことを特徴とする請求項１に記載の符号化装置。
  3. 前記画像処理手段は、ハイパスフィルタである
    ことを特徴とする請求項２に記載の符号化装置。
  4. 前記フレームデータにノイズを付加するノイズ付加手段
    を更に備え、
    前記ノイズ付加手段は、前記第１の動きベクトル推定手段、前記第２の動きベクトル推定手段、前記抽出手段、および前記誤差算出手段に、前記ノイズが付加された前記第１のフレームデータを出力し、前記第１の動きベクトル推定手段、前記第２の動きベクトル推定手段、前記予測データ算出手段、および前記誤差算出手段に、前記ノイズが付加された前記第２のフレームデータを出力する
    ことを特徴とする請求項１に記載の符号化装置。
  5. 前記抽出手段はまた、前記動きベクトル選択手段により選択されていない前記第１の動きベクトルと前記第２の動きベクトルのうちのいずれか一方に基づいて、前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を選択外画素値として抽出し、
    前記予測データ算出手段はまた、前記選択外画素値に対して画素ごとに第２の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、前記第２の係数の最適値を選択外予測データとして算出する
    ことを特徴とする請求項１に記載の符号化装置。
  6. 前記第２のフレームデータに対応する符号化結果を出力する出力手段を更に備え、
    前記出力手段は、
    前記第１の動きベクトル推定手段により推定された前記第１の動きベクトルと、
    前記第２の動きベクトル推定手段により推定された前記第２の動きベクトルと、
    前記動きベクトル選択手段による選択結果を示すデータと、
    前記予測データ算出手段により算出された前記予測データと
    を出力する
    ことを特徴とする請求項１に記載の符号化装置。
  7. 複数のフレームデータからなる画像データの供給を受けて符号化する符号化装置の符号化方法において、
    第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータを用いて、前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
    前記第１のフレームデータおよび前記第２のフレームデータを用いて、前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
    前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
    前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、前記所定の係数の最適値を予測データとして算出する予測データ算出ステップと、
    前記第１の動きベクトル推定ステップの処理により推定された前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて、前記第１の動きベクトルの前記処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップと
    を含み、
    前記第１の動きベクトル推定ステップでは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルを推定し、
    前記第２の動きベクトル推定ステップでは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記誤差算出ステップの処理により算出された前記検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、前記第２の動きベクトルを推定する
    ことを特徴とする符号化方法。
  8. 複数のフレームデータからなる画像データの供給を受けて符号化する処理をコンピュータに実行させるためのプログラムであって、
    第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータを用いて、前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
    前記第１のフレームデータおよび前記第２のフレームデータを用いて、前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
    前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
    前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、前記所定の係数の最適値を予測データとして算出する予測データ算出ステップと、
    前記第１の動きベクトル推定ステップの処理により推定された前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて、前記第１の動きベクトルの前記処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップと
    を含み、
    前記第１の動きベクトル推定ステップでは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルを推定し、
    前記第２の動きベクトル推定ステップでは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記誤差算出ステップの処理により算出された前記検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、前記第２の動きベクトルを推定する
    処理をコンピュータに実行させることを特徴とするプログラムが記録されたコンピュータにより読み取り可能な記録媒体。
  9. 複数のフレームデータからなる画像データの供給を受けて符号化する処理をコンピュータに実行させるためのプログラムであって、
    第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータを用いて、前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定ステップと、
    前記第１のフレームデータおよび前記第２のフレームデータを用いて、前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定ステップと、
    前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択ステップと、
    前記動きベクトル選択ステップの処理により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記第１のフレームデータの複数の画素の画素値に対して画素ごとに所定の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、前記所定の係数の最適値を予測データとして算出する予測データ算出ステップと、
    前記第１の動きベクトル推定ステップの処理により推定された前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて、前記第１の動きベクトルの前記処理ブロック内の画素ごとの検出誤差を算出する誤差算出ステップと
    を含み、
    前記第１の動きベクトル推定ステップでは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルを推定し、
    前記第２の動きベクトル推定ステップでは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記誤差算出ステップの処理により算出された前記検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、前記第２の動きベクトルを推定する
    ことを特徴とする処理をコンピュータに実行させるプログラム。
  10. 符号化された複数のフレームデータからなる画像データの供給を受けて復号する復号装置において、
    第１のフレームデータと、前記第１のフレームデータと異なる第２のフレームデータとを用いて推定された前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記第１のフレームデータと前記第２のフレームデータを用いて推定された前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報を、前記第２のフレームデータの符号化結果の一部として取得し、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、
    前記最適な動きベクトルに基づいて、前記第１のフレームデータの符号化結果から前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、
    前記最適な動きベクトルに基づいて抽出された前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された前記第１の係数の最適値である予測データを、前記第２のフレームデータの符号化結果の他の一部として取得し、前記予測データと前記抽出手段により抽出された前記第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を前記第２のフレームデータとして算出する算出手段と
    を備え、
    前記第１の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により推定され、
    前記第２の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて前記第１の動きベクトルの前記処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される
    ことを特徴とする復号装置。
  11. 前記算出手段により算出された前記第２のフレームデータに、ノイズを付加するノイズ付加手段
    を更に備えることを特徴とする請求項１０に記載の復号装置。
  12. 前記第２のフレームデータの符号化結果は、
    前記第１の動きベクトルと、
    前記第２の動きベクトルと、
    前記最適動きベクトル情報と、
    前記予測データと、
    前記第１の動きベクトルと第２の動きベクトルのうちの前記最適な動きベクトルではない方に基づいて抽出された前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第２の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された前記第２の係数の最適値である最適外予測データと
    を含む
    ことを特徴とする請求項１０に記載の復号装置。
  13. 符号化された複数のフレームデータからなる画像データの供給を受けて復号する復号装置の復号方法において、
    第１のフレームデータと、前記第１のフレームデータと異なる第２のフレームデータとを用いて推定された前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記第１のフレームデータと前記第２のフレームデータを用いて推定された前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報を、前記第２のフレームデータの符号化結果の一部として取得し、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
    前記最適な動きベクトルに基づいて、前記第１のフレームデータの符号化結果から前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、
    前記最適な動きベクトルに基づいて抽出された前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された前記第１の係数の最適値である予測データを、前記第２のフレームデータの符号化結果の他の一部として取得し、前記予測データと前記抽出ステップの処理により抽出された前記第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を前記第２のフレームデータとして算出する算出ステップと
    を含み、
    前記第１の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により推定され、
    前記第２の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて前記第１の動きベクトルの前記処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される
    ことを特徴とする復号方法。
  14. 符号化された複数のフレームデータからなる画像データの供給を受けて復号する処理をコンピュータに実行させるためのプログラムであって、
    第１のフレームデータと、前記第１のフレームデータと異なる第２のフレームデータとを用いて推定された前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記第１のフレームデータと前記第２のフレームデータを用いて推定された前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報を、前記第２のフレームデータの符号化結果の一部として取得し、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
    前記最適な動きベクトルに基づいて、前記第１のフレームデータの符号化結果から前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、
    前記最適な動きベクトルに基づいて抽出された前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された前記第１の係数の最適値である予測データを、前記第２のフレームデータの符号化結果の他の一部として取得し、前記予測データと前記抽出ステップの処理により抽出された前記第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を前記第２のフレームデータとして算出する算出ステップと
    を含み、
    前記第１の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により推定され、
    前記第２の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて前記第１の動きベクトルの前記処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される
    処理をコンピュータに実行させることを特徴とするプログラムが記録されたコンピュータにより読み取り可能な記録媒体。
  15. 符号化された複数のフレームデータからなる画像データの供給を受けて復号する処理をコンピュータに実行させるためのプログラムであって、
    第１のフレームデータと、前記第１のフレームデータと異なる第２のフレームデータとを用いて推定された前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記第１のフレームデータと前記第２のフレームデータを用いて推定された前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報を、前記第２のフレームデータの符号化結果の一部として取得し、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定ステップと、
    前記最適な動きベクトルに基づいて、前記第１のフレームデータの符号化結果から前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出ステップと、
    前記最適な動きベクトルに基づいて抽出された前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された前記第１の係数の最適値である予測データを、前記第２のフレームデータの符号化結果の他の一部として取得し、前記予測データと前記抽出ステップの処理により抽出された前記第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を前記第２のフレームデータとして算出する算出ステップと
    を含み、
    前記第１の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により推定され、
    前記第２の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて前記第１の動きベクトルの前記処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される
    ことを特徴とする処理をコンピュータに実行させるためのプログラム。
  16. 符号化部および復号部を含み、前記符号化部および前記復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
    前記符号化部は、
    第１のフレームデータ、および、前記第１のフレームデータと異なる第２のフレームデータを用いて、前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトルを推定する第１の動きベクトル推定手段と、
    前記第１のフレームデータおよび前記第２のフレームデータを用いて、前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトルを推定する第２の動きベクトル推定手段と、
    前記処理領域ごとに、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれかを選択する動きベクトル選択手段と、
    前記動きベクトル選択手段により選択された前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれか一方に基づいて、前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、
    前記抽出手段により抽出された前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に、最小自乗法を用いて、前記第１の係数の最適値を予測データとして算出する予測データ算出手段と、
    前記第１の動きベクトル推定手段により推定された前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて、前記第１の動きベクトルの前記処理ブロック内の画素ごとの検出誤差を算出する誤差算出手段と
    を備え、
    前記第１の動きベクトル推定手段は、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により、前記第１の動きベクトルを推定し、
    前記第２の動きベクトル推定手段は、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記誤差算出手段により算出された前記検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより、前記第２の動きベクトルを推定する
    ことを特徴とする画像処理システム。
  17. 符号化部および復号部を含み、前記符号化部および前記復号部において、複数のフレームデータで構成される画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
    前記復号部は、
    第１のフレームデータと、前記第１のフレームデータと異なる第２のフレームデータとを用いて推定された前記第１のフレームデータの複数の処理領域を有する処理ブロックにおける第１の動きベクトル、前記第１のフレームデータと前記第２のフレームデータを用いて推定された前記処理ブロックにおける前記第１の動きベクトルとは異なる第２の動きベクトル、および、前記第１の動きベクトルと前記第２の動きベクトルとのうちのいずれを復号に用いるのが最適であるかを前記処理領域ごとに示す最適動きベクトル情報を、前記第２のフレームデータの符号化結果の一部として取得し、前記処理ブロックの前記処理領域ごとに最適な動きベクトルを決定する動きベクトル決定手段と、
    前記最適な動きベクトルに基づいて、前記第１のフレームデータの符号化結果から前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値を抽出する抽出手段と、
    前記最適な動きベクトルに基づいて抽出された前記処理領域に対応する前記第１のフレームデータの複数の画素の画素値に対して画素ごとに第１の係数を乗算した値の和と、前記処理領域に対応する前記第２のフレームデータの画素値との関係を基に最小自乗法を用いて算出された前記第１の係数の最適値である予測データを、前記第２のフレームデータの符号化結果の他の一部として取得し、前記予測データと前記抽出手段により抽出された前記第１のフレームデータの複数の画素の画素値を画素ごとに乗算した値の和を前記第２のフレームデータとして算出する算出手段と
    を備え、
    前記第１の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対するブロックマッチング処理により推定され、
    前記第２の動きベクトルは、前記第１のフレームデータおよび前記第２のフレームデータに対して、探索範囲内の各ブロックの画素ごとの誤差の総和を、前記第１の動きベクトル、前記第１のフレームデータ、および前記第２のフレームデータに基づいて前記第１の動きベクトルの前記処理ブロック内の画素ごとに算出された検出誤差に基づいて画素ごとに誤差を重み付けすることにより得るブロックマッチング処理を行うことにより推定される
    ことを特徴とする画像処理システム。
JP2005053877A 2005-02-28 2005-02-28 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム Expired - Fee Related JP4591767B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005053877A JP4591767B2 (ja) 2005-02-28 2005-02-28 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005053877A JP4591767B2 (ja) 2005-02-28 2005-02-28 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2006238372A JP2006238372A (ja) 2006-09-07
JP2006238372A5 JP2006238372A5 (ja) 2007-10-11
JP4591767B2 true JP4591767B2 (ja) 2010-12-01

Family

ID=37045488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005053877A Expired - Fee Related JP4591767B2 (ja) 2005-02-28 2005-02-28 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4591767B2 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03266580A (ja) * 1990-03-15 1991-11-27 Nec Corp 動ベクトル検出方式
JPH06176151A (ja) * 1992-12-08 1994-06-24 Sony Corp 画像の動き量検出装置
JPH0785287A (ja) * 1993-06-29 1995-03-31 Sony Corp 予測符号化装置およびその復号装置
JP2000050279A (ja) * 1998-07-29 2000-02-18 Kdd Corp 動画像の領域分割符号化装置
JP2000324495A (ja) * 1999-05-07 2000-11-24 Sony Corp フィールド周波数変換装置および変換方法
JP2002051340A (ja) * 2000-08-01 2002-02-15 Matsushita Electric Ind Co Ltd 動画像圧縮装置及びその方法
JP2002084413A (ja) * 2000-06-28 2002-03-22 Oki Electric Ind Co Ltd 画像処理方法，画像処理装置，画像符号化装置，及び，画像復号化装置
JP2004173013A (ja) * 2002-11-20 2004-06-17 Sony Corp 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03266580A (ja) * 1990-03-15 1991-11-27 Nec Corp 動ベクトル検出方式
JPH06176151A (ja) * 1992-12-08 1994-06-24 Sony Corp 画像の動き量検出装置
JPH0785287A (ja) * 1993-06-29 1995-03-31 Sony Corp 予測符号化装置およびその復号装置
JP2000050279A (ja) * 1998-07-29 2000-02-18 Kdd Corp 動画像の領域分割符号化装置
JP2000324495A (ja) * 1999-05-07 2000-11-24 Sony Corp フィールド周波数変換装置および変換方法
JP2002084413A (ja) * 2000-06-28 2002-03-22 Oki Electric Ind Co Ltd 画像処理方法，画像処理装置，画像符号化装置，及び，画像復号化装置
JP2002051340A (ja) * 2000-08-01 2002-02-15 Matsushita Electric Ind Co Ltd 動画像圧縮装置及びその方法
JP2004173013A (ja) * 2002-11-20 2004-06-17 Sony Corp 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法

Also Published As

Publication number Publication date
JP2006238372A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
US6834345B2 (en) Method for data preparation and watermark insertion
KR101168500B1 (ko) 멀티미디어 컨텐츠에 워터마크 정보를 동적으로 임베딩하는 방법, 장치 및 시스템
US7957471B2 (en) Encoding apparatus and method, decoding apparatus and method, image processing system and method, and recording medium
JP2009514305A (ja) 情報信号にデータを埋め込む方法
US20020097891A1 (en) Electronic watermarking data insertion/detection device
US7564973B2 (en) Digital watermark embedding device and digital watermark embedding method
US20090161947A1 (en) Image processing device and method, learning device and method, program, and recording medium
JP4591767B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2004048219A (ja) 電子透かし情報の挿入方法
JP2007501561A (ja) ブロックアーティファクトの検出
JP2006217403A (ja) 符号化装置および方法、復号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4556694B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4716086B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
CN1822676B (zh) 编码设备和方法、解码设备和方法、图像处理系统和方法
JP4552677B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4715222B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4770711B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2003244696A (ja) 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム
JP4697519B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4573110B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4577043B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2005151385A (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP4696577B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP4556125B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2009282556A (ja) 信号処理装置および画像表示装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees