JP4881270B2 - フィルタ演算器及び動き補償装置 - Google Patents

フィルタ演算器及び動き補償装置 Download PDF

Info

Publication number
JP4881270B2
JP4881270B2 JP2007249082A JP2007249082A JP4881270B2 JP 4881270 B2 JP4881270 B2 JP 4881270B2 JP 2007249082 A JP2007249082 A JP 2007249082A JP 2007249082 A JP2007249082 A JP 2007249082A JP 4881270 B2 JP4881270 B2 JP 4881270B2
Authority
JP
Japan
Prior art keywords
unit
filter
multiplication
data
partial product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007249082A
Other languages
English (en)
Other versions
JP2009080631A (ja
Inventor
陽一 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2007249082A priority Critical patent/JP4881270B2/ja
Priority to US12/237,198 priority patent/US8380769B2/en
Publication of JP2009080631A publication Critical patent/JP2009080631A/ja
Application granted granted Critical
Publication of JP4881270B2 publication Critical patent/JP4881270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443Sum of products
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/0223Computation saving measures; Accelerating measures
    • H03H17/0225Measures concerning the multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52Multiplying; Dividing
    • G06F7/523Multiplying only
    • G06F7/533Reduction of the number of iteration steps or stages, e.g. using the Booth algorithm, log-sum, odd-even
    • G06F7/5334Reduction of the number of iteration steps or stages, e.g. using the Booth algorithm, log-sum, odd-even by using multiple bit scanning, i.e. by decoding groups of successive multiplier bits in order to select an appropriate precalculated multiple of the multiplicand as a partial product
    • G06F7/5336Reduction of the number of iteration steps or stages, e.g. using the Booth algorithm, log-sum, odd-even by using multiple bit scanning, i.e. by decoding groups of successive multiplier bits in order to select an appropriate precalculated multiple of the multiplicand as a partial product overlapped, i.e. with successive bitgroups sharing one or more bits being recoded into signed digit representation, e.g. using the Modified Booth Algorithm
    • G06F7/5338Reduction of the number of iteration steps or stages, e.g. using the Booth algorithm, log-sum, odd-even by using multiple bit scanning, i.e. by decoding groups of successive multiplier bits in order to select an appropriate precalculated multiple of the multiplicand as a partial product overlapped, i.e. with successive bitgroups sharing one or more bits being recoded into signed digit representation, e.g. using the Modified Booth Algorithm each bitgroup having two new bits, e.g. 2nd order MBA
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H2218/00Indexing scheme relating to details of digital filters
    • H03H2218/10Multiplier and or accumulator units

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画の圧縮符号化復号に使用される動き補償処理におけるフィルタ演算を実行するために好適なフィルタ処理装置及びこれを具備する動き補償処理装置に関する。
次世代DVD(Digital Versatile Disk)やDTV(デジタルテレビ)に採用が決定しているH.264/AVCやVC−1といった新しいコーデックがある。これらの復号装置においては、動き補償部での動き補償予測フィルタのフィルタ演算をブースのアルゴリズムを適用した乗算器で構成される場合がある。
乗算器の演算時間は、部分積加算をするために必要とする時間と桁上げ信号吸収をするために必要な時間の総和であり、演算速度を高速にする上でこれらの処理時間の短縮が問題となる。その対策として加算回路を減らすために部分積の数そのものを削減する必要がある。そのためには乗数の連続する複数ビットを一まとめのグループにして、このグループに対応した部分積を生成すれば部分積を削減することができる。そこで部分積数削減のために用いられるのが2次のブースである。2次のブースとは、乗数を2ビットごとに区切り、各組と下位組の最上位ビットの計3ビットをひとまとめにするというアルゴリズムを適用した部分積削減の手法である。
しかしながら、上記のようなコーデックのフィルタ演算を行なう際、これをブースのアルゴリズムを適用した乗算器で構成すると、多数の乗算器が必要となり回路規模が増大する。また、同様にH.264の画面内予測における予測画像の生成に使用されるフィルタ演算をブースのアルゴリズムを適用した乗算器で適用すると回路規模は増大する。
ところで、特許文献1には、乗算器の数を極力少なくし、回路規模を小さくした離散コサイン変換器が開示されている。図13は、特許文献1に記載の離散コサイン変換器を示す図である。この離散コサイン変換器は、加算器612、640、642、差分器610、レジスタ614、マルチプレクサ616、652、マルチプレクサ乗算器618、620、622、634、バタフライ加算器626、628、630、632、644、646、648、650、乗算器624、636、638、及び量子化器654を有する。画像データの交流成分として差分器610による差分データを得て、これに対しDCTを行う。そして、差分についてのDCTとすることによって、必要な係数の数が少なくなるため、乗算器の数を減少できる。さらに、同一の係数を異なるデータに対し乗算する場合にはマルチプレクサ乗算器618、620、622、634を用い、時分割で乗算を行う。このため、乗算器の数をさらに減少することができる。また、乗算すべき係数を量子化器654の量子化テーブルに対し予め乗算しておくため、乗算回数を減少することができる。このように、特許文献1に記載の離散コサイン変換器は、離散コサイン変換の特性を利用し、乗算とバタフライ演算を利用して高速に同演算を実行するものである。
また、特許文献2には、モンゴメリ乗算剰余の多倍長演算を行う回路において、ブロック単位演算器における減算のための遅延時間を短縮し、更に減算回路を別途必要とせず、動作周波数を維持したままで演算を行うことを目的とした乗算装置が開示されている。
この乗算装置においては、ビットパターンで表された被乗数Aと乗数Bの乗算を行う。このため、被乗数Aから2次ブースアルゴリズムにおける複数の部分積を生成する部分積生成手段と、乗数Bを2次ブースアルゴリズムによりエンコードして、乗数Bの連続する3つのビットであるb2i+1、b2i、およびb2i−1を指定するiの値に応じた選択信号を出力するエンコーダ手段と、選択信号に応じて、複数の部分積のいずれかを選択して出力する選択手段と、選択手段から出力される、iの数と同じ数だけの部分積を加算して、乗算結果を生成する加算手段とを備える。そして、エンコーダ手段が、iが0のときには−Aを表す部分積を選択するための選択信号を出力し、iが0以外のときには0を表す部分積を選択するための選択信号を出力し、加算手段が、該−Aを表す部分積から被乗数Aの2の補数を生成して、被乗数Aの2の補数を乗算結果として出力するような動作モードを設ける。
特開平6−44291号公報 特開2004−258141号公報
しかしながら、特許文献1に記載の離散コサイン変換器においては、高速に乗算を実施するために、大規模な乗算器を使用するため回路規模が大きいという問題点がある。また汎用的に処理させるために、特に画像の性質を利用するものではないため、演算精度が求められる場合には、その分だけ演算器も演算精度分だけ回路規模も大きくなり、消費電力増大につながる。特許文献2に記載の技術においても、同様に回路規模が大きく、消費電力が増大するという問題点がある。
本発明に係るフィルタ演算器は、入力データと複数のフィルタ係数からなるフィルタ係数群とをブースアルゴリズムを用いて積和演算するフィルタ演算器であって、入力データと隣接するフィルタ係数の差分との乗算を行う2つ以上の乗算ユニットと、隣接する前記乗算ユニットの乗算結果を加算する加算器とを備え、前記乗算ユニットは、ブースのアルゴリズムに従って繰り返し部分積を生成する部分積生成ユニットと、前記部分積生成ユニットの出力を累積加算する加算器とを有するものである。
本発明にかかる動き補償処理装置は、予測画像を生成する動き補償処理装置であって、垂直方向の入力データに対してフィルタ演算を行なう第1フィルタ演算部と、水平方向の入力データに応じてフィルタ演算を行なう第2フィルタ演算部と、前記第1及び第2フィルタ演算部の演算結果又は第1及び第2のフィルタ演算に入力する入力データに対して重み付けを行なう重み付け演算部とを有し、前記第1及び第2フィルタ演算部は、入力データと複数のフィルタ係数からなるフィルタ係数群とをブースアルゴリズムを用いて積和演算するフィルタ演算部であって、前記入力データと隣接するフィルタ係数の差分との乗算を行う2つ以上の乗算ユニットと、隣接する前記乗算ユニットの乗算結果を加算する加算器とを備え、前記乗算ユニットは、ブースのアルゴリズムに従って繰り返し部分積を生成する部分積生成ユニットと、前記部分積生成ユニットの出力を累積加算する加算器とを有するものである。
本発明においては、入力データと隣接するフィルタ係数の差分との乗算を行う。このため、隣接するフィルタ係数の差分が小さい場合、演算値を小さくすることができ、よって、回路規模、消費電力、処理速度を向上することができる。
本発明によれば、ハードウェア量及び消費電力を削減することができるブースアルゴリズムを利用したフィルタ演算器及び動き補償装置を提供することができる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、ブースアルゴリズムを利用したフィルタ演算器であって、画像の性質を利用し、隣接画素(現在のデータと1つ前のデータ)間の画素値の差分量が小さいことを利用して回路規模を削減する装置において、隣接画素間の差分を取る際に、ブースエンコーダがエンコードするビット単位で減算を行うことにより演算器の規模を飛躍的に小さくするものである。
先ず、本実施の形態にかかるフィルタ演算器を適用することができる画像復号装置について説明する。ここでは、一例として、H.264及びVC−1における動き補償処理におけるフィルタ演算を実行するフィルタ演算器に適用した場合について説明する。なお、本発明は、H.264及びVC−1の両規格におけるフィルタ演算が可能な動き補償回路について説明するが、H.264のみのフィルタ演算を行なう動き補償回路、VC−1のみのフィルタ演算を行なう動き補償回路、又はその他MPEG(Moving Picture Experts Group)2、4等のフィルタ演算器にも適用可能であることは勿論である。
先ず、H.264、VC−1の画像復号装置について説明する。図1及び図2は、それぞれH.264及びVC−1に準拠して符号化された圧縮画像を復号する復号装置を示すブロック図である。H.264は、MPEG4 AVC(Advanced Video Coding)とも呼ばれ、データ圧縮率は、MPEG−2の2倍以上、MPEG−4の1.5倍以上とすることができる圧縮符号化方式である。また、VC−1(Windows Media Video(WMV)9)(登録商標)はマイクロソフト社が開発した動画圧縮技術であり、H.264と同程度のデータ圧縮率を有する。これらのアドバンスドコーデック(高圧縮コーデック)は、HD DVD(High Definition DVD)、又はブルーレイディスク等の次世代DVD規格に適用される。
図1に示すように、H.264の画像復号装置100は、可変長復号部102と、逆量子化部103と、逆アダマール変換部104と、加算器105と、デブロッキングフィルタ106と、動き補償部112と、重み付け予測部111と、画面内予測部110と、復号画像108を表示するモニタ109を有する。
可変長復号部102は、圧縮データ101が入力され可変長符号化された圧縮データを、変換テーブルに基づき可変長復号する。そして、可変長復号された復号データは、逆量子化部103にて逆量子化され、逆アダマール変換部104にて逆アダマール変換され加算器105へ送られる。加算器105の出力は、デブロッキングフィルタ106によりブロック歪を除去され、復号画像108とされ、モニタ109を介して表示される。
ここで、加算器105の出力が画面内予測部110にも入力され、予測画像113が生成される。また、復号画像が動き補償部112にて動き補償処理が行なわれ、重み付け予測部111にて重み付けされて予測画像113が生成される。加算器105は、Iフレーム処理の際には画面内予測部110からの予測画像113に予測誤差を加算し出力する。一方、P、Bフレーム処理の際には、切替部107にて切り替え、重み付け予測部111から送られる予測画像113に予測誤差を加算して出力する。
また、図2に示すように、VC−1の画像復号装置200も、画像復号装置100とほぼ同様に構成され、可変長復号部202、逆量子化部203、逆DCT変換部204、加算器205、ループフィルタ206、重み付け予測部209、動き補償部210、及び復号画像207を表示するモニタ208を有する。VC−1の画像復号装置200は、画面内予測を行なわない点、重み付け予測を行なってから動き補償処理を行う点、デブロッキングフィルタ106の代わりにループフィルタ206が使用される点が異なる。
図3は、H.264及びVC−1の規格に準拠したフィルタ演算を含む動き補償処理を実行する動き補償(MC)部を示すブロック図である。この動き補償部300は、H.264及びVC−1のいずれの動き補償部でも使用可能な構成とされている。すなわち、両規格にて共有できる。この動き補償部300は、フィルタ演算部302、303と、セレクタ301、304、307、310、313と、乗算器312、加算器306、308、311と、ラインメモリ309とを有する。
H.264では、フィルタ演算部302、303にてフィルタ演算施した後、上述した重み付け係数を使用してオフセット付き重み補間信号を求め、予測画像211を得る。ここで、入力INから入力された参照ピクチャR0の画素値が、フィルタ演算部302にて垂直方向フィルタによるフィルタ演算が実行され、フィルタ演算部303にて水平方向フィルタによるフィルタ演算が施される。そして、生成されたフィルタ演算済みのデータがラインメモリ309に格納される。次に、参照ピクチャR1の画素値が入力INから入力されると、同様に、フィルタ演算部302、303にてフィルタ演算が施され、フィルタ演算済みのデータに乗算器305にて重み係数を乗算し、加算器306にてオフセット値を加算する。一方、ラインメモリに格納されているデータがセレクタ313を介して乗算器312にて重み付き係数と乗算され、これらが加算器308にて加算され、オフセット付き重み補間信号W+W+Dを生成する。生成されたデータは、ラインメモリ309を経て出力OUTから出力される。
VC−1の場合は、入力INからのデータがセレクタ313、セレクタ310を介し、更にセレクタ304から乗算器305、加算器306を介し、そしてセレクタ301を介してフィルタ演算部302、303に入力される。フィルタ演算部303の結果は、セレクタ304、セレクタ307を介してそのままラインメモリ309へ格納され、出力OUTから出力される。乗算器312、加算器311、乗算器305、加算器306では、以下の重み付けが実行される。
H=(iScale×F+iShift+32)>>6
ここで、Fは入力値、iScale、iShiftは重み係数を示す。
このように構成された動き補償部300は、セレクタ301、304、307、310、313にてフィルタ演算部302、303への入力、出力を適宜選択するため、重み付けをフィルタ演算後に実行するH.264であっても、重み付けをフィルタ演算前に実行するVC−1であっても、いずれの演算にも適用可能である。
次に、このような動き補償部等に使用することができるフィルタ演算部について詳細に説明する。なお、上記においては、H.264やVC−1を例にとって説明したが、本実施の形態にかかるフィルタ演算器は、MPEG4、2などにおけるフィルタ演算部としても使用することが可能である。図4は、フィルタ演算部302、303の詳細を示す図であって、本実施の形態にかかるフィルタ演算器を示すブロック図である。フィルタ演算部302、303は同様の構成のため、ここではフィルタ演算部302について説明する。図4に示すフィルタ演算器1は、フィルタ乗算ユニット10a、10b、10c・・・を有する。なお、図4においては、フィルタ乗算ユニットを4つ示すが、4つに限らず、フィルタ乗算ユニットはフィルタ係数の個数に応じて適宜設けるものとする。下記表1は、H.264及びVC−1における輝度信号Gy、色差信号Gcに対するフィルタ係数を示す。
Figure 0004881270
この表1に示すように、H.264は、輝度信号Gyが6タップフィルタ、色差信号Gcは2タップフィルタのフィルタ演算となる。また、VC−1の輝度信号Gyが4タップフィルタ、色差信号Gcは2タップフィルタのフィルタ演算となる。このため、図4に示に示すフィルタ演算器1は、例えば6個のフィルタ乗算ユニット10a、10b、10c、・・・を有する。なお、フィルタ乗算ユニットを1つとして繰り返し演算を行なうようにしてもよい。フィルタ乗算ユニット10a、10b、10c、・・・の各演算結果は加算器23、セレクタ24、レジスタ(Fadd_d)25、加算器26、及びレジスタ(Fout_a)27を介して出力される。フィルタ演算器10a、10b、10c、・・・のうち、フィルタ演算器10b、10c・・・及びフィルタ乗算ユニット10a、10b、10c・・・の後段は同じ構成を有する。
ここで、本実施の形態にかかるフィルタ演算器1は、フィルタ乗算ユニット10a〜10dにより、入力データと隣接するフィルタ係数の差分との乗算を行う。そして、加算器23により、隣接するフィルタ乗算ユニットの乗算結果を加算する。フィルタ係数の差分が小さい場合は、差分を求めることで回路規模を削減することができる。さらに、このとき、フィルタ乗算ユニットでは、現在の画像データと1フレーム前の画像データとの差分をとることによりさらに演算量を低減し、これにより、演算時間を短縮化するものである。
ここで、本実施の形態にかかるフィルタ演算器は、ブースのアルゴリズムを使用して乗算を行うフィルタ演算器である。そこで、本実施の形態にかかるフィルタ演算器の理解を容易とするため、先ず、2次のブースアルゴリズムを利用した乗算器について説明する。
乗数Yを符号付き8ビット整数
Y=−y[7]・2+y[6]・2+y[5]・2+y[4]・2+y[3]・2+y[2]・2+y[1]・2+y[0]・2
とすると、任意整数である被乗数Xとの積P=X×Yは以下のようになる。
Figure 0004881270
この(−2・y[2i+1]+y[2i]+y[2i-1])を算出するものをブースエンコーダ、X×(−2・y[2i+1}+y[2i]+y[2i-1])×22iを部分積という。ここで、本明細書においては、ブースエンコーダにより求められるデコード値(−2・y[2i+1]+y[2i]+y[2i-1])を符号データということとする。また、X×(−2・y[2i+1}+y[2i]+y[2i-1])×22i(部分積)を生成する回路を部分積生成ユニット、X×(−2・y[2i+1}+y[2i]+y[2i-1])×22iのうち、符号データ(−2・y[2i+1]+y[2i]+y[2i-1])を求める回路をブースエンコーダ、符号データ×被乗数からなる演算を行ない部分積を求める回路を乗算部、部分積のうち、×22iの演算を実行する部分をビットシフト部、乗算部及びビットシフト部からなり、各iに対応した部分積を生成する回路を部分積生成部ということとする。
ここで、下記表2に示すように、符号データ(−2・y[2i+1]+y[2i]+y[2i-1])の値の組み合わせは8通りしかなく、0、±1、±2の値のみしかとらない。よって、乗算器は、0、±X、±2Xに22iを乗算した値(部分積)を算出して加算する値の組み合わせの対応(真理値表)として書ける。また、符号データの値は8通りしかないため、ブースエンコーダは、単なる組み合わせ論理回路により得ることができる。
Figure 0004881270
0、±X、±2Xのうち、2Xの生成は1ビットのシフトで行なうことができる。一方、負数の生成は被乗数Xが2の補数表現であるのでXの各ビットを反転させ最下位ビットに1を加えればよい。これを実現するために、例えば、符号データ(−2・y[2i+1]+y[2i]+y[2i-1])を生成する回路(ブースエンコーダ)は、乗数Yの入力に対して部分積の絶対値(0、X、2X)を選択するための2つの信号と反転を選択するための1つの信号とからなる3つの信号を生成する。また、乗算部は、この3つの信号を受けて、絶対値が0の場合は0を、Xの場合は被乗数X を、2Xの場合は被乗数Xを1ビットシフトしたものを選択し、さらに、反転が必要な場合はその値を反転させて部分積を生成することができる。さらに、×22iを実行するビットシフト部は、単純にビット線を2iだけシフトさせればよい。
図5は、このような2次のブースのアルゴリズムに従って乗算を実行する乗算器を示すブロック図である。乗算器400は、被乗数Xを出力するレジスタF0と、乗数Yを出力するレジスタF7を有する。更に、乗数Y及び被乗数Xが入力され部分積を生成する部分積生成ユニット401と、部分積生成ユニット401にて生成された部分積を加算する加算器450とを有する。部分積生成ユニット401は、4つのブースエンコーダ410、420、430、440及び4つの部分積生成部450、460、470、480を有する。
ブースエンコーダ410、420、430、440は、上述したように、乗数Yのうち所定ビットが入力され、ブースのアルゴリズムに従って符号データ(0、±1、±2)を生成する。
各部分積生成部450、460、470、480は、被乗数Xが入力され、ブースエンコーダにより得られた符号データと被乗数Xとの乗算結果を出力する乗算部と、乗算部の演算結果のビットシフトを行なうビットシフト部とから構成されるものとする。
各ブースエンコーダ410、420、430、440及び各部分積生成部450、460、470、480は、X×(−2・y[2i+1}+y[2i]+y[2i-1])×22iの"i"に対応したものとなっており、例えば乗数Yが8ビット(y〜yとする)であれば、i=0〜3であり、それぞれ(−2・y+y+0)、(−2・y+y+y)、(−2・y+y+y)、(−2・y+y+y)及びX×(−2・y+y+0)×2、X×(−2・y+y+y)×2、X×(−2・y+y+y)×2、X×(−2・y+y+y)×2を求める。図5においては、これらの部分積を求める部分積生成部を、それぞれ450、460、470、480としている。なお、本実施の形態においては、ブースエンコーダでデコードする乗数Yが8ビットを例にとって説明するが、これ未満、又は以上であってもよいことは勿論である。その場合は、部分積生成部の個数を適宜調整すればよい。
次に、実際の演算を例にとって、この乗算器400の動作について説明する。8ビットの乗数Yは、図6(a)のように表すことができる。乗数を2ビットごとに区切り、各組と下位組の最上位ビットの計3ビット(ただしy−1=0)のデータから符号データが得られる。これらに被乗数Xを乗算し、対応するビットシフト(×2)を演算することで部分積を生成することができる。このため、図6(b)に示すように、レジスタF7は8ビットを出力するシフトレジスタからなり、乗数Y{y〜y}を出力する。このときブースエンコーダ410には、乗数Yのうち下位2ビット{y、y}、ブースエンコーダ420、430、440にはそれぞれ、{y、y、y}、{y、y、y}、{y、y、y}を入力する。ブースエンコーダ410は、入力されたこれらの所定ビットから符号データを生成する。得られた符号データは、対応する部分積生成部450、460、470、480に入力される。部分積生成部450、460、470、480は、得られた符号データと被乗数Xとの乗算を行なうそれぞれ乗算部451、461、471.481と、乗算結果を所定ビットシフトするビットシフト部452、462、472、482とを有する。ここでは、被乗数X=358(166H)、乗数Y=123(7BH)の乗算について説明する。下記表3は、演算工程における各出力値を示す。
Figure 0004881270
X×Y=358×123=44034(AC02H)
Y=123(7BH)
=(−2・0+1+1)・2
+(−2・1+1+1)・2
+(−2・1+0+1)・2
+(−2・1+1+0)・2
=2・2+0・2+(−1)・2+(−1)・2
よって、下記となる。
X×Y={(2×358)×2} ・・・部分積生成部450にて演算
+{(0×358)×2} ・・・部分積生成部460にて演算
+{(−1×358)×2} ・・・部分積生成部470にて演算
+{(−1×358)×2} ・・・部分積生成部480にて演算
先ず、被乗数入力部F0からは"358"が各部分積生成部450、460、470、480に入力される。乗数入力部F7からは、各ブースエンコーダ410、420、430、440に、それぞれ{y、y}={1、1}、{y、y、y}={1、0、1}、{y、y、y}={1、1、1}、{y、y、y}={1、1、0}が入力される。ブースエンコーダ410、420、430、440は入力された所定ビットから、それぞれ(−2・y[2i+1}+y[2i]+y[2i-1])=(−2・y+y+0)、(−2・y+y+y)、(−2・y+y+y)、(−2・y+y+y)の演算に対応する符号データを出力する。上記の式より本例では、各ブースエンコーダ410、420、430、440は、それぞれ、"−1"、"−1"、"0"、"2"を出力する。
各乗算部451、461、471、481は、上記符号データ×被乗数Xを演算して、それぞれビットシフト部452、462、472、482へ入力する。ビットシフト部452はそのまま加算器490へ出力する。なお、本例においては説明の明確のため、1ビットシフトのビットシフト部452を設けているが設ける必要はない。ビットシフト部462、472、482は、受け取った結果をそれぞれ2ビット、4ビット、6ビットシフトさせた後、加算器450へ入力する。
本例の加算器490は、全加算器(フルアダー)491、492と、半加算器(ハーフアダー)493と、結果を受け取るレジスタ494とを有する。各部分積生成部450、460、470、480から入力された値は、加算器490にて加算され、乗算結果Pとして出力される。
このように、2次のブースのアルゴリズムを使用すると、乗数を、0、±1、±2の符号データ×22iとし、被乗数と演算を行なわせるので、部分積の個数が略半分となる。よって加算器にて加算する部分積の個数を略半減させることができるので、乗算器を小型化することができる。
このような部分積生成ユニットを使用するとフィルタ演算器は図7に示すような演算回路となる。図7は、従来の構成のフィルタ演算器を示す図である。すなわち上述したように、例えば8ビットであれば4つの部分積生成部を要し、例えば10ビットであれば5つの部分積生成部を要する。なお、図7には簡単のため3つの部分積生成部のみを示している。
図7を簡単に説明すると、フィルタ演算器501はレジスタ(フリップフロップ:FF)502、510、512、514、517、ブースエンコーダ503〜505、部分積生成部506〜508、加算器509、513、515、リミッタ回路516を有する。画素データが乗数Yとして入力されFF502に保持される。FF502から、各ビットに応じて設けられたブースエンコーダ503〜505へ値が入力され符号データを生成する。その符号データが対応する部分積生成部506〜508へ入力され部分積が生成される。加算器509はそれを加算し、上位ビットと下位ビットをそれぞれFF510、512に入力される。加算器513はFF510及びFF512からの値を加算してFF514に出力する。加算器515はFF514からの値とフィルタ係数Bとを加算し、リミッタ回路516は加算器515の値を例えば0〜255の範囲に制限してFF517へ出力する。
このフィルタ演算器は、
[出力画素]=Lim([入力画素]×A+B)
の演算を実行する。ここで、Aはフィルタ係数を示す。Bは各フィルタ演算において必要に応じて加算される所定の定数である。従来のフィルタ演算器においては、外部のメモリ等から読み出したデータは、バースト的に読み出される。この際、通常、高速演算する場合は、大規模な乗算器によりパイプライン処理する方式になっている。このため、例えば入力画素データが10ビットであれば部分積生成部が5つ必要となり、回路規模が大きく、よって消費電力も大きい。
そこで、本実施の形態においては、隣接するフィルタ係数の差分を取ることで、演算を簡素化する。これにより、回路規模削減、消費電力低減の効果が得られる。例えば、2次元DCT符号化について考える。画像を水平・垂直方向ともN画素からなる小ブロック(N×N)に分割し、各ブロックに2次元DCTを施す場合について考える。このとき、Nの大きさは例えば8〜16に設定される。2次元DCT変換係数は下記式(2)で与えられる。
Figure 0004881270
ここでNは変換効率をあらわす次元であり、JPEG、MPEG等の画像処理では、通常N=8が使用される。j,kは、変数で0≦j,k≦N−1である。f(j,k)は画像データ、F(u,v)は、画像データを変換された係数(変換係数)を示す。
上記式(2)は、N=8とすると下記(3)となる。
Figure 0004881270
ここで、係数cos(2j+1)uπ/16に着目すると、j=0〜7、u:整数より、
当該係数は下記の値をとる。
cos(0π/16)=-cos(16π/16) =cos(32π/16)=…
cos( π/16)=-cos(15π/16)=-cos(17π/16)=cos(31π/16)=…
cos(2π/16)=-cos(14π/16)=-cos(18π/16)=cos(30π/16)=…
cos(3π/16)=-cos(13π/16)=-cos(19π/16)=cos(29π/16)=…
cos(4π/16)=-cos(12π/16)=-cos(20π/16)=cos(28π/16)=…
cos(5π/16)=-cos(11π/16)=-cos(21π/16)=cos(27π/16)=…
cos(6π/16)=-cos(10π/16)=-cos(22π/16)=cos(26π/16)=…
cos(7π/16)=-cos( 9π/16)=-cos(23π/16)=cos(25π/16)=…
cos(8π/16) =-cos(24π/16)=cos(24π/16)=…
P0=cos(0π/16)=1
P1=cos( π/16)=0.49039…
P2=cos(2π/16)=0.46194…
P3=cos(3π/16)=0.41573…
P4=cos(4π/16)=0.35355…
P5=cos(5π/16)=0.27778…
P6=cos(6π/16)=0.19134…
P7=cos(7π/16)=0.09754…
P8=cos(8π/16)=0
P0=1
P1= 490393/1000000=0011 1110 1100…
P1-P0=28453/1000000=0000 0011 1010…
P2= 461940/1000000=0011 1011 0010…
P2-P1=46205/1000000=0000 0101 1111…
P3= 415735/1000000=0011 0101 0100…
P3-P2=62182/1000000=0000 0111 1111…
P4= 353553/1000000=0010 1101 0100…
P4-P3=75768/1000000=0000 1001 1100…
P5= 277785/1000000=0010 0011 1000…
P5-P4=86443/1000000=0000 1011 0001…
P6= 191342/1000000=0001 1000 0111…
P6-P5=93797/1000000=0000 1100 0000…
P7= 97545/1000000=0000 1100 0111…
P8= 0 =0000 0000 0000
このように、差をとった値(P1−P0、P2−P1、P3−P2、P4−P3、P5−P4、P6−P5)の方が、そのままの値(P0〜P7)と比べ、数値が小さい。この場合、例えば、P2の繰返し演算回数は、6回であるのに対し、P2−P1は、繰返し演算回数が4回となる。このように、被乗数であるフィルタ係数において、隣接するフィルタ係数の差分を求めることにより、部分積生成部17にて乗算する被乗数の値が小さくなることから、演算の高速化及び消費電力の低減を実現することができる。
このため、図4に示すように、本実施の形態におけるフィルタ演算器のフィルタ乗算ユニット10a、10b、10c・・・は、一のフィルタ乗算ユニットの演算結果を隣接するフィルタ乗算ユニットの演算結果に加算する回路を有する。すなわち、加算器23、セレクタ24、レジスタ25、加算器26、及びレジスタ27を有する。
例えば、フィルタ乗算ユニット10a〜10dではそれぞれ、P0、P1−P0、P2−P1、P3−P2が演算されるとする。フィルタ乗算ユニット10bの加算器23により、P0+(P1−P0)が実行され、P1が得られる。これがレジスタ25からフィルタ乗算ユニット10cに対応するセレクタ24に入力され、加算器23により、(P2−P1)+P1=P2が求められる。加算器26は、必要に応じて係数Bを加算すると共に、レジスタ27の値とレジスタ25の値を加算し、レジスタ28へ出力する。
以上のようにして、フィルタ演算において演算量を削減することができるが、本実施の形態においては、さらに、図7に示す部分積生成部506〜508を1つの部分積生成部とし、1つの部分積生成部を繰り返し使用することで回路規模を縮小し、消費電力を削減する。図4に戻って、本実施の形態にかかるフィルタ演算器1のフィルタ乗算ユニット10a〜10dは、レジスタ11、セレクタ12、減算器13、レジスタ14、選択器(MUX)18、ブースエンコーダ16、部分積生成部17、選択器(MUX)18、及び繰返し回数決定部19を有する。なお、2つ目以降のフィルタ乗算ユニット10b、10c、10dにおいては、レジスタ11、セレクタ12及び減算器13を設けず省略することも可能である。
レジスタ11は、前データと現のデータの差分をとるためにデータを保持する。なお、フィルタ演算器1は、差分を求めるため、最前段のフィルタ乗算ユニット10aの前段に、レジスタ11a(Fp0)を有する。セレクタ12及び減算器13により、現データと前データとの差分をとる。レジスタ(Fs)14は、この減算器13の値を保持する。MUX15は、レジスタ14の値から符号データを求めるビットを選択する。繰返し回数決定部19は、レジスタ14の値に基づき部分積生成部17による乗算回数を決定する。ブースエンコーダ16は、選択器15が選択したビットから符号データを求める。部分積生成部17は、符号データを上述したフィルタ係数の差分と乗算する。MUX(ビットシフト部)18は、乗算結果をビットシフトする。MUX15、ブースエンコーダ16、部分積生成部17、ビットシフト部18及び繰返し回数決定部19により、ブースのアルゴリズムに従って繰り返し部分積を生成する部分積生成ユニットを構成する。また、MUX15、ブースエンコーダ16、部分積生成部17及びビットシフト部18により、減算器からの減算結果とフィルタ係数の差分とを乗算する部分積乗算部を構成する。
この他、繰返し回数を決定した後、繰返し回数をカウントアップするためのカウンタ、セレクタ、及びインクリメント等を有してもよい。さらに、フィルタ乗算ユニット10a以外は、前データまでの累算結果と現部分乗算結果の出力を累積加算する加算器20、0か加算器202加算結果を選択するセレクタ21、セレクタ21の選択結果を保持するレジスタ(Fadd)22を有する。
このフィルタ演算器1は、通常外部メモリからのデータはバースト的に転送されてくるため、必ずしも常に連続にデータが入力されるとは限らない。また画像データは隣同士の画素同士には比較的相関関係があるため、画素同士の差分も比較的小さい。以上の特徴を利用することで、小規模な部分積生成部を使用し回路規模を大幅に削減させることができる。同時に前データとの差分が少ない場合にはほぼ連続的にデータを出力させ、例外的に差分が大きくなり乗算時間が伸びてもバーストデータ間に若干の時間があるため、それほどの性能劣化を伴わずに処理を可能にすることができる。更に、回路規模削減により消費電力を削減することも可能である。
以下、本実施の形態にかかるフィルタ演算器1について更に詳細に説明する。減算器13は、入力される現在の画像データからFF11に保持されている1つ前の画像データを減算して差分データを求める。この理由について説明する。図8は、画像について水平方向の隣り合った画素間の差信号の振幅分布を示す図である(画像情報圧縮、テレビジョン学会偏、P71)。横軸は振幅、縦軸は周波数を示す。差信号は0近傍の狭い範囲に集中する。よって、減算器13により差信号を求めることで、0に近い値とすることができる。差分データとして入力を0に近い値とすることで、後述する繰り返し演算回数を最小限とすることができ、演算処理時間を短縮化することができる。この値はFF14に保持される。
次に、FF14の値に基づき繰り返し回数決定部19が部分積生成部17における繰り返し演算回数を決定する。繰り返し回数決定部19の繰り返し回数決定方法について説明する。図9は、10ビットの画像データを示す模式図、図10は繰り返し回数決定部19の構成を示す図である。先ず、図9に示すように、画像データは、y〜y(ただし、yは符号ビット(Sign))の10ビットとする。ここで、上述したように、ブースのアルゴリズムにおいては、画像データ(乗数Y)を2ビットごとに区切り、各組と下位組の最上位ビットの計3ビットのデータ群(グループ)S0〜S4から符号データが得られる。y、yの組は、y−1=0としたビットを仮定してデータ群(グループ)S0とする。
10ビットのデータは、例えば−1は(y−1)=(11111111110)であり、−2は(11111111100)である。
符号データは、y2i−1+y2i−2y2i+1で求まるが、データ群を構成する3ビットが全て同じ符号、すなわち(111)又は(000)であれば、符号データは"0"となる。すなわち、ブースデコーダ16から出力される値が"0"となるため部分積は必ず"0"となり、演算する必要がない。本実施の形態においては、この符号データが"0"となるデータ群の演算を省くことで部分積生成部17の繰り返し演算回数を削減するのである。
繰り返し回数の決定方法としては、以下に説明する方法がある。例えば、繰り返し回数は、10ビットの並びに応じて決定するが、予め10ビットの並びに応じた繰り返し回数が対応付けられたテーブルを用意し、図10(a)に示すように、このテーブル41を参照して繰り返し回数を出力する方法がある。
また、他の方法としては、上位ビットから符号を判定していき、符号の変化点を検出する方法がある。例えば、−1であれば、図9に示すように、上位ビットyからyまでは全て1であり、y−1で0となるため、変化点はデータ群S0に含まれる。この場合は、データ群S0の演算のみを行なえばよく、繰り返し回数は1回である。−2であれば、上位ビットyからyまでは全て1であり、yで0となるため、変化点はデータ群S0に含まれる。この場合も、データ群S0の演算のみを行なえばよく、繰り返し回数は1回である。また、65であれば、上位ビットyからyまでは全て0であり、yで1となるため、変化点はデータ群S3に含まれる。この場合は、データ群S0からデータ群S3までの4グループの演算を行えばよく、繰り返し回数は4回である。
さらに他の方法として、同じく65において、変化点が検出されてもさらに最下位ビットまで全ビットのサーチを続ける方法がある。この場合、さらにyとyの間に変化点があり、yからyはまでは0である。そして、yとyの間、yとy−1との間に変化点がある。この場合、変化点を含むデータ群は、データ群S3、S0のみである。よって繰り返し回数を2とすることができる。上述の場合は、変化点が発見された時点で繰り返し回数を決定するので早く繰り返し回数を決定することができる。一方、最上位ビットから最下位ビットまで全ビットをサーチして変化点を検出する方法であると、より繰り返し回数を減らすことができる。この場合、上位ビットから始めたが、最後まで変化点を検出する場合は下位ビットから検出してもよい。例えば−128であれば、y−1からyまでは"0"であり、yからyまでは"1"であり、yとyの間に変化点がある。この場合は、データ群S3のみの演算を行なえばよい。
さらにまた、他の方法としては、データ群毎に、データ群が(000)又は(111)であるか否かを検出するようにしてもよい。理由は、2次のブースデコード結果を0にするためである。この場合は、上位ビット側からであっても下位ビット側からであっても、又は全ビット同時に行なうようにしてもよい。例えば127であれば、データ群S0、S3が演算対象であり繰り返し回数は2回である。2であれば、データ群S0のみが演算対象であり繰り返し回数は1である。また1であれば、データ群S0のみが演算対象であり繰り返し回数は1である。
図10(b)は、データ群毎に(000)又は(111)であるか否かを検出する回路の一例を示す図である。10ビットのデータをデータ群S0〜S4に分け、それぞれ判定部51〜55に入力し、(000)又は(111)であるか否かを判定する。例えば、(000)又は(111)であれば0を、そうでなければ1を出力する。テーブル56は判定部51〜55の出力に応じて繰り返し回数を出力する。このとき、どのデータ群の演算を行なうかの情報(以下データ群情報という。)を一緒に出力する。
図10(c)は、変化点がどの位置にあるかを検出することで繰り返し回数を決定する具体的な回路の一例を示す図である。上位ビットからFF61に画像データを入力する。FF61に保持された上位のビットと次に入力されるそれより下位のビットとを比較器62で比較し、一致であれば例えば"0"、不一致であれば例えば"1"を出力する。カウンタ63はダウンカウンタでありカウント値を9から0までカウントする。回数決定部64は、"1"が入力されたときのカウンタ値に基づき、繰り返し回数をMUX15、18へ出力する。
以上のようにして、繰り返し回数決定部22は、少なくとも繰り返し回数を出力する。また、全データ群について(000)又は(111)であるか否かを検出するような場合は、繰り返し回数と、どのデータ群で演算が必要かを示すデータ群情報とをMUX15、18へ出力する。
MUX15は、繰り返し回数のみが入力される場合は、繰り返し回数に応じたデータ群をブースエンコーダ16へ出力する。たとえば繰り返し回数が3の場合、先ず、(y,y,0)を入力し、次のタイミングで(y,y,y)を入力し、次のタイミングで(y,y,y)を入力する。
また、繰り返し回数とデータ群情報が入力される場合には、データ群情報に基づきデータ群をブースエンコーダ16へ出力する。例えば上述の65の場合であれば、データ群S0、及びS3にて変化点が検出される。この場合、最初のタイミングで(y,y,0)を入力し、次のタイミングで(y,y,y)を入力する。
ブースデコーダ16及び部分積生成部17は、上述した演算を行なう。すなわち、ブースデコーダ16はデータ群から符号データを求め、部分積生成部17が符号データにフィルタ係数の差分Aを乗算する。乗算結果をビットシフト部18へ出力する。
ビットシフト部18にも、MUX15と同様に繰り返し回数が入力されている。したがって、繰り返し回数が1のときはビットシフトを行なわず(×1のため)そのまま出力する。繰り返し回数2のときは、2ビットシフト(×2のため)し、出力する。同様に、繰り返し回数が3のときは4ビットシフト(×2のため)、繰り返し回数が4のときは6ビットシフト(×2のため)、繰り返し回数が5のときは8ビットシフト(×2のため)して出力する。
また、ビットシフト部18、MUX15に繰り返し回数及びデータ群情報が入力されている場合は、データ群情報に基づきビットシフトを行なう。例えば上述の65の場合であれば、データ群S0の演算結果に対してはビットシフトせずに出力し、次のタイミングのデータ群S3の演算の際は、6ビットシフトした値を出力する。
フィルタ乗算ユニット10b、10c、10dでは、加算器20は、ビットシフト部18からの出力と、レジスタ22に保持されている前回出力した値とを累積加算し、繰り返し演算が終了するまで再度レジスタ22に保存する。すなわち、レジスタ22には、今回の入力データの差分と係数差分乗算結果が格納される。セレクタ21は、初回の繰り返し演算の際には0を選択し、その他はレジスタ22の値を選択出力する。この加算器20は、各データ群S0〜S4から得られた部分積を加算することで、今回の画素データ差分×フィルタ係数の差分を得ることができる。
次に、加算器23は、ビットシフト部18又はレジスタ22からの出力と、レジスタ25に保持されている値とを加算する。まず、隣接するフィルタ乗算ユニットに対応するレジスタ25の値がセレクタ24に入力される。例えば、フィルタ乗算ユニット10bに対応するレジスタ25にはP1×入力データが格納されており、これがフィルタ乗算ユニット10cに対応するセレクタ24に入力される。当該セレクタ24はこの値を選択してレジスタ25に保持する。加算器23からは、(P2−P1)×入力データが算出され出力される。このデータとレジスタ25に格納されているP1×入力データとを加算することで、P2×入力データがセレクタ24で選択され、レジスタ25に格納される。このP2×入力データは、加算器26に出力されると共に、隣接するフィルタ乗算ユニット10dのセレクタ23に入力される。以上により、被乗数Aとしてフィルタ係数の差分を入力し、これを累積加算することで、レジスタ25には、入力データ(レジスタFp11からの入力データ)×フィルタ係数差の乗算結果の累積加算結果が格納される。本実施の形態においては、フィルタ係数及び入力データのいずれも差分を求めてから演算することで、演算量を削減している。
加算器26は、必要であれば係数Bを加算すると共に、レジスタ25の値とレジスタ27の値を加算する。これにより、レジスタ28には、入力データとフィルタ係数の乗算結果が格納される。
次に、本実施の形態にかかるフィルタ演算器1の動作タイミングについて説明する。図11は、本実施の形態にかかるフィルタ演算器、図12は、フィルタ演算器1の動作タイミングを示す図である。図11では、減算器13及びレジスタ11、14、22、25、27以外の構成は省略して示す。上述したように、フィルタ演算器1bは、2段目のフィルタ乗算ユニット以降のレジスタ11及び減算器13は省略することができる。すなわち、入力用のレジスタ11は、図12に示すように、Fp0、Fp1の2つだけでもよい。なお、この際、入力データ差分を保持するレジスタ14から次段のレジスタ14へ直接転送する経路が必要となる。これにより、従来法(特願2006−313037)において必須であった入力データ用の縦続列に並んだフリップフロップ(レジスタ)を削減することができる。
Fs0〜Fs4は、フィルタ乗算ユニット10a〜10dのレジスタ14に相当する。Fadd0〜Fadd3は、フィルタ乗算ユニット10a〜10dのレジスタ22に相当する。Fadd_d0〜Fadd_d3は、フィルタ乗算ユニット10a〜10dのレジスタ25に相当する。Fout_a0〜Fout_a3は、フィルタ乗算ユニット10a〜10dのレジスタ28に相当する。
ここでは、フィルタ演算器1に入力データとして、21、32、15、9が入力され、フィルタ係数4、11、17、9と乗算される場合について説明する。Fp0、Fp1には、21、32、15、9が順次入力される。Fs0には、Fp1−Fp0が順次入力される。Fadd0は、Fs0に4を乗算した値が入力される。フィルタ乗算ユニット10aは、最前段のため、Fadd_d0、Fout_a0には、Fadd0の値が入力される。一方、Fs1には、Fp2−Fp1が順次入力される。Fadd1は、Fs1に11−4=7を乗算した値が入力される。Fadd_d1には、Fadd_d0の値が入力され、次のタイミングで、この値とFadd1の値とが加算された値が入力される。フィルタ乗算ユニット10c、10dも同様である。
本実施の形態においては、フィルタ演算の際、フィルタ係数の差分を求め、この差分と入力データを乗算することで、繰返し演算の回数を減少させることができる。さらに、画像データは隣同士の画素同士には比較的相関関係があるため、画素同士の差分も比較的小さい。このことを利用し、入力画像データについて現在のデータと次のデータとの差分をとってフィルタ係数と乗算し、それを加算してフィルタ演算を行なう。このとき、差分をとった入力データは0近傍の値となるため、繰り返し回数を激減させることができる。また、通常外部メモリからのデータはバースト的に転送されてくるため、常に連続にデータが入力されない。すなわち、データ入力の待ち時間があるため、たとえ繰り返し演算が含まれても待ち時間の間に行なうことができる。
したがって、小規模な部分積生成部を使用し回路規模を大幅に削減させることができる。また、フィルタ係数の差分、前データとの差分が小さい場合にはほぼ連続的にデータを出力することができ、また、例外的に差分が大きくなり繰り返し演算回数が多くなってもデータ転送間の待ち時間を利用することで処理時間をそれほど長期化させることがない。更に、回路規模削減により消費電力を削減することができる。
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
H.264に準拠して符号化された圧縮画像を復号する復号装置を示すブロック図である。 VC−1に準拠して符号化された圧縮画像を復号する復号装置を示すブロック図である。 H.264及びVC−1の規格に準拠したフィルタ演算を含む動き補償処理を実行する動き補償(MC)部を示すブロック図である。 本発明の実施の形態にかかるフィルタ演算器を示すブロック図である。 2次のブースのアルゴリズムに従って乗算を実行する乗算器を示すブロック図である。 (a)は、ブースのアルゴリズムにより符号データ生成に使用されるビットを説明する図、(b)は、図1に示す乗算器の部分積生成ユニットの詳細を示す図である。 従来のフィルタ演算器を示す図である。 画像について水平方向の隣り合った画素間の差信号の振幅分布を示す図である。 10ビットの画像データを示す模式図である。 本発明の実施の形態にかかる符号データ生成部を示す図である。 本発明の実施の形態の変形例にかかるフィルタ演算器を示す図である。 本発明の実施の形態にかかるフィルタ演算器の動作タイミングを示す図である。 特許文献1に記載の離散コサイン変換器を示す図である。
符号の説明
1 フィルタ演算器
10a、10b、10c、10d フィルタ乗算ユニット
11、14、22、25、27、183、232、454 レジスタ
12、21、24、132、184、301、307、310 セレクタ
13、181、231 減算器
15、18、132 選択器
16、182、218、411、421、431、441 ブースエンコーダ
17、221、410、420、430、440 部分積生成部
19、220 繰返し回数決定部
20、23、26、105、205、225、311、450 加算器
26 加算器
226 リミッタ回路
100、200 画像復号装置
101 圧縮データ
102、202 可変長復号部
103、203 逆量子化部
104 逆アダマール変換部
106 デブロッキングフィルタ
107 切替部
108、207 復号画像
109、208 モニタ
110 画面内予測部
111、209 重み付け予測部
112、210300 動き補償部
113 予測画像
204 逆DCT変換部
206 ループフィルタ
201、302、303 フィルタ演算部
222 累算加算器
304、305、312、412、422、432、442 乗算器
309 ラインメモリ
401 部分積生成ユニット
413、423、433、443 ビットシフト部

Claims (10)

  1. 入力データと複数のフィルタ係数からなるフィルタ係数群とをブースアルゴリズムを用いて積和演算するフィルタ演算器であって、
    入力データと隣接するフィルタ係数の差分との乗算を行う2つ以上の乗算ユニットと、
    隣接する前記乗算ユニットの乗算結果を加算する加算器とを備え、
    前記乗算ユニットは、
    ブースのアルゴリズムに従って繰り返し部分積を生成する部分積生成ユニットと、
    前記部分積生成ユニットの出力を累積加算する加算器とを有するフィルタ演算器。
  2. 前記部分積生成ユニットは、
    現在のデータと前回のデータとの差分と前記フィルタ係数の差分とを乗算する部分積乗算部と、
    前記減算結果に基づき前記部分積乗算部での繰り返し演算回数を決定する回数決定部と、
    前記前回のデータまでの累積結果と前記現在のデータの乗算結果とを加算する累積加算器とを有する
    ことを特徴とする請求項1記載のフィルタ演算器。
  3. 前記回数決定部は、前記減算結果の上位ビットから、ビットの値に変化がある位置をサーチし、当該サーチ結果に基づき乗算回数を決定する
    ことを特徴とする請求項2記載のフィルタ演算器。
  4. 前記回数決定部は、前記減算結果の下位ビットから上位ビットまでの全ビットについて、ビットの値に変化がある位置をサーチし、当該サーチ結果に基づき乗算回数を決定する
    ことを特徴とする請求項2記載のフィルタ演算器。
  5. 前記回数決定部は、前記減算結果を下位から2ビットごとに区切り、各組と下位組の最上位ビットの計3ビット毎のグループとし、各グループについて、全てのビットの値が同一か否かを判定し、当該判定結果に基づき乗算回数を決定する
    ことを特徴とする請求項2記載のフィルタ演算器。
  6. 前記回数決定部は、前記減算結果を下位から2ビットごとに区切り、各組と下位組の最上位ビットの計3ビット毎のグループとし、前記減算結果の下位ビットから上位ビットまでの全ビットについて、前記各グループについてビットの値に変化があるか否かをサーチし、当該サーチ結果に基づき乗算回数を決定する
    ことを特徴とする請求項2記載のフィルタ演算器。
  7. 前記回数決定部は、前記乗算回数と共に、前記減算結果を下位から2ビットごとに区切り、各組と下位組の最上位ビットの計3ビット毎のグループとした場合、各グループ内でビットの値に変化があるグループが下位から何番目かを示す順序情報を出力する
    ことを特徴とする請求項1乃至5のいずれか1項記載のフィルタ演算器。
  8. 前記部分積乗算部は、前記乗算回数が入力されるデータ選択部と、前記データ選択部により選択されたデータに基づき部分積を演算する部分積生成部と、前記部分積生成部が生成した部分積を所定ビットシフトするビットシフト部とを有する
    ことを特徴とする請求項2記載のフィルタ演算器。
  9. 前記乗算ユニットは、第1の乗算ユニットと前記第1の乗算ユニットに接続される第2の乗算ユニットとを有し、
    前記第1の乗算ユニットは、
    現在のデータと前回のデータとの差分を求める減算器と、
    前記減算器により減算された値と、前記フィルタ係数の差分とを乗算する部分積乗算部と、
    前記減算結果に基づき前記部分積乗算部での繰り返し演算回数を決定する回数決定部と、
    前記前回のデータまでの累積結果と前記現在のデータの乗算結果とを加算する累積加算器とを有し、
    前記第2の乗算ユニットは、前記第1の乗算ユニットで求められた減算結果と、前記フィルタ係数の差分とを乗算する部分積乗算部と、
    前記減算結果に基づき前記部分積乗算部での繰り返し演算回数を決定する回数決定部と、
    前記前回のデータまでの累積結果と前記現在のデータの乗算結果とを加算する累積加算器とを有する
    ことを特徴とする請求項1記載のフィルタ演算器。
  10. 予測画像を生成する動き補償処理装置であって、
    垂直方向の入力データに対してフィルタ演算を行なう第1フィルタ演算部と、
    水平方向の入力データに応じてフィルタ演算を行なう第2フィルタ演算部と、
    前記第1及び第2フィルタ演算部の演算結果又は第1及び第2のフィルタ演算に入力する入力データに対して重み付けを行なう重み付け演算部とを有し、
    前記第1及び第2フィルタ演算部は、入力データと複数のフィルタ係数からなるフィルタ係数群とをブースアルゴリズムを用いて積和演算するフィルタ演算部であって、
    前記入力データと隣接するフィルタ係数の差分との乗算を行う2つ以上の乗算ユニットと、
    隣接する前記乗算ユニットの乗算結果を加算する加算器とを備え、
    前記乗算ユニットは、
    ブースのアルゴリズムに従って繰り返し部分積を生成する部分積生成ユニットと、
    前記部分積生成ユニットの出力を累積加算する加算器とを有する動き補償処理装置。
JP2007249082A 2007-09-26 2007-09-26 フィルタ演算器及び動き補償装置 Active JP4881270B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007249082A JP4881270B2 (ja) 2007-09-26 2007-09-26 フィルタ演算器及び動き補償装置
US12/237,198 US8380769B2 (en) 2007-09-26 2008-09-24 Filter operation unit and motion-compensating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007249082A JP4881270B2 (ja) 2007-09-26 2007-09-26 フィルタ演算器及び動き補償装置

Publications (2)

Publication Number Publication Date
JP2009080631A JP2009080631A (ja) 2009-04-16
JP4881270B2 true JP4881270B2 (ja) 2012-02-22

Family

ID=40524227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007249082A Active JP4881270B2 (ja) 2007-09-26 2007-09-26 フィルタ演算器及び動き補償装置

Country Status (2)

Country Link
US (1) US8380769B2 (ja)
JP (1) JP4881270B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988627B2 (ja) * 2008-03-05 2012-08-01 ルネサスエレクトロニクス株式会社 フィルタ演算器及び動き補償装置
US9753695B2 (en) 2012-09-04 2017-09-05 Analog Devices Global Datapath circuit for digital signal processors
US10693469B2 (en) 2018-08-31 2020-06-23 Flex Logic Technologies, Inc. Multiplier-accumulator circuit, logic tile architecture for multiply-accumulate, and IC including logic tile array
US11194585B2 (en) 2019-03-25 2021-12-07 Flex Logix Technologies, Inc. Multiplier-accumulator circuitry having processing pipelines and methods of operating same
US11314504B2 (en) 2019-04-09 2022-04-26 Flex Logix Technologies, Inc. Multiplier-accumulator processing pipelines and processing component, and methods of operating same
US11288076B2 (en) 2019-09-13 2022-03-29 Flex Logix Technologies, Inc. IC including logic tile, having reconfigurable MAC pipeline, and reconfigurable memory
US11455368B2 (en) 2019-10-02 2022-09-27 Flex Logix Technologies, Inc. MAC processing pipeline having conversion circuitry, and methods of operating same
US12015428B2 (en) 2019-11-05 2024-06-18 Flex Logix Technologies, Inc. MAC processing pipeline using filter weights having enhanced dynamic range, and methods of operating same
US11693625B2 (en) 2019-12-04 2023-07-04 Flex Logix Technologies, Inc. Logarithmic addition-accumulator circuitry, processing pipeline including same, and methods of operation
US11960856B1 (en) 2020-01-15 2024-04-16 Flex Logix Technologies, Inc. Multiplier-accumulator processing pipeline using filter weights having gaussian floating point data format
US11442881B2 (en) 2020-04-18 2022-09-13 Flex Logix Technologies, Inc. MAC processing pipelines, circuitry to control and configure same, and methods of operating same
WO2022020164A1 (en) 2020-07-22 2022-01-27 Flex Logix Technologies, Inc. Mac processing pipelines having programmable granularity, and methods of operating same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9100234A (nl) * 1991-02-11 1992-09-01 Philips Nv Codeerschakeling voor transformatiecodering van een beeldsignaal en decodeerschakeling voor het decoderen daarvan.
US5642437A (en) * 1992-02-22 1997-06-24 Texas Instruments Incorporated System decoder circuit with temporary bit storage and method of operation
JPH0644291A (ja) 1992-07-22 1994-02-18 Kyocera Corp 離散コサイン変換器及び情報符号化器
US5657423A (en) * 1993-02-22 1997-08-12 Texas Instruments Incorporated Hardware filter circuit and address circuitry for MPEG encoded data
JPH08152994A (ja) * 1994-11-29 1996-06-11 Mitsubishi Electric Corp 乗算器及びディジタルフィルタ
JP3176270B2 (ja) * 1995-10-24 2001-06-11 京セラ株式会社 画像復号化処理方法
JPH09130797A (ja) * 1995-10-27 1997-05-16 Toshiba Corp 画像処理装置および画像処理方法
US5825680A (en) * 1996-06-21 1998-10-20 Digital Equipment Corporation Method and apparatus for performing fast division
JP3924420B2 (ja) * 2000-07-11 2007-06-06 Necエレクトロニクス株式会社 画像圧縮装置及びその方法
JP2004258141A (ja) 2003-02-24 2004-09-16 Fujitsu Ltd モンゴメリ乗算剰余の多倍長演算のための演算装置

Also Published As

Publication number Publication date
US20090094303A1 (en) 2009-04-09
US8380769B2 (en) 2013-02-19
JP2009080631A (ja) 2009-04-16

Similar Documents

Publication Publication Date Title
JP4881270B2 (ja) フィルタ演算器及び動き補償装置
RU2612614C2 (ru) Способ и устройство для выполнения интерполяции на основе преобразования и обратного преобразования
JP4988627B2 (ja) フィルタ演算器及び動き補償装置
KR20120098500A (ko) 영상의 변환 및 역변환 방법, 및 이를 이용한 영상의 부호화 및 복호화 장치
JP4963220B2 (ja) フィルタ演算器及び動き補償装置
JP5086675B2 (ja) フィルタ演算器及び動き補償装置
JP4516051B2 (ja) フィルタ処理装置、乗算器及び動き補償処理装置
JP4519807B2 (ja) 乗算器及びフィルタ処理装置
JP4957780B2 (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
Porto et al. Fast and energy-efficient approximate motion estimation architecture for real-time 4 K UHD processing
JP4963194B2 (ja) フィルタ処理装置、乗算器及び動き補償処理装置
JP5195674B2 (ja) 画像符号化装置
JP4933405B2 (ja) データ変換装置及びその制御方法
JP2011186592A (ja) フィルタ演算器、フィルタ演算方法及び動き補償処理装置
JP2008532335A (ja) 画像内挿方法及び画素内挿装置
JP2011090362A (ja) フィルタ演算器、フィルタ演算方法及び動き補償処理装置
JP2005354307A (ja) 逆量子化器及びこれを用いた画像復号化装置
JP5353560B2 (ja) 画像処理回路および画像符号化装置
Hwang et al. A memory bandwidth-efficient architecture for lossless compression using multiple DPCM golomb-rice algorithm
Fatemi et al. Fast algorithm analysis and bit-serial architecture design for sub-pixel motion estimation in H. 264
JP2009267606A (ja) 演算器
Belghith et al. FPGA-based implementation of the VVC low-frequency non-separable transform
JP4160855B2 (ja) ブロックマッチング画像処理装置
JPH06332933A (ja) 離散コサイン変換方法および離散コサイン変換回路
JP5287624B2 (ja) 画像処理回路および画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111202

R150 Certificate of patent or registration of utility model

Ref document number: 4881270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350