JP6490896B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6490896B2
JP6490896B2 JP2013260618A JP2013260618A JP6490896B2 JP 6490896 B2 JP6490896 B2 JP 6490896B2 JP 2013260618 A JP2013260618 A JP 2013260618A JP 2013260618 A JP2013260618 A JP 2013260618A JP 6490896 B2 JP6490896 B2 JP 6490896B2
Authority
JP
Japan
Prior art keywords
image
unit
local
block
decode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013260618A
Other languages
English (en)
Other versions
JP2015119282A (ja
Inventor
岡本　彰
彰 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2013260618A priority Critical patent/JP6490896B2/ja
Priority to US14/572,887 priority patent/US9807417B2/en
Publication of JP2015119282A publication Critical patent/JP2015119282A/ja
Application granted granted Critical
Publication of JP6490896B2 publication Critical patent/JP6490896B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置に関する。
背景技術に係るＨ．２６４のエンコーダは、ローカルデコード画像を格納する画像記憶部としてのＤＲＡＭと、ＤＲＡＭから読み出した参照画像を保持するＳＲＡＭと、参照画像に基づいて動き探索を行うことにより予測ブロックを生成する動き探索部とを備える。そして、処理対象のマクロブロックと予測ブロックとの誤差である予測誤差に対して、ＤＣＴ変換、量子化、及びエントロピー符号化を行うことによって、高効率なデータ圧縮が実現されている。ＳＲＡＭには、ＤＲＡＭに格納されている１フレーム分のローカルデコード画像のうち、マクロブロックのサイズより若干大きい所定の探索範囲の画像が、参照画像として格納される。
また、背景技術に係るＨ．２６４のデコーダは、デコード画像を格納する画像記憶部としてのＤＲＡＭと、ＤＲＡＭから読み出した参照画像を保持するＳＲＡＭと、参照画像に基づいて動き探索を行うことにより予測ブロックを生成する動き探索部とを備える。そして、入力された符号化データに対して、エントロピー復号、逆量子化、及び逆ＤＣＴ変換を行うことによって予測誤差が生成され、予測ブロックと予測誤差とに基づいて入力画像を復元することによってデコードブロックが生成される。Ｈ．２６４では矩形のマクロブロック単位でデコードが行われるため、デコードブロックをＤＲＡＭに書き込む際には、矩形領域内の各行間でアドレスが連続するアドレスフォーマット（以下「コーデックフォーマット」と称す）を用いて、ＤＲＡＭへのライトアクセスが行われる。
なお、下記特許文献１には、メモリへのデコード画像の書き込み処理において、メモリのバンクを切り替えながらバースト転送を行うことによって、マクロブロック単位でのライトアクセスに適したメモリアクセス方法が開示されている。
特許第５１４７１０２号公報
上述した背景技術に係るエンコーダによると、近年におけるカメラやテレビの高解像度化に伴ってＤＲＡＭへのアクセスデータ量が増大しており、ＤＲＡＭのバス帯域が厳しくなっているため、ＤＲＡＭへのアクセスを極力回避してバス帯域を削減することが要求されている。
また、上述した背景技術に係るデコーダによると、デコードブロックは、コーデックフォーマットを用いてＤＲＡＭに書き込まれる。一方、デコード画像を表示装置に表示する場合には、画像内の水平方向にアドレスが連続するアドレスフォーマット（ラスタフォーマット）を用いた画像データが必要であるため、コーデックフォーマットのデコード画像をそのまま使用することができない。従って、コーデックフォーマットをラスタフォーマットに変換するフォーマット変換回路を実装する必要がある。フォーマット変換回路は、ＤＲＡＭから読み出したコーデックフォーマットのデコード画像を、ラスタフォーマットのデコード画像に変換して、変換後のデコード画像をＤＲＡＭに書き込む。従って、フォーマット変換に伴ってＤＲＡＭへのリードアクセス及びライトアクセスが発生するため、表示の遅延時間が長くなるとともに、ＤＲＡＭの消費電力が増大する。また、上述の通り、ＤＲＡＭへのアクセスを極力回避してバス帯域を削減することも要求されている。
本発明はかかる事情に鑑みて成されたものであり、表示用のフォーマット変換を省略することによって遅延時間の短縮、消費電力の低減、及びバス帯域の削減を実現することが可能な画像処理装置を得ることを目的とする。
本発明の第１の態様に係る画像処理装置は、入力画像を符号化するコーデック処理部と、前記コーデック処理部がアクセス可能な画像記憶部と、を備え、前記コーデック処理部は、前記画像記憶部から読み出した参照画像を保持する参照画像保持部と、前記参照画像保持部が保持している参照画像に基づいて動き探索を行うことにより、入力画像内の処理対象ブロックに関する予測ブロックを生成する動き探索部と、処理対象ブロックと予測ブロックとに基づいて予測誤差を生成する予測誤差生成部と、予測誤差と予測ブロックとに基づいて処理対象ブロックを復元することにより、ローカルデコードブロックを生成するローカルデコードブロック生成部と、複数のローカルデコードブロックを保持するローカルデコードブロック保持部と、を有し、前記ローカルデコードブロック生成部は、入力画像内で行方向に並ぶＮ個（Ｎは複数）の処理対象ブロックに対応してＮ個のローカルデコードブロックを順に生成し、当該Ｎ個のローカルデコードブロックを行方向に並べて前記ローカルデコードブロック保持部に書き込み、前記ローカルデコードブロック保持部は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のローカルデコードブロックを前記画像記憶部に書き込むことを特徴とするものである。
第１の態様に係る画像処理装置によれば、ローカルデコードブロック生成部は、順に生成したＮ個のローカルデコードブロックを行方向に並べてローカルデコードブロック保持部に書き込む。また、ローカルデコードブロック保持部は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のローカルデコードブロックを画像記憶部に書き込む。つまり、ローカルデコードブロック保持部へのローカルデコードブロックの格納まではブロック単位での処理を行い、ローカルデコードブロック保持部から画像記憶部へのローカルデコードブロックの書き込みは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、ローカルデコードブロックを画像記憶部へ簡易に書き込むことが可能となる。しかも、行方向に並ぶ複数Ｎ個のローカルデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。
本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記画像記憶部は複数のメモリバンクを有し、前記ローカルデコードブロック保持部は、保持しているＮ個のローカルデコードブロック内の第１の行に属する画素データを、前記画像記憶部の第１のメモリバンクに書き込み、第１の行に隣接する第２の行に属する画素データを、前記第１のメモリバンクとは異なる第２のメモリバンクに書き込むことを特徴とするものである。
第２の態様に係る画像処理装置によれば、ローカルデコードブロック保持部は、保持しているＮ個のローカルデコードブロック内の第１の行に属する画素データを、画像記憶部の第１のメモリバンクに書き込み、第１の行に隣接する第２の行に属する画素データを、第１のメモリバンクとは異なる第２のメモリバンクに書き込む。このように、隣接する行の画素データを異なるメモリバンクに書き込むことにより、第１の行に属する画素データの書き込みが完了すると同時に、第２の行に属する画素データの書き込みを開始することができる。その結果、同一のメモリバンクに連続してアクセスする際に必要となる待ち時間の発生を回避できるため、書き込みの所要時間を短縮することが可能となる。
本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、前記ローカルデコードブロック保持部は、Ｎ＋１個のローカルデコードブロックを保持し、第１乃至第Ｎのブロック期間において、前記ローカルデコードブロック生成部は、第１乃至第Ｎのローカルデコードブロックを前記ローカルデコードブロック保持部に順に書き込み、第Ｎ＋１のブロック期間において、前記ローカルデコードブロック生成部は、第Ｎ＋１のローカルデコードブロックを前記ローカルデコードブロック保持部に書き込み、前記ローカルデコードブロック保持部は、第１乃至第Ｎのローカルデコードブロックを前記画像記憶部に書き込むことを特徴とするものである。
第３の態様に係る画像処理装置によれば、第１乃至第Ｎのブロック期間において、ローカルデコードブロック生成部は、第１乃至第Ｎのローカルデコードブロックをローカルデコードブロック保持部に順に書き込む。そして、第Ｎ＋１のブロック期間において、ローカルデコードブロック生成部は、第Ｎ＋１のローカルデコードブロックをローカルデコードブロック保持部に書き込み、ローカルデコードブロック保持部は、第１乃至第Ｎのローカルデコードブロックを画像記憶部に書き込む。従って、ローカルデコードブロック保持部に対するローカルデコードブロックの書き込み及び読み出しを、同時に行うことが可能となる。しかも、ローカルデコードブロック保持部に必要な記憶容量は、Ｎ＋１個のローカルデコードブロックを保持できる記憶容量で足りるため、２Ｎ個のローカルデコードブロックを保持するローカルデコードブロック保持部を実装する場合と比較して、必要な記憶容量を削減することが可能となる。
本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、前記画像記憶部は、参照画像として使用されるローカルデコード画像を保持し、前記画像記憶部は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、ローカルデコード画像内で行方向に並ぶＮ個のローカルデコードブロックを前記参照画像保持部に書き込むことを特徴とするものである。
第４の態様に係る画像処理装置によれば、画像記憶部は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、ローカルデコード画像内で行方向に並ぶＮ個のローカルデコードブロックを参照画像保持部に書き込む。つまり、画像記憶部からのローカルデコード画像の読み出しは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、ローカルデコード画像を画像記憶部から簡易に読み出すことが可能となる。しかも、行方向に並ぶ複数Ｎ個のローカルデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。
本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、表示部において画像を表示するための画像データを処理する表示処理部をさらに備え、前記画像記憶部は、自身が保持しているローカルデコード画像を、行単位でのバースト転送によって前記表示処理部に転送し、前記表示処理部は、前記画像記憶部から転送されたローカルデコード画像に基づいて画像を表示することを特徴とするものである。
第５の態様に係る画像処理装置によれば、画像記憶部は、自身が保持しているローカルデコード画像を、行単位でのバースト転送によって表示処理部に転送する。このように、ラスタフォーマットのローカルデコード画像を画像記憶部に格納しておくことにより、表示部において画像を表示するために必要なラスタフォーマットの画像データを、画像記憶部から表示処理部に転送することができる。従って、コーデックフォーマットのローカルデコード画像をラスタフォーマットのローカルデコード画像に変換するフォーマット変換部の実装を省略することができる。その結果、フォーマット変換部から画像記憶部へのアクセスが不要となるため、遅延時間の短縮、消費電力の低減、及びバス帯域の削減を実現することが可能となる。また、コーデックフォーマットを用いたメモリアクセスが不要となるため、設計の簡素化を図ることが可能となる。
本発明の第６の態様に係る画像処理装置は、第５の態様に係る画像処理装置において特に、前記表示処理部は、前記画像記憶部が保持しているローカルデコード画像のＹＵＶフォーマットを、前記表示部に適合するＹＵＶフォーマットに変換するフォーマット変換部を有することを特徴とするものである。
第６の態様に係る画像処理装置によれば、フォーマット変換部は、画像記憶部が保持しているローカルデコード画像のＹＵＶフォーマット（例えばＹＵＶ４２０）を、表示部に適合するＹＵＶフォーマット（例えばＹＵＶ４２２）に変換する。従って、画像記憶部が保持しているローカルデコード画像のＹＵＶフォーマットが、表示部に適合するＹＵＶフォーマットとは異なる場合であっても、ＹＵＶフォーマットを変換することにより、表示部において画像を表示することが可能となる。
本発明の第７の態様に係る画像処理装置は、コーデック処理部と、表示部において画像を表示するための画像データを処理する表示処理部と、前記コーデック処理部及び前記表示処理部がアクセス可能な画像記憶部と、を備え、前記コーデック処理部は、予測ブロックと予測誤差とに基づいて入力画像を復元することにより、デコードブロックを生成する動き補償部を有するデコードブロック生成部と、複数のデコードブロックを保持するデコードブロック保持部と、を有し、前記デコードブロック生成部は、入力画像内で行方向に並ぶＮ個（Ｎは複数）の処理対象ブロックに対応してＮ個のデコードブロックを順に生成し、当該Ｎ個のデコードブロックを行方向に並べて前記デコードブロック保持部に書き込み、前記デコードブロック保持部は、Ｎ個のデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のデコードブロックを前記画像記憶部に書き込み、前記画像記憶部は、自身が保持しているデコード画像を、行単位でのバースト転送によって前記表示処理部に転送し、前記表示処理部は、前記画像記憶部から転送されたデコード画像に基づいて画像を表示することを特徴とするものである。
第７の態様に係る画像処理装置によれば、デコードブロック生成部は、順に生成したＮ個のデコードブロックを行方向に並べてデコードブロック保持部に書き込む。また、デコードブロック保持部は、Ｎ個のデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のデコードブロックを画像記憶部に書き込む。つまり、デコードブロック保持部へのデコードブロックの格納まではブロック単位での処理を行い、デコードブロック保持部から画像記憶部へのデコードブロックの書き込みは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、デコードブロックを画像記憶部へ簡易に書き込むことが可能となる。しかも、行方向に並ぶ複数Ｎ個のデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。また、画像記憶部は、自身が保持しているデコード画像を、行単位でのバースト転送によって表示処理部に転送する。このように、ラスタフォーマットのデコード画像を画像記憶部に格納しておくことにより、表示部において画像を表示するために必要なラスタフォーマットの画像データを、画像記憶部から表示処理部に転送することができる。従って、コーデックフォーマットのデコード画像をラスタフォーマットのデコード画像に変換するフォーマット変換部の実装を省略することができる。その結果、フォーマット変換部から画像記憶部へのアクセスが不要となるため、遅延時間の短縮、消費電力の低減、及びバス帯域の削減を実現することが可能となる。また、コーデックフォーマットを用いたメモリアクセスが不要となるため、設計の簡素化を図ることが可能となる。
本発明の第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置において特に、前記表示処理部は、前記画像記憶部が保持しているデコード画像のＹＵＶフォーマットを、前記表示部に適合するＹＵＶフォーマットに変換するフォーマット変換部を有することを特徴とするものである。
第８の態様に係る画像処理装置によれば、フォーマット変換部は、画像記憶部が保持しているデコード画像のＹＵＶフォーマット（例えばＹＵＶ４２０）を、表示部に適合するＹＵＶフォーマット（例えばＹＵＶ４２２）に変換する。従って、画像記憶部が保持しているデコード画像のＹＵＶフォーマットが、表示部に適合するＹＵＶフォーマットとは異なる場合であっても、ＹＵＶフォーマットを変換することにより、表示部において画像を表示することが可能となる。
本発明の第９の態様に係る画像処理装置は、第７又は第８の態様に係る画像処理装置において特に、前記画像記憶部は複数のメモリバンクを有し、前記デコードブロック保持部は、保持しているＮ個のデコードブロック内の第１の行に属する画素データを、前記画像記憶部の第１のメモリバンクに書き込み、第１の行に隣接する第２の行に属する画素データを、前記第１のメモリバンクとは異なる第２のメモリバンクに書き込むことを特徴とするものである。
第９の態様に係る画像処理装置によれば、デコードブロック保持部は、保持しているＮ個のデコードブロック内の第１の行に属する画素データを、画像記憶部の第１のメモリバンクに書き込み、第１の行に隣接する第２の行に属する画素データを、第１のメモリバンクとは異なる第２のメモリバンクに書き込む。このように、隣接する行の画素データを異なるメモリバンクに書き込むことにより、第１の行に属する画素データの書き込みが完了すると同時に、第２の行に属する画素データの書き込みを開始することができる。その結果、同一のメモリバンクに連続してアクセスする際に必要となる待ち時間の発生を回避できるため、書き込みの所要時間を短縮することが可能となる。
本発明の第１０の態様に係る画像処理装置は、第７〜第９のいずれか一つの態様に係る画像処理装置において特に、前記デコードブロック保持部は、Ｎ＋１個のデコードブロックを保持し、第１乃至第Ｎのブロック期間において、前記デコードブロック生成部は、第１乃至第Ｎのデコードブロックを前記デコードブロック保持部に順に書き込み、第Ｎ＋１のブロック期間において、前記デコードブロック生成部は、第Ｎ＋１のデコードブロックを前記デコードブロック保持部に書き込み、前記デコードブロック保持部は、第１乃至第Ｎのデコードブロックを前記画像記憶部に書き込むことを特徴とするものである。
第１０の態様に係る画像処理装置によれば、第１乃至第Ｎのブロック期間において、デコードブロック生成部は、第１乃至第Ｎのデコードブロックをデコードブロック保持部に順に書き込む。そして、第Ｎ＋１のブロック期間において、デコードブロック生成部は、第Ｎ＋１のデコードブロックをデコードブロック保持部に書き込み、デコードブロック保持部は、第１乃至第Ｎのデコードブロックを画像記憶部に書き込む。従って、デコードブロック保持部に対するデコードブロックの書き込み及び読み出しを、同時に行うことが可能となる。しかも、デコードブロック保持部に必要な記憶容量は、Ｎ＋１個のデコードブロックを保持できる記憶容量で足りるため、２Ｎ個のデコードブロックを保持するデコードブロック保持部を実装する場合と比較して、必要な記憶容量を削減することが可能となる。
本発明によれば、表示用のフォーマット変換を省略することによって遅延時間の短縮、消費電力の低減、及びバス帯域の削減を実現することが可能となる。
本発明の実施の形態に係る画像処理装置の構成を簡略化して示す図である。 コーデック処理部が有するエンコーダの構成を簡略化して示す図である。 表示処理部の構成を簡略化して示す図である。 ＳＲＡＭが保持する参照画像の第１の例を示す図である。 ＳＲＡＭが保持する参照画像の第２の例を示す図である。 ローカルデコードブロック生成部がＳＲＡＭにローカルデコードブロックを書き込む処理を示す図である。 ＳＲＡＭから画像記憶部にローカルデコードブロックを転送する処理を示す図である。 ＳＲＡＭから画像記憶部にローカルデコードブロックを転送する処理を示す図である。 ＳＲＡＭの構成に関する第１の例を示す図である。 図９に対応して、ＳＲＡＭに対するローカルデコードブロックの書き込み及び読み出しのタイミングを示す図である。 ＳＲＡＭの構成に関する第２の例を示す図である。 図１１に対応して、ＳＲＡＭに対するローカルデコードブロックの書き込み及び読み出しのタイミングを示す図である。 画像記憶部からＳＲＡＭに画像データを転送する処理を示す図である。 画像記憶部から表示処理部に画像データを転送する処理を示す図である。 コーデック処理部が有するデコーダの構成を簡略化して示す図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
図１は、本発明の実施の形態に係る画像処理装置１の構成を簡略化して示す図である。図１の接続関係で示すように、画像処理装置１は、コーデック処理部２、コーデック制御部３、画像記憶部４、メモリ制御部５、表示処理部６、表示部７、及びバス８を備えて構成されている。画像記憶部４は、例えばＤＲＡＭによって構成されている。
図２は、コーデック処理部２が有するＨ．２６４のエンコーダの構成を簡略化して示す図である。図２の接続関係で示すように、コーデック処理部２は、ＳＲＡＭ１１、予測誤差生成部１２、ＤＣＴ変換部１３、量子化部１４、エントロピー符号化部１５、逆量子化部１６、逆ＤＣＴ変換部１７、動き補償部１８、デブロッキングフィルタ１９、ＳＲＡＭ２０、ＳＲＡＭ２１、及び動き探索部２２を備えて構成されている。動き補償部１８とデブロッキングフィルタ１９とによって、ローカルデコードブロック生成部２５が構成される。
図３は、表示処理部６の構成を簡略化して示す図である。図３の接続関係で示すように、表示処理部６は、ＳＲＡＭ３１及びフォーマット変換部３２を備えて構成されている。本実施の形態の例において、コーデック処理部２が処理する画像データのＹＵＶフォーマットはＹＵＶ４２０であり、表示部７が画像の表示に使用する画像データのＹＵＶフォーマットはＹＵＶ４２２である。フォーマット変換部３２は、画像記憶部４から転送されたＹＵＶ４２０フォーマットの画像データＤ２０を、表示部７に適合するＹＵＶ４２２フォーマットの画像データＤ２１に変換する。
以下、本実施の形態に係る画像処理装置１の動作について説明する。
図２を参照して、符号化対象である入力マクロブロックの画像データＤ１は、ＳＲＡＭ１１を介して予測誤差生成部１２及び動き探索部２２に入力される。
また、参照画像の画像データＤ２が画像記憶部４から読み出されてＳＲＡＭ２１に格納され、ＳＲＡＭ２１は参照画像を保持する。
図４は、ＳＲＡＭ２１が保持する参照画像の第１の例を示す図である。ＳＲＡＭ２１は、入力画像の水平方向画素数に相当する水平方向画素数と、垂直方向の動き探索範囲に相当する垂直方向画素数とを有する参照画像を保持する。この例では、垂直方向の動き探索範囲が、入力マクロブロックの位置を中心として±４マクロブロックの範囲に設定されている。１マクロブロックは１６列×１６行の画素によって構成されているため、垂直方向の動き探索範囲は１６×９＝１４４画素となる。図４の（Ａ）に示すように、入力画像の画素数が例えば１９２０列×１０８０行である場合には、図４の（Ｂ）に示すように、ＳＲＡＭ２１は１９２０列×１４４行の画素数を有する参照画像を保持する。
図５は、ＳＲＡＭ２１が保持する参照画像の第２の例を示す図である。ＳＲＡＭ２１は、入力画像の水平方向画素数及び垂直方向画素数にそれぞれ相当する水平方向画素数及び垂直方向画素数を有する参照画像を保持する。つまり、ＳＲＡＭ２１は、入力画像の１フレーム分に相当する参照画像を保持する。図５の（Ａ）に示すように、入力画像の画素数が例えば１９２０列×１０８０行である場合には、図５の（Ｂ）に示すように、ＳＲＡＭ２１は１９２０列×１０８０行の画素数を有する参照画像を保持する。
図２を参照して、動き探索部２２は、ＳＲＡＭ１１から入力された画像データＤ１とＳＲＡＭ２１から入力された画像データＤ２とに基づいて動き探索を行うことにより、入力マクロブロックに関する予測ブロックを生成する。予測ブロックの画像データＤ３は、予測誤差生成部１２及び動き補償部１８に入力される。
予測誤差生成部１２は、入力マクロブロックの画像データＤ１と予測ブロックの画像データＤ３とに基づいて予測誤差を生成し、予測誤差の画像データＤ４をＤＣＴ変換部１３に入力する。
ＤＣＴ変換部１３は、画像データＤ４に対してＤＣＴ変換を行い、ＤＣＴ変換後の画像データＤ５を量子化部１４に入力する。
量子化部１４は、画像データＤ５に対して量子化を行い、量子化後の画像データＤ６をエントロピー符号化部１５及び逆量子化部１６に入力する。
エントロピー符号化部１５は、画像データＤ６に対してＣＡＢＡＣ又はＣＡＶＬＣ等を用いてエントロピー符号化を行い、符号化データＤ７を出力する。
逆量子化部１６は、画像データＤ６に対して逆量子化を行い、画像データＤ５に相当する逆量子化後の画像データＤ８を逆ＤＣＴ変換部１７に入力する。
逆ＤＣＴ変換部１７は、画像データＤ８に対して逆ＤＣＴ変換を行い、予測誤差の画像データＤ４に相当する逆ＤＣＴ変換後の画像データＤ９を動き補償部１８に入力する。
動き補償部１８は、予測ブロックの画像データＤ３と予測誤差の画像データＤ９とに基づいて、画像データＤ１に相当する入力マクロブロックを復元することにより、ローカルデコードブロックを生成する。ローカルデコードブロックの画像データＤ１０は、デブロッキングフィルタ１９に入力される。
デブロッキングフィルタ１９は、画像データＤ１０に対して所定のデブロッキングフィルタ処理を行い、その処理後の画像データＤ１１をＳＲＡＭ２０に格納する。つまり、ローカルデコードブロック生成部２５は、予測誤差（画像データＤ９）と予測ブロック（画像データＤ３）とに基づいてローカルデコードブロックを生成し、生成したローカルデコードブロックをＳＲＡＭ２０に格納する。
ローカルデコードブロックの画像データＤ１１は、ＳＲＡＭ２０から画像記憶部４に転送される。入力画像に含まれる全てのマクロブロックに関するローカルデコードブロックの画像データＤ１１が画像記憶部４に転送されることにより、画像記憶部４はローカルデコード画像を保持する。ローカルデコード画像は、次の入力画像に対する処理において参照画像として使用される。
図６は、ローカルデコードブロック生成部２５がＳＲＡＭ２０にローカルデコードブロックを書き込む処理を示す図である。ローカルデコードブロック生成部２５は、入力画像内で行方向に並ぶ複数Ｎ個（この例ではＮ＝４）の入力マクロブロックＭＢ１〜ＭＢ４に対応して、４個のローカルデコードブロックＬＤＢ１〜ＬＤＢ４を順に生成する。そして、当該４個のローカルデコードブロックＬＤＢ１〜ＬＤＢ４を行方向に並べてＳＲＡＭ２０に書き込む。具体的には以下の通りである。
まず、図６の（Ａ）に示すように、第１のマクロブロック期間においてローカルデコードブロック生成部２５は、入力マクロブロックＭＢ１に対応してローカルデコードブロックＬＤＢ１を生成する。そして、ローカルデコードブロックＬＤＢ１をＳＲＡＭ２０に書き込む。
次に、図６の（Ｂ）に示すように、第２のマクロブロック期間においてローカルデコードブロック生成部２５は、入力マクロブロックＭＢ１に並ぶ入力マクロブロックＭＢ２に対応して、ローカルデコードブロックＬＤＢ２を生成する。そして、ローカルデコードブロックＬＤＢ２をローカルデコードブロックＬＤＢ１に並べてＳＲＡＭ２０に書き込む。
次に、図６の（Ｃ）に示すように、第３のマクロブロック期間においてローカルデコードブロック生成部２５は、入力マクロブロックＭＢ２に並ぶ入力マクロブロックＭＢ３に対応して、ローカルデコードブロックＬＤＢ３を生成する。そして、ローカルデコードブロックＬＤＢ３をローカルデコードブロックＬＤＢ２に並べてＳＲＡＭ２０に書き込む。
次に、図６の（Ｄ）に示すように、第４のマクロブロック期間においてローカルデコードブロック生成部２５は、入力マクロブロックＭＢ３に並ぶ入力マクロブロックＭＢ４に対応して、ローカルデコードブロックＬＤＢ４を生成する。そして、ローカルデコードブロックＬＤＢ４をローカルデコードブロックＬＤＢ３に並べてＳＲＡＭ２０に書き込む。
図７，８は、ＳＲＡＭ２０から画像記憶部４にローカルデコードブロックを転送する処理を示す図である。ＳＲＡＭ２０から画像記憶部４へのローカルデコードブロックの転送は、ラスタフォーマットを用いたメモリアクセスによって行われる。つまり、ＳＲＡＭ２０が保持している４個のローカルデコードブロックＬＤＢ１〜ＬＤＢ４に跨がる行単位（６４列×１行）でのバースト転送を、列方向に１６回繰り返すことによって、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４が画像記憶部４に書き込まれる。
また、画像記憶部４は複数（この例では８個）のメモリバンクＢＫ１〜ＢＫ８を有しており、隣接する行の画素データは異なるメモリバンクに書き込まれる。図８を参照して、まず、第０行に属する６４列×１行の画素データＲ０が画像記憶部４のメモリバンクＢＫ１に書き込まれ、次に、第１行に属する画素データＲ１がメモリバンクＢＫ２に書き込まれ、次に、第２行に属する画素データＲ２がメモリバンクＢＫ３に書き込まれる。以下同様に、第３行〜第７行に属する画素データＲ３〜Ｒ７が、それぞれメモリバンクＢＫ４〜ＢＫ８に順に書き込まれる。さらに、第８行〜第１５行に属する画素データＲ８〜Ｒ１５が、それぞれメモリバンクＢＫ１〜ＢＫ８に順に書き込まれる。
また、本実施の形態の例では、ローカルデコード画像のＹＵＶフォーマットはＹＵＶ４２０であるため、偶数行に属する画素データには輝度データのみが含まれ、奇数行に属する画素データには輝度データ及び色差データが含まれる。具体的には、偶数行に関しては１画素あたり１個の輝度データが含まれ、奇数行に関しては１画素あたり１個の輝度データと１個の色差データとが含まれる。つまり、奇数行のデータ量は偶数行のデータ量の２倍となる。従って、奇数行のデータ転送におけるバースト長を、偶数行のバースト転送におけるバースト長の２倍に設定することにより、偶数行に関しては１回のバースト転送によって１行分の輝度データが画像記憶部４に書き込まれ、奇数行に関しては１回のバースト転送によって１行分の輝度データ及び色差データが画像記憶部４に書き込まれる。なお、上記とは逆に、偶数行に属する画素データには輝度データ及び色差データが含まれ、奇数行に属する画素データには輝度データのみが含まれていてもよい。この場合には、偶数行のデータ転送におけるバースト長を、奇数行のバースト転送におけるバースト長の２倍に設定することにより、奇数行に関しては１回のバースト転送によって１行分の輝度データが画像記憶部４に書き込まれ、偶数行に関しては１回のバースト転送によって１行分の輝度データ及び色差データが画像記憶部４に書き込まれる。
なお、ローカルデコード画像のＹＵＶフォーマットはＹＵＶ４２２であってもよく、この場合には偶数行と奇数行とでデータ量は等しいため、データ転送におけるバースト長は偶数行と奇数行とで共通となる。
図９は、ＳＲＡＭ２０の構成に関する第１の例を示す図である。また図１０は、図９に対応して、ＳＲＡＭ２０に対するローカルデコードブロックの書き込み及び読み出しのタイミングを示す図である。
図９を参照して、ＳＲＡＭ２０は、それぞれにローカルデコードブロックを１個ずつ格納可能な、合計Ｎ＋１個（この例では５個）の記憶領域Ｘ１〜Ｘ５を有する。
図１０を参照して、まず、マクロブロック期間Ｔ１〜Ｔ４において、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４が記憶領域Ｘ１〜Ｘ４にそれぞれ書き込まれる。次に、マクロブロック期間Ｔ５において、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４がラスタフォーマットのバースト転送によって記憶領域Ｘ１〜Ｘ４から読み出されるとともに、ローカルデコードブロックＬＤＢ５が記憶領域Ｘ５に書き込まれる。以降は同様に、マクロブロック期間Ｔ６〜Ｔ８において、ローカルデコードブロックＬＤＢ６〜ＬＤＢ８が記憶領域Ｘ１〜Ｘ３にそれぞれ書き込まれ、マクロブロック期間Ｔ９において、ローカルデコードブロックＬＤＢ５，ＬＤＢ６，ＬＤＢ７，ＬＤＢ８がラスタフォーマットのバースト転送によって記憶領域Ｘ５，Ｘ１，Ｘ２，Ｘ３から読み出されるとともに、ローカルデコードブロックＬＤＢ９が記憶領域Ｘ４に書き込まれる。
図１１は、ＳＲＡＭ２０の構成に関する第２の例を示す図である。また図１２は、図１１に対応して、ＳＲＡＭ２０に対するローカルデコードブロックの書き込み及び読み出しのタイミングを示す図である。
図１１を参照して、ＳＲＡＭ２０は、それぞれにローカルデコードブロックを１個ずつ格納可能な、合計２Ｎ個（この例では８個）の記憶領域Ｘ１〜Ｘ８を有する。
図１２を参照して、まず、マクロブロック期間Ｔ１〜Ｔ４において、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４が記憶領域Ｘ１〜Ｘ４にそれぞれ書き込まれる。次に、マクロブロック期間Ｔ５において、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４がラスタフォーマットのバースト転送によって記憶領域Ｘ１〜Ｘ４から読み出されるとともに、ローカルデコードブロックＬＤＢ５が記憶領域Ｘ５に書き込まれる。以降は同様に、マクロブロック期間Ｔ６〜Ｔ８において、ローカルデコードブロックＬＤＢ６〜ＬＤＢ８が記憶領域Ｘ６〜Ｘ８にそれぞれ書き込まれ、マクロブロック期間Ｔ９において、ローカルデコードブロックＬＤＢ５〜ＬＤＢ８がラスタフォーマットのバースト転送によって記憶領域Ｘ５〜Ｘ８から読み出されるとともに、ローカルデコードブロックＬＤＢ９が記憶領域Ｘ１に書き込まれる。
図１３は、画像記憶部４からＳＲＡＭ２１に画像データを転送する処理を示す図である。画像記憶部４からＳＲＡＭ２１への画像データの転送は、ＳＲＡＭ２０から画像記憶部４へのローカルデコードブロックの転送と同様に、４個のマクロブロック単位でのラスタフォーマットを用いたバースト転送によって行われる。
まず、図１３の（Ａ）に示すように、参照画像の左上角を起点として、画像記憶部４が保持している４個のローカルデコードブロックに跨がる行単位（６４列×１行）でのバースト転送を、列方向に１６回繰り返すことによって、４個のローカルデコードブロックがＳＲＡＭ２１に書き込まれる。
次に、図１３の（Ｂ）及び（Ｃ）に示すように、１段目のマクロブロックライン内で同様のデータ転送を右方向に進めることによって、ローカルデコードブロックが４個ずつＳＲＡＭ２１に書き込まれる。
１段目のマクロブロックラインに関するデータ転送が完了すると、次に、図１３の（Ｄ）に示すように、２段目のマクロブロックラインの左端から順に同様のデータ転送を右方向に進めることによって、ローカルデコードブロックが４個ずつＳＲＡＭ２１に書き込まれる。以降は同様のデータ転送が繰り返されることによって、画像記憶部４からＳＲＡＭ２１に参照画像が転送される。
図１４は、画像記憶部４から表示処理部６に画像データを転送する処理を示す図である。画像記憶部４から表示処理部６への画像データの転送は、画像の左端から右端に跨がる１行単位でのラスタフォーマットを用いたデータ転送によって行われる。
まず、図１４の（Ａ）に示すように、画像の左上角を起点として、画像記憶部４が保持している４個のローカルデコードブロックに跨がる行単位でのバースト転送を行うことによって、６４列×１行分の画像データが表示処理部６へ転送される。
次に、図１４の（Ｂ）及び（Ｃ）に示すように、画像の１行目に関して同様のデータ転送を右方向に進めることによって、画像データが６４列×１行分ずつ表示処理部６へ転送される。
１行目に関するデータ転送が完了すると、次に、図１４の（Ｄ）に示すように、画像の２行目の左端から順に同様のデータ転送を右方向に進めることによって、画像データが６４列×１行分ずつ表示処理部６へ転送される。以降は同様のデータ転送が繰り返されることによって、画像記憶部４から表示処理部６に１フレーム分の画像データが転送される。
このように本実施の形態に係る画像処理装置１によれば、ＳＲＡＭ２１（参照画像保持部）は、入力画像の水平方向画素数に相当する水平方向画素数と、垂直方向の動き探索範囲以上の垂直方向画素数とを有する参照画像を保持する。従って、動き探索部２２は、ＳＲＡＭ２１が保持している参照画像に基づいて、垂直方向の探索範囲内で最適な予測ブロックを確実に（つまりキャッシュヒット率１００％で）生成することができる。従って、別の領域の参照画像を画像記憶部４からＳＲＡＭ２１に読み出す必要がないため、画像記憶部４へのリードアクセスの発生を回避でき、その結果、処理時間の短縮及びバス帯域の削減を実現することが可能となる。
また、図５に示した例によれば、ＳＲＡＭ２１は、入力画像の水平方向画素数及び垂直方向画素数にそれぞれ相当する水平方向画素数及び垂直方向画素数を有する参照画像を保持する。つまり、ＳＲＡＭ２１は、１フレーム分の参照画像を保持する。従って、動き探索部２２は、ＳＲＡＭ２１が保持している１フレーム分の参照画像内で、処理対象の入力マクロブロックと最も相関性の高いマクロブロックを確実に特定できるため、高精度の予測ブロックを生成することができる。また、入力マクロブロックの垂直方向の位置に応じて参照画像を更新する必要がないため、画像記憶部４へのリードアクセスの発生を回避でき、その結果、処理時間の短縮及びバス帯域の削減を効果的に実現することが可能となる。
また、本実施の形態に係る画像処理装置１によれば、ローカルデコードブロック生成部２５は、順に生成したＮ個のローカルデコードブロックを行方向に並べてＳＲＡＭ２０（ローカルデコードブロック保持部）に書き込む。また、ＳＲＡＭ２０は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のローカルデコードブロックを画像記憶部４に書き込む。つまり、ＳＲＡＭ２０へのローカルデコードブロックの格納まではマクロブロック単位での処理を行い、ＳＲＡＭ２０から画像記憶部４へのローカルデコードブロックの書き込みは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、ローカルデコードブロックを画像記憶部４へ簡易に書き込むことが可能となる。しかも、行方向に並ぶ複数Ｎ個のローカルデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。
また、本実施の形態に係る画像処理装置１によれば、ＳＲＡＭ２０は、保持しているＮ個のローカルデコードブロック内の第１の行に属する画素データを、画像記憶部４の第１のメモリバンクに書き込み、第１の行に隣接する第２の行に属する画素データを、第１のメモリバンクとは異なる第２のメモリバンクに書き込む。このように、隣接する行の画素データを異なるメモリバンクに書き込むことにより、第１の行に属する画素データの書き込みが完了すると同時に、第２の行に属する画素データの書き込みを開始することができる。その結果、同一のメモリバンクに連続してアクセスする際に必要となる待ち時間の発生を回避できるため、書き込みの所要時間を短縮することが可能となる。
また、図９，１０に示した例によれば、マクロブロック期間Ｔ１〜Ｔ４において、ローカルデコードブロック生成部２５は、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４をＳＲＡＭ２０に順に書き込む。そして、マクロブロック期間Ｔ５において、ローカルデコードブロック生成部２５は、ローカルデコードブロックＬＤＢ５をＳＲＡＭ２０に書き込み、ＳＲＡＭ２０は、ローカルデコードブロックＬＤＢ１〜ＬＤＢ４を画像記憶部４に書き込む。従って、ＳＲＡＭ２０に対するローカルデコードブロックの書き込み及び読み出しを、同時に行うことが可能となる。しかも、ＳＲＡＭ２０に必要な記憶容量は、Ｎ＋１個のローカルデコードブロックを保持できる記憶容量で足りるため、２Ｎ個のローカルデコードブロックを保持する記憶容量を必要とする図１１，１２に示した例と比較して、ＳＲＡＭ２０に必要な記憶容量を削減することが可能となる。
また、本実施の形態に係る画像処理装置１によれば、画像記憶部４は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、ローカルデコード画像内で行方向に並ぶＮ個のローカルデコードブロックをＳＲＡＭ２１に書き込む。つまり、画像記憶部４からのローカルデコード画像の読み出しは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、ローカルデコード画像を画像記憶部４から簡易に読み出すことが可能となる。しかも、行方向に並ぶ複数Ｎ個のローカルデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。
また、本実施の形態に係る画像処理装置１によれば、画像記憶部４は、自身が保持しているローカルデコード画像を、行単位でのバースト転送によって表示処理部６に転送する。このように、ラスタフォーマットのローカルデコード画像を画像記憶部４に格納しておくことにより、表示部７において画像を表示するために必要なラスタフォーマットの画像データを、画像記憶部４から表示処理部６に転送することができる。従って、コーデックフォーマットのローカルデコード画像をラスタフォーマットのローカルデコード画像に変換するためのフォーマット変換部の実装を省略することができる。その結果、当該フォーマット変換部から画像記憶部４へのアクセスが不要となるため、遅延時間の短縮、消費電力の低減、及びバス帯域の削減を実現することが可能となる。また、コーデックフォーマットを用いたメモリアクセスが不要となるため、設計の簡素化を図ることが可能となる。
また、本実施の形態に係る画像処理装置１によれば、フォーマット変換部３２は、画像記憶部４が保持しているローカルデコード画像のＹＵＶフォーマット（上記の例ではＹＵＶ４２０）を、表示部７に適合するＹＵＶフォーマット（上記の例ではＹＵＶ４２２）に変換する。従って、画像記憶部４が保持しているローカルデコード画像のＹＵＶフォーマットが、表示部７に適合するＹＵＶフォーマットとは異なる場合であっても、ＹＵＶフォーマットを変換することにより、表示部７において画像を表示することが可能となる。
＜変形例＞
上記実施の形態では、エンコーダが生成するローカルデコード画像を表示部７で表示する例について説明したが、デコーダが生成するデコード画像を表示部７で表示してもよい。
図１５は、コーデック処理部２が有するＨ．２６４のデコーダの構成を簡略化して示す図である。図１５の接続関係で示すように、コーデック処理部２は、エントロピー復号部４５、逆量子化部４６、逆ＤＣＴ変換部４７、動き補償部４８、デブロッキングフィルタ４９、ＳＲＡＭ５０、ＳＲＡＭ５１、及び動き探索部５２を備えて構成されている。動き補償部４８とデブロッキングフィルタ４９とによって、デコードブロック生成部５５が構成される。
復号対象である符号化データＤ２０（図２に示した符号化データＤ７に相当する）は、エントロピー復号部４５に入力される。
また、参照画像の画像データＤ２４が画像記憶部４から読み出されてＳＲＡＭ５１に格納され、ＳＲＡＭ５１は参照画像を保持する。ＳＲＡＭ５１が保持する参照画像は、上記実施の形態と同様である。つまり、ＳＲＡＭ５１は、入力画像の水平方向画素数に相当する水平方向画素数と、垂直方向の動き探索範囲以上の垂直方向画素数とを有する参照画像を保持する。
動き探索部５２は、ＳＲＡＭ５１が保持している参照画像に基づいて動き探索を行うことにより、予測ブロックを生成する。予測ブロックの画像データＤ２５は、動き補償部４８に入力される。
エントロピー復号部４５は、符号化データＤ２０に対してＣＡＢＡＣ又はＣＡＶＬＣ等を用いてエントロピー復号を行い、図２に示した画像データＤ６に相当する画像データＤ２１を逆量子化部４６に入力する。
逆量子化部４６は、画像データＤ２１に対して逆量子化を行い、図２に示した画像データＤ５に相当する逆量子化後の画像データＤ２２を逆ＤＣＴ変換部４７に入力する。
逆ＤＣＴ変換部４７は、画像データＤ２２に対して逆ＤＣＴ変換を行い、図２に示した予測誤差の画像データＤ４に相当する逆ＤＣＴ変換後の画像データＤ２３を動き補償部４８に入力する。
動き補償部４８は、予測ブロックの画像データＤ２５と予測誤差の画像データＤ２３とに基づいて、図２に示した画像データＤ１に相当する入力マクロブロックを復元することにより、デコードブロックを生成する。デコードブロックの画像データＤ２６は、デブロッキングフィルタ４９に入力される。
デブロッキングフィルタ４９は、画像データＤ２６に対して所定のデブロッキングフィルタ処理を行い、その処理後の画像データＤ２７をＳＲＡＭ５０に格納する。つまり、デコードブロック生成部５５は、予測誤差（画像データＤ２３）と予測ブロック（画像データＤ２５）とに基づいてデコードブロックを生成し、生成したデコードブロックをＳＲＡＭ５０に格納する。
デコードブロックの画像データＤ２７は、ＳＲＡＭ５０から画像記憶部４に転送される。入力画像に含まれる全てのマクロブロックに関するデコードブロックの画像データＤ２７が画像記憶部４に転送されることにより、画像記憶部４はデコード画像を保持する。デコード画像は、次の入力画像に対する処理において参照画像として使用される。
デコードブロック生成部５５がＳＲＡＭ５０にデコードブロックを書き込む処理は、図６に示した上記実施の形態と同様である。つまり、デコードブロック生成部５５は、入力画像内で行方向に並ぶ複数Ｎ個（この例ではＮ＝４）の入力マクロブロックＭＢ１〜ＭＢ４に対応して、４個のデコードブロックＤＢ１〜ＤＢ４を順に生成する。そして、当該４個のローカルデコードブロックＤＢ１〜ＤＢ４を行方向に並べてＳＲＡＭ５０に書き込む。
ＳＲＡＭ５０から画像記憶部４にデコードブロックを転送する処理は、図７，８に示した上記実施の形態と同様である。つまり、ＳＲＡＭ５０が保持している４個のデコードブロックＤＢ１〜ＤＢ４に跨がる行単位（６４列×１行）でのバースト転送を、列方向に１６回繰り返すことによって、デコードブロックＤＢ１〜ＤＢ４が画像記憶部４に書き込まれる。また、画像記憶部４は複数（この例では８個）のメモリバンクＢＫ１〜ＢＫ８を有しており、隣接する行の画素データは異なるメモリバンクに書き込まれる。
ＳＲＡＭ５０の構成、及び、ＳＲＡＭ５０に対するデコードブロックの書き込み及び読み出しのタイミングは、図９〜１２に示した上記実施の形態と同様である。
図９，１０に示した例では、マクロブロック期間Ｔ１〜Ｔ４において、デコードブロックＤＢ１〜ＤＢ４が記憶領域Ｘ１〜Ｘ４にそれぞれ書き込まれ、マクロブロック期間Ｔ５〜Ｔ８において、デコードブロックＤＢ５〜ＤＢ８が記憶領域Ｘ５，Ｘ１〜Ｘ３にそれぞれ書き込まれる。また、マクロブロック期間Ｔ５において、デコードブロックＤＢ１〜ＤＢ４がラスタフォーマットのバースト転送によって記憶領域Ｘ１〜Ｘ４から読み出され、マクロブロック期間Ｔ９において、デコードブロックＤＢ５〜ＤＢ８がラスタフォーマットのバースト転送によって記憶領域Ｘ５，Ｘ１〜Ｘ３から読み出される。
図１１，１２に示した例では、マクロブロック期間Ｔ１〜Ｔ４において、デコードブロックＤＢ１〜ＤＢ４が記憶領域Ｘ１〜Ｘ４にそれぞれ書き込まれ、マクロブロック期間Ｔ５〜Ｔ８において、デコードブロックＤＢ５〜ＤＢ８が記憶領域Ｘ５〜Ｘ８にそれぞれ書き込まれる。また、マクロブロック期間Ｔ５において、デコードブロックＤＢ１〜ＤＢ４がラスタフォーマットのバースト転送によって記憶領域Ｘ１〜Ｘ４から読み出され、マクロブロック期間Ｔ９において、デコードブロックＤＢ５〜ＤＢ８がラスタフォーマットのバースト転送によって記憶領域Ｘ５〜Ｘ８から読み出される。
画像記憶部４からＳＲＡＭ５１に画像データを転送する処理は、図１３に示した上記実施の形態と同様である。つまり、画像記憶部４からＳＲＡＭ５１への画像データの転送は、ＳＲＡＭ５０から画像記憶部４へのデコードブロックの転送と同様に、４個のマクロブロック単位でのラスタフォーマットを用いたバースト転送によって行われる。
画像記憶部４から表示処理部６に画像データを転送する処理は、図１４に示した上記実施の形態と同様である。つまり、画像記憶部４から表示処理部６への画像データの転送は、画像の左端から右端に跨がる１行単位でのラスタフォーマットを用いたデータ転送によって行われる。
本変形例に係る画像処理装置１によれば、デコードブロック生成部５５は、順に生成したＮ個のデコードブロックを行方向に並べてＳＲＡＭ５０（デコードブロック保持部）に書き込む。また、ＳＲＡＭ５０は、Ｎ個のデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のデコードブロックを画像記憶部４に書き込む。つまり、ＳＲＡＭ５０へのデコードブロックの格納まではマクロブロック単位での処理を行い、ＳＲＡＭ５０から画像記憶部４へのデコードブロックの書き込みは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、デコードブロックを画像記憶部４へ簡易に書き込むことが可能となる。しかも、行方向に並ぶ複数Ｎ個のデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。また、画像記憶部４は、自身が保持しているデコード画像を、行単位でのバースト転送によって表示処理部６に転送する。このように、ラスタフォーマットのデコード画像を画像記憶部４に格納しておくことにより、表示部７において画像を表示するために必要なラスタフォーマットの画像データを、画像記憶部４から表示処理部６に転送することができる。従って、コーデックフォーマットのデコード画像をラスタフォーマットのデコード画像に変換するためのフォーマット変換部の実装を省略することができる。その結果、当該フォーマット変換部から画像記憶部４へのアクセスが不要となるため、遅延時間の短縮、消費電力の低減、及びバス帯域の削減を実現することが可能となる。また、コーデックフォーマットを用いたメモリアクセスが不要となるため、設計の簡素化を図ることが可能となる。
また、本変形例に係る画像処理装置１によれば、フォーマット変換部３２は、画像記憶部４が保持しているデコード画像のＹＵＶフォーマット（上記の例ではＹＵＶ４２０）を、表示部７に適合するＹＵＶフォーマット（上記の例ではＹＵＶ４２２）に変換する。従って、画像記憶部４が保持しているデコード画像のＹＵＶフォーマットが、表示部７に適合するＹＵＶフォーマットとは異なる場合であっても、ＹＵＶフォーマットを変換することにより、表示部７において画像を表示することが可能となる。
また、本変形例に係る画像処理装置１によれば、ＳＲＡＭ５０は、保持しているＮ個のデコードブロック内の第１の行に属する画素データを、画像記憶部４の第１のメモリバンクに書き込み、第１の行に隣接する第２の行に属する画素データを、第１のメモリバンクとは異なる第２のメモリバンクに書き込む。このように、隣接する行の画素データを異なるメモリバンクに書き込むことにより、第１の行に属する画素データの書き込みが完了すると同時に、第２の行に属する画素データの書き込みを開始することができる。その結果、同一のメモリバンクに連続してアクセスする際に必要となる待ち時間の発生を回避できるため、書き込みの所要時間を短縮することが可能となる。
また、図９，１０に示した例によれば、マクロブロック期間Ｔ１〜Ｔ４において、デコードブロック生成部５５は、デコードブロックＤＢ１〜ＤＢ４をＳＲＡＭ５０に順に書き込む。そして、マクロブロック期間Ｔ５において、デコードブロック生成部５５は、デコードブロックＤＢ５をＳＲＡＭ５０に書き込み、ＳＲＡＭ５０は、デコードブロックＤＢ１〜ＤＢ４を画像記憶部４に書き込む。従って、ＳＲＡＭ５０に対するデコードブロックの書き込み及び読み出しを、同時に行うことが可能となる。しかも、ＳＲＡＭ５０に必要な記憶容量は、Ｎ＋１個のデコードブロックを保持できる記憶容量で足りるため、２Ｎ個のデコードブロックを保持する記憶容量を必要とする図１１，１２に示した例と比較して、ＳＲＡＭ５０に必要な記憶容量を削減することが可能となる。
また、本変形例に係る画像処理装置１によれば、画像記憶部４は、Ｎ個のデコードブロックに跨がる行単位でのバースト転送によって、デコード画像内で行方向に並ぶＮ個のデコードブロックをＳＲＡＭ５１に書き込む。つまり、画像記憶部４からのデコード画像の読み出しは、ラスタフォーマットを用いたメモリアクセスによって行う。このように、単純なラスタフォーマットを用いたメモリアクセスを行うことにより、デコード画像を画像記憶部４から簡易に読み出すことが可能となる。しかも、行方向に並ぶ複数Ｎ個のデコードブロックを対象としてラスタフォーマットでのバースト転送を行うため、効率的なバースト転送を行うことが可能となる。
１ 画像処理装置
２ コーデック処理部
４ 画像記憶部
６ 表示処理部
７ 表示部
１２ 予測誤差生成部
１８ 動き補償部
２０ ＳＲＡＭ（ローカルデコードブロック保持部）
２１ ＳＲＡＭ（参照画像保持部）
２２ 動き探索部
２５ ローカルデコードブロック生成部
３２ フォーマット変換部
４８ 動き補償部
５０ ＳＲＡＭ（デコードブロック保持部）
５１ ＳＲＡＭ（参照画像保持部）
５２ 動き探索部
５５ デコードブロック生成部

Claims (10)

  1. 入力画像を符号化するコーデック処理部と、
    前記コーデック処理部がアクセス可能な画像記憶部と、
    を備え、
    前記コーデック処理部は、
    前記画像記憶部から読み出した参照画像を保持する参照画像保持部と、
    前記参照画像保持部が保持している参照画像に基づいて動き探索を行うことにより、入力画像内の処理対象ブロックに関する予測ブロックを生成する動き探索部と、
    処理対象ブロックと予測ブロックとに基づいて予測誤差を生成する予測誤差生成部と、
    予測誤差と予測ブロックとに基づいて処理対象ブロックを復元することにより、ローカルデコードブロックを生成するローカルデコードブロック生成部と、
    複数のローカルデコードブロックを保持するローカルデコードブロック保持部と、
    を有し、
    前記ローカルデコードブロック生成部は、入力画像内で行方向に並ぶＮ個（Ｎは複数）の処理対象ブロックに対応してＮ個のローカルデコードブロックを順に生成し、当該Ｎ個のローカルデコードブロックを行方向に並べて前記ローカルデコードブロック保持部に書き込み、
    前記ローカルデコードブロック保持部は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のローカルデコードブロックを前記画像記憶部に書き込む、画像処理装置。
  2. 前記画像記憶部は複数のメモリバンクを有し、
    前記ローカルデコードブロック保持部は、
    保持しているＮ個のローカルデコードブロック内の第１の行に属する画素データを、前記画像記憶部の第１のメモリバンクに書き込み、
    第１の行に隣接する第２の行に属する画素データを、前記第１のメモリバンクとは異なる第２のメモリバンクに書き込む、請求項１に記載の画像処理装置。
  3. 前記ローカルデコードブロック保持部は、Ｎ＋１個のローカルデコードブロックを保持し、
    第１乃至第Ｎのブロック期間において、前記ローカルデコードブロック生成部は、第１乃至第Ｎのローカルデコードブロックを前記ローカルデコードブロック保持部に順に書き込み、
    第Ｎ＋１のブロック期間において、前記ローカルデコードブロック生成部は、第Ｎ＋１のローカルデコードブロックを前記ローカルデコードブロック保持部に書き込み、前記ローカルデコードブロック保持部は、第１乃至第Ｎのローカルデコードブロックを前記画像記憶部に書き込む、請求項１又は２に記載の画像処理装置。
  4. 前記画像記憶部は、参照画像として使用されるローカルデコード画像を保持し、
    前記画像記憶部は、Ｎ個のローカルデコードブロックに跨がる行単位でのバースト転送によって、ローカルデコード画像内で行方向に並ぶＮ個のローカルデコードブロックを前記参照画像保持部に書き込む、請求項１〜３のいずれか一つに記載の画像処理装置。
  5. 表示部において画像を表示するための画像データを処理する表示処理部をさらに備え、
    前記画像記憶部は、自身が保持しているローカルデコード画像を、行単位でのバースト転送によって前記表示処理部に転送し、
    前記表示処理部は、前記画像記憶部から転送されたローカルデコード画像に基づいて画像を表示する、請求項４に記載の画像処理装置。
  6. 前記表示処理部は、前記画像記憶部が保持しているローカルデコード画像のＹＵＶフォーマットを、前記表示部に適合するＹＵＶフォーマットに変換するフォーマット変換部を有する、請求項５に記載の画像処理装置。
  7. コーデック処理部と、
    表示部において画像を表示するための画像データを処理する表示処理部と、
    前記コーデック処理部及び前記表示処理部がアクセス可能な画像記憶部と、
    を備え、
    前記コーデック処理部は、
    予測ブロックと予測誤差とに基づいて入力画像を復元することにより、デコードブロックを生成する動き補償部を有するデコードブロック生成部と、
    複数のデコードブロックを保持するデコードブロック保持部と、
    を有し、
    前記デコードブロック生成部は、入力画像内で行方向に並ぶＮ個（Ｎは複数）の処理対象ブロックに対応してＮ個のデコードブロックを順に生成し、当該Ｎ個のデコードブロックを行方向に並べて前記デコードブロック保持部に書き込み、
    前記デコードブロック保持部は、Ｎ個のデコードブロックに跨がる行単位でのバースト転送によって、自身が保持しているＮ個のデコードブロックを前記画像記憶部に書き込み、
    前記画像記憶部は、自身が保持しているデコード画像を、行単位でのバースト転送によって前記表示処理部に転送し、
    前記表示処理部は、前記画像記憶部から転送されたデコード画像に基づいて画像を表示する、画像処理装置。
  8. 前記表示処理部は、前記画像記憶部が保持しているデコード画像のＹＵＶフォーマットを、前記表示部に適合するＹＵＶフォーマットに変換するフォーマット変換部を有する、請求項７に記載の画像処理装置。
  9. 前記画像記憶部は複数のメモリバンクを有し、
    前記デコードブロック保持部は、
    保持しているＮ個のデコードブロック内の第１の行に属する画素データを、前記画像記憶部の第１のメモリバンクに書き込み、
    第１の行に隣接する第２の行に属する画素データを、前記第１のメモリバンクとは異なる第２のメモリバンクに書き込む、請求項７又は８に記載の画像処理装置。
  10. 前記デコードブロック保持部は、Ｎ＋１個のデコードブロックを保持し、
    第１乃至第Ｎのブロック期間において、前記デコードブロック生成部は、第１乃至第Ｎのデコードブロックを前記デコードブロック保持部に順に書き込み、
    第Ｎ＋１のブロック期間において、前記デコードブロック生成部は、第Ｎ＋１のデコードブロックを前記デコードブロック保持部に書き込み、前記デコードブロック保持部は、第１乃至第Ｎのデコードブロックを前記画像記憶部に書き込む、請求項７〜９のいずれか一つに記載の画像処理装置。
JP2013260618A 2013-12-17 2013-12-17 画像処理装置 Active JP6490896B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013260618A JP6490896B2 (ja) 2013-12-17 2013-12-17 画像処理装置
US14/572,887 US9807417B2 (en) 2013-12-17 2014-12-17 Image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013260618A JP6490896B2 (ja) 2013-12-17 2013-12-17 画像処理装置

Publications (2)

Publication Number Publication Date
JP2015119282A JP2015119282A (ja) 2015-06-25
JP6490896B2 true JP6490896B2 (ja) 2019-03-27

Family

ID=53370080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013260618A Active JP6490896B2 (ja) 2013-12-17 2013-12-17 画像処理装置

Country Status (2)

Country Link
US (1) US9807417B2 (ja)
JP (1) JP6490896B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425446B2 (ja) * 2020-07-21 2024-01-31 日本電信電話株式会社 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム
CN115190307A (zh) * 2021-04-01 2022-10-14 Oppo广东移动通信有限公司 在视频编码装置中进行图像处理的方法、装置及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004439A (ja) * 1998-06-17 2000-01-07 Kobe Steel Ltd 画像情報処理装置
SG111087A1 (en) * 2002-10-03 2005-05-30 St Microelectronics Asia Cache memory system
JP2005102144A (ja) * 2003-08-27 2005-04-14 Renesas Technology Corp Ｍｐｅｇのデータ処理装置
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US20070183508A1 (en) * 2004-08-05 2007-08-09 Shintaro Kudo Image decoding device and image encoding device
US20060140277A1 (en) * 2004-12-28 2006-06-29 Ju Chi-Cheng Method of decoding digital video and digital video decoder system thereof
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
US7979622B2 (en) * 2005-05-30 2011-07-12 Megachips Corporation Memory access method
JP2007006381A (ja) * 2005-06-27 2007-01-11 Toshiba Corp 画像処理装置
US8325798B1 (en) * 2005-12-15 2012-12-04 Maxim Integrated Products, Inc. Adaptive motion estimation cache organization
JP2007188400A (ja) * 2006-01-16 2007-07-26 Megachips Lsi Solutions Inc Ｄｒａｍへのアクセス方法
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
JP4909779B2 (ja) * 2006-04-17 2012-04-04 パナソニック株式会社 画像データ転送方法、画像処理装置、及び撮像システム
JP4764807B2 (ja) * 2006-11-30 2011-09-07 富士通セミコンダクター株式会社 動きベクトル検出装置および動きベクトル検出方法
JP2009071689A (ja) * 2007-09-14 2009-04-02 Sony Corp 画像処理装置、画像処理方法および撮像装置
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
US20090245374A1 (en) * 2008-03-26 2009-10-01 Mediatek Inc. Video encoder and motion estimation method
WO2011048764A1 (ja) * 2009-10-19 2011-04-28 パナソニック株式会社 復号装置、復号方法、プログラム、及び集積回路
WO2012035728A1 (ja) * 2010-09-16 2012-03-22 パナソニック株式会社 画像復号装置、画像符号化装置、それらの方法、プログラム、集積回路およびトランスコード装置
US9122609B2 (en) * 2011-03-07 2015-09-01 Texas Instruments Incorporated Caching method and system for video coding
JP5917907B2 (ja) * 2011-12-22 2016-05-18 株式会社メガチップス 画像処理装置
JP6050583B2 (ja) * 2011-12-27 2016-12-21 株式会社メガチップス 画像処理装置及びメモリアクセス制御方法

Also Published As

Publication number Publication date
US9807417B2 (en) 2017-10-31
US20150172706A1 (en) 2015-06-18
JP2015119282A (ja) 2015-06-25

Similar Documents

Publication Publication Date Title
JP5620641B2 (ja) 適応型走査を用いる動画の符号化／復号化装置及びその方法
JP5969914B2 (ja) 動画像圧縮伸張装置
US8890881B2 (en) Mapping method and video system for mapping pixel data included in the same pixel group to the same bank of memory
US8494062B2 (en) Deblocking filtering apparatus and method for video compression using a double filter with application to macroblock adaptive frame field coding
US20170365033A1 (en) Image processing device
EP1998569A1 (en) Method for mapping image addresses in memory
JP6679290B2 (ja) 半導体装置
JP6490896B2 (ja) 画像処理装置
US20090295817A1 (en) Method for reading and writing image data in memory
KR19980081641A (ko) 동화상 복호 방법 및 동화상 복호 장치
KR101331093B1 (ko) 프레임 메모리의 단일뱅크 내 참조 영상의 픽셀 인터리빙 방법 및 장치, 이를 포함하는 영상코덱 시스템
JPH1155676A (ja) 同期型メモリを用いた動画像データ符号化装置
CN101867808B (zh) 存取图像数据的方法及其相关装置
KR20050043607A (ko) 신호처리방법 및 신호처리장치
US10085022B1 (en) Two-dimensional transformation with minimum buffering
JP6334918B2 (ja) 画像処理装置
JP4559785B2 (ja) 信号処理方法および信号処理装置
CN103702132B (zh) 滤波方法、装置及设备
US9990900B2 (en) Image processing device and method thereof
JP2009130599A (ja) 動画像復号装置
US20100254618A1 (en) Method for Accessing Image Data and Related Apparatus
JP4714531B2 (ja) ジグザグデータ発生回路
JP4460510B2 (ja) 符号化装置
JP2004120027A (ja) 画像処理装置
JP2011151655A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190228

R150 Certificate of patent or registration of utility model

Ref document number: 6490896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250