JPWO2016129031A1 - 画像圧縮伸長装置 - Google Patents

画像圧縮伸長装置 Download PDF

Info

Publication number
JPWO2016129031A1
JPWO2016129031A1 JP2016507303A JP2016507303A JPWO2016129031A1 JP WO2016129031 A1 JPWO2016129031 A1 JP WO2016129031A1 JP 2016507303 A JP2016507303 A JP 2016507303A JP 2016507303 A JP2016507303 A JP 2016507303A JP WO2016129031 A1 JPWO2016129031 A1 JP WO2016129031A1
Authority
JP
Japan
Prior art keywords
image
processing unit
variable length
parallel
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507303A
Other languages
English (en)
Other versions
JP6085065B2 (ja
Inventor
斉藤　和則
和則 斉藤
小味　弘典
弘典 小味
義昌 柏原
義昌 柏原
谷田部　祐介
祐介 谷田部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Application granted granted Critical
Publication of JP6085065B2 publication Critical patent/JP6085065B2/ja
Publication of JPWO2016129031A1 publication Critical patent/JPWO2016129031A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

原画像データを符号化に基づいて圧縮し、また、符号化されたデータを伸長する画像圧縮伸長処理を行う装置は、一つ以上の画像処理部と、一つ以上の可変長符号化復号処理部と有し、画像処理部は、画像の解像度、又は、フレームレートに基づいた並列数分、並列処理し、可変長符号化復号処理部は、画像圧縮伸長装置が処理するビットストリームのビットレートに基づいた並列数により、並列処理する。また、画像圧縮伸長装置には、並列数を決定する画像の解像度、フレームレートの両方、あるいは画像の解像度、フレームレートの一方をパラメータとして入力する。これにより、解像度、フレームレート、ビットレートを考慮に入れたユーザーの使用用途に応じて、消費電力を低減することができる。

Description

本発明は、画像圧縮伸長装置に係り、特に、Ｈ．２６４規格などの映像圧縮符号化技術に基づいた画像処理の符号化・復号化処理を低消費電力で動作させるのに好適な画像圧縮伸長装置に関する。
ＭＰＥＧ圧縮技術などを用いて、画像を圧縮（エンコード）伸長（デコード）する技術が、デジタル画像処理機器に用いられている。２０１３年１月には、ＩＳＯ／ＩＥＣ標準２３００８−３（通称、Ｈ．２６５／ＨＥＶＣ）が国際標準化された。これに伴い、画像圧縮伸長技術は民生ＡＶ機器や産業機器においてさらに広く利用されることが予想される。
今後の傾向としては、８ｋ４ｋ次世代放送規格（いわゆるスーパーハイビジョン規格：ＵＨＤＴＶ（Ultra High Definition Television））に代表されるような画像の高解像度、高画素レート化や低ビットレート化が進むと予想され、そのために、従来の画像サイズや、高ビットレートなど、幅広いユーザーニーズに対応する必要がある。このような状況において、消費電力を考慮した技術が、例えば、特許文献１に開示されている。
特開２００８−１４１５３１号公報
特許文献１に記載の画像符号化装置は、二値化部３０１と二値算術符号化部３０４の間にバッファを設け、二値化部３０１と二値算術符号化部３０４の処理クロックを異ならせて、各処理部に適切な動作周波数を割り当てるようにして消費電力を低減できるようにしたものである。
一方、動画の動作環境を表す指標として、解像度、フレームレート、ビットレートがある。画像処理プロセッサが動画を符号化するときの負荷や消費電力は、これらが大きく関係する。特許文献１に記載の画像符号化装置は、出力するビットレートに応じて低消電力化はできるものの、解像度、フレームレートに関する低消費電力化については考慮されていない。
本発明の目的は、解像度やフレームレート、ビットレートを考慮した、ユーザーの使用用途に応じて、消費電力を低減することのできる画像圧縮伸長装置を提供することにある。
本発明に係る画像圧縮伸長装置は、好ましくは、原画像データを符号化に基づいて圧縮し、また、符号化されたデータを伸長する画像圧縮伸長処理を行う装置であって、イントラ予測又はインター予測による予測画像生成、差分画像生成、周波数変換、量子化・逆量子化を行う一つ以上の画像処理部と、可変長符号化復号処理を行う一つ以上の可変長符号化復号処理部と有する装置である。画像の解像度又はフレームレートに基づいて、第一の並列数を決定し、一つ以上の画像処理部は、第一の並列数に応じた並列度により並列処理するように構成される。
また、好ましい例では、画像圧縮伸長装置が処理するビットストリームのビットレートに基づいて、第二の並列数を決定し、一つ以上の可変長符号化復号処理部は、第二の並列数に応じた並列度により並列処理する。
また、好ましい例では、前記一つ以上の画像処理部は、第一の並列数を決定するために、画像の解像度、フレームレートの両方、あるいは画像の解像度、フレームレートの一方をパラメータとして入力される。
本発明によれば、解像度、フレームレート、ビットレートを考慮した、ユーザーの使用用途に応じて、消費電力を低減することのできる画像圧縮伸長装置を提供することができる。
一実施例に係る画像圧縮伸長装置の構成の全体構成図である。 画像処理部と可変長符号化復号処理部の並列数を決めるモードについて説明する図である。 画像処理部の並列数が１のときの画像（１フレーム）とマクロブロックの関係について説明する図である。 画像処理部が、処理ステージごとに、時間単位でマクロブロックを処理する様子を示す図である。 圧縮動作時の画像処理部１系統、可変長符号化復号処理部１系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。 伸長動作時の画像処理部１系統、可変長符号化復号処理部１系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。 複数の画像処理部における画像（１フレーム）とマクロブロックの関係について説明する図である。 複数の画像処理部が、処理ステージごとに時間単位でマクロブロックを処理する様子を示す図である。 圧縮動作時の画像処理部４系統、可変長符号化復号処理部２系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。 伸長動作時の画像処理部４系統、可変長符号化復号処理部２系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。 画像圧縮伸長装置の画像圧縮処理の詳細手順を示すフローチャートである。 画像圧縮処理において、各ピクチャと各部の処理のタイミングを示すタイミングチャートである。 画像圧縮伸長装置の画像伸長処理の詳細手順を示すフローチャートである。 画像伸長処理において、各ピクチャと各部の処理のタイミングを示すタイミングチャートである。 クロック制御により、画像処理部と可変長符号化復号処理部の並列処理を制御する例を示す図である。 電源制御により、画像処理部と可変長符号化復号処理部の並列処理を制御する例を示す図である。
以下、本発明の好ましい実施形態について、図面を用いて説明する。
〔画像圧縮伸長装置の構成概要〕
先ず、図１を用いて、一実施形態に係る画像圧縮伸長装置の構成について説明する。図１は、画像圧縮伸長装置の構成の全体構成図である。
画像圧縮伸長装置は、Ｈ．２６４（ＩＳＯ／ＩＥＣ１４４９６−１０）の規格に則った画像圧縮伸長処理を行う回路であり、画像圧縮処理と、画像伸長処理とを、半二重化処理する伸長装置である。画像圧縮処理は、原画像（ＹＣｂＣｒ ４：２：０フォーマット）を入力とし、外部メモリ１０５に配置した原画バッファ（図１には、図示せず）に順次格納され、その原画像を符号化して圧縮する処理である。画像伸長処理は、外部メモリ１０５に配置したストリームバッファ（図１には、図示せず）にＭＳＢ（Most Significant Bit：最上位ビット）から順次格納されているビットストリームを入力とし、復号化された復号画（ＹＣｂＣｒ ４：２：０フォーマット）を出力として、外部メモリ１０５に配置した復号画バッファに順次格納する処理である。
本装置の構成としては、画像圧縮伸長処理を行う際、動き補償処理を受け持つ画像処理部と、エントロピー符号化処理を行う可変調符号化復号処理部に分かれている。
画像処理を行う部分は、合計４系統あり、各々が同等の機能を有していて、画像処理部１０１、１０２、１０３、１０４は、並列動作を行うことが可能になっている。また、可変長符号化復号処理を行う部分については、合計２系統あり、各々が同等の機能を有していて、可変長符号化復号処理部１２４，可変長符号化復号処理部１２５は、並列動作を行うことが可能になっている。なお、本実施形態では、このように、画像処理部が４系統、可変長符号化復号処理部が２系統の場合を説明するが、画像圧縮伸長装置に対する要求処理能力やコストなどに応じて、任意に、画像処理部：ｎ系統、可変長符号化復号処理部：ｍ系統にすることは可能である（ｎ、ｍは、正の整数）。
さらに、画像処理部１０１、１０２、１０３、１０４と可変長符号化復号処理部１２４、１２５は、外部メモリ１０５内に設けられた中間バッファ領域（図１には、図示せず）を介して、データの受け渡しを行う。
〔画像圧縮伸長装置の画像圧縮処理と画像伸張処理〕
次に、図１を用いて、本実施形態に係る画像圧縮伸長装置の各部の構成とその動作について説明する。先ず、画像圧縮伸長装置の画像圧縮処理（以下、単に「圧縮処理」ということもある）について説明する。
画像処理部１０１は、画像処理部コントローラ１２２から起動される。画像処理部１０１は、外部メモリ１０５からバス１２１を経由して、原画像を原画バッファ部１０６に格納する。次に、イントラ予測モード判定部１０８で予測モードの判定を行い、イントラ予測画像を生成する。また、探索部１０７でインター予測に最適な動きベクトルを算出し、該動きベクトルに応じた位置の参照画像を外部メモリ１０５内にある参照フレーム領域（図１には、図示せず）からバス１２１を経由して読み出し、インター予測画像を生成する。そして、残差計算部１１０は、インター予測画像、又はイントラ予測画像と、原画像との差分を取ることにより、予測残差を生成する。予測誤差は、次の離散コサイン変換部１１１に入力される。このとき、インター予測画像を用いるかイントラ予測画像を用いるかは、そのときの残差の量に応じて、後の符号量が少なくなることが予想される側の情報が選択される。この選択は、例えば、各マクロブロックの残差の絶対値差分和を求め、その値が小さい方を選択することでも実現可能である。離散コサイン変換部１１１では、入力されてくる残差成分を整数コサイン変換し、周波数サンプルに変換して、量子化ブロック部１１２に出力する。
次に、量子化ブロック部１１２において、入力されたデータは、所定の量子化スケールで、除算される。量子化後の各周波数サンプルは、ジグザグスキャン部１１３で２次元の行列から、ジグザグスキャン順に読み出され、一次元のデータとして出力される。また、残差計算部１１０は、マクロブロックの分割情報及び、イントラ予測であれば予測モード、インター予測であれば、動きベクトルをランレングス符号化部１１４に転送する。この後、ランレングス符号化部１１４では、Ｈ．２６４規格に則って、０の連続個数、及び、非ゼロ係数化されたデータに変換し、バス１２１を介して外部メモリ１０５内に設けた中間バッファ領域（図１には、図示せず）に格納する。ランレングス符号化まで進めた後、中間バッファに格納することにより、中間データ量は原画像データ量から、大きく削減されるため、画像処理部がランレングス符号化処理までを含むことは、バス１２１のバンド幅及び外部メモリ１０５の両方を削減するという観点から見てメリットがある。
上記、符号化作業と並行して、参照画像を生成するため量子化部１１２で除算された各周波数サンプルは、逆量子化部１１７で、所定の量子化スケールで乗算され、周波数サンプルが逆量子化される。次に、逆離散コサイン変換部１１８で、周波数サンプルを整数コサイン変換し、残差成分に変換する。次に、イントラ予測ならば、イントラ予測部１０９で予測モードからイントラ予測画像を生成し、インター予測ならば、探索部１０７で動きベクトルに応じた位置の参照画像を外部メモリ１０５内にある参照フレーム領域（図１には、図示せず）からバス１２１を介して読み出し、インター予測画像を生成する。
次に、残差計算部１１９で、イントラ予測画像、又は、インター予測画像と残差成分とを加算し、予測画像を生成する。この後、デブロッキングフィルタ１２０によりブロック歪みを除去して参照画像を生成し、バス１２１を介して、外部メモリ１０５に格納する。
次に、画像圧縮伸長装置の画像伸張処理（以下、単に「伸長処理」ということもある）について説明する。
画像伸長処理を開始するときには、可変長符号化復号処理部コントローラ１３０は、可変長符号化復号処理部１２４を起動する。可変長符号化復号処理部１２４は、外部メモリ１０５に配置してあるストリームバッファ（図１には、図示せず）からビットストリームを、バス１２１を介して読み出し、符号バッファ部１２７に格納する。可変長復号部１２８でＨ．２６４規格に則って、０の連続個数、及び、非ゼロ係数化されたデータ、マクロブロック分割情報及び、イントラ予測モード又は、動きベクトルを復号する。復号したデータは、予め定めたフォーマットに従って、ラン（シンボルの出現）とレングス（シンボルの並びの長さ）が後から読み出したときにわかる形にされて、外部メモリ１０５に配置した中間バッファ（図１には、図示せず）に、バス１２１を介して格納される。
可変長符号化復号処理部１２４で１フレーム分の処理が完了後、可変長符号化復号処理部コントローラ１３０は、画像処理部コントローラ１２２に通知する。画像処理部コントローラ１２２は、画像処理部１０１を起動して、画像処理部１０１のランレングス復号部１１５が、バス１２１を介して外部メモリ１０５より中間データを取得する。ランレングス復号部１１５で、０の連続個数、及び、非ゼロ係数化されたデータから、マクロブロック内の全ての周波数サンプルを計算し、ジグザグスキャン部１１６に送る。次に、ジグザグスキャン部１１６で、１次元のデータをジグザグスキャン順に２次元の行列にして出力する。この後、逆量子化部１１７で、所定の量子化スケールで乗算し、周波数サンプルを逆量子化する。次に、逆離散コサイン変換部１１８で、周波数サンプルを整数コサイン変換し、残差成分に変換する。
次に、イントラ予測ならば、イントラ予測部１０９で予測モードに従って、イントラ予測画像を生成し、インター予測ならば、探索部１０７で動きベクトルに応じた位置の参照画像を、外部メモリ１０５内の参照フレーム領域（図１には、図示せず）からバス１２１を介して読み出し、インター予測画像を生成する。次に、イントラ予測画像もしくは、インター予測画像を残差計算部１１９で残差成分を用いて加算し、予測画像を生成する。この後、デブロッキングフィルタ１２０によりブロック歪みを除去して復号画像を生成し、外部メモリ１０５に配置した復号画バッファ（図１には、図示せず）にバス１２１を介して格納する。また、伸長処理においての復号画像は、伸長処理する際の参照画像としても用いる。
〔画像処理部、可変長符号化復号処理部の並列数〕
上記のように、本実施形態の画像圧縮伸長装置は、複数の画像処理部と、可変長符号化復号処理部を有しており、それらが独立して並列に動作することを前提としている。そのため、次に、図２を用いて画像処理部１０１、１０２、１０３、１０４と可変長符号化復号処理部１２４、１２５の並列数について説明する。図２は、画像処理部１０１、１０２、１０３、１０４と可変長符号化復号処理部１２４、１２５の並列数を決めるモードについて説明する図である。
画像処理部は、解像度×フレームレートで算出されるピクセルレートに依存して、ほぼその処理時間が規定される。ここで、解像度は、ビットマップ画像における画素の密度を示す数値であり、フレームレートは、動画において、単位時間あたりに処理させるフレーム数（静止画像数、コマ数）である。図１に示した１系統分の画像処理部１０１が、解像度が１９２０×１０８８でフレームレートが３０ｆｐｓを処理できる性能であると仮定すると、２系統動作では、解像度が１９２０×１０８８でフレームレート６０ｆｐｓ、４系統動作では、解像度が４０９６×２１６０で、フレームレート３０ｆｐｓの処理ができることになる。４系統動作では、１系統動作の４倍であるため、解像度が１９２０×１０８８のときは、フレームレート１２０ｆｐｓでもよい。本実施形態は、画像処理部は、解像度×フレームレートで算出されるピクセルレートに基づいて、並列数を決定し、その並列数に応じた並列度によって、画像処理部１０１、１０２、１０３、１０４を並列動作させる。
可変長符号化復号処理部の処理は、ビットストリームのビットレートに依存してその処理時間が変わる。ここで、ビットレートとは、単位時間あたりに何ビットのデータが処理あるいは送受信されるかを表す数値である。可変長符号化復号処理部１２４は、５０Ｍｂｐｓの処理性能と仮定し、可変長符号化復号処理部１２４に転送されるビットレートにより並列数を定義するものとする。そして、可変長符号化復号処理部１２４、１２５は、ビットレートにより定義される並列数に応じた並列度によって、可変長符号化復号処理部１２４、１２５を並列動作させる。これにより、使用用途に応じて容易な電力制御を行うことが可能となる。
したがって、図２のように、解像度：１９２０×１０８８、フレームレート：３０ｆｐｓ、ビットレート：５０Ｍｂｓ未満のときには、画像処理部の並列数＝１、可変長符号化復号処理部の並列数＝１（モードＮｏ．１）であり、解像度：１９２０×１０８８、フレームレート：６０ｆｐｓ、ビットレート：５０Ｍｂｓ〜１００Ｍｂｓのときには、画像処理部の並列数＝２、可変長符号化復号処理部の並列数＝２（モードＮｏ．３）であり、解像度：４０９６×２１６０、フレームレート：３０ｆｐｓ、ビットレート：５０Ｍｂｓ〜１００Ｍｂｓのときには、画像処理部の並列数＝４、可変長符号化復号処理部の並列数＝２（モードＮｏ．５）のように計算することができる。
画像処理部コントローラ１２２は、解像度・フレームレートのパラメータ入力部１３２が、図２に示すように、予め解像度とフレームレートが設定されると、それに対する画像処理部の並列数を確定するテーブルを有する。例えば、モードＮｏ．２では、画像処理部を並列数２の並列度で動作させ、モードＮｏ．５では、画像処理部を並列数４の並列度で動作させることになる。
さらに、可変長符号化復号処理部コントローラ１３０は、ビットレートのパラメータ入力部１３３が、図２に示すように、予めビットレートが設定されると、それに対する可変長符号化復号処理部の並列数を確定するテーブルを有する。例えば、モードＮｏ．２では、可変長符号化復号処理部の並列数１で動作させ、モードＮｏ．５では、可変長符号化復号処理部の並列数２の並列度で動作させる。
このように、ビットレートを設定されることにより、必要可変長符号化復号処理部を動作するよう可変長符号化復号処理部へのデータ入力を制御すると、不必要な回路が動作しなくなる。したがって、画像処理部コントローラ１２２、可変長符号化復号処理コントローラ１３０によって、ユーザーの求める動作モードに応じて不必要なデータパスがクロックごとに変化することを防ぎ、画像圧縮伸長装置の動作時の消費電力を削減することができる。
また、解像度・フレームレートと、ビットレートの入力については、両方可変で入力してもよいし、解像度・フレームレートを可変にして、パラメータ入力し、ビットレートを固定にしてもよいし、その逆に、解像度・フレームレートを固定にして、ビットレートを、パラメータ入力してもよい。
上記の例では、解像度、フレームレートに応じて画像処理部の並列数を決定し、ビットレートに応じて、可変長符号化復号処理部の並列数を決定していたが、各々の並列数を直接、外部ホストＣＰＵなどからレジスタ設定で設定されるようにしても、同様の低電力効果を得ることができる。
〔モードＮｏ．１（画像処理部の並列数＝１、可変長符号化復号処理部の並列数＝１）のときの動作〕
以下、図１の画像圧縮伸長装置１００が、図２のモードＮｏ．１で示した、画像処理部並列数１、可変長符号化復号処理部並列数１で動作する画像圧縮処理、画像伸長処理について説明する。先ず、図３を用いて画像処理部の並列数が１のときの画像（１フレーム）とマクロブロックの関係について説明する。図３は、画像処理部の並列数が１のときの画像（１フレーム）とマクロブロックの関係について説明する図である。
画像処理部１０１は、図３に示したように、入力画像に対して、１６×１６画素のマクロブロックと呼ばれる単位ごとに、左上のマクロブロックＭＢ０から順次右側水平方向（ＭＢ０、ＭＢ１、ＭＢ２、…）に原画像を読み込み、マクロブロックの圧縮処理を施す。画像処理部１００は、ＭＢ０から水平方向１ライン分のマクロブロックライン（ＭＢ１１９）が終わると、下側１６画素垂直方向に移動し、左端（ＭＢ１２０）から順次右へ水平方向にというように、１フレーム分終了するまで処理を繰り返す。
原画像は、順次（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４，Ｐ５、…）のように、画像入力部（図示せず）から、外部メモリ１０５の原画バッファ（図５に後出）にリアルタイムで入力されるものとする。原画像の種類として、図に示されているのは、「Ｉ」は、Ｉピクチャ（フレーム内符号化画像）、「Ｐ」は、Ｐピクチャ（フレーム間順方向予測符号化画像）、「Ｂ」は、Ｂピクチャ（双方向予測符号化画像）であり、数字は原画像の０フレーム目から数えたときの入力フレーム順序を表わすものと約束する。なお、上記の説明は、該マクロブロック処理の一連の流れを説明したものであり、隣接マクロブロック情報などのサブ情報は含めていない。
次に、図４を用いて、画像処理部１０１のマクロブロックのパイプライン処理の様子について説明する。
図４は、画像処理部１０１が、処理ステージごとに、時間単位でマクロブロックを処理する様子を示す図である。図４において、原画像読み出しステージは、原画バッファ部１０６、イントラ予測モード判定ステージは、イントラ予測モード判定部１０８、イントラインター判定ステージは、イントラ予測部１０９、及び、探索部１０７、予測画作成ステージは、残差計算部１１０、周波数変換ステージは、離散コサイン変換部１１１、量子化１１２、逆量子化１１７、及び、逆離散コサイン変換部１１８、ランレングスステージは、ジグザグスキャン部１１３及び、ランレングス符号化部１１４、復号画作成ステージは、残差計算部１１９、デブロッキングフィルタステージは、デブロッキングフィルタ１２０が、各々動作するステージである。
時間０（時間１、時間２、…）は、ＭＢごとに必要とされる処理時間を示しており、２００ＭＨｚでクロック動作する場合、約１００サイクルの期間を各々示し、時間０（時間１、時間２、…）内に各ステージが終了することとする。
マクロブロックは、図３に示すように、画像の左上から順次（ＭＢ０、ＭＢ１、ＭＢ２、…）原画像読み出しを行う。その後、イントラ予測モード判定、イントラインター判定というように処理ステージをパイプライン動作する。例えば、時間３では、原画像読み出しステージはＭＢ３、イントラ予測モード判定ステージはＭＢ２、イントラインター判定ステージはＭＢ１、予測画作成ステージはＭＢ０のマクロブロックを処理する。
画像処理部１０１は、図３に示すように、１フレーム分の処理が終了するまでマクロブロック処理を繰り返す。
画像処理部コントローラ１２２は、１フレーム完了後、可変長符号化復号処理コントローラ１３０に通知する。可変長符号化復号処理部コントローラ１３０は、画像処理部コントローラ１２２からの通知を受けて可変長符号化復号処理部１２４を起動する。可変長符号化復号処理部１２４は、画像処理部１０１が格納した中間データを外部メモリ１０５部からバス１２１を介して読み出し、可変長符号化部１２６で圧縮したビットストリームを生成して、符号バッファ部１２７が、バス１２１を介して、外部メモリ１０５に配置したストリームバッファにＭＳＢから順次ビットを詰めて格納していく。このように、圧縮処理では、終了するまで１フレーム毎に処理を施し、順次ストリームバッファに、圧縮したビットストリームを蓄積していく。
次に、図５を用いて、画像圧縮伸長装置１００における圧縮動作時の画像処理部１系統、可変長符号化復号処理部１系統動作時の処理について説明する。図５は、圧縮動作時の画像処理部１系統、可変長符号化復号処理部１系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。
図５において、画像処理部１０１は、原画バッファ３００より圧縮順（Ｉ２、Ｂ０、Ｂ１、…）に画像を入力し、中間データを中間バッファ３１０に順次格納する。可変長符号化処理部１２４は、中間バッファ３１０から中間データを読み出して圧縮し、生成したビットストリームをストリームバッファ３２０に順次格納する。
次に、図６を用いて画像圧縮伸長装置１００における伸長動作時の画像処理部１系統、可変長符号化復号処理部１系統動作時の処理について説明する。図６は、伸長動作時の画像処理部１系統、可変長符号化復号処理部１系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。
可変長符号化処理部１２４は、ストリームバッファ３３０よりビットストリームを取得して、中間データを中間バッファ３１０に順次格納する。画像処理部１０１は、中間バッファ３１０から中間データを読み出し伸長処理をおこない、生成した復号画を復号画バッファ３４０に順次格納する。
このとき、画像処理部１０１の伸長処理は、圧縮処理のとき同様に、図３に示された１６×１６画素のマクロブロック単位ごとに、左上のマクロブロックＭＢ０から１フレーム分の処理が終了するまでマクロブロック処理を繰り返す。
〔モードＮｏ．５（画像処理部の並列数＝４、可変長符号化復号処理部の並列数＝２）のときの動作〕
以下、図１の画像圧縮伸長装置１００が、図２のモードＮｏ．５で示した、画像処理部並列数４、可変長符号化復号処理部並列数２で動作する圧縮処理、画像伸長処理について説明する。先ず、図７を用いて、画像処理部の並列数が４のときの画像（１フレーム）とマクロブロックの関係について説明する。図７は、画像処理部の並列数が４のときの画像（１フレーム）とマクロブロックの関係について説明する図である。
画像処理部が複数動作する並列処理では、マクロブロックの水平方向１ラインのマクロブロックラインを４分割する。画像処理部１は、ＭＢ０〜ＭＢ８７０３、画像処理部２は、ＭＢ８７０４〜１７４０７、画像処理部３はＭＢ１７４０８〜２６１１１、画像処理部４は、ＭＢ２６１１２〜３４５５９の領域を各々処理する。これにより、１系統動作に比べ４系統動作では、４倍の演算が可能となり高解像度、高フレームレートにおいても、低解像度と同等な時間で処理ができる
次に、図８を用いて、画像処理部１０１、１０２、１０３、１０４の４系統動作時のマクロブロックのパイプライン処理の様子について説明する。図８は、画像処理部１０１、１０２、１０３、１０４が、処理ステージごとに、時間単位でマクロブロックを処理する様子を示す図である。
４系統動作で並列動作する場合には、図８に示すように、分割した各々の異なるマクロブロックごとに、１系統と同様にパイプライン処理をする。マクロブロックは、画像の左上から、画像処理部１０１は、ＭＢ０、画像処理部１０２は、ＭＢ８７０４、画像処理部１０３は、ＭＢ１７４０８、画像処理部１０４は、ＭＢ２６１１２から、順次原画像読み出しを行う。その後、イントラ予測モード判定、イントラインター判定というように処理ステージごとに、パイプライン動作する。例えば、時間３では、画像処理部１０１、１０２、１０３、１０４それぞれに対して、原画像読み出しステージは、ＭＢ３、ＭＢ８７０７、ＭＢ１７４１１、ＭＢ２６１１５、イントラ予測モード判定ステージはＭＢ２、ＭＢ８７０６、ＭＢ１７４１０、ＭＢ２６１１４、イントラインター判定ステージはＭＢ１、ＭＢ８７０５、ＭＢ１７４０９、ＭＢ２６１１３、予測画作成ステージはＭＢ０、ＭＢ８７０４、ＭＢ１７４０８、ＭＢ２６１１２のマクロブロックを処理する。
次に、図９を用いて、画像圧縮伸長装置１００における圧縮動作時の画像処理部４系統、可変長符号化復号処理部２系統動作時の処理について説明する。図９は、圧縮動作時の画像処理部４系統、可変長符号化復号処理部２系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。
画像処理部１０１、１０２、１０３、１０４は、画像バッファ３００より圧縮順（Ｉ２、Ｂ０、Ｂ１、…）に画像を入力し、中間データを４分割した中間バッファ３１０に、順次格納する。「Ｉ２」の原画像７０２について、画像処理部１０１は、中間バッファ３１０の７１０、画像処理部１０２は、中間バッファ３１０の７１１、画像処理部１０３は、中間バッファ３１０の７１２、画像処理部１０４は、中間バッファ３１０の７１３に、それぞれ中間データを格納する。「Ｂ０」の原画像１００について、画像処理部１０１は、中間バッファ３１０の７１４、画像処理部１０２は、中間バッファ３１０の７１５、画像処理部１０３は、中間バッファ３１０の７１６、画像処理部１０４は、中間バッファ３１０の７１７に、それぞれ中間データを格納する。以下、「Ｂ１（Ｐ５、Ｂ３、Ｂ４…）」のように、４分割した中間バッファ３１０に順次格納していく。
可変長符号化処理部１２４、１２５は、中間バッファ３１０から圧縮順に中間データを読み出し、可変長符号化復号処理部１２４は、圧縮したビットストリームを中間バッファ３２０に、可変長符号化復号処理部１２５は、中間バッファ３２１にそれぞれフレーム単位に順次格納する。例えば、図９に示すように、可変長符号化処理部１２４は、原画像７０２、７０３を、可変長符号化処理部１２５は、原画像７００、７０１、７０４、７０５を、それぞれ処理すると、中間バッファ３２０に、原画像７０２のビットストリーム７２２、原画像７０３のビットストリーム７２３を格納し、中間バッファ３２１に、原画像７００のビットストリーム７２０、原画像７０１のビットストリーム７２１、原画像７０４のビットストリーム７２４、原画像７０５のビットストリーム７２５を格納する。
中間バッファ３２０、３２１は、上記したように、フレーム単位で入り混じることになる。これを整列させることは、後に説明するストリーム結合解析モジュール１２９において、圧縮順に中間バッファ３２０、３２１から読み出して結合をおこない、ビットストリームをストリームバッファ３３０に格納することにより解決することができる。
次に、図１０を用いて、画像圧縮伸長装置１００における伸長動作時の画像処理部４系統、可変長符号化復号処理部２系統動作時の処理について説明する。図１０は、伸長動作時の画像処理部４系統、可変長符号化復号処理部２系統動作時に、外部メモリからデータが画像処理部と可変長符号化復号処理部に転送されるときの様子を示す図である。
可変長符号化復号処理部１２４、１２５の並列動作では、ストリーム結合解析モジュール１２９により、ストリームバッファ３３０にある圧縮データを１フレーム単位に切り出すための解析を行う。解析結果から可変長符号化処理部１２４、１２５は、フレーム単位でストリームバッファ３３０から読み出して、中間データを、可変長符号化復号処理部１２４は、中間バッファ３１０に、可変長符号化復号処理部１２５は、中間バッファ３１１に、それぞれ順次格納する。
画像処理部１０１、１０２、１０３、１０４はフレーム順に中間バッファ３１０、３１１を選択して中間データを読み出す。生成した復号画は、表示順（Ｂ０、Ｂ１、Ｉ２、…）に復号画バッファ３４０に格納する。
画像処理部と可変長符号化復号部は、バッファの使用量を通知することにより、どこまでデータが格納されているかがわかり、リングバッファとして用いることができる。また、このようなバッファ制御を行うことにより、異なる処理単位を有する画像処理部と可変長符号化復号部間でデータのバッファリングを可能にし、リアルタイムの圧縮処理又は伸長処理を実現させることが可能となる。
〔画像圧縮処理と画像伸長処理の詳細（特に、画像処理部と可変長符号化復号処理部の処理の連携）について〕
次に、図１１及び図１２を用いて、画像圧縮伸長装置の画像圧縮処理の詳細手順を説明する。図１１は、画像圧縮伸長装置の画像圧縮処理の詳細手順を示すフローチャートである。図１２は、画像圧縮処理において、各ピクチャと各部の処理のタイミングを示すタイミングチャートである。
画像処理部コントローラ１２２は、開始指示待ちループ（Ｓ０１）から圧縮の開始指示により、画像処理部１０１、…に対して初期設定を行う（Ｓ０２）。この初期設定では、画像処理部１０１、…がどのモードで動作するか、すなわち、入力されたパラメータにより画像処理部１０１、…の並列数を決定する。そして、画像処理部コントローラ１２２は、可変長符号化復号開始指示を可変長符号化復号処理部コントローラ１３０に対しておこない（Ｓ０３、Ａ１）、可変長符号化復号処理部コントローラ１３０からの初期設定完了通知がされるのを待つ（Ｓ０４）。
可変長符号化復号処理部コントローラ１３０は、開始指示待ちループ（Ｓ１１）から、初期設定に移行し（Ｓ１２）、完了すると画像処理部コントローラ１２２に初期設定完了通知を行う（Ｓ１３、Ａ２）。この初期設定では、可変長符号化復号処理部１２４、…がどのモードで動作するか、すなわち、入力されたパラメータにより可変長符号化復号処理部１２４、…の並列数を決定する。
画像処理部１０１、…は、終了指示があるまで１フレーム単位の圧縮処理を繰り返し（Ｓ０５、Ｓ０７）、処理が完了する毎に可変長符号化処理部コントローラ１３０に、１フレーム完了通知をする（Ｓ０６、Ａ３）。可変長符号化復号処理部１２４は、画像処理部１０１、…からの完了通知を受け、１フレーム分の圧縮処理を開始し（Ｓ１４）、終了通知があるまで繰り返す（Ｓ１５）。
可変長符号化処理部コントローラ１３０が、可変長符号化処理部が１系統動作処理中に、画像処理部コントローラ１２２から１フレーム完了通知を受ける場合がある。この場合、通知の保持をおこない、完了後に保持したフレームを処理すればよい。
これに対して、可変長符号化処理部が２系統動作しているときには、図１２に示した圧縮処理のタイミングチャートのように、１フレームが処理中であっても処理中でない可変長符号化復号処理部に処理させることにより、２フレームを同時に処理することが可能となる。図１２に示したように、可変長符号化復号処理部１が「Ｉ２」を処理中であれば、可変長符号化復号処理部２が「Ｂ０」「Ｂ１」「Ｐ５」と処理をする。その後、後に説明するストリーム結合解析モジュール１２９が圧縮順に連結することにより、並列動作を遂行することが可能となる。
また、可変長符号化復号処理部が２系統動作処理中に、画像処理部から１フレーム完了通知を受ける場合がある。この場合、１系統動作と同様に保持をおこない、完了後に保持したフレームを処理すればよい。２系統動作時は、各フレームのビット量により完了する順番が前後するが、本実施形態では、ストリームデータをフレーム順に連結する機能を設けることにより、図１２に示したフレーム順（Ｉ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、…）にストリームを生成することができる。
次に、図１３及び図１４用いて、画像圧縮伸長装置の画像伸長処理の詳細手順を説明する。図１３は、画像圧縮伸長装置の画像伸長処理の詳細手順を示すフローチャートである。図１４は、画像伸長処理において、各ピクチャと各部の処理のタイミングを示すタイミングチャートである。
画像処理部コントローラ１２２は、開始指示待ちループ（Ｓ２１）から伸長の開始指示により、画像処理部１０１、…に対して初期設定を行う（Ｓ２２）。この初期設定では、画像処理部１０１、…がどのモードで動作するか、すなわち、入力されたパラメータにより画像処理部１０１、…の並列数を決定する。そして、画像処理部コントローラ１２２は、可変長符号化復号開始指示を可変長符号化復号処理部コントローラ１３０に対しておこない（Ｓ２３、Ａ１１）、可変長符号化復号処理部コントローラ１３０からの初期設定完了通知がされるのを待つ（Ｓ２４）。
可変長符号化復号処理部コントローラ１３０は、開始指示待ちループ（Ｓ３１）から、初期設定に移行し（Ｓ３２）、完了すると画像処理部コントローラ１２２に初期設定完了通知を行う（Ｓ３３、Ａ１２）。この初期設定では、可変長符号化復号処理部１２４、…がどのモードで動作するか、すなわち、入力されたパラメータにより可変長符号化復号処理部１２４、…の並列数を決定する。
可変長符号化復号処理部１２４、…は、終了通知があるまで１フレーム単位の伸長処理を繰り返し（Ｓ３４、Ｓ３６）、処理が完了する毎に画像処理部へ１フレーム完了通知を行う（Ｓ３５、Ａ１３）。画像処理部１０１、…は、可変長符号化復号処理部からの完了通知を受け１フレーム分の伸長処理を開始し、終了指示があるまで繰り返す（Ｓ２５、Ｓ２６、Ｓ２７）。
２系統動作では、可変長符号化復号処理部コントローラが、１フレーム単位で可変長符号化復号処理を割り振らなければならない。これは、図１４の伸長処理のタイミングチャートのように、ストリームデータの解析をおこない、フレームの先頭を検知することで２系統動作であっても、フレーム単位処理が可能となる。可変長符号化復号処理部１が「Ｉ２」を処理中であれば、可変長符号化復号処理部２が「Ｂ０」「Ｂ１」「Ｐ５」と処理をするようにする。
また、伸長するビット量により、各フレームの完了する順番が前後することがある。可変長符号化復号処理部コントローラ１３０が、フレーム順に各系統に対して処理を割り振って管理しているため、このようなときには、可変長符号化復号処理部コントローラ１３０が、フレーム順通り画像処理部に通知を行うことにより、画像処理部のフレーム順（Ｉ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、…）が前後することなく伸長処理することができる。
〔ストリーム結合解析ブロック部１２９について〕
次に、ストリーム結合解析ブロック部１２９の詳細について説明する。ストリーム結合解析ブロック部１２９は、例えば、可変長符号化復号処理部１２４、１２５が並列動作するときに機能する部分であり、圧縮処理では、各々可変長符号化復号処理部１２４、１２５が生成した１フレーム単位のストリームデータの結合を行う。
ストリーム結合解析ブロック部１２９は、ハードウェアとして実装されるほか、各フレームの切れ目を予めホストＣＰＵ（図示せず）に通知し、ホスト側で、各フレームのストリームを順次読み出し、ソフトウェア上で結合する処理としてもよい。また、伸長処理時では、伸長を行う圧縮されたストリームデータを可変長符号化復号処理部１２４、１２５の処理単位である１フレーム分で切り出す解析を行う。
例えば、各フレームの先頭は、ＡＵデリミタのヘッダが付加されており、各ピクチャの先頭には固有のＡＵデリミタコード（０ｘ０９）を付加しておくと、解析時には、この固有ＩＤを検索することにより、フレームの切れ目を判断することが可能となる。また、本解析処理は、ホストＣＰＵ（図示せず）によって、予め、フレーム区切れを検知するようにし、本回路に各フレーム切れ目情報を通知してもらい、可変長符号化復号処理部１２４，１２５が、各々、該フレーム切れ目情報に基づいて、外部ストリームバッファから読み出すようにしてもよい。
〔クロック制御部１２３、１３１について〕
次に、図１５Ａ及び図１５Ｂを用いて、クロック制御部１２３、１３１を説明する。図１５Ａは、クロック制御により、画像処理部と可変長符号化復号処理部の並列処理を制御する例を示す図である。図１５Ｂは、電源制御により、画像処理部と可変長符号化復号処理部の並列処理を制御する例を示す図である。
外部クロックは、図１５Ａに示されるように、画像圧縮伸長装置のクロック制御部で画像処理部１０１、１０２、１０３、１０４と、可変長符号化復号処理部１２４、１２５でゲーティング（gating：ゲートの開閉）し、各処理部に分配する。クロック制御部１２３、１３１は、画像処理部コントローラ１２２、可変長符号化復号処理コントローラ１３０に各々接続されたＣＧ（クロックゲーティングセル）を有しており、画像処理部コントローラ１２２、可変長符号化復号処理コントローラ１３０に対して、個別にクロックゲーティング制御ができる構成である。これにより、画像処理部、可変長符号化復号処理部を各々個別に制御ができる。ここで、ＣＧの制御信号が１のときに、クロックは供給され、０のとき、クロックは切れるものとする。
クロックゲーティング以降の各処理部へ分配されているクロックツリー（クロックに接続される構成要素）は、ファンアウト（接続可能な回路要素の上限数）が大きい場合には、クロックが供給されるだけで大きな電力が消費される。本実施形態では、クロック制御部１２３、１３１から未使用ブロックへのクロックを画像処理部コントローラ１２２、可変長符号化復号処理コントローラ１３０の動作モード選択に応じて、各々制御することにより、大きな消費電力削減効果を生み出すことができる。
さらに、上記の図１５Ａのクロック制御部の構成同様に、図１５Ｂに示すように、回路内各ゲートのうち動作しなくなった画像処理部及び、可変長符号化復号処理部の電力供給を止める電力制御部（トランジスタ）を設け、電力制御部を動作の有無に応じて切り替えるようにする。電力の供給がない処理部から動作中へのブロックの入力部については、論理ゲートを挿入し、確定値が入力されるようにすればよい。これにより、動作しなくなった画像処理部及び、可変長符号化復号処理部への不必要な電力が供給されなくなり、さらに消費電力を低減することができる。
〔Ｈ．２６４に規定されている符号化方式との関係〕
上記したように、画像処理部は、各パイプライン内の処理は、マクロブロック内の各画素数に依存した処理時間となるため、動作する際の解像度×フレームレートで算出されるピクセルレートに対応して、必要処理スピードを規定できる。一方、可変長符号化復号処理部の処理は、ピクセルレートよりもビットストリームのビットレートに依存してその処理時間が変わる。そのため、画像処理部は、解像度×フレームレート＝ピクセルレートに基づいて、並列数を決定し、変長符号化復号処理部は、ビットレートに基づいて並列数を決定するというのが本発明の発想であった。
ところで、Ｈ．２６４の規格においては、算術符号化と可変長符号化のいずれかを選択することができる。Ｈ．２６４で規定されるプロフィルには、算術符号化方式としては、ＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）を用いることができ、可変長符号化方式としては、ＣＡＶＬＣ（Context Adaptive Variable Length Coding）を用いることができる。
本発明は、特に、算術演算を用いたＣＡＢＡＣの圧縮技法を用いる場合に、顕著な効果が得られる。ＣＡＢＡＣは、２値化されたデータの各ビットの発生に応じて、次ビットの発生確率の予測モデルを変更する処理を行う符号化方式である。そのため、１スライス内の連続したデータ列においては、逐次処理を行うため、その処理時間は、処理するビット数に応じて大きく変化する。したがって、ピクセルレートが高くても、ビットレートが低い場合には、可変長符号化復号処理部の並列数は低くて済む場合がある。このため、画像処理部は、解像度とフレームレートに応じて、並列数を変更し、可変長符号化復号化処理部は、ストリームのビットレートに応じて並列数を変更するようにすることにより、その最終動作仕様に応じて、必要最小限のブロックのみを駆動し、従来に比べより精緻に低消費電力化を図ることができる。
一方、ＣＡＶＬＣは、可変長符号化テーブルに基づいた可変長符号化方式である。こちらの場合は、各符号化コードを処理する場合は、予め設けられた複数のテーブルとコード一致を比較するため、１サイクルで数ビット〜十数ビットの処理を行うことが可能である。このため、一般的には、ＣＡＢＡＣに比べ、ＣＡＶＬＣの方が、同じシステムクロック、同回路規模でも処理できるビットレートが高くなる。したがって、これを利用して、ＣＡＢＡＣかＣＡＶＬＣに従って、可変長符号化復号処理部の並列度を制御するようにしてもよい。例えば、処理するターゲットが１００Ｍｂｐｓ以上の場合、可変長符号化復号コントローラ１２３が、ＣＡＢＡＣでは、２並列化する選択する制御をした場合に、ＣＡＶＬＣの場合では、１並列処理する制御を行うことにより、ＣＡＶＬＣの場合の不要回路の動作を抑制し、消費電力制御をさらに精度高く行うことが可能である。これにより、本発明の好ましい実施形態に係る画像圧縮伸長装置により、消費電力に応じた最適な符号化方式を選択することが可能となる。
〔Ｈ．２６４以外の符号化方式、その他の実施形態〕
以上、本実施形態では、Ｈ．２６４による画像圧縮伸長装置に基づいて記載したが、ＭＰＥＧ１、２、４などＤＣＴによる周波数変換処理、ランレングス符号化、可変長符号化処理に基づくハイブリッド符号化方式においては、同様の特性を持ち、本発明の特徴である周波数処理部と可変長符号化復号化ブロック間で独立に並列度を制御する方法が有効である。
また、本実施形態では、画像圧縮及び伸長を共通の回路で行う画像圧縮伸長回路を用いて説明したが、画像圧縮のみを行う画像圧縮装置、あるいは画像伸長のみを行う画像伸長装置と別個の構成にしても同等の効果を有する。
さらに、途中の各バッファを外部メモリに格納する説明をおこなったが、十分なＳＲＡＭ（Static Random Access Memory）を回路内部に備えており、一部あるいは全てのバッファを圧縮伸長回路内に有する場合にもその消費電力やＲＡＭ使用量に関するメリットは変わらない。
さらに、動画に限らず静止画においても、例えば、ＪＰＥＧ（Joint Photographic Experts Group）に代表される静止画に対して、さまざまな解像度、ビットレートを扱う画像圧縮伸長処理回路において、同等の効果を有する。
以上のように、本発明の好ましい実施形態によれば、システム要件に応じて最適な電力で画像圧縮伸長処理動作を実現することができ、低消費電力化が可能となる。
１００…画像圧縮伸長装置
１０１…画像処理部１
１０２…画像処理部２
１０３…画像処理部３
１０４…画像処理部４
１０５…外部メモリ
１０６…原画バッファ部
１０７…インター探索部
１０８…イントラ予測モード判定部
１０９…イントラ予測部
１１０…残差計算部
１１１…離散コサイン変換部
１１２…量子化部
１１３…ジグザグスキャン部
１１４…ランレングス符号化部
１１５…ランレングス復号部
１１６…ジグザグスキャン部
１１７…逆量子化部
１１８…逆離散コサイン変換部
１１９…残差計算部
１２０…デブロッキングフィルタ
１２１…外部メモリ通信用バス部
１２２…画像処理部コントローラ
１２３…画像処理部クロック制御部
１２４…可変長符号化復号処理部１
１２５…可変長符号化復号処理部２
１２６…可変長符号化部
１２７…符号バッファ部
１２８…可変長復号部
１２９…ストリーム結合解析部
１３０…可変長符号化復号処理コントローラ
１３２…パラメータ入力部（解像度・フレームレート）
１３３…パラメータ入力部（ビットレート）

Claims (9)

  1. 原画像データを符号化に基づいて圧縮し、また、符号化されたデータを伸長する画像圧縮伸長処理を行う装置であって、
    イントラ予測又はインター予測による予測画像生成、差分画像生成、周波数変換、量子化・逆量子化を行う一つ以上の画像処理部と、可変長符号化復号処理を行う一つ以上の可変長符号化復号処理部と有し、
    画像の解像度又はフレームレートに基づいて、第一の並列数を決定し、前記一つ以上の画像処理部は、前記第一の並列数に応じた並列度により並列処理することを特徴とする画像圧縮伸長装置。
  2. 前記画像圧縮伸長装置が処理するビットストリームのビットレートに基づいて、第二の並列数を決定し、前記一つ以上の可変長符号化復号処理部は、前記第二の並列数に応じた並列度により並列処理することを特徴とする請求項１記載の画像圧縮伸長装置。
  3. 前記一つ以上の画像処理部は、前記第一の並列数を決定するために、前記画像の解像度、前記フレームレートの両方、あるいは前記画像の解像度、前記フレームレートの一方をパラメータとして入力されることを特徴とする請求項１記載の画像圧縮伸長装置。
  4. 前記第一の並列数又は前記第二の並列数に基づき、動作しなくなった前記画像処理部、前記可変長符号化復号処理部のクロックツリーへのクロック供給を止めることを特徴とする請求項２記載の画像圧縮伸長装置。
  5. 前記第一の並列数又は前記第二の並列数に基づき、動作しなくなった前記画像処理部、前記可変長符号化復号処理部の電源供給を止めることを特徴とする請求項１記載の画像圧縮伸長装置。
  6. 画像処理部を少なくても二つ以上有し，同一フレーム中の異なるマクロブロックラインを各々の画像処理部で並列処理することを特徴とする請求項１記載の画像圧縮伸長装置。
  7. 可変長符号化復号処理部を少なくても二つ以上有し，各々の可変長符号化復号処理部では異なるフレームを並列に動作させることを特徴とする請求項２記載の画像圧縮伸長装置。
  8. 前記第二の並列数を、扱う符号化方式に基づいて決定することを特徴とする請求項２記載の画像圧縮伸長装置。
  9. 前記符号化方式は、ＣＡＶＬＣ及びＣＡＢＡＣであることを特徴とする請求項２記載の画像圧縮伸長装置。
JP2016507303A 2015-02-09 2015-02-09 画像圧縮伸長装置 Active JP6085065B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/053501 WO2016129031A1 (ja) 2015-02-09 2015-02-09 画像圧縮伸長装置

Publications (2)

Publication Number Publication Date
JP6085065B2 JP6085065B2 (ja) 2017-02-22
JPWO2016129031A1 true JPWO2016129031A1 (ja) 2017-04-27

Family

ID=56614479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507303A Active JP6085065B2 (ja) 2015-02-09 2015-02-09 画像圧縮伸長装置

Country Status (5)

Country Link
US (1) US20160301945A1 (ja)
EP (1) EP3258691A4 (ja)
JP (1) JP6085065B2 (ja)
CN (1) CN106576168A (ja)
WO (1) WO2016129031A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155850A (zh) * 2016-08-04 2019-01-04 深圳市大疆创新科技有限公司 并行视频编码
JP7020782B2 (ja) * 2017-01-20 2022-02-16 キヤノン株式会社 再生装置及びその制御方法
CN109429070A (zh) * 2017-08-23 2019-03-05 杭州海康威视系统技术有限公司 一种移动终端视频编码方法、装置及移动终端
CN107483952A (zh) * 2017-08-29 2017-12-15 郑州云海信息技术有限公司 一种jpeg图像解压缩的方法、装置与系统
TW201939953A (zh) * 2018-03-16 2019-10-01 晨星半導體股份有限公司 影像壓縮系統及利用影像壓縮系統以壓縮影像畫面的方法
CN109788299A (zh) * 2019-03-12 2019-05-21 广东工业大学 一种移动设备间视频传输方法、系统、设备及计算机介质
US11776093B2 (en) * 2019-07-16 2023-10-03 University Of Florida Research Foundation, Incorporated Automatic sharpness adjustment for imaging modalities
CN111768460B (zh) * 2020-06-30 2023-08-01 北京百度网讯科技有限公司 一种解码方法、装置、设备以及存储介质
US20230140628A1 (en) * 2021-11-04 2023-05-04 Meta Platforms, Inc. Novel buffer format for a two-stage video encoding process

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067026A (ja) * 2006-09-07 2008-03-21 Fujitsu Ltd Ｍｐｅｇデコーダ及びｍｐｅｇエンコーダ
JP2010109572A (ja) * 2008-10-29 2010-05-13 Toshiba Corp 画像処理装置、及び方法
JP2011160077A (ja) * 2010-01-29 2011-08-18 Sony Corp 復号装置および方法
WO2012014471A1 (ja) * 2010-07-30 2012-02-02 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
WO2012160879A1 (ja) * 2011-05-20 2012-11-29 ソニー株式会社 画像符号化装置と画像復号装置およびその方法
JP2014096755A (ja) * 2012-11-12 2014-05-22 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1157641C (zh) * 1997-09-03 2004-07-14 松下电器产业株式会社 处理器
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
JP4742018B2 (ja) 2006-12-01 2011-08-10 キヤノン株式会社 画像符号化装置及び画像符号化方法
JPWO2010125616A1 (ja) * 2009-04-27 2012-10-25 パナソニック株式会社 符号化ストリーム復号装置
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
US9426498B2 (en) * 2012-07-10 2016-08-23 Broadcom Corporation Real-time encoding system of multiple spatially scaled video based on shared video coding information
US20140205012A1 (en) * 2013-01-21 2014-07-24 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US9596477B2 (en) * 2013-12-26 2017-03-14 Mediatek Inc. Methods of multiple-slice coding for frame buffer compression
US10827178B2 (en) * 2014-05-28 2020-11-03 Arris Enterprises Llc Content aware scheduling in a HEVC decoder operating on a multi-core processor platform
US9965021B2 (en) * 2014-06-23 2018-05-08 Mediatek, Inc. Method and system providing power management for multimedia processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067026A (ja) * 2006-09-07 2008-03-21 Fujitsu Ltd Ｍｐｅｇデコーダ及びｍｐｅｇエンコーダ
JP2010109572A (ja) * 2008-10-29 2010-05-13 Toshiba Corp 画像処理装置、及び方法
JP2011160077A (ja) * 2010-01-29 2011-08-18 Sony Corp 復号装置および方法
WO2012014471A1 (ja) * 2010-07-30 2012-02-02 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
WO2012160879A1 (ja) * 2011-05-20 2012-11-29 ソニー株式会社 画像符号化装置と画像復号装置およびその方法
JP2014096755A (ja) * 2012-11-12 2014-05-22 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
EP3258691A1 (en) 2017-12-20
EP3258691A4 (en) 2018-10-31
US20160301945A1 (en) 2016-10-13
CN106576168A (zh) 2017-04-19
WO2016129031A1 (ja) 2016-08-18
JP6085065B2 (ja) 2017-02-22

Similar Documents

Publication Publication Date Title
JP6085065B2 (ja) 画像圧縮伸長装置
US11647190B2 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and program
KR101156997B1 (ko) 부호화 장치 및 부호화 방법
US7953284B2 (en) Selective information handling for video processing
US9270988B2 (en) Method of determining binary codewords for transform coefficients
US20080240253A1 (en) Intra-macroblock video processing
JP2011130410A (ja) 符号化方法、復号化方法及び装置
JPH10271516A (ja) 圧縮符号化装置、符号化方法、復号化装置および復号化方法
JP3491001B1 (ja) 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
WO2016047375A1 (ja) 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
JP7451131B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
JP4880868B2 (ja) 性能向上のための動画像圧縮方法及び装置
WO2017104010A1 (ja) 動画像符号化装置および動画像符号化方法
JP2010268094A (ja) 画像復号化装置および画像復号化方法
JP4847423B2 (ja) 動画像符号化装置、および、コンピュータプログラム
WO2016143093A1 (ja) 動画像符号化装置及びそれに用いるＩｎｔｒａ予測符号化方法、及び動画像復号化装置
JPH1127667A (ja) 画像符号化装置および画像復号装置
JP2001268571A (ja) 動画像再符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170126

R150 Certificate of patent or registration of utility model

Ref document number: 6085065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250