JP6272194B2 - 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法 - Google Patents

動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法 Download PDF

Info

Publication number
JP6272194B2
JP6272194B2 JP2014193391A JP2014193391A JP6272194B2 JP 6272194 B2 JP6272194 B2 JP 6272194B2 JP 2014193391 A JP2014193391 A JP 2014193391A JP 2014193391 A JP2014193391 A JP 2014193391A JP 6272194 B2 JP6272194 B2 JP 6272194B2
Authority
JP
Japan
Prior art keywords
parallel processing
unit
line
encoding
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014193391A
Other languages
English (en)
Other versions
JP2016066850A (ja
Inventor
谷田部　祐介
祐介 谷田部
小味　弘典
弘典 小味
義昌 柏原
義昌 柏原
斉藤　和則
和則 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Priority to JP2014193391A priority Critical patent/JP6272194B2/ja
Priority to EP15844504.9A priority patent/EP3200458B1/en
Priority to CN201580011234.9A priority patent/CN106063269B/zh
Priority to US15/114,862 priority patent/US10116936B2/en
Priority to PCT/JP2015/074454 priority patent/WO2016047375A1/ja
Publication of JP2016066850A publication Critical patent/JP2016066850A/ja
Application granted granted Critical
Publication of JP6272194B2 publication Critical patent/JP6272194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像を低消費電力で符号化、復号する動画像符号化、復号装置、およびその方法に関する。
特許文献１では、動画像を低消費電力且つ高画質に符号化するために、動画像を複数スライスに分割せずにMB（マクロブロック）ライン毎に並列化して符号化処理する技術が開示されている。そして、特許文献２では、MBライン毎に並列化して符号化処理する際に、量子化パラメータ(MB_qp_delta)について、MBラインで並列処理した場合でも、H.264規格(ITU-T H.264)で定められている符号化MB順にストリーム化することを可能とする技術が開示されている。
特開２００８−０４２５７１号公報 特開２００９−２３９５６５号公報
H.264規格では、量子化パラメータ以外にも符号化MB順にストリーム化が必要な処理として、CABAC(Context-based Adaptive Binary Arithmetic Coding）符号化処理があるが、特許文献１、２では該処理を並列化して低消費電力で動画像を符号化、復号する手段については開示されていない。
本発明は、上記に鑑みてなされたものであって、CABAC符号化処理を用いた場合でも、低消費電力での動画像符号化、復号を可能とする動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる動画像符号化装置は、画像をMBに分割して符号化する動画像符号化装置であって、前記MBごとに、前記画像を符号化するための前処理を実行し、その処理結果であるMB情報を前記MBの処理順に記憶部に書き込むMB並列処理部と、前記記憶部に記憶された前記MB情報をラスタ順に読み出して前記MBを符号化する符号化部と、を備えることを特徴とする動画像符号化装置として構成される。
また、本発明にかかる動画像復号装置は、符号化された画像をMBごとに復号する動画像復号装置であって、前記画像を構成するMBラインに含まれる前記MBをラスタ順に復号し、復号した処理結果であるMB情報を記憶部に格納する復号化部と、前記画像を復号するための後処理である復号化情報読み出し処理を、前記MBの処理順ごとに実行する複数の復号化情報読み出し部と、を備えることを特徴とする動画像復号装置として構成される。
また、本発明は、上記動画像符号化装置、動画像復号装置で行われる動画像符号化・復号化方法としても把握される。
本発明によれば、CABAC符号化処理を用いた場合においても、低消費電力での動画像符号化、復号が可能となる。
本実施の形態における動画像符号化装置の構成図である。 本動画像符号化装置の符号化対象単位である動画像におけるフレーム構造を示す図である。 本動画像符号化装置におけるパイプライン処理の概略を示す図である。 一般的な動画像符号化の発生符号量の例を示す図である。 本動画像符号化装置が処理するフレーム単位のパイプライン処理を示す。 異なるMBラインにおける探索範囲の例を示す図である。 図１の構成により２つのMBラインを並列処理する場合のパイプラインの例を示す図である（符号化）。 本動画像符号化装置において想定する３つの処理モードのうちのモード１、モード２の例を示す図である。 本動画像符号化装置において想定する３つの処理モードのうちのモード３の例を示す図である。 本動画像符号化装置において想定する３つの処理モードの設定例を示す図である。 処理モード１の時のパイプラインの例を示す図である。 処理モード２の時のパイプラインの例を示す図である。 本実施の形態における動画像復号装置の構成例を示す図である。 図１３の構成により２つのMBラインを並列処理する場合のパイプラインの例を示す図である（復号化）。
以下に添付図面を参照して、本発明にかかる動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法の実施の形態を詳細に説明する。
（符号化装置の構成について）
図１は、本実施の形態における動画像符号化装置の構成図である。図１に示すように、動画像符号化装置1000は、フレーム毎に入力される原画像をSDRAM107に格納する原画書込部101と、MB毎の原画像をSDRAM107から読み出し、粗探索部104、第１MBライン並列処理部105、第２MBライン並列処理部106に供給する原画読出部102と、動き検出部で使用する参照画像をSDRAM107から読み出して保持する探索メモリ読み出し部103と、原画像と参照画像からMBの移動量や移動方向を示す動きベクトルを算出する粗探索部104と、MBライン毎に並列処理する複数のMBライン並列処理部（第１MBライン並列処理部105、第２MBライン並列処理部106）と、参照画像や原画像を保持する外部メモリであるSDRAM107と、SDRAM107とのインタフェースを司るSDRAMインタフェース108と、SDRAMインタフェース108から、並列処理されたMBやMB情報、符号化情報等をMBラスタ順に読み出してストリームを生成し、SDRAMインタフェース108に転送する複数の符号化部（第１符号化部109、第２符号化部110）と、SDRAMインタフェース108から符号化順にストリームを読み出すストリーム出力部111とを有して構成されている。
さらに、第１MBライン並列処理部105は、MB毎に粗探索結果と参照画像を受け取り、より詳細なベクトルを決定するために密探索する密探索部1051と、原画読出部102から原画像を受け取り、画面内予測の予測モードを決定するIE部1052と、MB毎に並列処理する複数のMB並列処理部（第１MB並列処理部1053、第２MB並列処理部1054）と、それぞれのMB並列処理部から出力された符号化情報をMBラインに束ねてSDRAMインタフェース108に転送する符号化情報書き込み部1055と、それぞれのMB並列処理部から出力された復号画像に対してデブロックフィルタを施してSDRAMインタフェース108に転送するデブロック部1056と、を有している。なお、第２MBライン並列処理部106は、第１MBライン並列処理部105と同様の構成を有しているため、ここではその説明を省略する。
さらに、第１MB並列処理部1053は、画面内予測（Intra）か画面間予測（Inter）かのどちらかの予測残差を算出し、また周波数変換量子化部10532から出力された復号残差データを取得し復号画像を作成する予測誤差作成部10531と、予測誤差に対して周波数変換を行い量子化して符号化のための符号化情報を作成し、また量子化後のデータを逆量子化し逆周波数変換して復号残差データを作成する周波数変換量子化部10532と、周波数変換量子部10532から出力されたデータと符号化ストリームに格納するためのブロック分割情報や予測モード、量子化値などの情報を束ねる符号化情報作成部10533とを備えている。なお、第２MB並列処理部1054は、第１MB並列処理部1053と同様の構成を有しているため、ここではその説明を省略する。
図１に示す例では、各MBライン並列処理部は、MBライン毎に偶数MBと奇数MBを並列して処理する２つのMB並列処理部を有し、各MB並列処理部は、必要なMBの情報をお互いに参照しながら並列に符号化する。例えば、第１MBライン並列処理部105では、第１MB並列処理部1053が偶数MBラインの偶数MB、第２MB並列処理部1054が偶数MBラインの奇数MBを処理する。第２MBライン並列処理部106では、第１MB並列処理部1063が奇数MBラインの偶数MB、第２MB並列処理部1064が奇数MBラインの奇数MBを処理する。
第１符号化部109および第２符号化部110は、H.264では、例えば、CABACや、CAVLC（Context-based Adaptive VLC）などの手法により符号化処理を実行する処理部であり、フレーム毎に並列処理を実行する。例えば、２フレームを別々に符号化する場合には、それぞれの符号化部で並列に処理を実行する。なお、制御部112は、動画像符号化装置を構成する各部のパイプライン動作の制御や符号化情報の算出、転送を司る。
（上記動画像符号化装置の動作について）
本動画像符号化装置における動画像符号化の詳細動作について説明する。図２は、本動画図符号化装置の符号化対象単位である動画像におけるフレーム構造を示す図である。H.264などの動画像符号化の国際標準方式では、フレーム201を矩形の符号化単位であるMB202に分割し、図の左上から右方向のラスタ順203にストリーム化する。H.264規格では、MB毎の符号化に際して、既に符号化済みのMB情報を参照してストリーム化する処理が存在する。なおここで示すMB情報とは、例えば、量子化係数(MB_qp_delta)や、CABAC符号化処理における各係数の確率推定テーブルの更新(context index)や、算術符号化における区間幅の更新(codIRange、codIOffset、valMPS)等の情報である。
上述した特許文献１及び特許文献２においては、フレーム201に対して、ラスタ順に処理を行わず、フレーム201に含まれるMBラインをそれぞれ処理MBライン204と定義し、それらを並列に処理している。２並列の場合には、第１並列処理207および第２並列処理208では、それぞれMBラインを並列化し、同時に処理を実行する。
その際に、第２並列処理208において実行されるMBラインの先頭MB（例えばMB205）は、第１並列処理207において実行される１つ前のMBラインの終端MB206のＭＢ情報を参照してストリーム化209を実行する必要がある。しかし、並列処理のパイプラインでは、終端MB206の処理を行う前に、次のMBラインの先頭MB205の処理を行わなければならないため、上記直前のMB情報を参照することができない。
また、特許文献２では、本課題に対して量子化係数については解決策が述べられているが、CABAC符号化処理についての解決策は述べられていない。本課題を解決しなければ、動画像符号化処理を並列処理することはできない。
本特許では、動画像符号化を各部で実行される処理の特性に合わせて２つの処理パートに分割し、前半のパートについてMB単位での並列処理を行い、その結果を一旦メモリに格納し、そのデータをフレーム順に、そのフレームに含まれるMBを符号化順に読み出して符号化することにより、上記課題の克服を図る。
（CABAC符号化処理でMBライン処理を並列化する手法）
本動画像符号化装置では、図１に示したように、それぞれのMBライン並列処理部で複数のMBラインを同時に処理する。偶数MBラインおよび奇数MBラインの各MBラインについての符号化情報は一旦SDRAM106に格納され、各符号化部が符号化するフレームに含まれるMB順にMBの符号化情報を読み出して符号化する。図３に、本動画像符号化装置におけるパイプライン処理の概略を示す。図３では、第１MBライン並列処理部105が偶数MBラインを処理する第１MBライン並列処理301を実行し、第２MBライン並列処理部106が奇数MBラインを処理する第２MBライン並列処理302を実行し、MBラインを並列処理している。各MBライン並列処理部は、MBラインを処理し、処理したMBラインに含まれる符号化情報を順次SDRAM107に保持する。そして、図３下部に示すように、各符号化部が、SDRAM107に保持されているMBラインを符号化するMB順に符号化情報を読み出して符号化する。図３下部では、第１符号化部が第１符号化処理303を実行する例を示している。すなわち、本動画像符号化装置では、MBラインが並列処理されると、処理された符号化情報を順次SDRAM107に書き込み、各符号化部が符号化する際に、フレーム順に、そのフレームを構成するMB順に読み出して符号化する。これにより、MBラインおよびMBを並列処理した場合でもCABAC符号化処理が可能となる。
（高画質化について）
動画像符号化装置を上述した構成とすることにより、高画質化も可能となる。以下、高画質化について説明する。
図４に、一般的な動画像符号化の発生符号量の例を示す。高画質となるように符号化する為には、図４上部に示すように、参照の基点となるＩピクチャ401に多くの符号量を割り振るなど、符号化するピクチャのタイプに応じて符号量を変えることが有効である。
一方、粗探索部やMBライン並列化処理部などのハードウェア回路は画素数に応じてほぼ固定のサイクル数で設計可能であるのに対して、CABAC処理を実行する符号化部のハードウェア回路は、発生符号量に応じて処理サイクル数が変動する設計となることが一般的である。よって、符号化部のハードウェア回路は、図４下部に示すように、フレーム毎に発生符号量が異なると、処理時間がフレーム毎に伸縮してしまうという問題がある。図４下部では、発生符号量が多いIピクチャに処理時間が費やされている様子を示している。このように処理サイクル数のほぼ固定の処理（前半処理）と、伸張する処理（後半処理）を同パイプラインで動作させる場合には、その処理の切れ目で中間情報を一旦SDRAMなどのバッファで保持しないと，後半処理の処理サイクルが延びた場合に，後半処理が終了するまで、前半処理を停止させる必要が生じてしまい、リアルタイムに符号化することは困難となる。
よって、本動画像符号化装置では、粗探索部やMBライン並列処理をフレーム処理サイクル内で並列処理させ，その結果を一旦SDRAM107のような大容量の外部バッファに蓄積し、その結果を読み出して符号化部で処理させる事で，各フレームでの符号量の大きな変動も処理可能となり高画質な符号化が可能となる。
図５に、本動画像符号化装置が処理するフレーム単位のパイプライン処理を示す。図５上部は、符号化部が１つである場合の例であり、第１MBライン並列処理部105、第２MBライン並列処理部106は、１フレーム期間内に符号化するフレーム順（f0->f1->f2）に、MBラインの並列処理を実行する。第１符号化部109または第２符号化部110は、符号化フレーム順（f0->f1->f2）に発生符号量に応じた処理を実行する。図５上部では、Iピクチャである最初のフレームf0では発生符号量が多く処理時間がかかる一方、次のBピクチャでは発生符号量が少なくIピクチャに比べて処理時間が短いことがわかる。
図５下部は、符号化部による符号化処理をフレーム毎に並列処理した場合の例であり、各符号化部は既にMBライン並列処理部での処理が終了しているフレーム単位に順次並列処理を実行し、フレーム毎に作成したストリームを再度外部メモリであるSDRAM107に格納し、符号化フレーム順となる様にストリーム出力部111でストリームを読み出し、最終的なストリームとして外部に出力する。なお、符号化部は、ユーザからの設定により、必要されるビットレートに応じて、駆動させる個数を決定してもよい。例えば、４０Mbpsが必要とされている場合には図５上部のように符号化部を１つとし、８０Mbpsが必要とされている場合には図５下部のように符号化部を２つとしてもよい。
（中間バッファ格納情報について）
続いて、SDRAM107に格納する符号化情報について説明する。各MBライン並列処理部から出力され、SDRAM107に格納される符号化情報は、例えば、量子化後の画素データ、量子化情報、量子化後の非ゼロ係数かを表す情報、画面間符号化か画面内符号化かを示す情報、画面間符号化が選択されている場合にはベクトル情報、分割情報、予測方向情報、周波数変換サイズ情報などの情報であり、画面内符号化が選択されている場合には予測情報、ブロック分割情報などの情報である。これらは、SDRAM107に格納するべきMBのデータ量を規定して常に一定量をメモリに格納しておき各符号化部が一定数ずつ読み出すか、またはMBデータの書き込みアドレスを管理して符号化部が読み出す。また、SDRAM107に保持するデータは、上記に示すような情報をCABAC処理において２値化処理したデータとしても構わない。
（前半部並列処理について）
次に、上記説明したCABAC符号化処理を実行する各符号化部と、CABAC符号化処理以前の処理を実行する各MBライン並列処理部とを、SDRAM107のような外部メモリを介した構成において、低消費電力化を可能とする並列処理について説明する。特許文献１においては、MBライン毎に並列化処理する手法が開示されている。しかし、高い処理性能を達成したい場合には、処理能力を向上させる程度に応じてMBラインを並列処理する必要がある。この際、多くの回路規模を必要とする粗探索部104や、多くの参照画像を保持する必要がある探索メモリ読み出し部103をそれぞれ並列する構成であるため、多くの回路規模やそれに伴う多くの消費電量が必要となってしまう。
このような問題に対して、本動画像符号化装置では、粗探索部104と探索メモリ読み出し部103を、複数のMBライン並列処理部で共有化しつつ、更に各MBライン並列処理部が処理するMBラインの数を減らすために、処理するMBラインに属するMB毎に（例えば、偶数番目のMBと奇数番目のMBを分けて）並列処理を実行する。粗探索部104は、並列処理されるMBの数に応じて処理時間が定められ、その処理時間で処理した結果を、順次各MBライン並列処理部に出力する。例えば、粗探索部104は、処理対象となるMBラインのうちの偶数番目のMBラインと奇数番目のMBラインに分け、さらに各MBラインを、偶数番目のMBと奇数番目のMBとに分けて並列処理する場合、粗探索部104は，MB並列処理部での処理時間をあらかじめ定めておき、その定められた時間の1/4の時間を、各MBの処理に割り当て、その処理結果を順序各MBライン並列処理部に出力する。
（探索範囲について）
図１に示したように、本動画像符号化装置では、複数のMBライン並列処理部に対して、１つの探索メモリ読み出し部103と粗探索部104を備えている。以下、探索メモリ読み出し部103の共有について説明する。図６に、異なるMBラインにおける探索範囲の例を示す。図６では、符号化対象フレーム600において、あるMBラインに属するMBa601と、その次のMBラインに属するMBb604の探索範囲を、それぞれMBaの探索範囲603、MBbの動き探索を行う際の探索範囲605として示している。
ここで、動き探索とは、画像符号化において各フレーム間の冗長度を除去するために、符号化対象フレームのMBの絵柄が、参照フレームのどこに一番近いかを探索しその位置（ベクトル）を決定する処理である。探索範囲とは、この動き探索を行う際の参照フレームにおける探索の範囲である。通常、この探索範囲は参照フレーム上では、MBより大きな範囲を設定して、その範囲で原画像と参照画像の画素値の差分を計算することにより、そのベクトルを決定する。図６では、MBa601とMBb604の探索範囲は、ほぼ同領域を含んでいることがわかる。
よって、探索メモリ読み出し部103は、参照フレームの中の、並列化するMBラインのうち、この探索範囲に含まれる画素のみを保持し、粗探索部104が粗探索することにより、探索メモリ読み出し部103および粗探索部104を別々に保持する場合に比べて大幅に保持数を削減することができる。
（粗探索部）
粗探索部104は、探索メモリ読み出し部103から参照画像を読み出し、符号化対象画像の画素と参照画像の画素との差分値を計算する回路と、その差分値を集計し最小の差分値を決定する回路とを有して構成される。誤差の差分を算出する回路については、探索点数全画素分の演算器を並列に持つことは回路規模の増大を招くため、ある小規模な演算回路を有し、その回路を複数クロック動作させて必要探索回数分の処理を行うことが一般的である。この演算回路は、必要探索点数と探索を終了させる必要があるクロック数から所有数が決定される。必要なクロック数については後述する。
（並列化パイプライン）
粗探索部104が複数のMBラインのMBにデータを供給する処理について、パイプラインを用いて説明する。図７は、フレーム内の処理について、図１の構成により２つのMBラインを並列処理する場合のパイプラインの例を示している。この例では、図１に示す第１MBライン並列処理部105が偶数番目のMBラインを処理し、第２MBライン処理部106が奇数番目のMBラインを処理する。そして、MBラインに含まれるMBのうち、偶数番目のMBを第１MB並列処理部1053が処理し、奇数番目のMBを第２MB並列処理部1054が処理する。
図７では、先頭のMBラインのMB番号を左から0->1->2->3とし、並列に処理する一段下のMBラインに属するMBの番号を左からn->n+1->n+2->n+3とし（図２に示したMBの処理順序を参照）、図１に示す各部が、ある時間においてどのMBを処理しているかを示している。図では、右方向に時間軸701を示し、フレームレートと画像サイズと動作クロック数から算出された１MBを処理するのに必要な時間をスロット702と定義している。
また、本例では、MB並列処理部は４並列（第１MBライン並列処理部105の第１MB並列処理部1053および第２MB並列処理部1054、第２MBライン並列処理部106の第１MB並列処理部1063および第２MB並列処理部1064）により処理を実行するため、4MB分の処理時間を基本スロット703として示している。この際、各処理部は処理が並列に接続されている数に応じて、処理すべきスロットの期間が異なる。例えば、４並列で動作する処理では、１つの回路は４スロット（基本スロット）の期間で動作を完了する必要があり、２並列で動作する回路は２スロットの期間、かつ１つの回路は１スロット内で処理を終了させる必要がある。
符号化を行う原画像と画面間予測に用いる参照画像は既にSDRAM107に保持されている前提で、フレーム内の処理について詳しく説明する。
フレーム処理の先頭では、原画読出部102と探索メモリ読み出し部103は、少なくともこれから処理を行う先頭ＭＢの原画像の画素と，粗探索を行うのに必要な探索範囲分の参照画像の画素とを先読み704し、粗探索部104や各MBライン並列処理部のIE部に必要なデータとして保持する。本構成では、常に順次パイプラインで処理していくMBのデータの先読み704を行い、本データを補充していく。必要なデータの保持が終了したら、粗探索部104は先頭MBの処理を開始する。
粗探索部104は、基本的にはスロット毎に0MB706を含むラインの処理とnMB707を含むMBラインの処理を交互に処理する。例えば、粗探索部104は、第１MBライン並列処理部105が前処理を実行する偶数MBラインのMBと、第２MBライン並列処理部106が前処理を実行する奇数MBラインのMBとを、交互に符号化順に実行する。
しかし、動画像符号化では、あるMBの符号化にはそのMBの上のMBラインに属するMBを参照して符号化する場合が多い。したがって、当該MBの処理は、少なくとも参照関係にあるMBの処理が終了した時点以降で処理を開始する。本例では、0MB706を含むラインとnMB707を含むラインにおいて、nMB707のnMBの処理は、一例として、0MB706を含むラインの３MBの処理が終了した後に開始する。
そして、密探索部1051は、粗探索部104からベクトルと参照画像を受け取り、原画像読出部102から原画像を受け取り、より細かい精度でのベクトルの探索を行う。本例では、各MBライン並列処理部に対して１つの密探索部を設け、MBライン毎に１つの回路を有するため、２スロットの期間で処理を終了する回路構成としている。例えば、第１MBライン並列処理部105には密探索部1051が１つ設けられているため、密探索部1051では、0MB706を含むMBラインの各MBを、点線で示す２スロットの期間708で処理する。第２MBライン並列処理部106の場合も同様に密探索部1061が１つ設けられているため、密探索部1061では、nMB707を含むMBラインの各MBを、２スロットの期間で処理する。
第１MBライン並列処理部105のIE部1052は、原画像読出部102から原画像を受け取り、画面内予測のモードを決定する。IE部も密探索部と同様に、MBライン毎に１つの回路を有し、２スロット期間709で処理する。第２MBライン並列処理部106のIE部1062についても同様である。
MB並列処理部の予測誤差作成部、周波数変換量子化部は、それぞれのMB並列処理部に１つずつ構成されている。図１に示した例では、第１MBライン並列処理部105が、偶数MBラインの偶数番目のMBを処理する第１MB並列処理部1053、その奇数番目のMBを処理する第２MB並列処理部1054を有している。第２MBライン並列処理部106についても同様に、奇数MBラインの偶数番目のMBを処理する第１MB並列処理部1063、その奇数番目の第２MB並列処理部1064を有している。これらを並列処理させるため、多くとも基本スロットの半分の期間をずらして並列に処理させる。この際、各MBの処理は周辺のMBの情報の参照が必要となるため、この半スロット内に次のMBの処理に必要な情報の決定を行う。この周辺の参照が必要となるデータは各種動画圧縮規格により定義される情報であり、例えば、符号化情報やIntra予測に必要なデブロックフィルタ実施前の復号画像などである。
この半スロットずらした並列処理は、本例では基本スロットの期間が４スロットであるため、MB並列処理部の予測誤差作成部、周波数変換量子化部は、それぞれ最大で２スロットの期間710、711だけ時間をずらした処理とする。
各予測誤差作成部は、Inter予測時には密探索部から受け取ったベクトル情報と参照画像から予測画像を生成する。そして、各周波数変換量子化部は、原画像から差分をとり、その誤差画像に対して周波数変換と量子化を行い、その結果を各符号化情報作成部に転送する。各符号化情報作成部は、MBライン毎にMB情報を束ねてSDRAM107に符号化情報を転送する。各デブロック部は、各予測画像生成部から出力された復号画像に対してループ内フィルタを実行し、そのフィルタを施した復号画像をSDRAM107に転送する。なお、図示はしていないが、予測誤差作成部のIntra予測時における予測画像の作成と、復号画像の作成は周波数変換量子化部の処理時間と同時間に行う。
この様な制御を行うことにより、粗探索に必要な探索メモリへ格納する参照画像の読出しデータ量や、探索回路を大幅に増やすことなくMB毎の並列処理を可能とし、低消費電力を実現することができる。なお、本実施例では、各MBライン並列処理部により処理結果と各符号化処理部による処理結果とを、一旦SDRAM107に記憶する方式を採用して説明したが、SDRAM107に保持しない方式を使用した場合であっても、各MBライン並列処理部に各符号化処理部を含めて連結させる構成とすることにより、各MBライン並列処理部からの処理結果が、直接各符号化処理部に入力され、上記同様に並列化を実現することも可能となる。
（並列時の画質劣化問題）
次に、本動画像符号化装置で行われるMBラインの並列処理における高画質化について説明する。高画質化については特許文献２に記載があるが、MBラインの並列処理時には、並列処理しているMBラインに属する先頭MBのQPは画質に無関係に予め決めておいたある値に固定する必要がある。しかし、この方法を採用した場合、並列度が増えるほど固定するラインが増えてしまい、画質が低下してしまう。また、MBラインに属するMBのうち固定するMBの位置が規定されているため、その位置に画質上の段差が発生してしまうという問題点がある。以下、具体的に説明する。
図２で示したように、MBラインを並列化する場合には，MB符号化順で未来にあたるMBを、先行して符号化する必要が生じる。この場合、特許文献２では、以下の方式が述べられている。まず１つ目として、MB先頭ラインの先頭MBのQPを固定化し、CBP（Codec Block Pattern）を強制的に有効化する方法である。そして、２つ目は、MBラインの終端のMB（MBl）と次のMBライン先頭のMB（MBn）のQPを固定化し，MBlのCBPを強制的に有効化する方法である。なお、CBPを強制的に有効化する理由は、H.264規格の中で、CBPが無効である場合にはQPを符号化しないという決まりがあり、CBPを強制的に有効にしない限りQPを固定化することが出来ないためである。
上記２つ目の方法においては、MBlとMBnの両方のQPを固定化している。しかし、例えば、MBnのCBPが無効の場合のみQPを固定化するなど、MBnのCBPが有効の場合には必ずしもQPを固定化する必要はない。また、本QPを固定化する位置は、MBラインの先頭もしくは終端と固定する必要もない。
このように、本実施例では、CBPの強制有効化の位置とQP固定化の位置はMBラインのどのMBであってもよい方式とする。すなわち、MBラインの途中にあるMBのQPを固定化した場合であっても、QPが固定化されたMBからMBラインの終端のMBまでのMBについて、予め決めておいたQP値を、そのMBから終端までのMBに設定すればよい。この場合、CBPの強制有効化を行ったMBからそのラインの終端MBまでのQP値は予め決めておいたQP値を用い、次のラインの先頭のMBは、CBPが無効の場合のみそのQPを用いて符号化する。
なお、QPの固定化については、予め決めておいた固定値でも周辺MBの最小値、メディア値、平均値等で算出して用いても良い。この様にすることで、QPを固定化する位置を変更することができ、画質の段差を抑えた符号化が可能となる。
（高機能化）
一般的に、動画像符号化装置を搭載する機器においては、ユーザの好みや各種アプリケーションに対応するため、画質と録画時間を調整できる処理モードを各種設けている。よって、本動画像符号化装置においても、解像度とフレームレートが変わる場合も想定し、動画像符号化装置の低消費電力設計を図る。以下、本動画像符号化装置において想定する３つの処理モードの例について説明する。調整モードは、出力画像のパフォーマンスに応じて、並列処理数を変更する設定情報である。
図８は、本動画像符号化装置において想定する３つの処理モードのうちのモード１、モード２の例を示す図である。図８上部に、１つ目の基本となる処理モードを示す。本処理モードは、例えば、FHD（Full High Definition）サイズの画像について、フレームレートが３０fpsの場合に、IBBPBBのM＝３の符号化タイプを用いて符号化するモードである。この場合、Pピクチャでは、３枚前のピクチャが参照され、Iピクチャの中の探索範囲801を基本探索範囲とする。
次に、２つ目の処理モードを図８下部に示す。本処理モードは、上記基本処理に対してフレームレートを２倍にした処理モードである。この場合には、フレームレートを２倍にしたことにより、フレーム間の距離が半分となる。本処理モードで上記基本処理と映像の動き量とが一定であると仮定すると、Pピクチャでは、基本探索範囲の1/2の探索範囲802で済むことがわかる。しかし、本処理モードでは２倍のフレーム数を処理する必要があるため、処理クロック数を同値とすると、処理スピード（処理パフォーマンス）は２倍を要求される。
最後に、３つ目の処理モードについて説明する。図９は、本動画像符号化装置において想定する３つの処理モードのうちのモード３の例を示す図である。図９上部に示す本例は、基本となる処理モードに比べて画像サイズを４倍とした例である。この例は、例えば４k２kの画像に対応する場合であり、IPPPのM＝１の符号化タイプとする。この場合、画像サイズが４倍になるため、上記同様、処理クロック数を同値とすると、処理パフォーマンスは４倍を要求される。
この場合、画像サイズが４倍となるが、動きベクトルを計算するMBの大きさは変わらないため、M＝３の符号化タイプであれば、Pピクチャでの探索範囲は基本探索範囲と同様の範囲となる。しかし、このモード３ではM＝１の場合としているため、上述したモード１の基本パターンに比較して、IピクチャまたはPピクチャの周期を1/3としているため、探索範囲は基本探索範囲の1/3の範囲となる。
上記各モードの設定例について説明する。図１０は、本動画像符号化装置において想定する３つの処理モードの設定例を示す図である。図１０では、符号化の処理モードと、画像サイズと、フレームレートと、必要とされる動画像符号化装置のパフォーマンスおよびそのパフォーマンスでの処理時間と、IピクチャまたはPピクチャの周期を示すM値と、必要とされるIピクチャの探索範囲とが対応付けて記憶されている。
図１０に示すように、処理モード毎にパフォーマンスが1、2、4倍となり、それに伴い同じ動作周波数での処理時間は1、1/2、1/4となることがわかる。さらに、必要な探索範囲は1、1/2、1/3となることがわかる。
上記説明した動画像符号化装置は、図９に示したモード３を適用した場合の例であり、モード１の場合と比べて４倍のパフォーマンスを達成する場合の構成を示している。図１に示した本動画像符号化装置では、粗探索部104が複数のMB並列ライン処理部にデータを供給する構成としているが、このことは、基本となる処理モードに対して1/4の処理時間で、少なくとも1/3の探索を処理できる能力を有すればよいこととなる。
そして、この処理能力を有すれば、４倍のパフォーマンス時と比べて、２倍のパフォーマンス時（モード２）には処理時間が２倍に延び、１倍の処理パフォーマンス（モード１）時には、処理時間が４倍に延びるので、同回路で処理時間が異なる３つのモードを実現することが可能となる。
なお、上述した処理モード１〜処理モード３に加え、処理モード４として、FHDサイズの画像について、フレームレートが１２０fpsの場合に、IPPのM＝１の符号化タイプを用いて符号化するモードを設定することも可能である。この場合、フレームレートが４倍になるため、上記同様、処理クロック数を同値とすると、処理パフォーマンスは４倍を要求され、その処理時間は1/4となる。さらに、フレームレートが４倍、M値が1/3となるため、探索範囲は、1/12となる。
処理モード１、処理モード２の時のパイプラインを、それぞれ図１１、図１２に示す。図１１に示す処理モード１でのパイプラインでは、図７に示した４つのスロットの期間である基本スロットで各処理を行えばよい。その場合には並列処理する必要がないので、例えば、図１に示した第１MB並列ライン処理部105と、その第１MB並列ライン処理部105が有する第１MB並列処理部1053を、図１１に示すようなパイプラインで動作させることで処理を実行する。
また、図１２に示す処理モード２では、図７に示した２つのスロットの期間で処理を行えばよく、２並列処理での動作となる。その場合には、図１に示した第１MBライン並列処理部105と、その第１MBライン並列処理部105が有する第１MB並列処理部1053、第２MB並列処理部1054を用いて、図１２に示すパイプラインで処理を実行する。両者の場合においても、探索メモリ読み出し部103、粗探索部104、原画読出し部102は、それぞれ１つの回路としてMBライン並列処理部にデータを供給する。
また、この構成においては、処理モード３の４倍の処理パフォーマンスが必要となるモード３におけるフレームレートを４倍した処理モードに対応するなど、画像解像度、フレームレートの関係により本例で示していない他の処理モードに対応することも可能である。また、本動画像符号化装置では、このパイプラインをユーザからの設定により、所望の処理モードに切り替えることも可能である。この様な構成とすることで、本動画像符号化装置は、複数の並列処理を実行する場合においても低消費電力化を可能とすることができる。
（更なる省電力化）
次に、更なる省電力化について説明する。本動画像符号化装置における密探索部は、符号化対象のＭＢが画面間符号化モード（Inter符号化モード）である場合のみ必要な処理であり、画面内符号化モード（Intra符号化モード）である場合には行う必要がない。本本動画像符号化装置のパイプラインによる密探索処理は、Inter符号化の粗探索とIntra符号化のIE部が既に終わってからの処理としている。つまり、MBライン並列処理部では、処理される画像がIntra符号化モードまたはInter符号化モードのいずれの符号化モードで処理されるか判定し、Inter符号化モードであると判定した場合にのみ、密探索部が、粗探索部104が求めたMBの移動量および移動方向をさらに詳細な移動量および移動方向を求める。
本動画像符号化装置では、MBライン並列処理または制御部が、粗探索部とIE部での処理結果からIntra符号化またはInter符号化であるかを判定し、Intra符号化であると判定した場合には、密探索部を動作させないよう様に制御することにより、密探索に要する消費電力を削減することが可能である。この場合、密探索するための処理開始信号を送付しない、あるいはクロックを停止する手法により実現することができる。また、Intra符号化とInter符号化決定については、原画像とそれぞれの予測画像との誤差と、それを送付するための符号化を加味した値で比較する。
（ＣＡＢＡＣ並列化の効果）
これにより、ＣＡＢＡＣ符号化を用いた場合においても、MBライン単位の並列処理を可能とし、低消費電力と高画質を実現できる。
（デコードの構成）
本動画像符号化装置で用いる並列化は、復号装置への応用が可能である。図１３に、本実施の形態における動画像復号装置2000の構成例を示す。本動画像復号装置2000では、再生するためのストリームはストリーム入力部1301により取得され、ストリーム解析部1302により各フレームの先頭位置の解析が行われる。その解析結果はSDRAMインタフェース1303に転送され、SDRAM1304に保持される。この解析処理を実行する理由は、各復号化部（第１復号化部1305、第２復号化部1306）がフレーム毎に並列処理を実行するので、フレームのスタートコードをチェックして、ストリームに含まれるフレームの区切りとなる先頭位置を把握する必要があるためである。そして、SDRAM1304からフレーム単位に第１復号化部1305、第２復号化部1306でフレームが読み出されて並列処理され、MBライン毎にMBの復号化情報（符号化情報と同様の内容）がSDRAM1304に保持される。
このMBライン毎のMBの復号化情報は、SDRAM1304から第１MBライン並列処理部1307、第１MBライン並列処理部1308に読み出され、動画像符号化装置と同様、MBライン単位に並列に処理される。第１MBライン並列処理部1307は、復号化情報読み出し部13071が復号化情報を読み出し、第１MB並列処理部13073、第２MB並列処理部13074に供給すると共に、予測画像を生成するために必要な情報を予測画像生成部13075に供給する。そして、各MB並列処理部で作成した画像に対して、デブロック部13072にてデブロックフィルタを施して、SDRAM1304に保持する。
各MBライン並列処理部のMB並列処理部では、それぞれの逆周波数変換部が復号化情報読出部より取得したデータに対して逆量子化および逆周波数変換を実行し、各予測誤差加算部が、Intra予測時における予測画像の生成，逆量子化および逆周波数変換されたデータと予測画像と加算しデブロック部に出力する。
参照画像読出部1309は、SDRAM1304から参照画像を読み出し、Inter予測時の予測画像を生成する予測画像生成部13075に参照画像データを供給する。再生画像読出部1310は、SDRAM1304から表示順番に復号画像を読み出す。制御部1311は、全体の動作の制御や符号化パラメータの共有を行う。
本復号化装置は、動画像符号化装置と同様に、MB並列処理部とMBライン並列処理部を複数有し、図７に示すパイプラインのように、これらを並列処理させるため、多くとも基本スロットの半分の期間をずらして並列に処理させることにより、低消費電力での復号化を可能とする。本例では基本スロットの期間が４スロットであるため、MB並列処理部の逆量子化逆周波数変換部および予測誤差加算部は、それぞれ最大で図７と同様に２スロットの期間だけ時間をずらした処理とする。
図１４は、フレーム内の処理について、図１３の構成により２つのMBラインを並列処理する場合のパイプラインの例を示している。この例では、図１に示した場合と同様、第１MBライン並列処理部1307が偶数番目のMBラインを処理し、第２MBライン処理部1308が奇数番目のMBラインを処理し、MBラインに含まれるMBのうち、偶数番目のMBを第１MB並列処理部13073が処理し、奇数番目のMBを第２MB並列処理部13074が処理する。MBラインのMB番号のカウント、時間軸、スロット、基本スロットの定義については図７と同様であるため説明を省略する。
復号化装置では、符号化装置とは逆に、復号化情報読出し部13071が、第１復号化部1305、第２復号化部1306によって格納された復号化情報をSDRAM1304から読み出す。本例では、各MBライン並列処理部に対して１つの復号化情報読出し部を設け、MBライン毎に１つの回路を有するため、符号化装置における密探索部やIE部と同様、２スロットの期間で処理を終了する回路構成としている。例えば、第１MBライン並列処理部1307には復号化情報読出し部13071が１つ設けられているため、復号化情報読出し部13071では、MBラインの各MBを、符号化装置と同様、２スロットの期間で処理する。第２MBライン並列処理部1308の場合も同様に復号化情報読出し部が１つ設けられているため、同様に処理を行う。
MB並列処理部の逆量子化逆周波数変換部、予測誤差加算部は、それぞれのMB並列処理部に１つずつ構成されている。図１４に示した例では、第１MBライン並列処理部1307が、偶数MBラインの偶数番目のMBを処理する第１MB並列処理部13073、その奇数番目のMBを処理する第２MB並列処理部13074を有している。第２MBライン並列処理部1308についても同様に、奇数MBラインの偶数番目のMBを処理する第１MB並列処理部13083、その奇数番目の第２MB並列処理部13084を有している。符号化装置と同様、これらを並列処理させるため、多くとも基本スロットの半分の期間をずらして並列に処理させる。この処理は、本例では基本スロットの期間が４スロットであるため、MB並列処理部の逆量子化逆周波数変換部、予測誤差加算部は、それぞれ最大で２スロットの期間1410、1411だけ時間をずらした処理とする。
各逆量子化逆周波数変換部は、符号化情報読出し部から受け取った符号化情報に対して逆量子化および逆周波数変換を実行する。各予測誤差加算部は、逆量子化および逆周波数変換されたデータと予測画像と加算されてデブロック部に出力する。各予測画像生成部は、符号化情報読出し部13071から受け取った符号化情報と、参照画像読出し部1309から受け取った参照画像から予測画像を生成し、各MB並列処理部の予測誤差換算部に出力する。
そして、復号化の場合も符号化の場合と同様に、参照画像読出部1309は，参照画像の先読みを行う．再生画像読出部1310は、生成した復号画像を表示順にSDRAMから読み出し，表示側の同期に合わせて出力する．本例では、0MBを含むラインとnMBを含むラインにおいて、nMBの処理は、一例として、0MBを含むラインの３MBの処理が終了した後に開始している。
また、図１１、図１２に示したように、必要とされるパイプラインの並列度（処理モード）に応じて並列処理部の一部を動作させることにより、複数の並列処理においても低消費電力化を可能とすることができる。また、本復号化装置では、動画像符号化装置同様に、ストリームのビットレートや解像度やフレームレートが既知の場合には、ＭＢ並列処理部、ＭＢライン並列処理部、復号化部の並列度（処理モード）を、ユーザからの設定により変更することも可能である。
1000：動画像符号化装置
101：原画書込部
102：原画読出部
103：探索メモリ読み出し部
104：粗探索部
105、106：MBライン並列処理部
107：SDRAM
108：SDRAMインタフェース
109、110：符号化部
111：ストリーム出力部
112：制御部
2000：動画像復号装置
1301：ストリーム入力部
1302：ストリーム解析部
1303：SDRAMインタフェース
1304：SDRAM
1305：第１復号化部
1306：第２復号化部
1307、1308：ライン並列処理部
13071：復号化情報読出し部
13072：デブロック部
13073、13074：MB並列処理部
13075：予測画像生成部
1309：参照画像読出部
1310：再生画像読出部
1311：制御部。

Claims (16)

  1. 画像をMBに分割して符号化する動画像符号化装置であって、
    前記MBごとに、前記画像を符号化するための前処理を実行し、その処理結果であるMB情報を前記MBの処理順に記憶部に書き込むMB並列処理部と、
    水平方向に配列される前記MBをMBラインとして構成し、前記MBラインごとに前記前処理を実行し、複数の前記MB並列処理部を有するMBライン並列処理部と、
    前記記憶部に記憶された前記MB情報をラスタ順に読み出して前記MBを符号化する符号化部と、
    を備えることを特徴とする動画像符号化装置。
  2. 前記MBライン並列処理部が有する一または複数の前記MB並列処理部が実行するモードと、複数のMBライン並列処理部が有する一または複数のMB並列処理部が実行するモードとが切り替え可能である、
    ことを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記MBの移動量および移動方向を求める粗探索部を備え、
    前記粗探索部は、前記MB並列処理部が並列に接続されている数に応じて分割された処理時間で実行した処理結果を、前記MB並列処理部を有するMBライン並列処理部に出力する、
    ことを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記粗探索部は、前記MBライン並列処理部が前処理を実行する前記MBラインに含まれる前記MBと、他の前記MBライン並列処理部が前処理を実行する前記MBラインに含まれる前記MBとを、交互に符号化を実行する、
    ことを特徴とする請求項３に記載の動画像符号化装置。
  5. 前記符号化部は、前記画像に含まれる前記MBをラスタ順に読み出して符号化する処理部を有し、前記処理部は異なる画像を並列処理する、
    ことを特徴とする請求項１〜４のいずれか１項に記載の動画像符号化装置。
  6. 前記粗探索部は、前記MBライン並列処理部または前記MB並列処理部が並列に接続されている数に応じて、前記画像の総画素数がn画素、IピクチャまたはPピクチャの周期を示すM値が３であり、フレームレートがpである第１の処理モードと、前記総画素数がn画素、前記M値が３であり、フレームレートが２pである第２の処理モードと、前記総画素数が４n画素、前記M値が１であり、フレームレートがpである第３の処理モードとを切り替えて処理を実行し、
    前記一のMBライン並列処理部および前記一のMB並列処理部が前記第１の処理モードで前記前処理を実行し、
    前記一のMBライン並列処理部および前記複数のMB並列処理部が前記第２の処理モードで前記前処理を実行し、
    前記複数のMBライン並列処理部および前記複数のMB並列処理部が前記第３の処理モードで前記前処理を実行する、
    ことを特徴とする請求項３〜５のいずれか１項に記載の動画像符号化装置。
  7. 前記粗探索部は、前記MBライン並列処理部または前記MB並列処理部が並列に接続されている数に応じて、前記画像の総画素数がn画素、IピクチャまたはPピクチャの周期を示すM値が３であり、フレームレートがpである第１の処理モードと、前記総画素数がn画素、前記M値が３であり、フレームレートが２pである第２の処理モードと、前記総画素数がn画素、前記M値が１であり、フレームレートが４pである第３の処理モードとを切り替えて処理を実行し、
    前記一のMBライン並列処理部および前記一のMB並列処理部が前記第１の処理モードで前記前処理を実行し、
    前記一のMBライン並列処理部および前記複数のMB並列処理部が前記第２の処理モードで前記前処理を実行し、
    前記複数のMBライン並列処理部および前記複数のMB並列処理部が前記第３の処理モードで前記前処理を実行する、
    ことを特徴とする請求項３〜５のいずれか１項に記載の動画像符号化装置。
  8. 前記MBライン並列処理部のそれぞれは、前記MBラインに含まれる前記MBについて、CBP（Codec Block Pattern）または量子化係数を有効化し、前記有効化した前記MBから前記MBラインの終端の前記MBまでのMBを、あらかじめ定められた量子化係数で符号化し、前記量子化係数で符号化されたMBラインの次の前記MBラインの先頭の前記MBについて、CBPが無効である場合に、前記あらかじめ定められた量子化係数により符号化する、
    ことを特徴とする請求項１〜７のいずれか１項に記載の動画像符号化装置。
  9. 前記MBライン並列処理部のそれぞれは、前記MBラインの終端の前記MBについて、CBPまたは量子化係数を有効化し、前記終端のMBを、あらかじめ定められた量子化係数で符号化し、前記子化係数で符号化されたMBラインの次の前記MBラインの先頭の前記MBについて、CBPが無効である場合に、前記あらかじめ定められた量子化係数により符号化する、
    ことを特徴とする請求項１〜７のいずれか１項に記載の動画像符号化装置。
  10. 前記MB並列処理部は、前記MBに基づく画面内の予測誤差または前記MBに基づく画面間の予測誤差を作成する予測誤差作成部と、作成された予測誤差に対して周波数変換した後の予測誤差を量子化する周波数変換量子化部と、量子化された前記MBを符号化するための符号化情報を作成する符号化情報作成部とを有し、
    前記MB並列ライン処理部は、Intra符号化モードまたはInter符号化モードを決定するＩＥ部と、前記MB毎に作成した符号化情報を符号化順に前記記憶部に書き込む符号化情報書き込み部と、Inter符号化モードであると判定した場合に、前記粗探索部が求めたMBの移動量および移動方向をさらに詳細な移動量および移動方向を求める密探索部と、復号画像に対してデブロックフィルタを適用するデブロック部とを有し、
    前記MBライン並列処理部または前記MB並列処理部は、前記MBラインの前記MBの処理時間であるスロットを並列処理する数に応じた期間をずらして並列処理する、
    ことを特徴とする請求項３〜９に記載の動画像符号化装置。
  11. 前記ＩＥ部は、処理する画像がIntra符号化モードまたはInter符号化モードのいずれの符号化モードで処理するか判定し、Intra符号化モードであると判定した場合には、前記粗探索部が求めた前記MBの移動量および移動方向よりも詳細な移動量および移動方向を求める密探索部を実行しない、
    ことを特徴とする請求項１０に記載の動画像符号化装置。
  12. 符号化された画像をMBごとに復号する動画像復号装置であって、
    前記画像を構成するMBラインに含まれる前記MBをラスタ順に復号し、復号した処理結果であるMB情報を記憶部に格納する復号化部と、
    前記画像を復号するための前処理である復号化情報読み出し処理を、前記MBごとに実行する複数の復号化情報読み出し部と、
    前記復号化情報読み出し処理の処理結果であるMB情報を前記MBの処理順に記憶部に書き込むMB並列処理部と、
    水平方向に配列される前記MBをMBラインとして構成し、前記MBラインごとに前記復号化情報読み出し処理を実行し、複数の前記MB並列処理部を有するMBライン並列処理部と、
    を備えることを特徴とする動画像復号装置。
  13. 前記MBライン並列処理部が有する一または複数の前記MB並列処理部が実行するモードと、複数のMBライン並列処理部が有する一または複数のMB並列処理部が実行するモードとが切り替え可能である、
    ことを特徴とする請求項１２に記載の動画像復号装置。
  14. ストリームに含まれる前記画像の区切り位置を解析するストリーム解析部を備え、
    前記復号化部は、画像単位に前記MBをデコードする処理部を複数有し、前記処理部は解析された区切り位置によって区切られた異なるフレームを並列して処理する、
    ことを特徴とする請求項１２または１３に記載の動画像復号装置。
  15. 前記MBラインに含まれる前記MBごとに、前記画像を逆量子化して逆周波数変換を行う逆量子化逆周波数変換部と、予測画像と残差誤差を加算して復号画像を生成する予測誤差加算部とを有した複数のMB並列処理部と、
    前記MB並列処理部と、復号画像にデブロックフィルタを行うデブロック部と、予測画像を生成する予測画像生成部とを備えた複数のMBライン並列処理部とを有し、
    前記MBライン並列処理部または前記MB並列処理部は、MBラインのMBの処理時間であるスロットを並列処理する数に応じた期間をずらして並列処理する、
    ことを特徴とする請求項１２〜１４のいずれか１項に記載の動画像復号装置。
  16. 画像をMBに分割して符号化する動画像符号化・復号化方法であって、
    前記MBごとに、前記画像を符号化するための前処理を実行し、その処理結果であるMB情報を前記MBの処理順に記憶部に書き込む符号化MB並列処理ステップと、
    水平方向に配列される前記MBがMBラインとして構成された当該MBラインごとに前記前処理を実行し、複数の前記符号化MB並列処理ステップを実行する符号化MBライン並列処理ステップと、
    前記記憶部に記憶された前記MB情報をラスタ順に読み出して前記MBを符号化する符号化ステップと、を含む動画像符号化ステップと、
    符号化された前記画像を構成する前記MBラインに含まれる前記MBをラスタ順にデコードし、デコードした処理結果であるMB情報を記憶部に格納する復号化ステップと、
    前記画像を復号するための前処理である符号化情報読み出し処理を前記MBごとに実行する複数の符号化情報読み出しステップと、
    前記復号化情報読み出し処理の処理結果であるMB情報を前記MBの処理順に記憶部に書き込む復号化MB並列処理ステップと、
    水平方向に配列される前記MBがMBラインとして構成された当該MBラインごとに前記復号化情報読み出し処理を実行し、複数の前記復号化MB並列処理ステップを実行する復号化MBライン並列処理ステップと、を含む動画像復号化ステップと、
    を含むことを特徴とする動画像符号化・復号化方法。
JP2014193391A 2014-09-24 2014-09-24 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法 Active JP6272194B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014193391A JP6272194B2 (ja) 2014-09-24 2014-09-24 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
EP15844504.9A EP3200458B1 (en) 2014-09-24 2015-08-28 Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method
CN201580011234.9A CN106063269B (zh) 2014-09-24 2015-08-28 动态图像编码装置、动态图像解码装置以及动态图像编码/解码方法
US15/114,862 US10116936B2 (en) 2014-09-24 2015-08-28 Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method
PCT/JP2015/074454 WO2016047375A1 (ja) 2014-09-24 2015-08-28 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014193391A JP6272194B2 (ja) 2014-09-24 2014-09-24 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法

Publications (2)

Publication Number Publication Date
JP2016066850A JP2016066850A (ja) 2016-04-28
JP6272194B2 true JP6272194B2 (ja) 2018-01-31

Family

ID=55580904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014193391A Active JP6272194B2 (ja) 2014-09-24 2014-09-24 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法

Country Status (5)

Country Link
US (1) US10116936B2 (ja)
EP (1) EP3200458B1 (ja)
JP (1) JP6272194B2 (ja)
CN (1) CN106063269B (ja)
WO (1) WO2016047375A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791408A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 一种拍摄预览装置、终端及方法
US20200192932A1 (en) * 2018-12-13 2020-06-18 Sap Se On-demand variable feature extraction in database environments

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10163351C1 (de) * 2001-12-14 2003-06-26 Heimann Biometric Systems Gmbh Verfahren und Anordnung zur verzerrungsarmen Aufnahme von an einer Kontaktfläche durch gestörte Totalreflexion entstehenden Intensitätsmustern
US20060187794A1 (en) * 2004-10-14 2006-08-24 Tim Harvey Uses of wave guided miniature holographic system
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
JP4789200B2 (ja) 2006-08-07 2011-10-12 ルネサスエレクトロニクス株式会社 動画符号化と動画復号とのいずれかを実行する機能モジュールおよびそれを含む半導体集積回路
JP5172267B2 (ja) * 2007-10-09 2013-03-27 富士フイルム株式会社 撮像装置
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP5007259B2 (ja) 2008-03-27 2012-08-22 ルネサスエレクトロニクス株式会社 画像符号化装置
JP5390794B2 (ja) * 2008-06-05 2014-01-15 キヤノン株式会社 動きベクトル探索装置および動きベクトル探索方法
JP2009284208A (ja) * 2008-05-22 2009-12-03 Renesas Technology Corp 動画像符号化装置及び動画像記録装置
JP5309700B2 (ja) * 2008-06-03 2013-10-09 富士通株式会社 動画像復号装置および符号化装置
JP5756921B2 (ja) 2008-06-10 2015-07-29 パナソニックＩｐマネジメント株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、プログラムおよび集積回路
JP5241622B2 (ja) * 2008-07-02 2013-07-17 キヤノン株式会社 符号化装置および符号化方法
US20100215104A1 (en) * 2009-02-26 2010-08-26 Akira Osamoto Method and System for Motion Estimation
US8718149B2 (en) * 2009-10-29 2014-05-06 Panasonic Corporation Image coding method and image decoding method
US9877033B2 (en) * 2009-12-21 2018-01-23 Qualcomm Incorporated Temporal and spatial video block reordering in a decoder to improve cache hits
US9307260B2 (en) * 2010-07-30 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, image coding apparatus, and image coding method
JP2013150215A (ja) * 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US8698922B2 (en) * 2012-02-14 2014-04-15 Omni Vision Technologies, Inc. Black level correction for imaging pixels
US20140003532A1 (en) * 2012-06-29 2014-01-02 Qualcomm Incorporated Wavefront parallel processing for video coding
KR20150057790A (ko) * 2013-11-20 2015-05-28 삼성전자주식회사 웨이브-프런트 어프로치에 기초한 비디오 프레임의 병렬 처리 방법
KR101895295B1 (ko) * 2014-02-12 2018-09-05 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置

Also Published As

Publication number Publication date
US10116936B2 (en) 2018-10-30
EP3200458A4 (en) 2018-05-23
CN106063269A (zh) 2016-10-26
US20170180730A1 (en) 2017-06-22
EP3200458B1 (en) 2020-02-19
WO2016047375A1 (ja) 2016-03-31
CN106063269B (zh) 2019-11-15
JP2016066850A (ja) 2016-04-28
EP3200458A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP3863510B2 (ja) 動きベクトル符号化／復号化方法及びその装置
JP5756537B2 (ja) 適応型走査を用いる動画像復号化方法
JP5330647B2 (ja) 適応参照画像の発生
KR101684207B1 (ko) 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
JP2021044831A (ja) 画像復号方法、画像復号システム及び画像復号のためのコンピュータ可読媒体
JP6085065B2 (ja) 画像圧縮伸長装置
TWI776071B (zh) 用以編碼及解碼視訊取樣之轉換區塊的方法、設備和系統
JP2014096755A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2007214641A (ja) 符号化装置、復号化装置、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
US20240129459A1 (en) Image processing device and method for partitioning a coding unit into partitioned processing units
JP6272194B2 (ja) 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
KR20110047700A (ko) 복호화 가속화를 위한 엔트로피 부호화 방법과 그 장치 및 엔트로피 복호화 방법과 그 장치
JP2010166533A (ja) 符号化装置及びその制御方法、コンピュータプログラム
JP7359653B2 (ja) 動画像符号化装置
JP2011061320A (ja) 動き補償装置、符号化装置、復号装置、これらにおける処理方法およびプログラム
JP7451131B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
JP2010050833A (ja) 映像符号化装置
JP2013098735A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2007166555A (ja) 符号化装置及び方法
JP5293701B2 (ja) 立体画像データ出力装置及び立体画像データ出力方法
JP2006345123A (ja) 動画像復号装置及び動画像符号化装置
JP2009077179A (ja) 動画像符号化装置、動画像符号化装置の制御方法、および、コンピュータプログラム
MXPA06003034A (en) Adaptive reference picture generation
JP2010068219A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171228

R150 Certificate of patent or registration of utility model

Ref document number: 6272194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250