JP4896944B2 - 画像復号装置 - Google Patents

Description

本発明は、複数のプロセッサと共有型キャッシュメモリを備え、入力画像信号に対する各種信号処理を並列的に行う画像復号装置に関する。

入力画像信号に対する信号処理を並列的に行う場合の従来の手法として、たとえば、下記特許文献１に記載の技術が存在する。この特許文献１に記載の画像データの処理方法では、複数の演算処理部に順次循環的にスライスを割当てて、複数の演算処理部で同時並列的に各スライスを処理させ、各スライスの処理で参照するマクロブロックが重複する性質を利用して、メモリに同時にアクセスするよう並列処理を設定する。これにより、各演算処理部がメモリにアクセスする際のバスの負荷が低減される。また、これに伴ってメモリの使用量も低減される。

また、下記特許文献２には、複数のスレッドを利用し、入力ビットストリーム（画像信号）をピクチャごとに各スレッドに割り当てて、ピクチャごとの構文解析およびデコーディングを一まとめにして並列化して実施する技術が記載されている。

しかしながら、上記の従来技術は、解決すべき問題点をそれぞれ有している。具体的には、特許文献１に記載の技術は、演算処理の対象がビットストリームの構文解析結果のようにスライス間で重複することのないデータが多数を占めている場合には、十分な効果を得ることができず、有効に使用することができない、という問題がある。また、特許文献２に記載の技術は、各スライスの構文解析と信号処理を一まとめにして同一スレッドにて行うため、スライス間で重複するデータの参照を共有することが難しく、特にピクチャへの書き込み時のキャッシュメモリ使用量が大幅に増大する、という問題がある。

特開２００７−３１８５１７号公報 特開２００８−１１８６１６号公報

本発明は、画像ビットストリームの復号処理を、キャッシュメモリの使用量が増大するのを抑えつつ並列化して行うことが可能な画像復号装置を提供することを目的とする。

本願発明の一態様によれば、ビットストリームに対する構文解析処理で抽出された各構文要素に対して圧縮処理を実行し、得られた各圧縮後の構文要素をその種類に基づいて分類する構文要素圧縮部と、前記分類された各構文要素群のいずれか一つと１対１で対応し、対応する群に属する構文要素を展開して元の構文要素を復元する複数の構文要素展開部と、前記各構文要素展開部のいずれか一つと１対１で対応し、対応する構文要素展開部で復元された構文要素に対して、その種類に応じた信号処理を行う複数の信号処理部と、を備える画像復号装置が提供される。

本発明によれば、画像ビットストリームを復号するための各種信号処理を、キャッシュメモリの使用量が増大するのを抑えつつ並列化して行うことができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる画像復号装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる画像復号装置の基本構成を示す図である。この画像復号装置は、構文解析部１、構文要素圧縮部２および並列処理型信号処理部３を備える。構文解析部１は、入力された画像信号のビットストリームに対して構文解析を行い、構文要素を抽出する。構文要素圧縮部２は、抽出された各構文要素を、その種類ごとに予め規定された方式で圧縮（変換）する。並列処理型信号処理部３は、圧縮後の構文要素をその種類に基づいて分類して格納する複数のキュー３１と、各キューに格納された圧縮後の構文要素を展開して元に戻す複数の構文要素展開部３２と、展開された構文要素に対し、対応する信号処理を行う複数の信号処理部３３と、を備え、各構文要素に対する信号処理を、構文要素の種類ごとに並行して実行し、並行して実行された各処理の結果に基づいて、元の画像（送信された画像）を復元する。なお、図１では、各処理結果に基づいて画像を復元する構成要素の記載を省略している。

このような画像復号装置は、たとえば、図２に示したような、プロセッサおよび当該プロセッサが独占的に使用するキャッシュメモリの複数のペアと、各プロセッサが利用可能なコア間共有キャッシュメモリと、を含んだ装置上で画像復号用のソフトウェアを実行することにより実現される。なお、図２は、画像復号装置を実現するためのアーキテクチャの一例を示したものであり、実現方法をこれに限定するものではない。

図３は、処理対象の入力ビットストリームがＨ．２６４／ＭＰＥＧ−４ ＡＶＣの場合の画像復号装置の構成例を示す図である。この図３は、図１で示した画像復号装置の並列処理型信号処理部３について、その構成をより具体的に示したものであり、並列処理型信号処理部３は、動き予測、輝度動き補償、色差動き補償、輝度差分画像復号および色差差分画像復号の５つの並列に実行可能な各処理を実行するための構成要素を備えている。また、動き予測、輝度差分画像復号および色差差分画像復号の３つの処理で構文要素を直接に参照する。そのため、図３に示した画像復号装置の並列処理型信号処理部３は、複数のキュー３１ａ、３１ｂおよび３１ｃと、複数の構文要素展開部３２ａ、３２ｂおよび３２ｃと、動き予測部３３ａ−１、輝度動き補償部３３ａ−２、色差動き補償部３３ａ−３、輝度差分画像復号部３３および色差差分画像復号部３３ｃと、を備える。

キュー３１ａ、３１ｂおよび３１ｃには、構文要素圧縮部２で圧縮された後の構文要素が、その種類に基づいて分類され、格納される。

構文要素展開部３２ａ、３２ｂおよび３２ｃは、前段のキューから圧縮された状態の構文要素を取り出し、その種類に応じた手順で展開して元の（圧縮される前の）構文要素を復元する。

動き予測部３３ａ−１は、構文要素展開部３２ａにより復元された構文要素に基づいて動き予測を行う。輝度動き補償部３３ａ−２および色差動き補償部３３ａ−３は、それぞれ、動き予測部３３ａ−１による動き予測結果に基づいて、輝度についての動き補償および色差についての動き補償を行う。

輝度差分画像復号部３３ｂは、構文要素展開部３２ｂにより復元された構文要素に基づいて輝度についての差分画像データを復号する。また、色差差分画像復号部３３ｃは、構文要素展開部３２ｃにより復元された構文要素に基づいて色差についての差分画像データを復号する。

つづいて、図３に示した構成の画像復号装置の詳細動作について説明する。なお、ここでは、当該画像復号装置において特徴的な動作を実現する構成要素である構文要素圧縮部２および各構文要素展開部（構文要素展開部３２ａ，３２ｂ，３２ｃ）の動作を中心に説明する。

構文要素圧縮部２は、構文解析部１から構文解析結果（入力ビットストリームから抽出された構文要素）を受け取り、まず、各構文要素を後述する形式の可変長符号に変換することにより圧縮する。そして、圧縮後の各構文要素をその種類ごとに分類し、対応するキューに格納する。具体的には、動き予測に関する構文要素（圧縮後の構文要素）、輝度差分画像復号に関する構文要素、色差差分画像復号に関する構文要素に分類し、対応するキューに格納する。たとえば、動き予測に関する構文要素については、圧縮した後、キュー３１ａに格納する。

ここで、構文要素圧縮部２から出力される圧縮後の構文要素の形式の詳細について説明する。構文要素には、１つ以上のパラメータが含まれており、構文要素圧縮部２は、各構文要素に含まれるパラメータのうち、特定のパラメータを可変長符号に変換して圧縮することにより、構文要素を圧縮する。図４は、構文要素内の特定パラメータを可変長符号に変換して得られた圧縮後のパラメータ（可変長符号）の構成を示した図である。図４に示した可変長符号において、ｔｙｐｅは０〜７までの値をとり、３ｂｉｔで表される。また、図４に示した可変長符号では、ｔｙｐｅが０〜５の場合、ｔｙｐｅの値そのものが元の（圧縮される前の）パラメータ値（図４の「ｃｏｄｅ」の値に相当）となる。ｔｙｐｅが６の場合、次の１ｂｙｔｅの値（「ｂ０」の値に相当）に６を加算した値が元のパラメータ値となる。ｔｙｐｅが７の場合、次の２ｂｙｔｅの値（「ｂ０」，「ｂ１」の値に相当）を一つの２進整数とみなした値に２６２を加算した値が元のパラメータ値となる。この圧縮方法は、値の絶対値について、（ａ）７より小さい値になる頻度、と（ｂ）２６２より大きい値になる頻度、を比べたとき、「（ａ）＞（ｂ）」が成り立つとき損失のない圧縮を行うことができる。したがって、出現頻度が０に近い数値に偏っている動画像の構文要素を圧縮する場合に適している。

なお、可変長符号の圧縮性能としては、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格等で定められているＣＡＶＬＣやＣＡＢＡＣのほうが圧倒的によい性能を示すが、これらの符号語の復号には周囲のコンテキスト情報が必要であり、並列に信号処理することの妨げになってしまう。一方、図４に示した形式の可変長符号ではｔｙｐｅのみによって復号可能であるため局所性が高く並列処理に適している。

図５は、構文要素圧縮部２が動き予測に関する構文要素（動き予測情報）を上記図４に示した構成の可変長符号を利用して圧縮した場合の圧縮結果（圧縮後の構文要素の構成）を示す図である。図中「Ｄｅｓｃｒｉｐｔｏｒ」にある「ｕ(ｎ)」という表記は、圧縮した符号上のｎｂｉｔを符号無し整数として読み出すことを意味している。

動き予測情報は、水平方向，垂直方向の動き予測アルゴリズムの算出結果との差分値（パラメータ）の組（ｍｖｄｘ，ｍｖｄｙ）である。そのため、ｍｖｄｘ，ｍｖｄｙのそれぞれについて、正負の符号（−／＋）と絶対値に分離し、それぞれの正負の符号を１ｂｉｔ（ｓｉｇｈ＿ｏｆ＿ｍｖｄｘ，ｓｉｇｈ＿ｏｆ＿ｍｖｄｙ）で表現し、それぞれの絶対値については、上記の圧縮手順（図４参照）で示したｔｙｐｅに相当する３ｂｉｔ（ｍｍ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｏｆ＿ｍｖｄｘ，ｍｍ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｏｆ＿ｍｖｄｙ）で表現する。したがって、圧縮後の構文要素（圧縮後のｍｖｄｘとｍｖｄｙの組）は、図５に示したように、ｍｖｄｘの符号（１ｂｉｔ）と上記ｔｙｐｅ（図４で示したｔｙｐｅ）に相当する３ｂｉｔの情報，ｍｖｄｙの符号（１ｂｉｔ）と上記ｔｙｐｅに相当する３ｂｉｔの情報，ｍｖｄｘおよびｍｖｄｙのｕｃｏｄｅ（ｍｍ＿ｆｏｒｍａｔ＿ｔｙｐｅ＿ｏｆ＿ｍｖｄｙに続く２つの可変長の情報）の列となる。ここで、ｍｖｄｘおよびｍｖｄｙの上記の符号情報（それぞれ１ｂｉｔ）とｔｙｐｅに相当する情報（それぞれ３ｂｉｔ）を合計すると、丁度８ｂｉｔ＝１ｂｙｔｅで表現することができ、ソフトウェアの処理にも適した単位（長さ）になる。

図６は、構文要素圧縮部２が差分画像復号（輝度差分画像復号，色差差分画像復号）に関する構文要素（差分画像の情報）を上記図４に示した構成の可変長符号を利用して圧縮した場合の圧縮結果（圧縮後の構文要素の構成）を示す図である。なお、差分画像については輝度と色差は並列処理の単位が異なるため、それぞれに対応させた複数のキューを設けているが（図３参照）、輝度と色差の双方の構文要素の形式（含まれる情報の構成）は同様であるため、これらの圧縮後の構文要素も同じ形式となる（同じ手順で圧縮・展開できる）。

差分画像の情報はＤＣＴの係数行列をジグザグスキャンしたもので表現される。具体的には、ジグザグスキャンで検出した連続する０の個数を示すパラメータ（ｚｅｒｏ＿ｒｕｎ）と０以外の係数（ｎｏｎ−ｚｅｒｏの係数）を示すパラメータの組、の列によって表現される。４×４単位の行列とみなして係数行列を扱うと、最大でもｚｅｒｏ＿ｒｕｎは１５になるので、このパラメータを４ｂｉｔで表現する。一方、Ｎｏｎ−ｚｅｒｏの係数は、正負の符号（−／＋）と絶対値に分離し、正負の符号を１ｂｉｔ（ｓｉｇｈ＿ｏｆ＿ｌｅｖｅｌｃｏｄｅ）で表現し、絶対値については、上述したｔｙｐｅ（図４参照）に相当する３ｂｉｔ（ｃｏｅｆｆ＿ｆｏｒｍａｔ＿ｔｙｐｅ）で表現する。したがって、圧縮後の構文要素は、図６に示したように、連続する０の個数（４ｂｉｔ），０以外の係数の符号（１ｂｉｔ）と上記ｔｙｐｅに相当する３ｂｉｔの情報，０以外の係数のｕｃｏｄｅ（ｃｏｅｆｆ＿ｆｏｒｍａｔ＿ｔｙｐｅに続く可変長の情報、ｔｙｐｅが６または７の場合に含まれる）の列となる。なお、この場合も、固定長の情報部分（ｕｃｏｄｅ以外の部分）は丁度８ｂｉｔ＝１ｂｙｔｅで表現されるため、ソフトウェアの処理にも適した単位になる。

図３に示した構成の画像復号装置の動作説明に戻り、並列処理型信号処理部３において、構文解析展開部３２ａは、キュー３１ａに格納された圧縮後の動き予測に関する構文要素を読み出し、構文要素圧縮部２が動き予測に関する構文要素を圧縮する際に実行した処理と逆の処理を実行して、元の構文要素を復元する。復元された構文要素は、後段の動き予測部３３ａ−１に渡され、所定の信号処理が実行される。なお、復元された構文要素は、動き予測部３３ａ−１で使用された後、これに続いて実行される輝度動き補償部３３ａ−２および色差動き補償部３３ａ−３の処理が終了すると直ちに破棄される。

同様に、構文要素展開部３２ｂは、キュー３１ｂに格納された圧縮後の輝度差分画像復号に関する構文要素を読み出し、構文要素圧縮部２が実行した処理と逆の処理を実行して、元の構文要素を復元し、構文要素展開部３２ｃは、キュー３１ｃに格納された圧縮後の色差差分画像復号に関する構文要素を読み出し、構文要素圧縮部２が実行した処理と逆の処理を実行して、元の構文要素を復元する。また、復元された各構文要素は、それぞれ、後段の輝度差分画像復号部３３ｂおよび色差差分画像復号部３３ｃに渡され、所定の信号処理で使用された後直ちに破棄される。

このように、本実施の形態の画像復号装置では、構文解析を実行して得られた各種構文要素内の特定パラメータを可変長符号に変換して圧縮することにより、構文要素を圧縮し、また、圧縮後の構文要素を、その種類に基づき分類してキューに格納する。そして、後段の並列化された各信号処理で使用する直前に各構文要素を展開し（圧縮される前の状態に戻し）、信号処理で使用された後には、直ちに破棄することとした。これにより、画像ビットストリームを復号するための各種信号処理を、キャッシュメモリの使用量が増大するのを抑えつつ並列化して行うことができる。

（第２の実施の形態）
第１の実施の形態では、単一の画像ビットストリームを対象として、キャッシュメモリの使用量を抑えつつ各種信号処理を並列化して実行する画像復号装置について説明した。これに対して、本実施の形態では、複数の画像ビットストリームを対象として、キャッシュメモリの使用量を抑えつつ各種信号処理を並列化して実行する画像処理装置について説明する。

図７は、第２の実施の形態にかかる画像復号装置の構成例を示す図である。なお、入力ビットストリームがＨ．２６４／ＭＰＥＧ−４ ＡＶＣの場合の構成例を示しており、第１の実施の形態にかかる画像復号装置と同じ構成要素には同一の符号を付している。すなわち、本実施の形態の画像復号装置は、上記図３で示した画像復号装置の構文解析部１，構文要素圧縮部２，キュー３１ａ、３１ｂおよび３１ｃを、構文解析部１−１および１−２，構文要素圧縮部２−１および２−２，キュー３１ａ−１、３１ａ−２、３１ｂ−１、３１ｂ−２、３１ｃ−１および３１ｃ−２に置き換え、さらに各キューと各構文要素展開部との間にスイッチ３４ａ、３４ｂおよび３４ｃを追加した構成をとる。なお、構文解析部１−１および１−２は、第１の実施の形態で示した構文解析部１と同じ処理を実行し、構文要素圧縮部２−１および２−２は、構文処理圧縮部２と同じ処理を実行する。

図示したように、構文要素圧縮部２−ｎ（ｎ＝１，２）とキュー３１ａ−ｎ，３１ｂ−ｎ，３１ｃ−ｎが対応付けられており、各構文要素圧縮部は、圧縮後の構文要素をその種類に基づいて分類し、対応付けられたキューのいずれかに格納する。また、各スイッチ（スイッチ３４ａ，３４ｂ，３４ｃ）は、前段の２つのキューのうちのいずれか一つから圧縮された状態の構文要素を取り出す。構文要素の圧縮方法は、第１の実施の形態で示したとおりである。なお、スイッチの切り替え条件については特に規定しないが、たとえば、キューが溢れそうになったとき（格納されたデータ量が所定のしきい値に達した場合）に、そのキューから圧縮された構文要素を取り出すようにスイッチを切り替える，接続されているキューが空になったときに他のキューの側にスイッチを切り替える，などとする。

このような構成の画像復号装置では、たとえば、入力された画像信号（映像信号）をスライスまたはピクチャごとに、いずれかの構文解析部へ振り分け、構文解析部およびその後段の各構成要素は、第１の実施の形態で示した画像復号装置の各構成要素と同様の処理を実行して画像を復号する。

図７では、入力される画像ビットストリームが２系統の場合について示したが、同様の手法を用いて３系統以上に拡張することも可能である。

なお、図８は、本実施の形態にかかる画像復号装置において実行される各処理の関係を示した図であり、各正方形はスライスを示している。また、１つのピクチャには９つのスライスが含まれる。すなわち、図示した１〜９のスライス，１０〜１８のスライス，１９〜２７のスライスが、それぞれ１つのピクチャを構成している。また、図８では、各スライスの依存関係を矢印で示しており、上段に、構文解析処理（各構文解析部の処理）の依存関係、中断に、信号処理（並列処理型信号処理部の処理）の依存関係を示している。下段には、各信号処理の依存関係を示している。ただし、図示した依存関係は一例を示したに過ぎない。

本実施の形態の画像復号装置では、図８の上段に示したように、たとえば、各ピクチャの最初のスライスがその前のピクチャを参照する場合、あるピクチャの構文解析処理を開始後、その最初のスライスに対する構文解析が終了すると、次のピクチャに対する構文解析処理が可能となり、各ピクチャに対する構文解析処理を並行して実施することが可能である。なお、説明を簡単化するために構文要素圧縮部の処理については省略したが、実際には、構文解析処理につづいて構文解析結果の圧縮処理が行われる。

また、中段に示したように、各スライスの信号処理は、参照するスライスについての処理が完了すると並行して実行可能である。たとえば、図示した２番目のスライスに対する信号処理が完了すると、これを参照している３番目および４番目のスライスについて信号処理が並列に実行可能である。さらに、下段に示したように、信号処理では、ｌｕｍａ（輝度）およびｃｈｒｏｍａ（色度）に対する各信号処理（ＭＣ：動き補償，ＩＱＴ：逆量子化，ＤＢＦ：デブロッキングフィルタ）が並列に実行可能である。

このように、本実施の形態の画像復号装置は、構文解析部および構文要素圧縮部を複数系統備え、また、各系に対応させた複数のキューおよびスイッチを備えることとした。これにより、第１の実施の形態で示した画像復号装置と同様の効果が得られ、さらに、信号処理を構文解析に関する処理（構文解析処理および構文解析結果の圧縮処理）についても並列化することができる。

第１の実施の形態にかかる画像復号装置の基本構成を示す図。 画像復号装置を実現するためのアーキテクチャの一例を示した図。 入力ビットストリームがＨ．２６４／ＭＰＥＧ−４ ＡＶＣの場合の画像復号装置の構成例を示す図。 圧縮後のパラメータの構成を示した図。 動き予測情報を圧縮した場合の圧縮結果を示す図。 差分画像の情報を圧縮した場合の圧縮結果を示す図。 第２の実施の形態にかかる画像復号装置の構成例を示す図。 第２の実施の形態にかかる画像復号装置において実行される各処理の関係を示した図。

符号の説明

１，１−１，１−２ 構文解析部、２，２−１，２−２ 構文要素圧縮部、３ 並列処理型信号処理部、３１，３１ａ，３１ｂ，３１ｃ，３１ａ−１，３１ａ−２，３１ｂ-１，３１ｂ−２，３１ｃ−１，３１ｃ−２ キュー、３２，３２ａ，３１ｂ，３２ｃ 構文要素展開部、３３ 信号処理部、３３ａ−１ 動き予測部、３３ａ−２ 輝度動き補償部、３３ａ−３ 色差動き補償部、３３ｂ 輝度差分画像復号部、３３ｃ 色差差分画像復号部、３４ａ，３４ｂ，３４ｃ スイッチ。

Claims (5)

1. ビットストリームに対する構文解析処理で抽出された各構文要素に対して圧縮処理を実行し、得られた各圧縮後の構文要素をその種類に基づいて分類する構文要素圧縮部と、
   前記分類された各構文要素群のいずれか一つと１対１で対応し、対応する群に属する構文要素を展開して元の構文要素を復元する複数の構文要素展開部と、
   前記各構文要素展開部のいずれか一つと１対１で対応し、対応する構文要素展開部で復元された構文要素に対して、その種類に応じた信号処理を行う複数の信号処理部と、
   を備えることを特徴とする画像復号装置。
2. 前記構文要素展開部および前記信号処理部を、前記構文要素群と同数備えることを特徴とする請求項１に記載の画像復号装置。
3. 前記構文要素圧縮部を複数備え、
   前記各構文要素圧縮部は、各構文要素圧縮部から出力された同じ種類の圧縮後の構文要素同士が同じ群に属するように、圧縮後のパラメータを振り分けることを特徴とする請求項１または２に記載の画像復号装置。
4. 前記構文要素圧縮部は、前記圧縮処理として、前記構文要素に含まれる特定のパラメータを、３ビットのタイプビットを含み、当該タイプビットの値が０〜５の場合、タイプビットの値そのものが圧縮前のパラメータの絶対値を示し、前記タイプビットの値が６の場合は、次の１バイトの値に６を加算したものが圧縮前のパラメータの絶対値を示し、前記タイプビットの値が７の場合には、次の２バイトの値に２６２を加算したものが圧縮前のパラメータの絶対値を示す可変長符号、に変換する処理を実行することを特徴とする請求項１、２または３に記載の画像復号装置。
5. 前記構文要素圧縮部は、圧縮後の構文要素を、動き予測処理で使用する構文要素、輝度についての差分画像復号処理で使用する構文要素および色差についての差分画像復号処理で使用する構文要素、の３つに分類することを特徴とする請求項１〜４のいずれか一つに記載の画像復号装置。

Images