JP3871348B2 - 画像信号復号化装置及び画像信号復号化方法 - Google Patents
画像信号復号化装置及び画像信号復号化方法 Download PDFInfo
- Publication number
- JP3871348B2 JP3871348B2 JP33626293A JP33626293A JP3871348B2 JP 3871348 B2 JP3871348 B2 JP 3871348B2 JP 33626293 A JP33626293 A JP 33626293A JP 33626293 A JP33626293 A JP 33626293A JP 3871348 B2 JP3871348 B2 JP 3871348B2
- Authority
- JP
- Japan
- Prior art keywords
- slice
- decoding
- image signal
- data
- parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、光ディスクや磁気テープなどの蓄積系動画像メディアを用いた情報記録装置および情報再生装置や例えば、いわゆるテレビ会議システム、動画電話システム、放送用機器などにおける情報伝送装置／受信装置に適用して好適な画像復号化装置及び画像復号化方法に関する。
【０００２】
【従来の技術】
動画像をデジタル化して記録再生する場合、データ量が膨大となるのでデータの圧縮が行われる。このような動画像を圧縮する方法として、所謂ＭＰＥＧがあり、ＤＣＴ及び動き補償予測を用いた符号化・復号化が行われる。図１４は、このようにして動画像を圧縮した符号を再生する場合の構成例を示している。
【０００３】
入力端子１０１から入力された動画像圧縮符号列は、逆ＶＬＣ回路１０２、逆量子化回路１０３、逆ＤＣＴ回路１０４を経てブロック単位の画像情報に復元され、加算器１０５を経て、フレームメモリ１０７に順次格納されフレーム画像が再現される。また、逆ＶＬＣ回路１０２では、動き補償予測のための動き補償情報も復号され、これは動き補償回路１０６に供給される。動き補償回路１０６は、動き補償情報に従ってフレームメモリ１０７から同メモリ内に過去に再現されている画像情報から予測画像情報を読み出しまたは全くゼロの値を加算器１０５へ供給する。フレームメモリ１０７内に再現されたフレーム画像は順次読み出されＤ／Ａコンバータ１０８を経てディスプレイ１０９に表示されるようになっていた。
【０００４】
ところが、扱う画素数がテレビ電話の３５２ｘ２４０、ＮＴＳＣ方式の７２０ｘ４８０、ＨＤＴＶ方式の１９２０ｘ１０２４などと増えるに従って、単一の処理の流れを一個のプロセッサで行なうような構成は処理能力上、困難となっていた。このため従来は、図１６に示すように大きな画面を分割し、複数のプロセッサを分割画面毎に割り当て、並列処理ににより符号化・復号化することが行なわれていた。図１５は、このようにして動画像を圧縮して記録再生する場合の構成例を示している。
【０００５】
４つに分割された画面領域ごとに、あらかじめ符号化された４つの符号列が各入力端子１１０〜１１３を介してプロセッサ１１４〜１１７に供給され、それぞれに対応したフレームメモリ１１９〜１２２を用いて復号される。このとき、たとえばプロセッサ１１４はフレームメモリ１１９に対して復号した画像を書き込むが、動き補償についてはフレームメモリ１１９からだけではなく、隣接するフレームメモリ１２０からも読み出しを行なえるようにスイッチング論理回路１８が置かれていた。またスイッチング論理回路１１８は、出力画像をＤ／Ａコンバータ１２３へ出力して、ディスプレイ１２４に表示していた。
【０００６】
プロセッサ１１４〜１１７に供給される４つの符号列は、実際には１つにまとめられることになるが、これは多重化のためのヘッダーを付加することで実現され、従ってデコーダ部分の前にはこれを分離して４つの符号列にもどすための、分離装置が置かれていた。このように画面分割を行って並列化を実現した例としては、特開平４−１３９９８６号公報や米国特許５．１３８、４４７号公報などに開示されたものがある。
【０００７】
【発明が解決しようとする課題】
従来の装置においては、このように画面領域を大きく分割することで、各プロセッサの処理の分割を行ない並列化を実現していたが、このように画面分割をしてしまうと、隣の画面領域からの読み出しがスイッチング論理回路１１８によってある程度可能ではあるものの、スイッチング論理回路１１８の規模の問題もあり動き補償のために読み出しのできる領域に制限を受けることになり、画像を圧縮するうえで圧縮率が低下してしまうばかりか、領域の境界部分の画質が変化するため領域の境界が視覚的に不自然になるという問題があった。
【０００８】
また、画面分割により符号化処理は領域ごとに全く分離して行なうことになり、分割を行なわない場合には、連続領域として隣接ブロックとの相関を使って符号化していたのが利用できず、異なる符号化のやり方が必要となり、互換性と圧縮効率の面で問題があった。
【０００９】
さらに、複数の符号化列を多重化するために新たなヘッダーを付加することになると、そのためのオーバーヘッドで圧縮効率を損なったり、また新たな符号化規約の制定を必要とするなどの問題があった。
【００１０】
そこで、上述の如き従来の問題点に鑑み、本発明の目的は、従来のエンコード方法をそのまま使いながら、複数の画像符号データ復号手段を並列動作させて処理を行なうことができる画像信号復号化装置及び画像信号復号化方法の提供を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、符号化された符号化画像信号を復号化する画像信号復号化装置において、上記符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配する分配手段と、上記分配手段により分配された複数の符号化画像信号を各々シリアルに復号化する複数の復号化手段と、上記復号化手段によりシリアルに復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換する並列化手段と、上記並列化手段によりパラレルデータに変換された複数のブロックの各データに並列に逆変換を行う逆変換手段と、予測参照フレームの画像データを上記複数のブロック毎に並列に記憶する複数の記憶手段と、現フレームと上記予測参照フレームとにより生成された動きベクトルに応じて上記複数の記憶手段からそれぞれ読み出される画像データを選択的に組み合わせて、複数の動き補償された予測参照画像データを生成する生成手段とを備えることを特徴とする。
【００１３】
また、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理する。
【００１４】
本発明は、符号化された符号化画像信号を復号化する画像信号復号化方法であって、上記符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配するステップと、分配された複数の符号化画像信号を各々シリアルに復号化するステップと、上記シリアルに復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換するステップと、上記パラレルデータに変換された複数のブロックの各データに並列に逆変換を行うステップと、予測参照フレームの画像データを上記複数のブロック毎に並列に記憶手段に記憶するステップと、現フレームと上記予測参照フレームとにより生成された動きベクトルに応じて上記記憶手段から読み出される画像データを選択的に組み合わせて、複数の動き補償された予測参照画像データを生成するステップとを備えることを特徴とする。
【００１６】
また、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理する。
【００１７】
【作用】
本発明に係る画像信号復号化装置では、符号化画像信号をスライス毎に付加された同期信号に基づいて分配手段により複数の復号化手段に分配し、各復号化手段により複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を複数の記録手段により記録するにあたり、上記複数の復号化手段は、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記複数の記録手段に記録されたスライスの読み出し順番を設定する。
【００１８】
本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、シリアル変換手段により変換されたシリアルデータを並列化手段により複数のブロック毎にパラレルデータに変換し、上記パラレルデータを逆変換手段により逆変換する。
【００１９】
また、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理する。
【００２０】
本発明に係る画像信号復号化方法では、符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配し、分配された複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を記録するにあたり、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記記録された複数のスライスの読み出し順番を設定する。
【００２１】
本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記符号化画像信号をシリアルに変換し、変換されたシリアルデータを複数のブロック毎にパラレルデータに変換し、さらに、上記パラレルデータを逆変換する。
【００２２】
また、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理する。
【００２３】
【実施例】
以下、本発明の実施例について、図面を参照して詳細に説明する。図１は、本発明を適用したＭＰＥＧ方式の高精細動画像信号復号化装置の全体構成を示すブロック図である。
【００２４】
入力されたビットストリームは、デマルチプレクサ(DEMUX）２５によってスライス(SLICE) 単位にコードバッファ (CODE-BUFF1〜CODE-BUFF4) ２６〜２９に振り分けられる。図２は入力されたビットストリームをスライス(SLICE) 単位に振り分ける際の画像イメージの一例を示したものである。このとき、ビットストリーム内のスライスヘッダはあらかじめバイトアライン構造になっているため、ビットストリーム内のスライスヘッダをバイト毎にサーチすることで容易に振り分けることができる。
【００２５】
尚、各マクロブロックの動きベクトル、各ブロックのＤＣ係数等は、符号化効率をあげるため、基本的に同じスライス内の隣接マクロブロックの動きベクトル、隣接ブロックのＤＣ係数との差分のみが符号化されている。
【００２６】
このようにして、コードバッファ (CODE-BUFF1) ２６にはスライス１、スライス５、スライス９、・・・が格納されておりこれを可変長復号器(IVLC1) ３０で復号する。同様に、コードバッファ(CODE-BUFF2)２７にはスライス２、スライス６、スライス１０、・・・が、コードバッファ(CODE-BUFF3)２８にはスライス３、スライス７、スライス１１、・・・が、コードバッファ(CODE-BUFF4)２９にはスライス４、スライス８、スライス１２、・・・が格納されておりこれを各々可変長復号器(IVLC2,IVLC3,IVLC4) ３１，３２，３３で復号する。
【００２７】
このとき、１スライス当たりのマクロブロック(MB)数を固定にすることによって各ＩＶＬＣ処理の同期を取ることによるＩＶＬＣの待機時間をなくし、効率的に復号を行なうことができる。ＩＶＬＣ処理の詳細については後述する。
【００２８】
可変長復号器で復号されたデータはスイッチャ３４よって後段のバッファメモリ群３５〜３８に転送される。図３はバッファメモリ群３５〜３８に転送されるデータとここから出力されるデータを示したもので、ここでは、これまでスライス毎に行なっていた並列処理を１／２ＭＢ単位（４ブロック）の並列処理に変換する。例えば、４：２：２フォーマットの場合、１つのマクロブロック中の輝度４ブロックが並列処理され、色差４ブロックが並列処理される。各可変長復号器(IVLC1〜IVLC4)３０〜３３はスライス１からスライス４のブロック１を同時に出力していたが、これを４ブロック分バッファメモリ群（３５〜３８）に格納する。このバッファメモリ群３５〜３８からスライス１のブロック１からブロック４を同時に読みだすことによって後段の処理を１／２ＭＢ単位の並列処理で行なうことができる。また、ここではジグザグスキャンの逆変換もかねて行なうことができる。ここで、１処理系当たりのバッファメモリの構成は４ブロック×２バンクである。
【００２９】
逆量子化(IQ)およびデイスクリートコサイン逆変換(IDCT)の処理ブロック(IQ/IDCT1 〜IQ/IDCT4) ３９〜４２では、ブロック単位で処理が行なわれるため、このまま４並列で処理を行なう。
【００３０】
つぎに、動き補償(MC)の処理でも４並列で処理を行なう。フレームメモリ４３に再生されている画像より、ＭＢ単位に動きベクトルに応じた画像を抽出し、ＩＱ／ＩＤＣＴ処理ブロック(IQ/IDCT1 〜IQ/IDCT4) ３９〜４２より出力される画像データと共に復号画像が再生される。ここで、動き補償の処理は１／２ＭＢ（４ブロック）毎に処理されるため動き補償処理ブロック(MC1) ５３から動き補償処理ブロック(MC4) ５６に与えられるベクトルは常に一致している。それによってＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１に転送されたデータをＭＣスイッチャ５２でデータバスを切り替えることで各動き補償処理ブロック(MC1〜MC4)５３〜５６のＲＡＭアクセスが重なることなく、ＭＣ探索範囲を制限することなくＭＣ処理が実現できる。ＭＣ処理の詳細については後述する。
【００３１】
ここで再生された復号画像は上記同様４並列でストア用バッファメモリ(ST-BUFF1 〜ST-BUFF4) ６１〜６４を介して再びフレームメモリ４３に格納される。
【００３２】
また、フレームメモリ４３上に再生された画像はディスプレイ用バッファメモリ(DISP-BUFF1 〜DISP-BUFF4) ９４〜９７を介し表示するタイミングにしたがってディスプレイスイッチャ９８を切り替えＤ／Ａコンバータ９９に出力しディスプレイ１００に表示される。
【００３３】
ここで、図４は、この画像信号復号化装置における可変長復号器周辺の具体的な構成例を示すブロック図である。
【００３４】
この図４において、６５はビットストリームが入力される入力端子、６６はビットストリームをスライス(SLICE) 単位に切り分けるデマルチプレクサ(DEMUX) 、６７〜７０はスライス(SLICE) 単位のビットストリームを格納するコードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4) 、７１〜７４は可変長コードであるビットストリームをデコードする可変長復号器(IVLC)、７５〜７８はデコードしたデータを出力する出力端子である。
【００３５】
以下、それぞれの動作を図５のタイミング図を用いて説明する。
【００３６】
端子６５より入力された入力ビットストリームは、デマルチプレクサ(DEMUX) ６６においてスライス(SLICE) 単位に切り分けられる。ビットストリームには、複数のマクロブロック（これをスライス(SLICE) と呼ぶ）毎に同期信号(Slice-Start-Code)が入っているので、これを検出してビットストリームをスライス(SLICE) 単位に切り分ける。
【００３７】
図５に示すように、切り分けられたスライス(SLICE) 毎のビットストリームは、コードバッファメモリ(CODE-BUFF1)６７、コードバッファメモリ(CODE-BUFF2)６８、コードバッファメモリ(CODE-BUFF3)６９、コードバッファメモリ(CODE-BUFF4)７０に分けて書き込まれる。すなわち、コードバッファメモリ(CODE-BUFF1)６７にはスライス１、スライス５、スライス９．．．が、コードバッファメモリ(CODE-BUFF2)６８にはスライス２、スライス６、スライス１０．．．がコードバッファメモリ(CODE-BUFF3)６９にはスライス３、スライス７、スライス１１．．．が、コードバッファメモリ(CODE-BUFF4)７０にはスライス４、スライス８、スライス１２．．．がそれぞれ書き込まれる。
【００３８】
また、並列に用意された４つの可変長復号器(IVLC)７１，７２，７３，７４は、スライス４のビットストリームが書き込まれると、それぞれコードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4) ６７，６８，６９，７０の内容を読み出し、同時にデコードを開始する。
【００３９】
各可変長復号器(IVLC)７１，７２，７３，７４は同じ時間内で１マクロブロックのデコード処理を完了する。可変長復号器(IVLC)７１のデコード結果は端子７５へ、可変長復号器(IVLC)７２のデコード結果は端子７６へ、可変長復号器(IVLC)７３のデコード結果は端子７７へ、可変長復号器(IVLC)７４のデコード結果は端子７８へそれぞれ出力され、スイッチャ３４に入力される。また、デコードされた動きベクトルデータは、ＭＣスイッチャ５２及び動き補償処理ブロック(MC1,MC2,MC3,MC4) ５３，５４，５５，５６へ入力される。
【００４０】
なお、図５において、可変長復号器(IVLC)７１出力の１−１はスライス１の中の１番目のブロックを示す。同様に、可変長復号器(IVLC)７４出力の４−１はスライス４の中の１番目のブロックを示す。
【００４１】
次に、図６は、この画像信号復号化装置における可変長復号器(IVLC)周辺の具体的な他の構成例を示すブロックである。
【００４２】
この図６において、６５はビットストリームが入力される入力端子、７９はビットストリームをスライス(SLICE) 単位に切り分けるデマルチプレクサ(DEMUX) 、８０はスライス(SLICE) 毎に領域分けしてビットストリームを格納するコードバッファメモリ(Code-Buffer) 、９０〜９３は後段の可変長復号器(IVLC)用のＳｌｉｃｅ単位のビットストリームを格納するバッファメモリ(Buffer)、７１〜７４は可変長コードであるビットストリームをデコードする可変長復号器(IVLC)、７５〜７８はデコードしたデータを出力する出力端子である。
【００４３】
以下、それぞれの動作を図７のタイミング図を用いて説明する。
【００４４】
端子６５より入力された入力ビットストリームは、デマルチプレクサ(DEMUX) ７９においてＳｌｉｃｅ単位に切り分けられる。ビットストリームには、複数のマクロブロック（これをスライス(SLICE) と呼ぶ）毎に同期信号(Slice-Start-Code)が入っているので、これを検出してビットストリームをスライス(SLICE) 単位に切り分ける。
【００４５】
図７に示すように、切り分けられたスライス毎のビットストリームは、内部を４つに領域分けしたコードバッファメモリ(Code-Buffer) ８０の領域１、領域２、領域３、領域４に分けて書き込まれる。すなわち、領域１にはスライス１、スライス５、スライス９．．．が、領域２にはスライス２、スライス６、スライス１０．．．が、領域３にはスライス３、スライス７、スライス１１．．．が、領域４にはスライス４、スライス８、スライス１２．．．がそれぞれ書き込まれる。
【００４６】
スライス４のビットストリームが書き込まれると、コードバッファメモリ(Code-Buffer) ８０から順次４つの領域が読み出される。このとき、領域１の内容（スライス１、スライス５、スライス９．．．）はバッファメモリ(Buffer)９０に、領域２の内容（スライス２、スライス６、スライス１０．．．）はバッファメモリ(Buffer)９１に、領域３の内容（スライス３、スライス７、スライス１１．．．）はバッファメモリ(Buffer)９２に、領域４の内容（スライス４、スライス８、スライス１２．．．）はバッファメモリ(Buffer)９３に書き込まれる。
【００４７】
並列に用意された４つの可変長復号器(IVLC)７１，７２，７３，７４は、バッファメモリ(Buffer)９３に領域４の内容が書き込まれると、それぞれバッファメモリ(Buffer)９０、バッファメモリ(Buffer)９１、バッファメモリ(Buffer)９２、バッファメモリ(Buffer)９３の内容を読みだし、同時にデコードを開始する。
【００４８】
各可変長復号器(IVLC)７１，７２，７３，７４は同じ時間内で１マクロブロックのデコード処理を完了する。可変長復号器(IVLC)７１のデコード結果は端子７５へ、可変長復号器(IVLC)７２のデコード結果は端子７６へ、可変長復号器(IVLC)７３のデコード結果は端子７７へ、可変長復号器(IVLC)７４のデコード結果は端子７８へそれぞれ出力され、上記スイッチャ３４に入力される。また、デコードされた動きベクトルデータは、ＭＣスイッチャ５２及び動き補償処理ブロック（MC1,MC2.MC3,MC4 ）５３，５４，５５，５６へ入力される。
【００４９】
なお、図７において、可変長復号器(IVLC)７１出力の１−１はスライス１の中の１番目のブロックを示す。同様に、可変長復号器(IVLC)７４出力の４−１はスライス４の中の１番目のブロックを示す。
【００５０】
また、ビットストリームの中に、データフォーマット（画像フォーマット）としてスライスより上位のレイヤに、スライス以下のデコードを行なう際に使用するパラメータが入っている場合は、図４においては、コードバッファメモリ（Code-Buffer)６７，６８，６９，７０に上位レイヤのビットストリームを同時に書き込み、可変長復号器(IVLC)７１，７２，７３，７４でパラレルで使用する方法、もしくは、４つのうちの１つのコードバッファメモリ（Code-Buffer)に上位レイヤのビットストリームを書き込み、４つのうちの１つの可変長復号器(IVLC)がこれをデコードし、他の可変長復号器(IVLC)にパラメータをセットする方式、もしくは、別プロセッサが上位レイヤのビットストリームをデコードして、４つの可変長復号器(IVLC)にパラメータをセットする方法などがとれる。
【００５１】
また、図６においては、コードバッファメモリ（Code-Buffer)８０の４つのうちの１つの領域に上位レイヤのビットストリームを書き込み、この領域を読み出すときにバッファメモリ９０，９１，９２，９３に同時に書き込み、可変長復号器(IVLC)７１，７２，７３，７４でパラレルに使用する方法、もしくは、コードバッファメモリ（Code-Buffer)８０の４つの領域のうち１つの領域に上位レイヤのビットストリームを書き込み、同じように４つのバッファメモリ９０〜９３のうちの１つにこれを書き込み、４つのうちの１つの可変長復号器(IVLC)がこれをデコードし、他の可変長復号器(IVLC)にパラメータをセットする方法、もしくは、別プロセッサが上位レイヤのビットストリームをデコードして、４つの可変長復号器(IVLC)にパラメータをセットする方法、もしくは、デマルチプレクサ(DEMUX) ７９が、コードバッファメモリ（Code-Buffer)８０の４つの領域に対して上位レイヤのビットストリームを繰り返し書き込み、この領域を読みだすときにバッファメモリ９０，９１，９２，９３に同時に書き込み、可変長復号器(IVLC)７１，７２，７３，７４でパラレルに使用する方法などがとれる。
【００５２】
次に、動き補償の具体的な処理動作について説明する。
【００５３】
図８は、予測参照画像のイメージに対する各ＤＲＡＭ（フレームメモリ）への振り分けを描いたもので各ＤＲＡＭへの振り分けは市松模様となる構造である。
【００５４】
現フレーム処理ＭＢ８１に対し動きベクトル８２が与えられ予測参照フレームのマクロブロック(MB)８３の位置が図８のＡのようにＤＲＡＭ４の領域から開始するようになっていたとする。動き補償処理でブロックＭＣ１，ＭＣ２，ＭＣ３，ＭＣ４は、動きベクトル８２に応じて各々ＤＲＡＭ１，２，３，４の読出しアドレスを設定する。これにより、予測参照フレームのＭＢ８３内のＤＲＡＭ１の領域は図８のＢの構成でＭＣバッファメモリ(MC-BUFF1)に転送される、同様にＤＲＡＭ２の領域はＭＣバッファメモリ(MC-BUFF2)に、ＤＲＡＭ３の領域はＭＣバッファメモリ(MC-BUFF3)に、ＤＲＡＭ４の領域はＭＣバッファメモリ(MC-BUFF4)に、各々転送される。これで予測フレームのＭＢ８３を転送し終えたが、ＭＣバッファメモリ(MC-BUFF) とＭＣ処理された予測画像が、供給されるべき加算器との位置関係がずれているため、ＭＣバッファメモリ（図８のＢ）と加算器（図１の５７，５８，５９，６０）間にスイッチャ５２を設けることによってどのＭＣバッファメモリ(MC-BUFF) のデータをどの加算器に供給するかを選択する。また、動き補償処理ブロックＭＣ１，ＭＣ２，ＭＣ３，ＭＣ４は、スイッチャ５２と協同して、動きベクトル８２に応じて各々ＭＣ−ＢＵＦＦ１，ＭＣ−ＢＵＦＦ２，ＭＣ−ＢＵＦＦ３，ＭＣ−ＢＵＦＦ４の読出しアドレスを制御し、加算器５７，５８，５９，６０に供給されるデータが図８のＣになるようにする。
【００５５】
図９はＭＣバッファメモリ(MC-BUFF) と加算器間のスイッチャ５２の切り替えタイミングである。図８のＡのような動きベクトルが与えられた場合、スイッチャ５２は、時刻ｔ１において、まずＭＣバッファメモリ(MC-BUFF4)が加算器５９をアクセスするようにスイッチングを行う。同様に、スイッチャ５２は、ＭＣバッファメモリ(MC-BUFF3)が加算器５８を、ＭＣバッファメモリ(MC-BUFF2)が加算器５９を、ＭＣバッファメモリ(MC-BUFF1)が加算器６０をアクセスする様スイッチを設定する。次に、１ラインアクセス時の途中時刻ｔ２においてＭＣバッファメモリ(MC-BUFF3)が加算器５７をアクセスする様スイッチを切り替える。同様に、ＭＣバッファメモリ(MC-BUFF4)が加算器５８を、ＭＣバッファメモリ(MC-BUFF1)が加算器５９を、ＭＣバッファメモリ(MC-BUFF2)が加算器６０をアクセスする様スイッチを切り替える。時刻ｔ３において、スイッチャ５２は、１ラインのアクセスを終了するとスイッチを初期状態（ｔ１開始状態）に戻し以降この動作を繰り返す。次に時刻ｔ４のｎラインを終了した時点で今度はＭＣバッファメモリ(MC-BUFF2)が加算器５７をアクセスする様スイッチを切り替える。同様に、ＭＣバッファメモリ(MC-BUFF1)が加算器５８を、ＭＣバッファメモリ(MC-BUFF4)が加算器５９を、ＭＣバッファメモリ(MC-BUFF3)が加算器６０をアクセスする様スイッチを切り替え、ｎ＋１ラインを開始する。ｎ＋１ラインの途中、時刻ｔ５において、スイッチャ５２は、再びＭＣバッファメモリ(MC-BUFF1)が加算器５７をアクセスする様スイッチを切り替える。同様に、ＭＣバッファメモリ(MC-BUFF2)が加算器５８を、ＭＣバッファメモリ(MC-BUFF3)が加算器５９を、ＭＣバッファメモリ(MC-BUFF4)が加算器６０をアクセスする様スイッチを切り替え、時刻ｔ６においてｎ＋１ラインのアクセスを終了すると再びスイッチを時刻ｔ４の状態に戻し、以降この動作を時刻ｔ７の８ライン終了時まで繰り返す。
【００５６】
これで、１ＭＢのＭＣ処理を終了し、次のＭＢの処理に入る。このようにして、メモリアクセスの領域が切り替わると同時にＭＣバッファメモリ（図８のＢ）と加算器５７、５８、５９、６０間のスイッチャ（図１の５２）を切り替えることによってメモリアクセスが重なることなく動き補償処理を実現することができる。
【００５７】
この動き補償処理においては図１に示すようにＭＣバッファメモリ(MC-BUFF4 〜MC-BUFF4) ４８〜５１と加算器５７〜６０間にスイッチャ５２を設けることによってどのＭＣバッファメモリ(MC-BUFF4 〜MC-BUFF4) ４８〜５１のデータをどの加算器に供給するかを選択したが、図１０のようにフレームメモリ４３を構成している各ＤＲＡＭ４４〜４７とＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１間にスイッチャ５２を設けることによってもこの手法を実現することができる。
【００５８】
図１１のＡは、予測参照画像のイメージに対する各ＤＲＡＭ（フレームメモリ）への振り分けを描いたもので各ＤＲＡＭへの振り分けは市松模様となる構造である。
【００５９】
上述の動き補償処理の場合と同様の動きベクトル８５が与えられ、現フレーム処理ＭＢ８４に対し、予測参照フレームのＭＢ８６の位置が図１１のＡのようにＤＲＡＭ４の領域から開始するようになっていたとする。動き補償処理ブロックＭＣ１〜ＭＣ４は動きベクトル８５に応じて、各々ＤＲＡＭ１〜４の読出しアドレスを設定する。これにより、予測参照フレームのＭＢ８６内の加算器５７へ供給されるべき領域は図１１のＢのようにＭＣバッファメモリ(MC-BUFF1)にＤＲＡＭ４、ＤＲＡＭ３、ＤＲＡＭ２、ＤＲＡＭ１の順に転送される。同様に加算器５８へ供給されるべき領域はＭＣバッファメモリ(MC-BUFF2)にＤＲＡＭ３，ＤＲＡＭ４、ＤＲＡＭ１、ＤＲＡＭ２の順に、加算器５９へ供給されるべき領域はＭＣバッファメモリ(MC-BUFF3)にＤＲＡＭ２、ＤＲＡＭ１、ＤＲＡＭ４、ＤＲＡＭ３の順に、加算器６０へ供給されるべき領域はＭＣバッファメモリ(MC-BUFF4)にＤＲＡＭ１、ＤＲＡＭ２、ＤＲＡＭ３、ＤＲＡＭ４の順に、各々転送される。このように、各ＤＲＡＭとＭＣバッファメモリ間のスイッチャを切り替えることによってメモリアクセスが重なることなく各ＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) にデータを転送することができる。
【００６０】
これによって、すでに加算器５７へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF1)に、加算器５８へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF2)に、加算器５９へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF3)に、加算器６０へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF4)に、各々格納されているので、よってメモリアクセスが重なることなく動き補償処理（図１１のＣ）を実現することができる。
【００６１】
このような動き補償処理において、図１０に示すようにフレームメモリ４３を構成している各ＤＲＡＭ４４〜４７とＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF1) ４８〜５１間にスイッチャ５２を設けることによってこの手法を実現したが、この場合、各ＤＲＡＭ４４〜４７（フレームメモリ）へのデータの振り分けを次のようにしてもこの手法を実現することができる。
【００６２】
図１２のＡは、予測参照画像のイメージに対する各ＤＲＡＭ４４〜４７（フレームメモリ）への振り分けを描いたもので、各ＤＲＡＭ４４〜４７へはライン毎に振り分けられる構造である。現フレーム処理ＭＢ８７に対し動きベクトル８８が与えられ予測参照フレームのＭＢ８９の位置が図のようにＲＡＭ４の領域から開始するようになっていたとする。動き補償処理ブロックＭＣ１，ＭＣ２，ＭＣ３，ＭＣ４は、各々ＤＲＡＭ１，２，３，４の読出しアドレスを設定する。
【００６３】
予測参照フレームのＭＢ８９内の加算器５７へ供給されるべき領域（図１２のＢ）は、図１３に示されるタイミングにしたがってＭＣバッファメモリ(MC-BUFF1)にＤＲＡＭ４、ＤＲＡＭ１、ＤＲＡＭ２、ＤＲＡＭ３・・・の順に転送される。
【００６４】
この際、加算器５８へ供給されるべき領域を先頭から転送しようとするとＭＣバッファメモリ(MC-BUFF1)のアクセスと重なってしまうため、加算器５７へ供給されるべき領域とは１ラインずれたところから転送を開始する。つまり、加算器５８へ供給されるべき領域は、ＭＣバッファメモリ(MC-BUFF2)にＤＲＡＭ３、ＤＲＡＭ４、ＤＲＡＭ１、ＤＲＡＭ２・・・の順に、加算器５９へ供給されるべき領域も同様、ＭＣバッファメモリ(MC-BUFF3)に加算器５７へ供給されるべき領域とは２ラインずれたところから、ＤＲＡＭ２、ＤＲＡＭ３、ＤＲＡＭ４、ＤＲＡＭ１・・・の順に、加算器６０へ供給されるべき領域も同様、ＭＣバッファメモリ(MC-BUFF4)に加算器５７に供給されるべき領域とは３ラインずれたところから、ＭＣバッファメモリ(MC-BUFF4)にＤＲＡＭ１、ＤＲＡＭ２、ＤＲＡＭ３、ＤＲＡＭ４・・・の順に、各々転送される。この様に、図１５に示す各ＤＲＡＭ４４〜４７とＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１間のスイッチャ５２をＴＩＭＥ ＳＬＯＴ毎に切り替えることによってメモリアクセスが重なることなく各ＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１にデータを転送することができる。
【００６５】
これによって、すでに、加算器５７へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF1)に、加算器５８へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF2)に、加算器５９へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF3)に、加算器６０へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF4)に、各々格納されているので、よってメモリーアクセスが重なることなく動き補償処理を実現することができる。
【００６６】
尚、以上の実施例においてはデコーダの例について説明したが、本発明はエンコーダのローカルデコーダにおいても適用できる。
【００６７】
【発明の効果】
本発明に係る画像信号復号化装置では、符号化画像信号をスライス毎に付加された同期信号に基づいて分配手段により複数の復号化手段に分配し、各復号化手段により複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を複数の記録手段により記録するにあたり、上記複数の復号化手段は、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記複数の記録手段に記録されたスライスの読み出し順番を設定するので、メモリアクセスが重なることなく動き補償処理を実現することができる。また、従来のエンコード方法をそのまま使って高速に再生することができる。
【００６８】
また、本発明に係る画像信号復号化装置では、符号化画像信号を復号化手段によりシリアルに復号化し、そのシリアルデータを並列化手段により複数のブロック毎にパラレルデータに変換し、複数の逆変換手段により上記複数のブロックのそれぞれにスライス毎に並列に逆変換を行うので、符号化された符号化画像信号を従来のエンコード方法をそのまま使って高速に再生することが可能になる。
【００６９】
また、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理する。これにより、符号化画像信号を迅速に復号化することがきる。
【００７０】
本発明に係る画像信号復号化方法では、符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配し、分配された複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を記録するにあたり、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記記録された複数のスライスの読み出し順番を設定するので、メモリアクセスが重なることなく動き補償処理を実現することができる。また、従来のエンコード方法をそのまま使って高速に再生することができる。
【００７１】
また、本発明に係る画像信号復号化方法では、符号化画像信号をシリアルに復号化し、復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換し、上記複数のブロックのそれぞれにスライス毎に並列に逆変換を行うので、符号化された符号化画像信号を、従来のエンコード方法をそのまま使って並列処理により高速に再生することが可能になる。
【００７２】
また、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理する。これにより、符号化画像信号を迅速に復号化することがきる。
【図面の簡単な説明】
【図１】本発明に係る画像信号復号化装置の構成を示すブロック図である。
【図２】本発明に係る画像信号復号化装置で取り扱う画像データの構造を説明するための 図である。
【図３】本発明に係る画像信号復号化装置におけるバッファメモリの動作を説明するためのタイミング図である。
【図４】本発明に係る画像信号復号化装置における可変長復号器周辺の具体的な構成例を示すブロック図である。
【図５】図４に示した具体的な構成例の動作を説明するためのタイミング図である。
【図６】本発明に係る画像信号復号化装置における可変長復号器周辺の他の具体的な構成例を示すブロック図である。
【図７】図６に示した具体的な構成例の動作を説明するためのタイミング図である。
【図８】本発明に係る画像信号復号化装置における動き補償の具体的な動作例を説明するための図である。
【図９】本発明に係る画像信号復号化装置における動き補償の具体的な動作例を説明するためのタイミング図である。
【図１０】本発明に係る画像信号復号化装置の他の構成例を示すブロック図である。
【図１１】本発明に係る画像信号復号化装置における動き補償の他の具体的な動作例を説明するための図である。
【図１２】本発明に係る画像信号復号化装置における動き補償の他の具体的な動作例を説明するための図である。
【図１３】本発明に係る画像信号復号化装置における動き補償の他の具体的な動作例を説明するためのタイミング図である。
【図１４】従来の画像信号復号化装置の構成を示すブロック図である。
【図１５】従来の画像信号復号化並列処理装置の構成を示すブロック図である。
【図１６】従来の画像信号復号化並列処理方法を説明するための図である。
【符号の説明】
２５・・・・・・デマルチプレクサ(DEMUX)
２６〜２９・・・コードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4)
３０〜３３・・・可変長復号器(IVLC1〜IVLC4)
３４，５２・・・スイッチャ
３５〜３８・・・バッファメモリ
３９〜４２・・・ＩＱ／ＩＤＣＴ処理ブロック(IQ/IDCT1 〜IQ/IDCT4)
４３・・・・・・フレームメモリ
４４〜４７・・・ＤＲＡＭ１〜ＤＲＡＭ４
４８〜５１・・・ＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4)
５３〜５６・・・動き補償処理ブロック(MC1〜MC4)
５７〜６０・・・加算器
６１〜６４・・・ストア用バッファメモリ(ST-BUFF1 〜ST-BUFF4)
６５・・・・・・ビットストリーム入力端子
６６・・・・・・デマルチプレクサ(DEMUX)
６７〜７０・・・コードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4)
７１〜７４・・・可変長復号器(IVLC1〜IVLC4)
７５〜７９・・・出力端子
７９・・・・・・デマルチプレクサ(DEMUX)
８０・・・・・・コードバッファメモリ（Code-Buffer)
９０〜９３・・・バッファメモリ
９４〜９７・・・ディスプレイ用バッファメモリ(DISP-BUFF1 〜DISP-BUFF4)
９８・・・・・・ディスプレイスイチャ
９９・・・・・・Ｄ／Ａコンバータ
１００・・・・・ディスプレイ
【産業上の利用分野】
本発明は、光ディスクや磁気テープなどの蓄積系動画像メディアを用いた情報記録装置および情報再生装置や例えば、いわゆるテレビ会議システム、動画電話システム、放送用機器などにおける情報伝送装置／受信装置に適用して好適な画像復号化装置及び画像復号化方法に関する。
【０００２】
【従来の技術】
動画像をデジタル化して記録再生する場合、データ量が膨大となるのでデータの圧縮が行われる。このような動画像を圧縮する方法として、所謂ＭＰＥＧがあり、ＤＣＴ及び動き補償予測を用いた符号化・復号化が行われる。図１４は、このようにして動画像を圧縮した符号を再生する場合の構成例を示している。
【０００３】
入力端子１０１から入力された動画像圧縮符号列は、逆ＶＬＣ回路１０２、逆量子化回路１０３、逆ＤＣＴ回路１０４を経てブロック単位の画像情報に復元され、加算器１０５を経て、フレームメモリ１０７に順次格納されフレーム画像が再現される。また、逆ＶＬＣ回路１０２では、動き補償予測のための動き補償情報も復号され、これは動き補償回路１０６に供給される。動き補償回路１０６は、動き補償情報に従ってフレームメモリ１０７から同メモリ内に過去に再現されている画像情報から予測画像情報を読み出しまたは全くゼロの値を加算器１０５へ供給する。フレームメモリ１０７内に再現されたフレーム画像は順次読み出されＤ／Ａコンバータ１０８を経てディスプレイ１０９に表示されるようになっていた。
【０００４】
ところが、扱う画素数がテレビ電話の３５２ｘ２４０、ＮＴＳＣ方式の７２０ｘ４８０、ＨＤＴＶ方式の１９２０ｘ１０２４などと増えるに従って、単一の処理の流れを一個のプロセッサで行なうような構成は処理能力上、困難となっていた。このため従来は、図１６に示すように大きな画面を分割し、複数のプロセッサを分割画面毎に割り当て、並列処理ににより符号化・復号化することが行なわれていた。図１５は、このようにして動画像を圧縮して記録再生する場合の構成例を示している。
【０００５】
４つに分割された画面領域ごとに、あらかじめ符号化された４つの符号列が各入力端子１１０〜１１３を介してプロセッサ１１４〜１１７に供給され、それぞれに対応したフレームメモリ１１９〜１２２を用いて復号される。このとき、たとえばプロセッサ１１４はフレームメモリ１１９に対して復号した画像を書き込むが、動き補償についてはフレームメモリ１１９からだけではなく、隣接するフレームメモリ１２０からも読み出しを行なえるようにスイッチング論理回路１８が置かれていた。またスイッチング論理回路１１８は、出力画像をＤ／Ａコンバータ１２３へ出力して、ディスプレイ１２４に表示していた。
【０００６】
プロセッサ１１４〜１１７に供給される４つの符号列は、実際には１つにまとめられることになるが、これは多重化のためのヘッダーを付加することで実現され、従ってデコーダ部分の前にはこれを分離して４つの符号列にもどすための、分離装置が置かれていた。このように画面分割を行って並列化を実現した例としては、特開平４−１３９９８６号公報や米国特許５．１３８、４４７号公報などに開示されたものがある。
【０００７】
【発明が解決しようとする課題】
従来の装置においては、このように画面領域を大きく分割することで、各プロセッサの処理の分割を行ない並列化を実現していたが、このように画面分割をしてしまうと、隣の画面領域からの読み出しがスイッチング論理回路１１８によってある程度可能ではあるものの、スイッチング論理回路１１８の規模の問題もあり動き補償のために読み出しのできる領域に制限を受けることになり、画像を圧縮するうえで圧縮率が低下してしまうばかりか、領域の境界部分の画質が変化するため領域の境界が視覚的に不自然になるという問題があった。
【０００８】
また、画面分割により符号化処理は領域ごとに全く分離して行なうことになり、分割を行なわない場合には、連続領域として隣接ブロックとの相関を使って符号化していたのが利用できず、異なる符号化のやり方が必要となり、互換性と圧縮効率の面で問題があった。
【０００９】
さらに、複数の符号化列を多重化するために新たなヘッダーを付加することになると、そのためのオーバーヘッドで圧縮効率を損なったり、また新たな符号化規約の制定を必要とするなどの問題があった。
【００１０】
そこで、上述の如き従来の問題点に鑑み、本発明の目的は、従来のエンコード方法をそのまま使いながら、複数の画像符号データ復号手段を並列動作させて処理を行なうことができる画像信号復号化装置及び画像信号復号化方法の提供を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、符号化された符号化画像信号を復号化する画像信号復号化装置において、上記符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配する分配手段と、上記分配手段により分配された複数の符号化画像信号を各々シリアルに復号化する複数の復号化手段と、上記復号化手段によりシリアルに復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換する並列化手段と、上記並列化手段によりパラレルデータに変換された複数のブロックの各データに並列に逆変換を行う逆変換手段と、予測参照フレームの画像データを上記複数のブロック毎に並列に記憶する複数の記憶手段と、現フレームと上記予測参照フレームとにより生成された動きベクトルに応じて上記複数の記憶手段からそれぞれ読み出される画像データを選択的に組み合わせて、複数の動き補償された予測参照画像データを生成する生成手段とを備えることを特徴とする。
【００１３】
また、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理する。
【００１４】
本発明は、符号化された符号化画像信号を復号化する画像信号復号化方法であって、上記符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配するステップと、分配された複数の符号化画像信号を各々シリアルに復号化するステップと、上記シリアルに復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換するステップと、上記パラレルデータに変換された複数のブロックの各データに並列に逆変換を行うステップと、予測参照フレームの画像データを上記複数のブロック毎に並列に記憶手段に記憶するステップと、現フレームと上記予測参照フレームとにより生成された動きベクトルに応じて上記記憶手段から読み出される画像データを選択的に組み合わせて、複数の動き補償された予測参照画像データを生成するステップとを備えることを特徴とする。
【００１６】
また、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理する。
【００１７】
【作用】
本発明に係る画像信号復号化装置では、符号化画像信号をスライス毎に付加された同期信号に基づいて分配手段により複数の復号化手段に分配し、各復号化手段により複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を複数の記録手段により記録するにあたり、上記複数の復号化手段は、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記複数の記録手段に記録されたスライスの読み出し順番を設定する。
【００１８】
本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、シリアル変換手段により変換されたシリアルデータを並列化手段により複数のブロック毎にパラレルデータに変換し、上記パラレルデータを逆変換手段により逆変換する。
【００１９】
また、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理する。
【００２０】
本発明に係る画像信号復号化方法では、符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配し、分配された複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を記録するにあたり、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記記録された複数のスライスの読み出し順番を設定する。
【００２１】
本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記符号化画像信号をシリアルに変換し、変換されたシリアルデータを複数のブロック毎にパラレルデータに変換し、さらに、上記パラレルデータを逆変換する。
【００２２】
また、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理する。
【００２３】
【実施例】
以下、本発明の実施例について、図面を参照して詳細に説明する。図１は、本発明を適用したＭＰＥＧ方式の高精細動画像信号復号化装置の全体構成を示すブロック図である。
【００２４】
入力されたビットストリームは、デマルチプレクサ(DEMUX）２５によってスライス(SLICE) 単位にコードバッファ (CODE-BUFF1〜CODE-BUFF4) ２６〜２９に振り分けられる。図２は入力されたビットストリームをスライス(SLICE) 単位に振り分ける際の画像イメージの一例を示したものである。このとき、ビットストリーム内のスライスヘッダはあらかじめバイトアライン構造になっているため、ビットストリーム内のスライスヘッダをバイト毎にサーチすることで容易に振り分けることができる。
【００２５】
尚、各マクロブロックの動きベクトル、各ブロックのＤＣ係数等は、符号化効率をあげるため、基本的に同じスライス内の隣接マクロブロックの動きベクトル、隣接ブロックのＤＣ係数との差分のみが符号化されている。
【００２６】
このようにして、コードバッファ (CODE-BUFF1) ２６にはスライス１、スライス５、スライス９、・・・が格納されておりこれを可変長復号器(IVLC1) ３０で復号する。同様に、コードバッファ(CODE-BUFF2)２７にはスライス２、スライス６、スライス１０、・・・が、コードバッファ(CODE-BUFF3)２８にはスライス３、スライス７、スライス１１、・・・が、コードバッファ(CODE-BUFF4)２９にはスライス４、スライス８、スライス１２、・・・が格納されておりこれを各々可変長復号器(IVLC2,IVLC3,IVLC4) ３１，３２，３３で復号する。
【００２７】
このとき、１スライス当たりのマクロブロック(MB)数を固定にすることによって各ＩＶＬＣ処理の同期を取ることによるＩＶＬＣの待機時間をなくし、効率的に復号を行なうことができる。ＩＶＬＣ処理の詳細については後述する。
【００２８】
可変長復号器で復号されたデータはスイッチャ３４よって後段のバッファメモリ群３５〜３８に転送される。図３はバッファメモリ群３５〜３８に転送されるデータとここから出力されるデータを示したもので、ここでは、これまでスライス毎に行なっていた並列処理を１／２ＭＢ単位（４ブロック）の並列処理に変換する。例えば、４：２：２フォーマットの場合、１つのマクロブロック中の輝度４ブロックが並列処理され、色差４ブロックが並列処理される。各可変長復号器(IVLC1〜IVLC4)３０〜３３はスライス１からスライス４のブロック１を同時に出力していたが、これを４ブロック分バッファメモリ群（３５〜３８）に格納する。このバッファメモリ群３５〜３８からスライス１のブロック１からブロック４を同時に読みだすことによって後段の処理を１／２ＭＢ単位の並列処理で行なうことができる。また、ここではジグザグスキャンの逆変換もかねて行なうことができる。ここで、１処理系当たりのバッファメモリの構成は４ブロック×２バンクである。
【００２９】
逆量子化(IQ)およびデイスクリートコサイン逆変換(IDCT)の処理ブロック(IQ/IDCT1 〜IQ/IDCT4) ３９〜４２では、ブロック単位で処理が行なわれるため、このまま４並列で処理を行なう。
【００３０】
つぎに、動き補償(MC)の処理でも４並列で処理を行なう。フレームメモリ４３に再生されている画像より、ＭＢ単位に動きベクトルに応じた画像を抽出し、ＩＱ／ＩＤＣＴ処理ブロック(IQ/IDCT1 〜IQ/IDCT4) ３９〜４２より出力される画像データと共に復号画像が再生される。ここで、動き補償の処理は１／２ＭＢ（４ブロック）毎に処理されるため動き補償処理ブロック(MC1) ５３から動き補償処理ブロック(MC4) ５６に与えられるベクトルは常に一致している。それによってＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１に転送されたデータをＭＣスイッチャ５２でデータバスを切り替えることで各動き補償処理ブロック(MC1〜MC4)５３〜５６のＲＡＭアクセスが重なることなく、ＭＣ探索範囲を制限することなくＭＣ処理が実現できる。ＭＣ処理の詳細については後述する。
【００３１】
ここで再生された復号画像は上記同様４並列でストア用バッファメモリ(ST-BUFF1 〜ST-BUFF4) ６１〜６４を介して再びフレームメモリ４３に格納される。
【００３２】
また、フレームメモリ４３上に再生された画像はディスプレイ用バッファメモリ(DISP-BUFF1 〜DISP-BUFF4) ９４〜９７を介し表示するタイミングにしたがってディスプレイスイッチャ９８を切り替えＤ／Ａコンバータ９９に出力しディスプレイ１００に表示される。
【００３３】
ここで、図４は、この画像信号復号化装置における可変長復号器周辺の具体的な構成例を示すブロック図である。
【００３４】
この図４において、６５はビットストリームが入力される入力端子、６６はビットストリームをスライス(SLICE) 単位に切り分けるデマルチプレクサ(DEMUX) 、６７〜７０はスライス(SLICE) 単位のビットストリームを格納するコードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4) 、７１〜７４は可変長コードであるビットストリームをデコードする可変長復号器(IVLC)、７５〜７８はデコードしたデータを出力する出力端子である。
【００３５】
以下、それぞれの動作を図５のタイミング図を用いて説明する。
【００３６】
端子６５より入力された入力ビットストリームは、デマルチプレクサ(DEMUX) ６６においてスライス(SLICE) 単位に切り分けられる。ビットストリームには、複数のマクロブロック（これをスライス(SLICE) と呼ぶ）毎に同期信号(Slice-Start-Code)が入っているので、これを検出してビットストリームをスライス(SLICE) 単位に切り分ける。
【００３７】
図５に示すように、切り分けられたスライス(SLICE) 毎のビットストリームは、コードバッファメモリ(CODE-BUFF1)６７、コードバッファメモリ(CODE-BUFF2)６８、コードバッファメモリ(CODE-BUFF3)６９、コードバッファメモリ(CODE-BUFF4)７０に分けて書き込まれる。すなわち、コードバッファメモリ(CODE-BUFF1)６７にはスライス１、スライス５、スライス９．．．が、コードバッファメモリ(CODE-BUFF2)６８にはスライス２、スライス６、スライス１０．．．がコードバッファメモリ(CODE-BUFF3)６９にはスライス３、スライス７、スライス１１．．．が、コードバッファメモリ(CODE-BUFF4)７０にはスライス４、スライス８、スライス１２．．．がそれぞれ書き込まれる。
【００３８】
また、並列に用意された４つの可変長復号器(IVLC)７１，７２，７３，７４は、スライス４のビットストリームが書き込まれると、それぞれコードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4) ６７，６８，６９，７０の内容を読み出し、同時にデコードを開始する。
【００３９】
各可変長復号器(IVLC)７１，７２，７３，７４は同じ時間内で１マクロブロックのデコード処理を完了する。可変長復号器(IVLC)７１のデコード結果は端子７５へ、可変長復号器(IVLC)７２のデコード結果は端子７６へ、可変長復号器(IVLC)７３のデコード結果は端子７７へ、可変長復号器(IVLC)７４のデコード結果は端子７８へそれぞれ出力され、スイッチャ３４に入力される。また、デコードされた動きベクトルデータは、ＭＣスイッチャ５２及び動き補償処理ブロック(MC1,MC2,MC3,MC4) ５３，５４，５５，５６へ入力される。
【００４０】
なお、図５において、可変長復号器(IVLC)７１出力の１−１はスライス１の中の１番目のブロックを示す。同様に、可変長復号器(IVLC)７４出力の４−１はスライス４の中の１番目のブロックを示す。
【００４１】
次に、図６は、この画像信号復号化装置における可変長復号器(IVLC)周辺の具体的な他の構成例を示すブロックである。
【００４２】
この図６において、６５はビットストリームが入力される入力端子、７９はビットストリームをスライス(SLICE) 単位に切り分けるデマルチプレクサ(DEMUX) 、８０はスライス(SLICE) 毎に領域分けしてビットストリームを格納するコードバッファメモリ(Code-Buffer) 、９０〜９３は後段の可変長復号器(IVLC)用のＳｌｉｃｅ単位のビットストリームを格納するバッファメモリ(Buffer)、７１〜７４は可変長コードであるビットストリームをデコードする可変長復号器(IVLC)、７５〜７８はデコードしたデータを出力する出力端子である。
【００４３】
以下、それぞれの動作を図７のタイミング図を用いて説明する。
【００４４】
端子６５より入力された入力ビットストリームは、デマルチプレクサ(DEMUX) ７９においてＳｌｉｃｅ単位に切り分けられる。ビットストリームには、複数のマクロブロック（これをスライス(SLICE) と呼ぶ）毎に同期信号(Slice-Start-Code)が入っているので、これを検出してビットストリームをスライス(SLICE) 単位に切り分ける。
【００４５】
図７に示すように、切り分けられたスライス毎のビットストリームは、内部を４つに領域分けしたコードバッファメモリ(Code-Buffer) ８０の領域１、領域２、領域３、領域４に分けて書き込まれる。すなわち、領域１にはスライス１、スライス５、スライス９．．．が、領域２にはスライス２、スライス６、スライス１０．．．が、領域３にはスライス３、スライス７、スライス１１．．．が、領域４にはスライス４、スライス８、スライス１２．．．がそれぞれ書き込まれる。
【００４６】
スライス４のビットストリームが書き込まれると、コードバッファメモリ(Code-Buffer) ８０から順次４つの領域が読み出される。このとき、領域１の内容（スライス１、スライス５、スライス９．．．）はバッファメモリ(Buffer)９０に、領域２の内容（スライス２、スライス６、スライス１０．．．）はバッファメモリ(Buffer)９１に、領域３の内容（スライス３、スライス７、スライス１１．．．）はバッファメモリ(Buffer)９２に、領域４の内容（スライス４、スライス８、スライス１２．．．）はバッファメモリ(Buffer)９３に書き込まれる。
【００４７】
並列に用意された４つの可変長復号器(IVLC)７１，７２，７３，７４は、バッファメモリ(Buffer)９３に領域４の内容が書き込まれると、それぞれバッファメモリ(Buffer)９０、バッファメモリ(Buffer)９１、バッファメモリ(Buffer)９２、バッファメモリ(Buffer)９３の内容を読みだし、同時にデコードを開始する。
【００４８】
各可変長復号器(IVLC)７１，７２，７３，７４は同じ時間内で１マクロブロックのデコード処理を完了する。可変長復号器(IVLC)７１のデコード結果は端子７５へ、可変長復号器(IVLC)７２のデコード結果は端子７６へ、可変長復号器(IVLC)７３のデコード結果は端子７７へ、可変長復号器(IVLC)７４のデコード結果は端子７８へそれぞれ出力され、上記スイッチャ３４に入力される。また、デコードされた動きベクトルデータは、ＭＣスイッチャ５２及び動き補償処理ブロック（MC1,MC2.MC3,MC4 ）５３，５４，５５，５６へ入力される。
【００４９】
なお、図７において、可変長復号器(IVLC)７１出力の１−１はスライス１の中の１番目のブロックを示す。同様に、可変長復号器(IVLC)７４出力の４−１はスライス４の中の１番目のブロックを示す。
【００５０】
また、ビットストリームの中に、データフォーマット（画像フォーマット）としてスライスより上位のレイヤに、スライス以下のデコードを行なう際に使用するパラメータが入っている場合は、図４においては、コードバッファメモリ（Code-Buffer)６７，６８，６９，７０に上位レイヤのビットストリームを同時に書き込み、可変長復号器(IVLC)７１，７２，７３，７４でパラレルで使用する方法、もしくは、４つのうちの１つのコードバッファメモリ（Code-Buffer)に上位レイヤのビットストリームを書き込み、４つのうちの１つの可変長復号器(IVLC)がこれをデコードし、他の可変長復号器(IVLC)にパラメータをセットする方式、もしくは、別プロセッサが上位レイヤのビットストリームをデコードして、４つの可変長復号器(IVLC)にパラメータをセットする方法などがとれる。
【００５１】
また、図６においては、コードバッファメモリ（Code-Buffer)８０の４つのうちの１つの領域に上位レイヤのビットストリームを書き込み、この領域を読み出すときにバッファメモリ９０，９１，９２，９３に同時に書き込み、可変長復号器(IVLC)７１，７２，７３，７４でパラレルに使用する方法、もしくは、コードバッファメモリ（Code-Buffer)８０の４つの領域のうち１つの領域に上位レイヤのビットストリームを書き込み、同じように４つのバッファメモリ９０〜９３のうちの１つにこれを書き込み、４つのうちの１つの可変長復号器(IVLC)がこれをデコードし、他の可変長復号器(IVLC)にパラメータをセットする方法、もしくは、別プロセッサが上位レイヤのビットストリームをデコードして、４つの可変長復号器(IVLC)にパラメータをセットする方法、もしくは、デマルチプレクサ(DEMUX) ７９が、コードバッファメモリ（Code-Buffer)８０の４つの領域に対して上位レイヤのビットストリームを繰り返し書き込み、この領域を読みだすときにバッファメモリ９０，９１，９２，９３に同時に書き込み、可変長復号器(IVLC)７１，７２，７３，７４でパラレルに使用する方法などがとれる。
【００５２】
次に、動き補償の具体的な処理動作について説明する。
【００５３】
図８は、予測参照画像のイメージに対する各ＤＲＡＭ（フレームメモリ）への振り分けを描いたもので各ＤＲＡＭへの振り分けは市松模様となる構造である。
【００５４】
現フレーム処理ＭＢ８１に対し動きベクトル８２が与えられ予測参照フレームのマクロブロック(MB)８３の位置が図８のＡのようにＤＲＡＭ４の領域から開始するようになっていたとする。動き補償処理でブロックＭＣ１，ＭＣ２，ＭＣ３，ＭＣ４は、動きベクトル８２に応じて各々ＤＲＡＭ１，２，３，４の読出しアドレスを設定する。これにより、予測参照フレームのＭＢ８３内のＤＲＡＭ１の領域は図８のＢの構成でＭＣバッファメモリ(MC-BUFF1)に転送される、同様にＤＲＡＭ２の領域はＭＣバッファメモリ(MC-BUFF2)に、ＤＲＡＭ３の領域はＭＣバッファメモリ(MC-BUFF3)に、ＤＲＡＭ４の領域はＭＣバッファメモリ(MC-BUFF4)に、各々転送される。これで予測フレームのＭＢ８３を転送し終えたが、ＭＣバッファメモリ(MC-BUFF) とＭＣ処理された予測画像が、供給されるべき加算器との位置関係がずれているため、ＭＣバッファメモリ（図８のＢ）と加算器（図１の５７，５８，５９，６０）間にスイッチャ５２を設けることによってどのＭＣバッファメモリ(MC-BUFF) のデータをどの加算器に供給するかを選択する。また、動き補償処理ブロックＭＣ１，ＭＣ２，ＭＣ３，ＭＣ４は、スイッチャ５２と協同して、動きベクトル８２に応じて各々ＭＣ−ＢＵＦＦ１，ＭＣ−ＢＵＦＦ２，ＭＣ−ＢＵＦＦ３，ＭＣ−ＢＵＦＦ４の読出しアドレスを制御し、加算器５７，５８，５９，６０に供給されるデータが図８のＣになるようにする。
【００５５】
図９はＭＣバッファメモリ(MC-BUFF) と加算器間のスイッチャ５２の切り替えタイミングである。図８のＡのような動きベクトルが与えられた場合、スイッチャ５２は、時刻ｔ１において、まずＭＣバッファメモリ(MC-BUFF4)が加算器５９をアクセスするようにスイッチングを行う。同様に、スイッチャ５２は、ＭＣバッファメモリ(MC-BUFF3)が加算器５８を、ＭＣバッファメモリ(MC-BUFF2)が加算器５９を、ＭＣバッファメモリ(MC-BUFF1)が加算器６０をアクセスする様スイッチを設定する。次に、１ラインアクセス時の途中時刻ｔ２においてＭＣバッファメモリ(MC-BUFF3)が加算器５７をアクセスする様スイッチを切り替える。同様に、ＭＣバッファメモリ(MC-BUFF4)が加算器５８を、ＭＣバッファメモリ(MC-BUFF1)が加算器５９を、ＭＣバッファメモリ(MC-BUFF2)が加算器６０をアクセスする様スイッチを切り替える。時刻ｔ３において、スイッチャ５２は、１ラインのアクセスを終了するとスイッチを初期状態（ｔ１開始状態）に戻し以降この動作を繰り返す。次に時刻ｔ４のｎラインを終了した時点で今度はＭＣバッファメモリ(MC-BUFF2)が加算器５７をアクセスする様スイッチを切り替える。同様に、ＭＣバッファメモリ(MC-BUFF1)が加算器５８を、ＭＣバッファメモリ(MC-BUFF4)が加算器５９を、ＭＣバッファメモリ(MC-BUFF3)が加算器６０をアクセスする様スイッチを切り替え、ｎ＋１ラインを開始する。ｎ＋１ラインの途中、時刻ｔ５において、スイッチャ５２は、再びＭＣバッファメモリ(MC-BUFF1)が加算器５７をアクセスする様スイッチを切り替える。同様に、ＭＣバッファメモリ(MC-BUFF2)が加算器５８を、ＭＣバッファメモリ(MC-BUFF3)が加算器５９を、ＭＣバッファメモリ(MC-BUFF4)が加算器６０をアクセスする様スイッチを切り替え、時刻ｔ６においてｎ＋１ラインのアクセスを終了すると再びスイッチを時刻ｔ４の状態に戻し、以降この動作を時刻ｔ７の８ライン終了時まで繰り返す。
【００５６】
これで、１ＭＢのＭＣ処理を終了し、次のＭＢの処理に入る。このようにして、メモリアクセスの領域が切り替わると同時にＭＣバッファメモリ（図８のＢ）と加算器５７、５８、５９、６０間のスイッチャ（図１の５２）を切り替えることによってメモリアクセスが重なることなく動き補償処理を実現することができる。
【００５７】
この動き補償処理においては図１に示すようにＭＣバッファメモリ(MC-BUFF4 〜MC-BUFF4) ４８〜５１と加算器５７〜６０間にスイッチャ５２を設けることによってどのＭＣバッファメモリ(MC-BUFF4 〜MC-BUFF4) ４８〜５１のデータをどの加算器に供給するかを選択したが、図１０のようにフレームメモリ４３を構成している各ＤＲＡＭ４４〜４７とＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１間にスイッチャ５２を設けることによってもこの手法を実現することができる。
【００５８】
図１１のＡは、予測参照画像のイメージに対する各ＤＲＡＭ（フレームメモリ）への振り分けを描いたもので各ＤＲＡＭへの振り分けは市松模様となる構造である。
【００５９】
上述の動き補償処理の場合と同様の動きベクトル８５が与えられ、現フレーム処理ＭＢ８４に対し、予測参照フレームのＭＢ８６の位置が図１１のＡのようにＤＲＡＭ４の領域から開始するようになっていたとする。動き補償処理ブロックＭＣ１〜ＭＣ４は動きベクトル８５に応じて、各々ＤＲＡＭ１〜４の読出しアドレスを設定する。これにより、予測参照フレームのＭＢ８６内の加算器５７へ供給されるべき領域は図１１のＢのようにＭＣバッファメモリ(MC-BUFF1)にＤＲＡＭ４、ＤＲＡＭ３、ＤＲＡＭ２、ＤＲＡＭ１の順に転送される。同様に加算器５８へ供給されるべき領域はＭＣバッファメモリ(MC-BUFF2)にＤＲＡＭ３，ＤＲＡＭ４、ＤＲＡＭ１、ＤＲＡＭ２の順に、加算器５９へ供給されるべき領域はＭＣバッファメモリ(MC-BUFF3)にＤＲＡＭ２、ＤＲＡＭ１、ＤＲＡＭ４、ＤＲＡＭ３の順に、加算器６０へ供給されるべき領域はＭＣバッファメモリ(MC-BUFF4)にＤＲＡＭ１、ＤＲＡＭ２、ＤＲＡＭ３、ＤＲＡＭ４の順に、各々転送される。このように、各ＤＲＡＭとＭＣバッファメモリ間のスイッチャを切り替えることによってメモリアクセスが重なることなく各ＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) にデータを転送することができる。
【００６０】
これによって、すでに加算器５７へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF1)に、加算器５８へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF2)に、加算器５９へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF3)に、加算器６０へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF4)に、各々格納されているので、よってメモリアクセスが重なることなく動き補償処理（図１１のＣ）を実現することができる。
【００６１】
このような動き補償処理において、図１０に示すようにフレームメモリ４３を構成している各ＤＲＡＭ４４〜４７とＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF1) ４８〜５１間にスイッチャ５２を設けることによってこの手法を実現したが、この場合、各ＤＲＡＭ４４〜４７（フレームメモリ）へのデータの振り分けを次のようにしてもこの手法を実現することができる。
【００６２】
図１２のＡは、予測参照画像のイメージに対する各ＤＲＡＭ４４〜４７（フレームメモリ）への振り分けを描いたもので、各ＤＲＡＭ４４〜４７へはライン毎に振り分けられる構造である。現フレーム処理ＭＢ８７に対し動きベクトル８８が与えられ予測参照フレームのＭＢ８９の位置が図のようにＲＡＭ４の領域から開始するようになっていたとする。動き補償処理ブロックＭＣ１，ＭＣ２，ＭＣ３，ＭＣ４は、各々ＤＲＡＭ１，２，３，４の読出しアドレスを設定する。
【００６３】
予測参照フレームのＭＢ８９内の加算器５７へ供給されるべき領域（図１２のＢ）は、図１３に示されるタイミングにしたがってＭＣバッファメモリ(MC-BUFF1)にＤＲＡＭ４、ＤＲＡＭ１、ＤＲＡＭ２、ＤＲＡＭ３・・・の順に転送される。
【００６４】
この際、加算器５８へ供給されるべき領域を先頭から転送しようとするとＭＣバッファメモリ(MC-BUFF1)のアクセスと重なってしまうため、加算器５７へ供給されるべき領域とは１ラインずれたところから転送を開始する。つまり、加算器５８へ供給されるべき領域は、ＭＣバッファメモリ(MC-BUFF2)にＤＲＡＭ３、ＤＲＡＭ４、ＤＲＡＭ１、ＤＲＡＭ２・・・の順に、加算器５９へ供給されるべき領域も同様、ＭＣバッファメモリ(MC-BUFF3)に加算器５７へ供給されるべき領域とは２ラインずれたところから、ＤＲＡＭ２、ＤＲＡＭ３、ＤＲＡＭ４、ＤＲＡＭ１・・・の順に、加算器６０へ供給されるべき領域も同様、ＭＣバッファメモリ(MC-BUFF4)に加算器５７に供給されるべき領域とは３ラインずれたところから、ＭＣバッファメモリ(MC-BUFF4)にＤＲＡＭ１、ＤＲＡＭ２、ＤＲＡＭ３、ＤＲＡＭ４・・・の順に、各々転送される。この様に、図１５に示す各ＤＲＡＭ４４〜４７とＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１間のスイッチャ５２をＴＩＭＥ ＳＬＯＴ毎に切り替えることによってメモリアクセスが重なることなく各ＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4) ４８〜５１にデータを転送することができる。
【００６５】
これによって、すでに、加算器５７へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF1)に、加算器５８へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF2)に、加算器５９へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF3)に、加算器６０へ供給されるべきデータはＭＣバッファメモリ(MC-BUFF4)に、各々格納されているので、よってメモリーアクセスが重なることなく動き補償処理を実現することができる。
【００６６】
尚、以上の実施例においてはデコーダの例について説明したが、本発明はエンコーダのローカルデコーダにおいても適用できる。
【００６７】
【発明の効果】
本発明に係る画像信号復号化装置では、符号化画像信号をスライス毎に付加された同期信号に基づいて分配手段により複数の復号化手段に分配し、各復号化手段により複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を複数の記録手段により記録するにあたり、上記複数の復号化手段は、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記複数の記録手段に記録されたスライスの読み出し順番を設定するので、メモリアクセスが重なることなく動き補償処理を実現することができる。また、従来のエンコード方法をそのまま使って高速に再生することができる。
【００６８】
また、本発明に係る画像信号復号化装置では、符号化画像信号を復号化手段によりシリアルに復号化し、そのシリアルデータを並列化手段により複数のブロック毎にパラレルデータに変換し、複数の逆変換手段により上記複数のブロックのそれぞれにスライス毎に並列に逆変換を行うので、符号化された符号化画像信号を従来のエンコード方法をそのまま使って高速に再生することが可能になる。
【００６９】
また、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化装置において、上記複数の復号化手段は、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理する。これにより、符号化画像信号を迅速に復号化することがきる。
【００７０】
本発明に係る画像信号復号化方法では、符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配し、分配された複数の符号化画像信号を各々復号化し、それぞれ復号されたスライス毎の各画像信号を記録するにあたり、現フレームと予測参照フレームとにより生成された動きベクトルに基づいて動き補償を行う際、該動きベクトルに応じて上記記録された複数のスライスの読み出し順番を設定するので、メモリアクセスが重なることなく動き補償処理を実現することができる。また、従来のエンコード方法をそのまま使って高速に再生することができる。
【００７１】
また、本発明に係る画像信号復号化方法では、符号化画像信号をシリアルに復号化し、復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換し、上記複数のブロックのそれぞれにスライス毎に並列に逆変換を行うので、符号化された符号化画像信号を、従来のエンコード方法をそのまま使って並列処理により高速に再生することが可能になる。
【００７２】
また、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理する。さらに、本発明に係る画像信号復号化方法において、上記複数の符号化画像信号を各々復号化するステップでは、例えば、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理する。これにより、符号化画像信号を迅速に復号化することがきる。
【図面の簡単な説明】
【図１】本発明に係る画像信号復号化装置の構成を示すブロック図である。
【図２】本発明に係る画像信号復号化装置で取り扱う画像データの構造を説明するための 図である。
【図３】本発明に係る画像信号復号化装置におけるバッファメモリの動作を説明するためのタイミング図である。
【図４】本発明に係る画像信号復号化装置における可変長復号器周辺の具体的な構成例を示すブロック図である。
【図５】図４に示した具体的な構成例の動作を説明するためのタイミング図である。
【図６】本発明に係る画像信号復号化装置における可変長復号器周辺の他の具体的な構成例を示すブロック図である。
【図７】図６に示した具体的な構成例の動作を説明するためのタイミング図である。
【図８】本発明に係る画像信号復号化装置における動き補償の具体的な動作例を説明するための図である。
【図９】本発明に係る画像信号復号化装置における動き補償の具体的な動作例を説明するためのタイミング図である。
【図１０】本発明に係る画像信号復号化装置の他の構成例を示すブロック図である。
【図１１】本発明に係る画像信号復号化装置における動き補償の他の具体的な動作例を説明するための図である。
【図１２】本発明に係る画像信号復号化装置における動き補償の他の具体的な動作例を説明するための図である。
【図１３】本発明に係る画像信号復号化装置における動き補償の他の具体的な動作例を説明するためのタイミング図である。
【図１４】従来の画像信号復号化装置の構成を示すブロック図である。
【図１５】従来の画像信号復号化並列処理装置の構成を示すブロック図である。
【図１６】従来の画像信号復号化並列処理方法を説明するための図である。
【符号の説明】
２５・・・・・・デマルチプレクサ(DEMUX)
２６〜２９・・・コードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4)
３０〜３３・・・可変長復号器(IVLC1〜IVLC4)
３４，５２・・・スイッチャ
３５〜３８・・・バッファメモリ
３９〜４２・・・ＩＱ／ＩＤＣＴ処理ブロック(IQ/IDCT1 〜IQ/IDCT4)
４３・・・・・・フレームメモリ
４４〜４７・・・ＤＲＡＭ１〜ＤＲＡＭ４
４８〜５１・・・ＭＣバッファメモリ(MC-BUFF1 〜MC-BUFF4)
５３〜５６・・・動き補償処理ブロック(MC1〜MC4)
５７〜６０・・・加算器
６１〜６４・・・ストア用バッファメモリ(ST-BUFF1 〜ST-BUFF4)
６５・・・・・・ビットストリーム入力端子
６６・・・・・・デマルチプレクサ(DEMUX)
６７〜７０・・・コードバッファメモリ(CODE-BUFF1 〜CODE-BUFF4)
７１〜７４・・・可変長復号器(IVLC1〜IVLC4)
７５〜７９・・・出力端子
７９・・・・・・デマルチプレクサ(DEMUX)
８０・・・・・・コードバッファメモリ（Code-Buffer)
９０〜９３・・・バッファメモリ
９４〜９７・・・ディスプレイ用バッファメモリ(DISP-BUFF1 〜DISP-BUFF4)
９８・・・・・・ディスプレイスイチャ
９９・・・・・・Ｄ／Ａコンバータ
１００・・・・・ディスプレイ
Claims (6)
- 符号化された符号化画像信号を復号化する画像信号復号化装置において、
上記符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配する分配手段と、
上記分配手段により分配された複数の符号化画像信号を各々シリアルに復号化する複数の復号化手段と、
上記復号化手段によりシリアルに復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換する並列化手段と、
上記並列化手段によりパラレルデータに変換された複数のブロックの各データに並列に逆変換を行う逆変換手段と、
予測参照フレームの画像データを上記複数のブロック毎に並列に記憶する複数の記憶手段と、
現フレームと上記予測参照フレームとにより生成された動きベクトルに応じて上記複数の記憶手段からそれぞれ読み出される画像データを選択的に組み合わせて、複数の動き補償された予測参照画像データを生成する生成手段と、
を備えることを特徴とする画像信号復号化装置。 - 上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段で複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理することを特徴とする請求項１記載の画像信号復号化装置。
- 上記複数の復号化手段は、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、上記複数の復号化手段のいくつかは、上記スライスより上位のレイヤを処理し、それ以外の復号化手段は、上記スライスを処理することを特徴とする請求項１記載の画像信号復号化装置。
- 符号化された符号化画像信号を復号化する画像信号復号化方法であって、
上記符号化画像信号をスライス毎に付加された同期信号に基づいて複数に分配するステップと、
分配された複数の符号化画像信号を各々シリアルに復号化するステップと、
上記シリアルに復号化されたシリアルデータを複数のブロック毎にパラレルデータに変換するステップと、
上記パラレルデータに変換された複数のブロックの各データに並列に逆変換を行うステップと、
予測参照フレームの画像データを上記複数のブロック毎に並列に記憶手段に記憶するステップと、
現フレームと上記予測参照フレームとにより生成された動きベクトルに応じて上記記憶手段から読み出される画像データを選択的に組み合わせて、複数の動き補償された予測参照画像データを生成するステップと、
を備えることを特徴とする画像信号復号化方法。 - 上記複数の符号化画像信号を各々復号化するステップでは、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスのどちらか一方を処理することを特徴とする請求項４記載の画像信号復号化方法。
- 上記複数の符号化画像信号を各々復号化するステップでは、上記スライスより上位のレイヤと上記スライスとを別々に処理する際、複数の上記スライスより上位のレイヤ及び複数の上記スライスを処理することを特徴とする請求項４記載の画像信号復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33626293A JP3871348B2 (ja) | 1993-03-05 | 1993-12-28 | 画像信号復号化装置及び画像信号復号化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-45112 | 1993-03-05 | ||
| JP4511293 | 1993-03-05 | ||
| JP33626293A JP3871348B2 (ja) | 1993-03-05 | 1993-12-28 | 画像信号復号化装置及び画像信号復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0723397A JPH0723397A (ja) | 1995-01-24 |
| JP3871348B2 true JP3871348B2 (ja) | 2007-01-24 |
Family
ID=26385072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33626293A Expired - Fee Related JP3871348B2 (ja) | 1993-03-05 | 1993-12-28 | 画像信号復号化装置及び画像信号復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3871348B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001080567A1 (en) * | 2000-04-14 | 2001-10-25 | Sony Corporation | Decoder and decoding method, recorded medium, and program |
| JP4906197B2 (ja) * | 2000-05-29 | 2012-03-28 | ソニー株式会社 | 復号装置および方法、並びに記録媒体 |
| KR20020000392A (ko) * | 2000-06-24 | 2002-01-05 | 박종섭 | 가변 복호기의 자가 진단 장치 |
| JP4453518B2 (ja) * | 2004-10-29 | 2010-04-21 | ソニー株式会社 | 符号化及び復号装置並びに符号化及び復号方法 |
| US7525548B2 (en) * | 2005-11-04 | 2009-04-28 | Nvidia Corporation | Video processing with multiple graphical processing units |
| US8509310B2 (en) | 2006-03-28 | 2013-08-13 | Samsung Electronics Co., Ltd. | Method, medium, and system encoding and/or decoding an image |
| US8542748B2 (en) | 2008-03-28 | 2013-09-24 | Sharp Laboratories Of America, Inc. | Methods and systems for parallel video encoding and decoding |
| KR101698797B1 (ko) | 2010-07-27 | 2017-01-23 | 삼성전자주식회사 | 영상 데이터를 분할하여 부호화 및 복호화를 병렬 처리하는 장치 및 상기 장치의 동작 방법 |
| FR2972588A1 (fr) | 2011-03-07 | 2012-09-14 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| FR2977111A1 (fr) | 2011-06-24 | 2012-12-28 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
-
1993
- 1993-12-28 JP JP33626293A patent/JP3871348B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0723397A (ja) | 1995-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5557332A (en) | Apparatus and method for reproducing a prediction-encoded video signal | |
| US6088047A (en) | Motion compensated digital video decoding with buffered picture storage memory map | |
| US6917652B2 (en) | Device and method for decoding video signal | |
| CA2111021C (en) | Encoding method and decoding method of color signal component of picture signal having plural resolutions | |
| US5581310A (en) | Architecture for a high definition video frame memory and an accompanying data organization for use therewith and efficient access therefrom | |
| US6215822B1 (en) | Motion compensated digital video decoding and buffer memory addressing therefor | |
| JPH08130745A (ja) | 復号化システム、復号化装置および復号化回路 | |
| JP2002359848A (ja) | 画像処理装置 | |
| JP2001275116A (ja) | 画像処理装置 | |
| US6020924A (en) | Reduced memory size set top box which stores frames and associated motion vectors which indicate which block or blocks are to be retrieved from memory | |
| JP3871348B2 (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
| US5754243A (en) | Letter-box transformation device | |
| JP2001346165A (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JPH08289302A (ja) | 画像復号化装置 | |
| JP3168922B2 (ja) | デジタル画像情報の記録再生装置 | |
| JP3356078B2 (ja) | 圧縮ストリーム復号装置および圧縮ストリーム復号方法 | |
| JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| US5905534A (en) | Picture decoding and encoding method and apparatus for controlling processing speeds | |
| EP0658053A1 (en) | Apparatus for decoding time-varying image | |
| JPH10178644A (ja) | 動画像復号装置 | |
| JP3034173B2 (ja) | 画像信号処理装置 | |
| JP3285220B2 (ja) | デジタル形式で画像信号を伝送するテレビジョンシステム | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP2863096B2 (ja) | 並列処理による画像復号装置 | |
| WO1999016252A1 (en) | Motion compensated digital video decoding with buffered picture storage memory map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041129 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050722 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |