JP3651941B2 - 画像再生装置 - Google Patents
画像再生装置 Download PDFInfo
- Publication number
- JP3651941B2 JP3651941B2 JP29315794A JP29315794A JP3651941B2 JP 3651941 B2 JP3651941 B2 JP 3651941B2 JP 29315794 A JP29315794 A JP 29315794A JP 29315794 A JP29315794 A JP 29315794A JP 3651941 B2 JP3651941 B2 JP 3651941B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- encoded
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【０００１】
【産業上の利用分野】
本願発明は画像再生装置及びその方法にかかわり、特にイントラ符号化とインター符号化とを適応的に用いて符号化された複数チャンネルの画像データを復号化する装置に関するものである。
【０００２】
【従来の技術】
最近の高能率動画符号化方式としてＭＰＥＧ( Motion Picture Image Coding Expert Group) が知られている。
【０００３】
この方式に基づく符号化方式は、ＤＣＴ、適応量子化及び可変長符号化(VLC) を基本とし、フレーム（フィールド）相関が高い等の動画の特長に着目して動き補償付フレーム（又はフィールド）間予測符号化を適応的に組み合わせた符号化方式である。
【０００４】
すなわち、この符号化方式においては、図７に示すように動画を構成する各フレームをＩ(Intra) フレーム、Ｐ(Prediction)フレーム、Ｂ(Bidirectinal perdiction) フレームに分類し、各フレーム毎に異なる符号化を行うことによって全体として高能率に圧縮し得るようにしたものであり、Ｉフレームについては該フレーム内で上述のＤＣＴ等を用いた符号化を行う。
【０００５】
また、Ｐフレームについては、時間的に先行するＩフレームとの間でフレーム（又はフィールド）間動き補償付予測符号化を行い、Ｂフレームについては先行するＩフレーム又はＰフレーム及び後行するＩフレーム又はＰフレームとの間でフレーム（又はフィールド）間動き補償付予測符号化を行う。
【０００６】
【発明が解決しようとしている課題】
ところで、上述のようなＭＰＥＧで符号化された画像データは各フレーム毎に符号化の方法及びデータ量が異なるため、復号する際の複雑さや消費電力等が各フレーム毎に異なるとともに、復号した際の各画像の画像品位も各フレーム毎に異なる。
【０００７】
また、最近のマルチメディア化に伴ない、例えば同一画面内に複数種の画像データを同時に表示するために複数チャンネルの符号化画像データを同時に復号する必要が生ずる場合がある。
【０００８】
このため、例えば２チャンネルの画像データを同時に復号して同一の画面に表示しようとした場合には、各チャンネルのＩ，Ｐ，Ｂの組み合わせによって消費電力等が大幅に変動するとともに、単一画面上の画像品位も局部的に異なってしまうという問題が生ずる。
本願発明は斯かる背景下に於いて、一つの目的として複数チャンネルの画像データを効率良く、前記各画像間で画質差が生じないように再生することができる画像再生装置を提供することである。
【０００９】
【課題を解決するための手段】
本願は斯かる目的下にその一つの発明の画像再生装置は、イントラ符号化モードとインター符号化モードとを適応的に用いて符号化された複数チャンネルの画像データを並列に復号化する画像再生装置であって、前記符号化された複数チャンネルの画像データを入力する入力手段と、前記入力手段により入力された複数チャンネルの画像データに対してイントラ符号化モードで符号化されたフレームのスタートコードを検出する検出手段と、前記入力手段により入力された複数チャンネルの画像データを一時バッファに記憶した後、同時に復号化する復号化手段と、前記検出手段により検出された各チャンネルの前記イントラ符号化モードで符号化されたフレームのスタートコードの位相差に基づいて、前記各チャンネルのイントラ符号化された画像データの復号処理が時間的に重ならないように前記各チャンネルの画像データの前記バッファから読み出すタイミングを制御する制御手段とを有することを特徴とする。
【００１２】
【実施例】
以下、本発明に係る好適な実施例を各要素毎に図を用いて順次説明する。
【００１３】
（システム）
図１は本実施例のシステム全体を示すブロック図である。
【００１４】
図１において、１０１はＡＴＭ（非同期転送モード）にてＪＰＥＧやＭＰＥＧ等の各種方式にて符号化処理された画像データ等の各種符号化データを転送するＡＴＭネットワーク、１０３はＡＴＭ以外のモードにてデータを転送するイーサネット等を用いたローカルエリアネットワーク（ＬＡＮ）、１０５はＡＴＭネットワークに接続され、画像データの圧縮、伸長機能を有するファクシミリ装置、１０７は内部にぺージメモリを有し、受信した圧縮データから伸長した画像データに基づいた像形成を行うカラープリンタである。
【００１５】
１０９はカラーリーダ、カラープリンタを含むカラー複写機であって、カラーリーダで読み取った原稿の画像データを例えばＪＰＥＧ方式に基づいて圧縮する圧縮回路、圧縮された画像データが書き込まれるぺージメモリ、ぺージメモリに書き込まれた圧縮画像データを読み出してプリンタに供給するために伸長する伸長回路を含む。
【００１６】
１１１はＡＴＭネットワークを介して入力される画像データを一旦蓄えるファイルサーバー、１１３はこのファイルサーバーにデータを入出力するためのワークステーション、１１５はＡＴＭネットワークと接続されるＰＣ（パソコン）であり、このパソコン１１５は上述のローカルエリアネットワークとの間でＭＰＥＧデータやＪＰＥＧデータの授受を行ない、データの符号化・復号化を行うとともに本発明における各種画像データの編集等の各種処理を行う。
【００１７】
また、このパソコン１１５は上記プリンタ１０７等と上記ネットワーク回線１０３又は専用線を介して接続されている。
【００１８】
１１７は１１１と同様のサーバーであって、前記サーバ１１１と同様の構成である。
【００１９】
かかるサーバー１１７には前述のカラー複写機１０９と同様のカラー複写機１１９と接続されている。
【００２０】
１２１はＡＴＭネットワークに接続されているデジタルテレビであり、このデジタルテレビはＡＴＭネットワークを介して入力されるＭＰＥＧ或はＪＰＥＧ方式の符号化データを受信し、これを復号して可視像としてＣＲＴディスプレイ装置に表示する。
【００２１】
なお、かかるモニターはＦＬＣとよばれる強誘電体液晶を用いたディスプレイ装置であってもよい。
【００２２】
１２３はＡＴＭネットワークを介して入力されたＭＰＥＧあるいはＪＰＥＧ圧縮画像データを受信するＶＴＲである。
【００２３】
かかるＶＴＲ１２３はＡＴＭネットワーク回線から入力されたＭＰＥＧあるいはＪＰＥＧ圧縮画像データを圧縮された符号化データのまま記録するか又は所定の信号処理を行ってテープに記録する。
【００２４】
また、このＶＴＲ１２３は外部から受信した非圧縮データをＭＰＥＧあるいはＪＰＥＧ方式に基づいて圧縮してテープに記録するための画像データ圧縮器を有している。
【００２５】
１２７はＡＴＭネットワークにＭＰＥＧあるいはＪＰＥＧ圧縮画像データ方式にて圧縮されたデータを送出するＣＡＴＶ局である。
【００２６】
このＣＡＴＶ局１２７は図示したようにＡＴＭネットワーク回線を介して放送用のデータを出力する。
【００２７】
１２９はＡＴＭネットワークに他のＡＴＭネットワークを接続するためのルータである。
【００２８】
１３１は他のローカルエリアネットワークと接続するためのルータである。
【００２９】
また、ファクシミリ装置１０５とプリンター１０７とカラー複写機１１１とＡＴＭネットワークとの間には不図示のＡＴＭネットワークスイッチが設けられている。
【００３０】
（ＪＰＥＧデータ）
次に、上記ネットワークにて伝送される各種データの内のＪＰＥＧデータについて説明する。
【００３１】
このＪＰＥＧデータは、データの周波数特性や人間の視覚特性を利用してカラー静止画の圧縮を行うことを目的とした国際標準方式であるＣＣＩＴＴ／ＩＳＯのＪＰＥＧ方式に基づいて符号化されたデータであり、このデータは符号化データ及び各種マーカコードを図２に示すようなイメージ／フレーム／スキャンの階層構造として構成している。
【００３２】
即ち、このＪＰＥＧデータはＳＯＩ(Start Of Image)コード、フレーム、ＥＯＩ(End Of Image)コードから構成され、上記フレームは階層符号化されたデータの場合には各階層毎に複数のフレームから成り、階層符号化されていない場合には単一のフレームにて構成される。
【００３３】
上記フレームはＳＯＦ(Start Of Frame)コード、フレームヘッダ及びスキャンから構成され、上記スキャンはＳＯＳ(Start Of Scan) コード、スキャンヘッダ及び符号化データにて構成されている。
【００３４】
なお、上記スキャンは、輝度データ（Ｙ）と２つの色差データ(Cr、Cb) とを分けて符号化する場合（ノンインタリーブさせる場合）には複数のスキャンから構成され、各データを分けずに符号化する場合（インタリーブさせる場合）には単一のスキャンにて構成される。
【００３５】
次に、上述のようなＪＰＥＧ方式における基本的なベースライン・システムにおける符号化・復号化のアルゴリズムについて図３及び図４を用いて説明する。
【００３６】
まず、入力画像データはブロック化回路２０１にて８画素×８画素のブロックに分割し、これをＤＣＴ回路２０２にて２次元ＤＣＴ（離散コサイン変換）することによって１種の直流成分(DC)と63種の交流成分(AC)から成る水平／垂直の空間周波数成分（ＤＣＴ係数）に変換する。
【００３７】
これによって得られた各周波数成分は、量子化器２０３にて各々所定の係数（量子化係数）にて除されて量子化され、その後直流成分と交流成分とで異なるアルゴリズムによって各々符号化処理される。
【００３８】
なお、上記量子化係数は、一般に周波数成分毎に異なる係数が用いられており、視覚上重要な低域成分に対する量子化係数は高域成分に対する量子化係数に比して小さく設定されている。
【００３９】
これによって、比較的重要でない高域成分についてはカットされることになり、全体としてデータ量の削減が図られる。
【００４０】
上記直流成分については隣接ブロックとの相関が高いことを利用して、差分回路２０４にて先行するブロックにおける直流成分との差分が求められ、得られた差分値をハフマン符号化器２０５にて１次元ハフマン符号化して直流成分の符号化データとされる。
【００４１】
一方、交流成分については、上述の６３種の交流成分をスキャン回路２０６にて視覚的に重要な低域側の周波数成分から順次ジグザグスキャンして１次元の配列に変換し、判定器２０７にて各成分の値が「０値」であるか０値以外の値（有効係数）であるか判定される。
【００４２】
「０値」については、カウンタ２０８にて０ランがカウントされ、有効係数についてはグループ化回路２０９にてその値によってグループ化され、これらによって得られたランレングスとグループ値との組み合わせによりハフマン符号化器２１０にて２次元ハフマン符号化が行われて交流成分の符号化データとされる。
【００４３】
ここで、上述のハフマン符号は、生起確率の高いもの（直流成分については上記差分値、交流成分についてはランレングスと有効係数との組み合わせ）により短い符号長を割り当てることによって全体としてのデータ量を削減する。
【００４４】
また、生起確率が低いものについては所定のコード（ＺＲＬコード）と組み合わせることによって有限のコード数にて総てのパターンを表すことができる。
【００４５】
ＪＰＥＧでは以上の処理を各ブロック単位で行って１枚のカラー静止画の符号化を終了する。
【００４６】
その後、上記各符号化データには、付加回路２１１にて前述のマーカコード等が付加されて図３に示したＪＰＥＧデータとされる。
【００４７】
なお、上述の量子化係数やハフマンコードは任意に設定することができるため、符号化に用いられた量子化係数やハフマンコードを表すデータが上記ＳＯＩコードの後に付加される。
【００４８】
次に、復号化のアルゴルについて説明する。
【００４９】
復号化のアルゴルは基本的に符号化アルゴリズムの逆であり、入力された符号化データはこのデータと共に送られたハフマンテーブルを用いて復号器２１２にて復号され、直流成分については加算器２１３にて先行ブロックの直流成分と加算されて元の直流成分とされ、交流成分については復号化された各周波数成分を並変え回路２１４にて元の２次元配列に変換する。
【００５０】
その後、それらの周波数成分を逆量子化器２１５にて逆量子化した後、逆ＤＣＴ回路２１６にて逆ＤＣＴを行ってもとの画像データ（復号データ）に変換される。
【００５１】
ＪＰＥＧでは以上の処理を各ブロック単位で行って１枚のカラー静止画の復号化を終了する。
【００５２】
なお、以上のアルゴルはＪＰＥＧ方式の基本的なものであるが、これに更に各種の階層符号化を取り入れたエクステンド・システムがＪＰＥＧ方式として認められており、この階層符号化を行った場合には上記ＳＯＦコードによってその種類を表すようになっている。
【００５３】
（ＭＰＥＧデータ）
次に、上記ネットワークにて伝送される各種データの内のＭＰＥＧデータについて説明する。
【００５４】
このＭＰＥＧデータは、動画像の高能率符号化を行うことを目的とした国際標準であり、基本的には先のＪＰＥＧ方式と同様にデータの周波数特性や人間の視覚特性を利用するが、更に動画像特有の時間軸方向の冗長度を利用して一層の高能率符号化を行う方式である。
【００５５】
このＭＰＥＧ方式は、デジタルストレージメディア用に転送レートを最大１．５ＭｂｐｓとしたＭＰＥＧ１と、伝送レートの上限をなくし双方向デジタルマルチメディア機器、デジタルＶＴＲ、ＡＴＶ、光ファイバネットワーク等の全ての伝送系で用いられることを企図したＭＰＥＧ２があるが、基本的なアルゴリズムはほぼ同様であるのでＭＰＥＧ１をベースとしてそのデータ構造及び符号化・復号化のアルゴルを説明する。
【００５６】
なお、ＭＰＥＧ２では、使用可能な符号化方法を複数のプロフィール（シンプル・プロフィール、メイン・プロフィール、スケーラブル、空間スケーラブル、ハイ）によって規定しているが、代表的なメイン・プロフィールは基本的に１とほぼ同様である。
【００５７】
まず、このＭＰＥＧによる高能率符号化方式の原理について説明する。
【００５８】
この高能率符号化方式においては、フレーム間の差分を取ることで時間軸方向の冗長度を落とし、これによって得られた差分データをＤＣＴ及び可変長符号化処理して空間方向の冗長度を落とすことによって全体として高能率符号化を実現する。
【００５９】
上記時間軸方向の冗長度については、動画の場合には連続したフレームの相関が高いことに着目し、符号化しようとするフレームと時間的に先行又は後行するフレームとの差分を取ることによって冗長度を落とすことが可能となる。
【００６０】
そこで、ＭＰＥＧでは、図５に示すように専らフレーム内で符号化する符合化モードで得られるイントラ符号化画像の他に、時間的に先行するフレームとの差分値を符号化する前方予測符号化画像（Ｐ−ピクチャ）と、時間的に先行するフレーム又は後行するフレームとの差分値或はそれら両フレームからの補間フレームとの差分値の内最もデータ量が少ないものを符号化する両方向予測符号化画像（Ｂ−ピクチャ）とを有し、これらの符合化モードによる各フレームを所定の順序で組み合わせている。
【００６１】
ＭＰＥＧにおいては、上述のＩ−ピクチャ、Ｐ−ピクチャ、Ｂ−ピクチャを夫々１枚、４枚、１０枚で１単位（ＧＯＰ）とし、先頭にＩ−ピクチャを配し、２枚のＢ−ピクチャとＰ−ピクチャとを繰り返し配する組み合わせを推奨しており、一定周期でＩ−ピクチャを置くことによって逆再生等の特殊再生やこのＧＯＰを単位とした部分再生を可能とするとともにエラー伝播の防止を図っている。
【００６２】
なお、フレーム中で新たな物体が現れた場合には、時間的に先行するフレームとの差分を取るよりも後行するフレームとの差分を取った方がその差分値が少なくなる場合がある。
【００６３】
そこで、ＭＰＥＧでは上述のような両方向予測符号化を行い、より高能率な圧縮を行っている。
【００６４】
また、ＭＰＥＧでは動き補償を行う。
【００６５】
即ち、先の８画素×８画素のブロックを輝度データについて４ブロック、色差データについて２ブロック集めた所定ブロック（マクロブロック）単位で、先行又は後行フレームの対応ブロック近傍のマクロブロックとの差分をとり、一番差が少ないマクロブロックを探索することによって動きベクトルを検出し、この動きベクトルをデータとして符号化する。
【００６６】
復号の際には、この動きベクトルを用いて先行又は後行フレームの対応マクロブロックデータを抽出し、これによって動き補償を用いて符号化された符号化データの復号を行なう。
【００６７】
上述のような動き補償に際しては、時間的に先行するフレームを一旦符号化した後、再度復号したフレームを得て先行フレームとされ、このフレームにおけるマクロブロックと符号化しようとするフレームのマクロブロックとを用いて動き補償が行なわれる。
【００６８】
なお、ＭＰＥＧ１はフレーム間の動き補償を行なうが、ＭＰＥＧ２においてはイールド間の動き補償が行なわれる。
【００６９】
上述のような動き補償によって得られた差分データ及び動きベクトルは先に説明したようなＤＣＴ変換及びハフマン符号化によって更に高能率符号化される。
【００７０】
次に、このＭＰＥＧ方式のデータ構造について説明する。
【００７１】
このデータ構造は、図６に示すようにビデオシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、ブロック層から成る階層構造で構成されている。
【００７２】
以下、各層について図中下の層から順に説明する。
【００７３】
先ず、ブロック層は先のＪＰＥＧと同様に輝度データ及び色差データ毎に８画素×８画素で各々構成され、この単位毎にＤＣＴが行われる。
【００７４】
上記マクロブロック層は、上述した８画素×８画素のブロックを輝度データについては４ブロック、色差データについては各１ブロックまとめ、マクロブロックヘッダを付したものであり、ＭＰＥＧ方式ではこのマクロブロックを後述する動き補償及び符号化の単位とする。
【００７５】
また、上記マクロブロックヘッダは、各マクロブロック単位の動き補償及び量子化ステップの各データ、及び各マクロブロック内の６つＤＣＴブロック(Y0,Y1,Y2,Y3,Cr,Cb) がデータを有するか否かのデータを含む。
【００７６】
上記スライス層は、画像の走査順に連なる１以上のマクロブロック及びスライスヘッダで構成され、同一スライス層内の一連のマクロブロックにおける量子化ステップを一定とすることができる。
【００７７】
なお、上記スライスヘッダは各スライス層内の量子化ステップに関するデータを有し、各マクロブロックに固有の量子化ステップデータがない場合にはそのスライス層内の量子化ステップを一定とする。
【００７８】
また、先頭のマクロブロックは直流成分の差分値をリセットする。
【００７９】
上記ピクチャ層は、上述のスライス層を１フレーム単位で複数集めたものであり、ピクチャースタートコード等からなるヘッダと、これに続く１つまたは複数のスライス層とから構成される。
【００８０】
また、上記ヘッダには画像の符号化モードを示すコードや動き検出の精度（画素単位か半画素単位か）を示すコードを含む。
【００８１】
上記ＧＯＰ層は、グループスタートコードやシーケンスの最初からの時間を示すタイムコード等のヘッダと、これに続く複数のＩフレーム、Ｂフレーム又はＰフレームから構成される。
【００８２】
上記ビデオシーケンス層は、シーケンススタートコードから始まってシーケンスエンドコードで終了し、その間に画像サイズやアスペクト比等の復号に必要な制御データ及び画像サイズ等が同じ複数のＧＯＰが配列される。
【００８３】
このようなデータ構造を持つＭＰＥＧ方式は、その規格にてビットストリームが規定されている。
【００８４】
次に、上述のようなＭＰＥＧデータを扱う基本的な符号化装置及び復号化装置について図７及び図８を用いて説明する。
【００８５】
この符号化装置は、図７に示すようにブロック化回路３０１、ＤＣＴ回路３０２、量子化器３０３、可変長符号化器（ＶＬＣ）３０４、動き補償回路３０５、動きベクトル検出器３０６、レート制御回路３０７、局部復号器３０８、出力バッファ３０９等から概略構成されている。
【００８６】
また、この符号化装置において符号化の対象とする画像サイズは図９に示すように１９２０画素×１０８０画素のＨｉｇｈ（ＭＰＥＧ２におけるハイレベルに対応する）、１４４０画素×１０８０画素のＨｉｇｈ１４４０（ＭＰＥＧ２におけるハイ１４４０レベルに対応する）、４：２：２又は４：２：０のＣＣＩＲ．６０１対応画像（ＭＰＥＧ２におけるメインレベルに対応する）、ＳＩＦ、ＣＩＦ、ＱＣＩＦフォーマットに対応したものがあり、ＭＰＥＧ１及びＭＰＥＧ２のローレベルでは上記ＳＩＦフォーマットの画像サイズを対象としている。
【００８７】
この符号化装置において、符号化すべき画像データはブロック化回路３０１にて上述の８画素×８画素のブロックとされ、スイッチ３１０を介してＤＣＴ回路３０２に伝送される。
【００８８】
上記スイッチ３１０は、入力画像データがイントラフレーム（Ｉフレーム）かそれ以外のフレーム（Ｐフレーム又はＢフレーム）であるかで切り換えられるものであり、イントラフレームの場合にはａ接点に接続され、それ以外の場合にはｂ接点に接続される。
【００８９】
イントラフレームの場合にはＤＣＴ回路３０２にてＤＣＴされ、これによって得られたＤＣＴ係数はは量子化器３０３にて量子化され、更に可変長符号化器３０４にて符号化された後、一旦バッファ３０９に記憶される。
【００９０】
一方、イントラフレーム以外の場合には上記スイッチ３１０は接点ｂに接続されて先に説明した動き補償が行われる。
【００９１】
即ち、３１１、３１２は局部復号器３０８を構成する逆量子化器、逆ＤＣＴ回路であり、上記量子化器３０３にて量子化されたデータはこの局部復号器３０８にて元に戻される。
【００９２】
また、３１３は加算器、３１４はイントラフレーム以外の場合のみ閉成されるスイッチ、３１６は減算器であり、上述のように局部復号された画像データは、動きベクトル検出回路３０６にて検出された動きベクトルを参照して所定のフレーム（先行フレーム、後行フレーム又はこれらの補間フレーム）における対応マクロブロックを出力する。
【００９３】
この動き補償回路３０５の出力は上記減算器３１６にて入力画像データと減算処理されて差分値が得られ、この差分値は上述のＤＣＴ回路３０２、量子化回路３０３及び可変長符号化器（ハフマン符号化器）３０４にて符号化されて上記バッファ３０９に記憶される。
【００９４】
なお、上記ハフマン符号化器は基本的には先に説明したＪＰＥＧにおける符号化器と同様であるが、生起確率が低いものについては所定のコード（エスケープコード）を一位的に割り当てる点で異なる。
【００９５】
なお、上記動きベクトル検出器３０６は、これから符号化するフレームデータと、所定の参照フレームデータとの比較を行って動きベクトルを得るものであり、この検出器３０６の検出力は上記動き補償回路３０５に供給されて動き補償回路３０５が出力すべきマクロブロックを指定する。
【００９６】
また、上記レート制御回路３０７は上記バッファにおける符号化データの占有量に基づいて上記量子化器３０３における量子化ステップを切り換えることによって符号量制御を行う。
【００９７】
最後に付加回路３１５にて先に示したような各種ヘッダを符号化データに付加してＭＰＥＧ方式に対応したＭＰＥＧデータとして送出する。
【００９８】
一方、復号装置は、基本的には上述の符号化の逆の動作を行うものであり、図８に示すように入力バッファ４０１、可変長復号器（ＶＬＤ）４０２、逆量子化器（ＩＱ）４０３、逆ＤＣＴ回路（ＩＤＣＴ）４０４、動き補償回路４０５、出力バッファ４０６等から構成されている。
【００９９】
即ち、上記入力バッファ４０１から順次読み出される符号化データは上記可変長復号器４０２、逆量子化器４０３、逆ＤＣＴ回路４０４にて処理されて空間領域のデータに変換される。
【０１００】
また、４０７は上記逆ＤＣＴ回路４０４の出力に動き補償回路４０５からの差分値を加算するための加算器であり、４０８は上記逆ＤＣＴ回路４０４の出力または加算器４０７０の出力を選択するためのスイッチである。
【０１０１】
このスイッチ４０８は、図示しないデータ検出回路に検出された符号化識別符号に基づいてイントラフレームの場合には接点ａに接続され、イントラフレーム以外の場合には接点ｂに接続される。
【０１０２】
このように復号された復号データは上記出力バッファ４０６にて一旦記憶され、更に元の空間配置に復元されて１フレームの画像データとして出力される。
【０１０３】
（ＡＴＭフォーマット）
次に、ＡＴＭ通信フォーマットについて説明する。
【０１０４】
このＡＴＭ通信においては、図１０に示すように一連のビットストリームを複数の固定長パケットに分割し、各パケットを複数（例えば４つ）のＡＴＭセルにて構成する。
【０１０５】
また、各ＡＴＭセルはパケットヘッダとデータ用のペイロードとから構成され、一般的に上記ヘッダは５バイト、データが４８バイトとされている。
【０１０６】
このＡＴＭ通信は、ネットワークのビットレートとは独立（非同期）でデータ伝送を行うことができ、単位時間当りの伝送セル数によって伝送レートを任意に設定することができるため、種々のデータを混在して伝送する伝送系に適している。
【０１０７】
（パソコン）
次に、本実施例における画像再生装置である図１に示したパソコンの構成について説明する。
【０１０８】
図１１は本実施例のパソコンの構成を示すものであり、この実施例においては先に説明したＭＰＥＧに基づいて圧縮された画像データを複数チャンネル（２チャンネル）同時入力し、これらを合成してモニタやプリンタ等の出力機器に供給する装置である。
【０１０９】
本実施例における第１チャンネルの第１の画像データはＭＰＥＧにて符号化された画像データを上述のような複数のＡＴＭセルから成る固定長パケット化して伝送するようなＡＴＭネットワークを介して音声データ等と共に伝送されるものであり、この第１の画像データはネットワークインターフェース５０１に受信される。
【０１１０】
また、第２チャンネルの第２の画像データは、後述するＣＤ−ＲＯＭ等を用いたデータ記憶装置５０９から後述する所定のタイミングで再生される。
【０１１１】
一方、このパソコンは上述のような各種方式に対応したデータを扱うとともに、種々の機能を有するために伝送されるデータのデータ量及び処理に要する転送速度に応じて最適なデータバスを選択的に用いるマルチバスシステムを備えており、本実施例においては１６ｂｉｔデータバスD1、３２ｂｉｔデータバスD2、６４ｂｉｔデータバスD3、拡張バスとして１２８ｂｉｔデータバスD4及びシステムバスSBを備えている。
【０１１２】
さらに、このパソコンは機能拡張を可能とするために後述する拡張ボードインタフェースを備えており、このインターフェースに接続される各種拡張ボードによって機能の拡張を図り得るようになっている。
【０１１３】
以下、詳細に説明する。
【０１１４】
５０１はネットワークインターフェースであり、このネットワークインターフェース５０１及びこのインターフェース内のＡＴＭコントローラ５０２を介して上記各伝送チャンネルとの各種データの授受を行う。
【０１１５】
また、上記ＡＴＭコントローラ５０２は、ＡＴＭスイッチとしての機能のみならず上述のＡＴＭ−ＬＡＮにおけるふくそう制御等の各種通信制御を行う。
【０１１６】
図中、５０３は全体の制御を行うＣＰＵであり、このＣＰＵ５０３はサブＣＰＵとして上記マルチバスシステムを構成するバスコントローラ５０４及びビット変換器５０５を備えている。
【０１１７】
このマルチバスシステムは、処理するデータ容量や処理速度に応じて上述のいずれかのデータバスを適宜使い分けることによって必要とされる処理速度を可能とする。
【０１１８】
５０６はＲＯＭ、５０７はメモリコントローラであり、このメモリコントローラ５０７によってハードディスク装置５０８ＡやＣＤ−ＲＯＭ５０８Ｂ等を有する上記外部記憶装置５０９とデータの授受を行う。
【０１１９】
５１０は編集コントローラであり、このコントローラ５１０によって後述する画像編集時等における複数チャンネルデータ間の位相管理や輝度成分や色成分の調整等を行う。
【０１２０】
５１１はディスプレイコントローラであり、このディスプレイコントローラ５１１から送出される画像データはメモリ５１２を介してＣＲＴディスプレイ５１３やＦＬＣディスプレイ５１４に表示される。
【０１２１】
また、このディスプレイコントローラ５１２は表示デバイスの種類に応じて適宜処理を行う。
【０１２２】
５１５はプリンタコントローラであり、このプリンタコントローラ５１５はプリントする画像データに応じて熱転写プリンタ５１６やＢＪ方式と熱転写方式等の異なるプリンタ部を有するハイブリッドプリンタ５１７を使い分ける。
【０１２３】
なお、上記メモリ５１２をディスプレイ用とプリンタ用とで共用するようにしてもよい。
【０１２４】
５１８はデータの符号化／復号化を行うコーデックであり、本実施例では先に説明したようなＪＰＥＧ方式及びＭＰＥＧ方式に対応したコーデックを備えている。
【０１２５】
５１９は上記拡張ボードインタフェースであり、このインターフェース５１９を介して各種の拡張ボード５２０、５２１、５２２を接続することによってパソコンの機能拡張を図るようになっている。
【０１２６】
５２３はマウス／キーボードコントローラであり、このコントローラ５２３を介してキーボード５２４及びマウス５２５が接続される。
【０１２７】
５２６は音声処理部、５２７は音声スピーカである。
【０１２８】
一方、このパソコンはシステムポート５２８を介して手書き入力機器５２９、音声マイク５３０、ビデオカメラ２３１及びスキャナ５３２が接続される。
【０１２９】
このような構成のパソコンは、上述のようなマルチデータバスD1、D2、D3、D4 、バスコントローラ５０４及びビット変換器５０５からなるマルチバスシステムを備えているため、データ量や処理に要する転送・処理速度等に応じて最適なデータバスを選択的に使用する。
【０１３０】
また、上記拡張ボードインターフェース５１９に接続される拡張ボードによって機能の拡張を行うことができ、例えばコーデックの拡張ボードとして上述の各プロフィールに対応した符号化・復号化を行なうボードを接続することによってそれらの処理を発展的に可能にすることができる。
【０１３１】
（コーデック）
次に、図１１のパソコンにおけるコーデックの構成について説明する。
【０１３２】
このコーデックは図１２に示すように、データバス６００、システムバス６０１に各々接続された各種機能ブロックから構成されており、パソコン本体のシステムバスSB及び各データバスとマイコンインタフェース６０２及びデータインターフェース６０３を介してＣＰＵ５０３及び編集コントローラ５１０等とデータ及びコマンドの授受を行うようになっている。
【０１３３】
図中６０４はコーデック全体の動作制御を行うためのＣＰＵであり、このＣＰＵ６０４はＲＡＭ６０５に予め記憶された編集等の各種プログラムに基づいて符号化及び復号化処理を行なわせる。
【０１３４】
また、６０６はコード検出器であり、入力符号化データにおけるスタートコード（タイムコード）やＩ、Ｐ、Ｂ等のピクチャタイプ、及び各種ヘッダ等の制御コード及び符号化データを検出する。
【０１３５】
このコード検出器６０６にて検出された各コードは上記データバス或はシステムバスを介して上記ＣＰＵ６０４に伝送されて動作制御させるとともにパラメータメモリ６０７にてメモリされて適宜所定のブロックに伝送される。
【０１３６】
また、図中６０８は動き予測ユニット、６０９はレート制御ユニット、６１０は符号化バッファユニット、６１１は復号化バッファユニットである。
【０１３７】
上記符号化バッファユニット６１０を介して伝送される入力画像データ又は上記動き補償ユニット６０８から伝送される動きベクトルデータ及び差分値（被符号化データ）は、複数のＤＣＴ回路と逆ＤＣＴ回路（ＩＤＣＴ）とからなる変換ユニット６１２、複数の量子化回路（Ｑ）と逆量子化回路（ＩＱ）とからなる量子化ユニット６１３及び複数の可変長符号化回路（ＶＬＣ）と可変長復号化回路（ＶＬＤ）とからなる可変長符号化ユニット６１４にて順次処理されて符号化時出力バッファとして機能する上記復号化バッファ６１１にメモリされ、上記ＣＰＵ６０４にて指示される所定のタイミングで上記データバス及びインタフェース６０３を介して出力される。
【０１３８】
なお、上記量子化ユニット６１３及び可変長符号化ユニット６１４には量子化テーブル６１３Ａ及びハフマンテーブル６１４Ａを備えており、これらユニットにおける処理を行う上で必要な量子化ステップやハフマンコード等の各種パラメータが上記パラメータメモリ６０７より適宜これらメモリに転送されるようになっている。
【０１３９】
一方、上記復号化バッファ６１１を介して伝送される符号化データ（被復号化データ）は変換ユニット６１４、量子化ユニット６１３及び可変長符号化ユニット６１２にて順次処理されて復号化時出力バッファとして機能する上記符号化バッファ６１０にメモリされ、上記ＣＰＵ６０４にて指示される所定のタイミングで上記データバス及びインタフェース６０３を介して出力される。
【０１４０】
なお、上記上記符号化バッファ６１０は複数画像の編集時に合成用のメモリとしても用いられる。
【０１４１】
また、上記動き補償ユニット６０８は、符号化時及び復号化時におけるＰフレーム及びＢフレームの動き補償をレファレンスバッファ６１５を用いて行うようになっており、本実施例においてこの動き補償ユニット６０８はＪＰＥＧ符号化におけるＤＣ成分の差分値を得るための動作に共用される。
【０１４２】
さらに、６１６はバスアービタであり、パイプライン処理等における上記データバスの調停を行う。
【０１４３】
このようなコーデックは、パソコン本体のＣＰＵ５０３からの指示を受けて上記ＣＰＵ６０４にて所定の各ユニットを動作させて符号化又は復号化を行う。
【０１４４】
また、このコーデックにおいては、同時に複数系統の符号化、復号化を行う場合や、符号化と復号化とを同時に並行処理する場合、或はパソコン本体における通信、ディスプレイ、プリントアウト等の各種処理と符号化・復号化処理を平行して行う場合等、各種の処理態様に応じて最適なシーケンスにて上記各ユニットへのデータ転送制御及び動作制御を行い、このシーケンスに対応した動作プログラムは上記ＲＡＭ６０５に予め記憶されている。
【０１４５】
なお、このＲＡＭ６０５に記憶されたプログラムは適宜更新することができるようになっている。
【０１４６】
（編集動作）
次に、このようなコーデックシステムにおける編集動作を説明する。
【０１４７】
即ち、上記画像蓄積手段５０９の読み出し動作は上記編集コントローラ５１０にてコントロールされ、コーデック内の上記符号化バッファユニット６１０及び復号化バッファユニット６１１は上記ＣＰＵ６０４にて各々制御され、これらはキーボード５２４による操作及び上記コード検出器６０６から供給される第１の画像データの位相情報に応じて上記各回路のタイミング制御を行う。
【０１４８】
すなわち、上記ＣＰＵ６０４は、上記コード検出器６０６にて復号された第１の画像データのＩフレームのスタートコード及び上記第２の画像データのＩフレームのスタートコードを受けて、これらの位相差（時間差）に基づいて上記バッファユニットにおける出力タイミングを制御する。
【０１４９】
すなわち、各画像データのスタートコードがずれている場合、すなわち図１３に示すように第１の画像データがＩフレームの際に第２の画像データがＰ又はＢフレームであった場合には、このずれた状態で上記各デコーダにおける復号処理を行わせるとともに上記バッファユニット６１０における出力タイミングを各画像の位相が揃うように先行する画像データ（この場合には第１の画像データ）のタイミング制御を行う。
【０１５０】
また、図１４に示すように各画像データのスタートコードが一致している場合には、バッファの出力タイミングを制御することによって各画像データの位相をずらし、このずれた状態で復号処理を行わせるとともに出力タイミングを先行する画像データを遅らせて各画像の位相が揃うように再度タイミング制御を行う。
【０１５１】
さらに、本実施例においては上記コーデック内での位相調整で済む場合には上記ＣＰＵ６０４に位相調整を行わせるが、このコーデック内での位相調整では間に合わない場合には上記編集コントローラ５１０にて記憶手段５０９からのデータの読み出し動作そのものをコントロールするようになっている。
【０１５２】
このように、本実施例においては復号処理を行う場合には各チャンネルの画像データの位相をずらしてＩフレームどうしが重ならないようにすることによって消費電力の変動を抑えることができる。
【０１５３】
また、モニタ等に表示を行う場合にはＩフレームどうしを揃えるようにすることによって合成された各画像データの画像品位を同等にすることができ、全体として画像品位の高い合成画像を得ることができる。
【０１５４】
なお、上述の実施例ではＭＰＥＧで圧縮された画像データを合成する際の例を説明したが、本発明はこれに限定されるものではなく、ＭＰＥＧデータとＪＰＥＧデータ等の各種方式の符号化データ或はＪＰＥＧデータ同士の画像合成にも適用できることは当然である。
【０１５５】
【発明の効果】
上述の説明から明らかなように、本発明によれば復号処理を行う場合には各チャンネルのイントラ符号化された画像データどうしの復号処理が時間的に重ならないようにしたので、復号処理時における消費電力の変動幅を抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施例のシステムを示す図である。
【図２】ＪＰＥＧのデータ構造を示す図である。
【図３】ＪＰＥＧのコーダを示す図である。
【図４】ＪＰＥＧのデコーダの構成を示す図である。
【図５】ＭＰＥＧの画像構造を示す図である。
【図６】ＭＰＥＧのデータ構造を示す図である。
【図７】ＭＰＥＧのコーダを示す図である。
【図８】ＭＰＥＧのデコーダを示す図である。
【図９】符号化の対象とする画像サイズを示す図である。
【図１０】通信フォーマットを示す図である。
【図１１】パソコンの構成を示す図である。
【図１２】図１２におけるパソコンのコーデックの構成を示す図である。
【図１３】本発明のタイミング制御状態を示すタイムチャートである。
【図１４】本発明の他のタイミング制御状態を示すタイムチャートである。
【産業上の利用分野】
本願発明は画像再生装置及びその方法にかかわり、特にイントラ符号化とインター符号化とを適応的に用いて符号化された複数チャンネルの画像データを復号化する装置に関するものである。
【０００２】
【従来の技術】
最近の高能率動画符号化方式としてＭＰＥＧ( Motion Picture Image Coding Expert Group) が知られている。
【０００３】
この方式に基づく符号化方式は、ＤＣＴ、適応量子化及び可変長符号化(VLC) を基本とし、フレーム（フィールド）相関が高い等の動画の特長に着目して動き補償付フレーム（又はフィールド）間予測符号化を適応的に組み合わせた符号化方式である。
【０００４】
すなわち、この符号化方式においては、図７に示すように動画を構成する各フレームをＩ(Intra) フレーム、Ｐ(Prediction)フレーム、Ｂ(Bidirectinal perdiction) フレームに分類し、各フレーム毎に異なる符号化を行うことによって全体として高能率に圧縮し得るようにしたものであり、Ｉフレームについては該フレーム内で上述のＤＣＴ等を用いた符号化を行う。
【０００５】
また、Ｐフレームについては、時間的に先行するＩフレームとの間でフレーム（又はフィールド）間動き補償付予測符号化を行い、Ｂフレームについては先行するＩフレーム又はＰフレーム及び後行するＩフレーム又はＰフレームとの間でフレーム（又はフィールド）間動き補償付予測符号化を行う。
【０００６】
【発明が解決しようとしている課題】
ところで、上述のようなＭＰＥＧで符号化された画像データは各フレーム毎に符号化の方法及びデータ量が異なるため、復号する際の複雑さや消費電力等が各フレーム毎に異なるとともに、復号した際の各画像の画像品位も各フレーム毎に異なる。
【０００７】
また、最近のマルチメディア化に伴ない、例えば同一画面内に複数種の画像データを同時に表示するために複数チャンネルの符号化画像データを同時に復号する必要が生ずる場合がある。
【０００８】
このため、例えば２チャンネルの画像データを同時に復号して同一の画面に表示しようとした場合には、各チャンネルのＩ，Ｐ，Ｂの組み合わせによって消費電力等が大幅に変動するとともに、単一画面上の画像品位も局部的に異なってしまうという問題が生ずる。
本願発明は斯かる背景下に於いて、一つの目的として複数チャンネルの画像データを効率良く、前記各画像間で画質差が生じないように再生することができる画像再生装置を提供することである。
【０００９】
【課題を解決するための手段】
本願は斯かる目的下にその一つの発明の画像再生装置は、イントラ符号化モードとインター符号化モードとを適応的に用いて符号化された複数チャンネルの画像データを並列に復号化する画像再生装置であって、前記符号化された複数チャンネルの画像データを入力する入力手段と、前記入力手段により入力された複数チャンネルの画像データに対してイントラ符号化モードで符号化されたフレームのスタートコードを検出する検出手段と、前記入力手段により入力された複数チャンネルの画像データを一時バッファに記憶した後、同時に復号化する復号化手段と、前記検出手段により検出された各チャンネルの前記イントラ符号化モードで符号化されたフレームのスタートコードの位相差に基づいて、前記各チャンネルのイントラ符号化された画像データの復号処理が時間的に重ならないように前記各チャンネルの画像データの前記バッファから読み出すタイミングを制御する制御手段とを有することを特徴とする。
【００１２】
【実施例】
以下、本発明に係る好適な実施例を各要素毎に図を用いて順次説明する。
【００１３】
（システム）
図１は本実施例のシステム全体を示すブロック図である。
【００１４】
図１において、１０１はＡＴＭ（非同期転送モード）にてＪＰＥＧやＭＰＥＧ等の各種方式にて符号化処理された画像データ等の各種符号化データを転送するＡＴＭネットワーク、１０３はＡＴＭ以外のモードにてデータを転送するイーサネット等を用いたローカルエリアネットワーク（ＬＡＮ）、１０５はＡＴＭネットワークに接続され、画像データの圧縮、伸長機能を有するファクシミリ装置、１０７は内部にぺージメモリを有し、受信した圧縮データから伸長した画像データに基づいた像形成を行うカラープリンタである。
【００１５】
１０９はカラーリーダ、カラープリンタを含むカラー複写機であって、カラーリーダで読み取った原稿の画像データを例えばＪＰＥＧ方式に基づいて圧縮する圧縮回路、圧縮された画像データが書き込まれるぺージメモリ、ぺージメモリに書き込まれた圧縮画像データを読み出してプリンタに供給するために伸長する伸長回路を含む。
【００１６】
１１１はＡＴＭネットワークを介して入力される画像データを一旦蓄えるファイルサーバー、１１３はこのファイルサーバーにデータを入出力するためのワークステーション、１１５はＡＴＭネットワークと接続されるＰＣ（パソコン）であり、このパソコン１１５は上述のローカルエリアネットワークとの間でＭＰＥＧデータやＪＰＥＧデータの授受を行ない、データの符号化・復号化を行うとともに本発明における各種画像データの編集等の各種処理を行う。
【００１７】
また、このパソコン１１５は上記プリンタ１０７等と上記ネットワーク回線１０３又は専用線を介して接続されている。
【００１８】
１１７は１１１と同様のサーバーであって、前記サーバ１１１と同様の構成である。
【００１９】
かかるサーバー１１７には前述のカラー複写機１０９と同様のカラー複写機１１９と接続されている。
【００２０】
１２１はＡＴＭネットワークに接続されているデジタルテレビであり、このデジタルテレビはＡＴＭネットワークを介して入力されるＭＰＥＧ或はＪＰＥＧ方式の符号化データを受信し、これを復号して可視像としてＣＲＴディスプレイ装置に表示する。
【００２１】
なお、かかるモニターはＦＬＣとよばれる強誘電体液晶を用いたディスプレイ装置であってもよい。
【００２２】
１２３はＡＴＭネットワークを介して入力されたＭＰＥＧあるいはＪＰＥＧ圧縮画像データを受信するＶＴＲである。
【００２３】
かかるＶＴＲ１２３はＡＴＭネットワーク回線から入力されたＭＰＥＧあるいはＪＰＥＧ圧縮画像データを圧縮された符号化データのまま記録するか又は所定の信号処理を行ってテープに記録する。
【００２４】
また、このＶＴＲ１２３は外部から受信した非圧縮データをＭＰＥＧあるいはＪＰＥＧ方式に基づいて圧縮してテープに記録するための画像データ圧縮器を有している。
【００２５】
１２７はＡＴＭネットワークにＭＰＥＧあるいはＪＰＥＧ圧縮画像データ方式にて圧縮されたデータを送出するＣＡＴＶ局である。
【００２６】
このＣＡＴＶ局１２７は図示したようにＡＴＭネットワーク回線を介して放送用のデータを出力する。
【００２７】
１２９はＡＴＭネットワークに他のＡＴＭネットワークを接続するためのルータである。
【００２８】
１３１は他のローカルエリアネットワークと接続するためのルータである。
【００２９】
また、ファクシミリ装置１０５とプリンター１０７とカラー複写機１１１とＡＴＭネットワークとの間には不図示のＡＴＭネットワークスイッチが設けられている。
【００３０】
（ＪＰＥＧデータ）
次に、上記ネットワークにて伝送される各種データの内のＪＰＥＧデータについて説明する。
【００３１】
このＪＰＥＧデータは、データの周波数特性や人間の視覚特性を利用してカラー静止画の圧縮を行うことを目的とした国際標準方式であるＣＣＩＴＴ／ＩＳＯのＪＰＥＧ方式に基づいて符号化されたデータであり、このデータは符号化データ及び各種マーカコードを図２に示すようなイメージ／フレーム／スキャンの階層構造として構成している。
【００３２】
即ち、このＪＰＥＧデータはＳＯＩ(Start Of Image)コード、フレーム、ＥＯＩ(End Of Image)コードから構成され、上記フレームは階層符号化されたデータの場合には各階層毎に複数のフレームから成り、階層符号化されていない場合には単一のフレームにて構成される。
【００３３】
上記フレームはＳＯＦ(Start Of Frame)コード、フレームヘッダ及びスキャンから構成され、上記スキャンはＳＯＳ(Start Of Scan) コード、スキャンヘッダ及び符号化データにて構成されている。
【００３４】
なお、上記スキャンは、輝度データ（Ｙ）と２つの色差データ(Cr、Cb) とを分けて符号化する場合（ノンインタリーブさせる場合）には複数のスキャンから構成され、各データを分けずに符号化する場合（インタリーブさせる場合）には単一のスキャンにて構成される。
【００３５】
次に、上述のようなＪＰＥＧ方式における基本的なベースライン・システムにおける符号化・復号化のアルゴリズムについて図３及び図４を用いて説明する。
【００３６】
まず、入力画像データはブロック化回路２０１にて８画素×８画素のブロックに分割し、これをＤＣＴ回路２０２にて２次元ＤＣＴ（離散コサイン変換）することによって１種の直流成分(DC)と63種の交流成分(AC)から成る水平／垂直の空間周波数成分（ＤＣＴ係数）に変換する。
【００３７】
これによって得られた各周波数成分は、量子化器２０３にて各々所定の係数（量子化係数）にて除されて量子化され、その後直流成分と交流成分とで異なるアルゴリズムによって各々符号化処理される。
【００３８】
なお、上記量子化係数は、一般に周波数成分毎に異なる係数が用いられており、視覚上重要な低域成分に対する量子化係数は高域成分に対する量子化係数に比して小さく設定されている。
【００３９】
これによって、比較的重要でない高域成分についてはカットされることになり、全体としてデータ量の削減が図られる。
【００４０】
上記直流成分については隣接ブロックとの相関が高いことを利用して、差分回路２０４にて先行するブロックにおける直流成分との差分が求められ、得られた差分値をハフマン符号化器２０５にて１次元ハフマン符号化して直流成分の符号化データとされる。
【００４１】
一方、交流成分については、上述の６３種の交流成分をスキャン回路２０６にて視覚的に重要な低域側の周波数成分から順次ジグザグスキャンして１次元の配列に変換し、判定器２０７にて各成分の値が「０値」であるか０値以外の値（有効係数）であるか判定される。
【００４２】
「０値」については、カウンタ２０８にて０ランがカウントされ、有効係数についてはグループ化回路２０９にてその値によってグループ化され、これらによって得られたランレングスとグループ値との組み合わせによりハフマン符号化器２１０にて２次元ハフマン符号化が行われて交流成分の符号化データとされる。
【００４３】
ここで、上述のハフマン符号は、生起確率の高いもの（直流成分については上記差分値、交流成分についてはランレングスと有効係数との組み合わせ）により短い符号長を割り当てることによって全体としてのデータ量を削減する。
【００４４】
また、生起確率が低いものについては所定のコード（ＺＲＬコード）と組み合わせることによって有限のコード数にて総てのパターンを表すことができる。
【００４５】
ＪＰＥＧでは以上の処理を各ブロック単位で行って１枚のカラー静止画の符号化を終了する。
【００４６】
その後、上記各符号化データには、付加回路２１１にて前述のマーカコード等が付加されて図３に示したＪＰＥＧデータとされる。
【００４７】
なお、上述の量子化係数やハフマンコードは任意に設定することができるため、符号化に用いられた量子化係数やハフマンコードを表すデータが上記ＳＯＩコードの後に付加される。
【００４８】
次に、復号化のアルゴルについて説明する。
【００４９】
復号化のアルゴルは基本的に符号化アルゴリズムの逆であり、入力された符号化データはこのデータと共に送られたハフマンテーブルを用いて復号器２１２にて復号され、直流成分については加算器２１３にて先行ブロックの直流成分と加算されて元の直流成分とされ、交流成分については復号化された各周波数成分を並変え回路２１４にて元の２次元配列に変換する。
【００５０】
その後、それらの周波数成分を逆量子化器２１５にて逆量子化した後、逆ＤＣＴ回路２１６にて逆ＤＣＴを行ってもとの画像データ（復号データ）に変換される。
【００５１】
ＪＰＥＧでは以上の処理を各ブロック単位で行って１枚のカラー静止画の復号化を終了する。
【００５２】
なお、以上のアルゴルはＪＰＥＧ方式の基本的なものであるが、これに更に各種の階層符号化を取り入れたエクステンド・システムがＪＰＥＧ方式として認められており、この階層符号化を行った場合には上記ＳＯＦコードによってその種類を表すようになっている。
【００５３】
（ＭＰＥＧデータ）
次に、上記ネットワークにて伝送される各種データの内のＭＰＥＧデータについて説明する。
【００５４】
このＭＰＥＧデータは、動画像の高能率符号化を行うことを目的とした国際標準であり、基本的には先のＪＰＥＧ方式と同様にデータの周波数特性や人間の視覚特性を利用するが、更に動画像特有の時間軸方向の冗長度を利用して一層の高能率符号化を行う方式である。
【００５５】
このＭＰＥＧ方式は、デジタルストレージメディア用に転送レートを最大１．５ＭｂｐｓとしたＭＰＥＧ１と、伝送レートの上限をなくし双方向デジタルマルチメディア機器、デジタルＶＴＲ、ＡＴＶ、光ファイバネットワーク等の全ての伝送系で用いられることを企図したＭＰＥＧ２があるが、基本的なアルゴリズムはほぼ同様であるのでＭＰＥＧ１をベースとしてそのデータ構造及び符号化・復号化のアルゴルを説明する。
【００５６】
なお、ＭＰＥＧ２では、使用可能な符号化方法を複数のプロフィール（シンプル・プロフィール、メイン・プロフィール、スケーラブル、空間スケーラブル、ハイ）によって規定しているが、代表的なメイン・プロフィールは基本的に１とほぼ同様である。
【００５７】
まず、このＭＰＥＧによる高能率符号化方式の原理について説明する。
【００５８】
この高能率符号化方式においては、フレーム間の差分を取ることで時間軸方向の冗長度を落とし、これによって得られた差分データをＤＣＴ及び可変長符号化処理して空間方向の冗長度を落とすことによって全体として高能率符号化を実現する。
【００５９】
上記時間軸方向の冗長度については、動画の場合には連続したフレームの相関が高いことに着目し、符号化しようとするフレームと時間的に先行又は後行するフレームとの差分を取ることによって冗長度を落とすことが可能となる。
【００６０】
そこで、ＭＰＥＧでは、図５に示すように専らフレーム内で符号化する符合化モードで得られるイントラ符号化画像の他に、時間的に先行するフレームとの差分値を符号化する前方予測符号化画像（Ｐ−ピクチャ）と、時間的に先行するフレーム又は後行するフレームとの差分値或はそれら両フレームからの補間フレームとの差分値の内最もデータ量が少ないものを符号化する両方向予測符号化画像（Ｂ−ピクチャ）とを有し、これらの符合化モードによる各フレームを所定の順序で組み合わせている。
【００６１】
ＭＰＥＧにおいては、上述のＩ−ピクチャ、Ｐ−ピクチャ、Ｂ−ピクチャを夫々１枚、４枚、１０枚で１単位（ＧＯＰ）とし、先頭にＩ−ピクチャを配し、２枚のＢ−ピクチャとＰ−ピクチャとを繰り返し配する組み合わせを推奨しており、一定周期でＩ−ピクチャを置くことによって逆再生等の特殊再生やこのＧＯＰを単位とした部分再生を可能とするとともにエラー伝播の防止を図っている。
【００６２】
なお、フレーム中で新たな物体が現れた場合には、時間的に先行するフレームとの差分を取るよりも後行するフレームとの差分を取った方がその差分値が少なくなる場合がある。
【００６３】
そこで、ＭＰＥＧでは上述のような両方向予測符号化を行い、より高能率な圧縮を行っている。
【００６４】
また、ＭＰＥＧでは動き補償を行う。
【００６５】
即ち、先の８画素×８画素のブロックを輝度データについて４ブロック、色差データについて２ブロック集めた所定ブロック（マクロブロック）単位で、先行又は後行フレームの対応ブロック近傍のマクロブロックとの差分をとり、一番差が少ないマクロブロックを探索することによって動きベクトルを検出し、この動きベクトルをデータとして符号化する。
【００６６】
復号の際には、この動きベクトルを用いて先行又は後行フレームの対応マクロブロックデータを抽出し、これによって動き補償を用いて符号化された符号化データの復号を行なう。
【００６７】
上述のような動き補償に際しては、時間的に先行するフレームを一旦符号化した後、再度復号したフレームを得て先行フレームとされ、このフレームにおけるマクロブロックと符号化しようとするフレームのマクロブロックとを用いて動き補償が行なわれる。
【００６８】
なお、ＭＰＥＧ１はフレーム間の動き補償を行なうが、ＭＰＥＧ２においてはイールド間の動き補償が行なわれる。
【００６９】
上述のような動き補償によって得られた差分データ及び動きベクトルは先に説明したようなＤＣＴ変換及びハフマン符号化によって更に高能率符号化される。
【００７０】
次に、このＭＰＥＧ方式のデータ構造について説明する。
【００７１】
このデータ構造は、図６に示すようにビデオシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、ブロック層から成る階層構造で構成されている。
【００７２】
以下、各層について図中下の層から順に説明する。
【００７３】
先ず、ブロック層は先のＪＰＥＧと同様に輝度データ及び色差データ毎に８画素×８画素で各々構成され、この単位毎にＤＣＴが行われる。
【００７４】
上記マクロブロック層は、上述した８画素×８画素のブロックを輝度データについては４ブロック、色差データについては各１ブロックまとめ、マクロブロックヘッダを付したものであり、ＭＰＥＧ方式ではこのマクロブロックを後述する動き補償及び符号化の単位とする。
【００７５】
また、上記マクロブロックヘッダは、各マクロブロック単位の動き補償及び量子化ステップの各データ、及び各マクロブロック内の６つＤＣＴブロック(Y0,Y1,Y2,Y3,Cr,Cb) がデータを有するか否かのデータを含む。
【００７６】
上記スライス層は、画像の走査順に連なる１以上のマクロブロック及びスライスヘッダで構成され、同一スライス層内の一連のマクロブロックにおける量子化ステップを一定とすることができる。
【００７７】
なお、上記スライスヘッダは各スライス層内の量子化ステップに関するデータを有し、各マクロブロックに固有の量子化ステップデータがない場合にはそのスライス層内の量子化ステップを一定とする。
【００７８】
また、先頭のマクロブロックは直流成分の差分値をリセットする。
【００７９】
上記ピクチャ層は、上述のスライス層を１フレーム単位で複数集めたものであり、ピクチャースタートコード等からなるヘッダと、これに続く１つまたは複数のスライス層とから構成される。
【００８０】
また、上記ヘッダには画像の符号化モードを示すコードや動き検出の精度（画素単位か半画素単位か）を示すコードを含む。
【００８１】
上記ＧＯＰ層は、グループスタートコードやシーケンスの最初からの時間を示すタイムコード等のヘッダと、これに続く複数のＩフレーム、Ｂフレーム又はＰフレームから構成される。
【００８２】
上記ビデオシーケンス層は、シーケンススタートコードから始まってシーケンスエンドコードで終了し、その間に画像サイズやアスペクト比等の復号に必要な制御データ及び画像サイズ等が同じ複数のＧＯＰが配列される。
【００８３】
このようなデータ構造を持つＭＰＥＧ方式は、その規格にてビットストリームが規定されている。
【００８４】
次に、上述のようなＭＰＥＧデータを扱う基本的な符号化装置及び復号化装置について図７及び図８を用いて説明する。
【００８５】
この符号化装置は、図７に示すようにブロック化回路３０１、ＤＣＴ回路３０２、量子化器３０３、可変長符号化器（ＶＬＣ）３０４、動き補償回路３０５、動きベクトル検出器３０６、レート制御回路３０７、局部復号器３０８、出力バッファ３０９等から概略構成されている。
【００８６】
また、この符号化装置において符号化の対象とする画像サイズは図９に示すように１９２０画素×１０８０画素のＨｉｇｈ（ＭＰＥＧ２におけるハイレベルに対応する）、１４４０画素×１０８０画素のＨｉｇｈ１４４０（ＭＰＥＧ２におけるハイ１４４０レベルに対応する）、４：２：２又は４：２：０のＣＣＩＲ．６０１対応画像（ＭＰＥＧ２におけるメインレベルに対応する）、ＳＩＦ、ＣＩＦ、ＱＣＩＦフォーマットに対応したものがあり、ＭＰＥＧ１及びＭＰＥＧ２のローレベルでは上記ＳＩＦフォーマットの画像サイズを対象としている。
【００８７】
この符号化装置において、符号化すべき画像データはブロック化回路３０１にて上述の８画素×８画素のブロックとされ、スイッチ３１０を介してＤＣＴ回路３０２に伝送される。
【００８８】
上記スイッチ３１０は、入力画像データがイントラフレーム（Ｉフレーム）かそれ以外のフレーム（Ｐフレーム又はＢフレーム）であるかで切り換えられるものであり、イントラフレームの場合にはａ接点に接続され、それ以外の場合にはｂ接点に接続される。
【００８９】
イントラフレームの場合にはＤＣＴ回路３０２にてＤＣＴされ、これによって得られたＤＣＴ係数はは量子化器３０３にて量子化され、更に可変長符号化器３０４にて符号化された後、一旦バッファ３０９に記憶される。
【００９０】
一方、イントラフレーム以外の場合には上記スイッチ３１０は接点ｂに接続されて先に説明した動き補償が行われる。
【００９１】
即ち、３１１、３１２は局部復号器３０８を構成する逆量子化器、逆ＤＣＴ回路であり、上記量子化器３０３にて量子化されたデータはこの局部復号器３０８にて元に戻される。
【００９２】
また、３１３は加算器、３１４はイントラフレーム以外の場合のみ閉成されるスイッチ、３１６は減算器であり、上述のように局部復号された画像データは、動きベクトル検出回路３０６にて検出された動きベクトルを参照して所定のフレーム（先行フレーム、後行フレーム又はこれらの補間フレーム）における対応マクロブロックを出力する。
【００９３】
この動き補償回路３０５の出力は上記減算器３１６にて入力画像データと減算処理されて差分値が得られ、この差分値は上述のＤＣＴ回路３０２、量子化回路３０３及び可変長符号化器（ハフマン符号化器）３０４にて符号化されて上記バッファ３０９に記憶される。
【００９４】
なお、上記ハフマン符号化器は基本的には先に説明したＪＰＥＧにおける符号化器と同様であるが、生起確率が低いものについては所定のコード（エスケープコード）を一位的に割り当てる点で異なる。
【００９５】
なお、上記動きベクトル検出器３０６は、これから符号化するフレームデータと、所定の参照フレームデータとの比較を行って動きベクトルを得るものであり、この検出器３０６の検出力は上記動き補償回路３０５に供給されて動き補償回路３０５が出力すべきマクロブロックを指定する。
【００９６】
また、上記レート制御回路３０７は上記バッファにおける符号化データの占有量に基づいて上記量子化器３０３における量子化ステップを切り換えることによって符号量制御を行う。
【００９７】
最後に付加回路３１５にて先に示したような各種ヘッダを符号化データに付加してＭＰＥＧ方式に対応したＭＰＥＧデータとして送出する。
【００９８】
一方、復号装置は、基本的には上述の符号化の逆の動作を行うものであり、図８に示すように入力バッファ４０１、可変長復号器（ＶＬＤ）４０２、逆量子化器（ＩＱ）４０３、逆ＤＣＴ回路（ＩＤＣＴ）４０４、動き補償回路４０５、出力バッファ４０６等から構成されている。
【００９９】
即ち、上記入力バッファ４０１から順次読み出される符号化データは上記可変長復号器４０２、逆量子化器４０３、逆ＤＣＴ回路４０４にて処理されて空間領域のデータに変換される。
【０１００】
また、４０７は上記逆ＤＣＴ回路４０４の出力に動き補償回路４０５からの差分値を加算するための加算器であり、４０８は上記逆ＤＣＴ回路４０４の出力または加算器４０７０の出力を選択するためのスイッチである。
【０１０１】
このスイッチ４０８は、図示しないデータ検出回路に検出された符号化識別符号に基づいてイントラフレームの場合には接点ａに接続され、イントラフレーム以外の場合には接点ｂに接続される。
【０１０２】
このように復号された復号データは上記出力バッファ４０６にて一旦記憶され、更に元の空間配置に復元されて１フレームの画像データとして出力される。
【０１０３】
（ＡＴＭフォーマット）
次に、ＡＴＭ通信フォーマットについて説明する。
【０１０４】
このＡＴＭ通信においては、図１０に示すように一連のビットストリームを複数の固定長パケットに分割し、各パケットを複数（例えば４つ）のＡＴＭセルにて構成する。
【０１０５】
また、各ＡＴＭセルはパケットヘッダとデータ用のペイロードとから構成され、一般的に上記ヘッダは５バイト、データが４８バイトとされている。
【０１０６】
このＡＴＭ通信は、ネットワークのビットレートとは独立（非同期）でデータ伝送を行うことができ、単位時間当りの伝送セル数によって伝送レートを任意に設定することができるため、種々のデータを混在して伝送する伝送系に適している。
【０１０７】
（パソコン）
次に、本実施例における画像再生装置である図１に示したパソコンの構成について説明する。
【０１０８】
図１１は本実施例のパソコンの構成を示すものであり、この実施例においては先に説明したＭＰＥＧに基づいて圧縮された画像データを複数チャンネル（２チャンネル）同時入力し、これらを合成してモニタやプリンタ等の出力機器に供給する装置である。
【０１０９】
本実施例における第１チャンネルの第１の画像データはＭＰＥＧにて符号化された画像データを上述のような複数のＡＴＭセルから成る固定長パケット化して伝送するようなＡＴＭネットワークを介して音声データ等と共に伝送されるものであり、この第１の画像データはネットワークインターフェース５０１に受信される。
【０１１０】
また、第２チャンネルの第２の画像データは、後述するＣＤ−ＲＯＭ等を用いたデータ記憶装置５０９から後述する所定のタイミングで再生される。
【０１１１】
一方、このパソコンは上述のような各種方式に対応したデータを扱うとともに、種々の機能を有するために伝送されるデータのデータ量及び処理に要する転送速度に応じて最適なデータバスを選択的に用いるマルチバスシステムを備えており、本実施例においては１６ｂｉｔデータバスD1、３２ｂｉｔデータバスD2、６４ｂｉｔデータバスD3、拡張バスとして１２８ｂｉｔデータバスD4及びシステムバスSBを備えている。
【０１１２】
さらに、このパソコンは機能拡張を可能とするために後述する拡張ボードインタフェースを備えており、このインターフェースに接続される各種拡張ボードによって機能の拡張を図り得るようになっている。
【０１１３】
以下、詳細に説明する。
【０１１４】
５０１はネットワークインターフェースであり、このネットワークインターフェース５０１及びこのインターフェース内のＡＴＭコントローラ５０２を介して上記各伝送チャンネルとの各種データの授受を行う。
【０１１５】
また、上記ＡＴＭコントローラ５０２は、ＡＴＭスイッチとしての機能のみならず上述のＡＴＭ−ＬＡＮにおけるふくそう制御等の各種通信制御を行う。
【０１１６】
図中、５０３は全体の制御を行うＣＰＵであり、このＣＰＵ５０３はサブＣＰＵとして上記マルチバスシステムを構成するバスコントローラ５０４及びビット変換器５０５を備えている。
【０１１７】
このマルチバスシステムは、処理するデータ容量や処理速度に応じて上述のいずれかのデータバスを適宜使い分けることによって必要とされる処理速度を可能とする。
【０１１８】
５０６はＲＯＭ、５０７はメモリコントローラであり、このメモリコントローラ５０７によってハードディスク装置５０８ＡやＣＤ−ＲＯＭ５０８Ｂ等を有する上記外部記憶装置５０９とデータの授受を行う。
【０１１９】
５１０は編集コントローラであり、このコントローラ５１０によって後述する画像編集時等における複数チャンネルデータ間の位相管理や輝度成分や色成分の調整等を行う。
【０１２０】
５１１はディスプレイコントローラであり、このディスプレイコントローラ５１１から送出される画像データはメモリ５１２を介してＣＲＴディスプレイ５１３やＦＬＣディスプレイ５１４に表示される。
【０１２１】
また、このディスプレイコントローラ５１２は表示デバイスの種類に応じて適宜処理を行う。
【０１２２】
５１５はプリンタコントローラであり、このプリンタコントローラ５１５はプリントする画像データに応じて熱転写プリンタ５１６やＢＪ方式と熱転写方式等の異なるプリンタ部を有するハイブリッドプリンタ５１７を使い分ける。
【０１２３】
なお、上記メモリ５１２をディスプレイ用とプリンタ用とで共用するようにしてもよい。
【０１２４】
５１８はデータの符号化／復号化を行うコーデックであり、本実施例では先に説明したようなＪＰＥＧ方式及びＭＰＥＧ方式に対応したコーデックを備えている。
【０１２５】
５１９は上記拡張ボードインタフェースであり、このインターフェース５１９を介して各種の拡張ボード５２０、５２１、５２２を接続することによってパソコンの機能拡張を図るようになっている。
【０１２６】
５２３はマウス／キーボードコントローラであり、このコントローラ５２３を介してキーボード５２４及びマウス５２５が接続される。
【０１２７】
５２６は音声処理部、５２７は音声スピーカである。
【０１２８】
一方、このパソコンはシステムポート５２８を介して手書き入力機器５２９、音声マイク５３０、ビデオカメラ２３１及びスキャナ５３２が接続される。
【０１２９】
このような構成のパソコンは、上述のようなマルチデータバスD1、D2、D3、D4 、バスコントローラ５０４及びビット変換器５０５からなるマルチバスシステムを備えているため、データ量や処理に要する転送・処理速度等に応じて最適なデータバスを選択的に使用する。
【０１３０】
また、上記拡張ボードインターフェース５１９に接続される拡張ボードによって機能の拡張を行うことができ、例えばコーデックの拡張ボードとして上述の各プロフィールに対応した符号化・復号化を行なうボードを接続することによってそれらの処理を発展的に可能にすることができる。
【０１３１】
（コーデック）
次に、図１１のパソコンにおけるコーデックの構成について説明する。
【０１３２】
このコーデックは図１２に示すように、データバス６００、システムバス６０１に各々接続された各種機能ブロックから構成されており、パソコン本体のシステムバスSB及び各データバスとマイコンインタフェース６０２及びデータインターフェース６０３を介してＣＰＵ５０３及び編集コントローラ５１０等とデータ及びコマンドの授受を行うようになっている。
【０１３３】
図中６０４はコーデック全体の動作制御を行うためのＣＰＵであり、このＣＰＵ６０４はＲＡＭ６０５に予め記憶された編集等の各種プログラムに基づいて符号化及び復号化処理を行なわせる。
【０１３４】
また、６０６はコード検出器であり、入力符号化データにおけるスタートコード（タイムコード）やＩ、Ｐ、Ｂ等のピクチャタイプ、及び各種ヘッダ等の制御コード及び符号化データを検出する。
【０１３５】
このコード検出器６０６にて検出された各コードは上記データバス或はシステムバスを介して上記ＣＰＵ６０４に伝送されて動作制御させるとともにパラメータメモリ６０７にてメモリされて適宜所定のブロックに伝送される。
【０１３６】
また、図中６０８は動き予測ユニット、６０９はレート制御ユニット、６１０は符号化バッファユニット、６１１は復号化バッファユニットである。
【０１３７】
上記符号化バッファユニット６１０を介して伝送される入力画像データ又は上記動き補償ユニット６０８から伝送される動きベクトルデータ及び差分値（被符号化データ）は、複数のＤＣＴ回路と逆ＤＣＴ回路（ＩＤＣＴ）とからなる変換ユニット６１２、複数の量子化回路（Ｑ）と逆量子化回路（ＩＱ）とからなる量子化ユニット６１３及び複数の可変長符号化回路（ＶＬＣ）と可変長復号化回路（ＶＬＤ）とからなる可変長符号化ユニット６１４にて順次処理されて符号化時出力バッファとして機能する上記復号化バッファ６１１にメモリされ、上記ＣＰＵ６０４にて指示される所定のタイミングで上記データバス及びインタフェース６０３を介して出力される。
【０１３８】
なお、上記量子化ユニット６１３及び可変長符号化ユニット６１４には量子化テーブル６１３Ａ及びハフマンテーブル６１４Ａを備えており、これらユニットにおける処理を行う上で必要な量子化ステップやハフマンコード等の各種パラメータが上記パラメータメモリ６０７より適宜これらメモリに転送されるようになっている。
【０１３９】
一方、上記復号化バッファ６１１を介して伝送される符号化データ（被復号化データ）は変換ユニット６１４、量子化ユニット６１３及び可変長符号化ユニット６１２にて順次処理されて復号化時出力バッファとして機能する上記符号化バッファ６１０にメモリされ、上記ＣＰＵ６０４にて指示される所定のタイミングで上記データバス及びインタフェース６０３を介して出力される。
【０１４０】
なお、上記上記符号化バッファ６１０は複数画像の編集時に合成用のメモリとしても用いられる。
【０１４１】
また、上記動き補償ユニット６０８は、符号化時及び復号化時におけるＰフレーム及びＢフレームの動き補償をレファレンスバッファ６１５を用いて行うようになっており、本実施例においてこの動き補償ユニット６０８はＪＰＥＧ符号化におけるＤＣ成分の差分値を得るための動作に共用される。
【０１４２】
さらに、６１６はバスアービタであり、パイプライン処理等における上記データバスの調停を行う。
【０１４３】
このようなコーデックは、パソコン本体のＣＰＵ５０３からの指示を受けて上記ＣＰＵ６０４にて所定の各ユニットを動作させて符号化又は復号化を行う。
【０１４４】
また、このコーデックにおいては、同時に複数系統の符号化、復号化を行う場合や、符号化と復号化とを同時に並行処理する場合、或はパソコン本体における通信、ディスプレイ、プリントアウト等の各種処理と符号化・復号化処理を平行して行う場合等、各種の処理態様に応じて最適なシーケンスにて上記各ユニットへのデータ転送制御及び動作制御を行い、このシーケンスに対応した動作プログラムは上記ＲＡＭ６０５に予め記憶されている。
【０１４５】
なお、このＲＡＭ６０５に記憶されたプログラムは適宜更新することができるようになっている。
【０１４６】
（編集動作）
次に、このようなコーデックシステムにおける編集動作を説明する。
【０１４７】
即ち、上記画像蓄積手段５０９の読み出し動作は上記編集コントローラ５１０にてコントロールされ、コーデック内の上記符号化バッファユニット６１０及び復号化バッファユニット６１１は上記ＣＰＵ６０４にて各々制御され、これらはキーボード５２４による操作及び上記コード検出器６０６から供給される第１の画像データの位相情報に応じて上記各回路のタイミング制御を行う。
【０１４８】
すなわち、上記ＣＰＵ６０４は、上記コード検出器６０６にて復号された第１の画像データのＩフレームのスタートコード及び上記第２の画像データのＩフレームのスタートコードを受けて、これらの位相差（時間差）に基づいて上記バッファユニットにおける出力タイミングを制御する。
【０１４９】
すなわち、各画像データのスタートコードがずれている場合、すなわち図１３に示すように第１の画像データがＩフレームの際に第２の画像データがＰ又はＢフレームであった場合には、このずれた状態で上記各デコーダにおける復号処理を行わせるとともに上記バッファユニット６１０における出力タイミングを各画像の位相が揃うように先行する画像データ（この場合には第１の画像データ）のタイミング制御を行う。
【０１５０】
また、図１４に示すように各画像データのスタートコードが一致している場合には、バッファの出力タイミングを制御することによって各画像データの位相をずらし、このずれた状態で復号処理を行わせるとともに出力タイミングを先行する画像データを遅らせて各画像の位相が揃うように再度タイミング制御を行う。
【０１５１】
さらに、本実施例においては上記コーデック内での位相調整で済む場合には上記ＣＰＵ６０４に位相調整を行わせるが、このコーデック内での位相調整では間に合わない場合には上記編集コントローラ５１０にて記憶手段５０９からのデータの読み出し動作そのものをコントロールするようになっている。
【０１５２】
このように、本実施例においては復号処理を行う場合には各チャンネルの画像データの位相をずらしてＩフレームどうしが重ならないようにすることによって消費電力の変動を抑えることができる。
【０１５３】
また、モニタ等に表示を行う場合にはＩフレームどうしを揃えるようにすることによって合成された各画像データの画像品位を同等にすることができ、全体として画像品位の高い合成画像を得ることができる。
【０１５４】
なお、上述の実施例ではＭＰＥＧで圧縮された画像データを合成する際の例を説明したが、本発明はこれに限定されるものではなく、ＭＰＥＧデータとＪＰＥＧデータ等の各種方式の符号化データ或はＪＰＥＧデータ同士の画像合成にも適用できることは当然である。
【０１５５】
【発明の効果】
上述の説明から明らかなように、本発明によれば復号処理を行う場合には各チャンネルのイントラ符号化された画像データどうしの復号処理が時間的に重ならないようにしたので、復号処理時における消費電力の変動幅を抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施例のシステムを示す図である。
【図２】ＪＰＥＧのデータ構造を示す図である。
【図３】ＪＰＥＧのコーダを示す図である。
【図４】ＪＰＥＧのデコーダの構成を示す図である。
【図５】ＭＰＥＧの画像構造を示す図である。
【図６】ＭＰＥＧのデータ構造を示す図である。
【図７】ＭＰＥＧのコーダを示す図である。
【図８】ＭＰＥＧのデコーダを示す図である。
【図９】符号化の対象とする画像サイズを示す図である。
【図１０】通信フォーマットを示す図である。
【図１１】パソコンの構成を示す図である。
【図１２】図１２におけるパソコンのコーデックの構成を示す図である。
【図１３】本発明のタイミング制御状態を示すタイムチャートである。
【図１４】本発明の他のタイミング制御状態を示すタイムチャートである。
Claims (1)
- イントラ符号化モードとインター符号化モードとを適応的に用いて符号化された複数チャンネルの画像データを並列に復号化する画像再生装置であって、
前記符号化された複数チャンネルの画像データを入力する入力手段と、
前記入力手段により入力された複数チャンネルの画像データに対してイントラ符号化モードで符号化されたフレームのスタートコードを検出する検出手段と、
前記入力手段により入力された複数チャンネルの画像データを一時バッファに記憶した後、同時に復号化する復号化手段と、
前記検出手段により検出された各チャンネルの前記イントラ符号化モードで符号化されたフレームのスタートコードの位相差に基づいて、前記各チャンネルのイントラ符号化された画像データの復号処理が時間的に重ならないように前記各チャンネルの画像データの前記バッファから読み出すタイミングを制御する制御手段とを有することを特徴とする画像再生装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29315794A JP3651941B2 (ja) | 1994-11-28 | 1994-11-28 | 画像再生装置 |
| US08/561,697 US5761343A (en) | 1994-11-28 | 1995-11-22 | Image reproduction apparatus and image reproduction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29315794A JP3651941B2 (ja) | 1994-11-28 | 1994-11-28 | 画像再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08154249A JPH08154249A (ja) | 1996-06-11 |
| JP3651941B2 true JP3651941B2 (ja) | 2005-05-25 |
Family
ID=17791163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29315794A Expired - Fee Related JP3651941B2 (ja) | 1994-11-28 | 1994-11-28 | 画像再生装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5761343A (ja) |
| JP (1) | JP3651941B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6229927B1 (en) * | 1994-09-21 | 2001-05-08 | Ricoh Company, Ltd. | Reversible embedded wavelet system implementation |
| US6549666B1 (en) * | 1994-09-21 | 2003-04-15 | Ricoh Company, Ltd | Reversible embedded wavelet system implementation |
| GB2309362B (en) * | 1996-01-20 | 2000-07-05 | Northern Telecom Ltd | Telecommunications system |
| US6141447A (en) * | 1996-11-21 | 2000-10-31 | C-Cube Microsystems, Inc. | Compressed video transcoder |
| US6160918A (en) * | 1997-10-02 | 2000-12-12 | At&T Corp. | Method and apparatus for fast image compression |
| KR20010071519A (ko) * | 1998-06-19 | 2001-07-28 | 벤자민 에프 커틀러 | 제1 해상도를 가지는 인코딩된 이미지를 제2 해상도를가지는 이미지로 직접 디코딩하는 방법 및 장치 |
| JP3613983B2 (ja) * | 1998-06-25 | 2005-01-26 | ソニー株式会社 | 画像生成装置及び方法、並びに電子スチルカメラ |
| JP3322233B2 (ja) * | 1999-03-19 | 2002-09-09 | 日本電気株式会社 | 動画像伸長方法及びそれを実行するプログラムを記録した記録媒体 |
| DE60031905T2 (de) * | 1999-04-02 | 2007-04-12 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtungen zur Übertragung und Empfang von bewegten Bildern sowie Aufzeichnungsmedium für bewegte Bilder |
| US6839322B1 (en) * | 2000-02-09 | 2005-01-04 | Nortel Networks Limited | Method and system for optical routing of variable-length packet data |
| JP4081758B2 (ja) * | 2003-05-08 | 2008-04-30 | ソニー株式会社 | 処理ビットモデルブロック、処理ビットモデル化方法、符号化装置、シンボルモデルブロック、シンボルモデル化方法、復号化装置、及び画像処理装置 |
| GB2406014B (en) * | 2003-09-10 | 2007-01-31 | Thales Uk Plc | Video system |
| KR101142584B1 (ko) * | 2003-11-18 | 2012-05-10 | 스칼라도 아베 | 디지털 이미지 처리 방법 및 이미지 표현 포맷 |
| JP2009044537A (ja) * | 2007-08-09 | 2009-02-26 | Osaka Univ | 映像ストリーム処理装置及びその制御方法、プログラム、記録媒体 |
| US8111704B2 (en) | 2009-06-26 | 2012-02-07 | Intel Corporation | Multiple compression techniques for packetized information |
| JP5047344B2 (ja) * | 2009-12-28 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| CN110620932B (zh) | 2018-06-19 | 2022-11-08 | 北京字节跳动网络技术有限公司 | 依赖模式的运动矢量差精度集 |
| CN110933420B (zh) | 2018-09-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 仿射模式中自适应运动矢量分辨率的快速算法 |
| EP3895429A4 (en) * | 2019-01-31 | 2022-08-10 | Beijing Bytedance Network Technology Co., Ltd. | CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4095226A (en) * | 1970-05-01 | 1978-06-13 | Harris Corporation | System for communication |
| JPS587109B2 (ja) * | 1974-09-09 | 1983-02-08 | ケイディディ株式会社 | フアクシミリシンゴウ ノ ジヨウホウヘンカガソアドレスフゴウカホウシキ |
| AU503988B2 (en) * | 1975-11-25 | 1979-09-27 | Rudolf Hell Gmbh | Digital programme length coding with redundancy reduction forthe transmission of binary coded image information |
| US4409623A (en) * | 1981-01-31 | 1983-10-11 | Nippon Telegraph & Telephone Public Corporation | Method and equipment for processing gray scale facsimile signal |
| JPH0824380B2 (ja) * | 1982-08-04 | 1996-03-06 | ヨ−ゼフ・デイル | カラーテレビジョン信号を符号化して伝送する方法 |
| US5321750A (en) * | 1989-02-07 | 1994-06-14 | Market Data Corporation | Restricted information distribution system apparatus and methods |
| US5576835A (en) * | 1992-02-24 | 1996-11-19 | Dirr; Josef | Method for run-length coding for shortening transmission time |
| US5483634A (en) * | 1992-05-19 | 1996-01-09 | Canon Kabushiki Kaisha | Display control apparatus and method utilizing first and second image planes |
| JP3307467B2 (ja) * | 1993-04-09 | 2002-07-24 | 三菱電機株式会社 | ラベリング方式およびラベリング回路 |
| JP3171993B2 (ja) * | 1993-05-24 | 2001-06-04 | キヤノン株式会社 | 画像処理方法及び装置 |
| JP2831933B2 (ja) * | 1993-09-02 | 1998-12-02 | 日本電信電話株式会社 | ビデオライブラリシステム |
| KR100366141B1 (ko) * | 1994-01-31 | 2003-03-03 | 소니 가부시끼 가이샤 | 화상대조방법및장치 |
| US5477527A (en) * | 1994-02-02 | 1995-12-19 | Sanyo Electric Co., Ltd. | High density optical disc and optical disc player |
| KR970010489B1 (ko) * | 1994-07-30 | 1997-06-26 | 대우전자 주식회사 | 디지탈 비디오데이터의 정지화면제어장치 |
-
1994
- 1994-11-28 JP JP29315794A patent/JP3651941B2/ja not_active Expired - Fee Related
-
1995
- 1995-11-22 US US08/561,697 patent/US5761343A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08154249A (ja) | 1996-06-11 |
| US5761343A (en) | 1998-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3651941B2 (ja) | 画像再生装置 | |
| JP3662171B2 (ja) | 符号化装置及び符号化方法 | |
| US5761438A (en) | Apparatus for measuring the amount of traffic of a network at a predetermined timing and compressing data in the packet without changing the size of the packet | |
| US6134663A (en) | Management system and terminal apparatus to manage and control distribution and use of software and the like | |
| JP3555729B2 (ja) | 可変長符号化データの処理方法及び装置 | |
| EP0928111A2 (en) | Video and audio digital recording and playback apparatus and method therefor | |
| JPH11234668A (ja) | 映像符号化装置 | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP3332580B2 (ja) | 画像再生装置及び画像再生方式 | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JPH1042295A (ja) | 映像信号符号化方法および映像信号符号化装置 | |
| US6205287B1 (en) | Image forming apparatus and system for changing a parameter value of a plurality of images by a predetermined amount | |
| JP3312417B2 (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| JP2003189308A (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
| JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
| JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP2002344973A (ja) | 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置 | |
| JP3141149B2 (ja) | 画像符号化装置 | |
| JP3489581B2 (ja) | 画像符号化装置及び符号化方法 | |
| JP3721972B2 (ja) | Ｍｐｅｇ画像データ記録方法 | |
| JPH08214314A (ja) | 画像伝送装置 | |
| JPH0984011A (ja) | 動画符号化方式変換装置 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| JPH06334995A (ja) | 動画像符号化又は復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050222 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080304 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090304 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110304 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120304 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130304 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |