JP3332580B2 - 画像再生装置及び画像再生方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像再生装置及び画像再
生方式に関し、特に複数チャンネルの圧縮画像データを
同期して復号する装置及び方式に関するものである。

【０００２】

【従来の技術】最近の高能率画像符号化方式としてＭＰ
ＥＧ( Motion Picture Image CodingExpert Group) や
ＪＰＥＧが知られている。

【０００３】これら方式に基づく符号化方式は、基本的
にはＤＣＴ、適応量子化及び可変長符号化(VLC) を基本
とするものであり、被符号化データは複数の周波数成分
毎に符号化されて伝送される。

【０００４】

【発明が解決しようとしている課題】ところで、最近の
マルチメディア化に伴ない例えば同一画面内に複数種の
画像データを同時に表示したりプリントアウトするため
に複数チャンネルの符号化画像データを同時に復号する
必要が生ずる場合がある。

【０００５】このような場合においては、上述のように
符号化された複数チャンネルの画像データを１枚の画像
として合成する際に、各チャンネル毎に輝度や、特に色
相が大幅に異なる場合があり、合成画像が不自然になる
という問題点があった。

【０００６】

【課題を解決するための手段】本発明は上述のような実
情に鑑みてなされたものであり、複数チャンネルの符号
化データを同時に復号する場合に上述のような問題が発
生しないようにした画像再生装置、及び画像再生方式を
提供することを目的とする。

【０００７】本発明は、この目的を達成するために、符
号化されて各々独立した複数の画像データ間の成分差を
検出する検出手段と、上記各画像データを復号する復号
化手段と、上記画像データの色成分を規制する規制手段
と、上記検出手段の検出結果に基づいて上記規制手段を
制御する制御手段とを備えたことを特徴とする画像再生
装置を提供するものである。

【０００８】また、本発明はこの目的を達成するため
に、符号化されて各々独立した複数の画像データ間の成
分差を検出し、この検出結果に基づいて複数チャンネル
の画像データ間の色成分を制御することを特徴とする画
像再生方式を提供するものである。

【０００９】

【実施例】以下、本発明に係る好適な実施例を各要素毎
に図を用いて順次説明する。

【００１０】（システム）図１は本実施例のシステム全
体を示すブロック図である。

【００１１】図１において、１０１はＡＴＭ（非同期転
送モード）にてＪＰＥＧやＭＰＥＧ等の各種方式にて符
号化処理された画像データ等の各種符号化データを転送
するＡＴＭネットワーク、１０３はＡＴＭ以外のモード
にてデータを転送するイーサネット等を用いたローカル
エリアネットワーク（ＬＡＮ）、１０５はＡＴＭネット
ワークに接続され、画像データの圧縮、伸長機能を有す
るファクシミリ装置、１０７は内部にぺージメモリを有
し、受信した圧縮データから伸長した画像データに基づ
いた像形成を行うカラープリンタである。

【００１２】１０９はカラーリーダ、カラープリンタを
含むカラー複写機であって、カラーリーダで読み取った
原稿の画像データを例えばＪＰＥＧ方式に基づいて圧縮
する圧縮回路、圧縮された画像データが書き込まれるぺ
ージメモリ、ぺージメモリに書き込まれた圧縮画像デー
タを読み出してプリンタに供給するために伸長する伸長
回路を含む。

【００１３】１１１はＡＴＭネットワークを介して入力
される画像データを一旦蓄えるファイルサーバー、１１
３はこのファイルサーバーにデータを入出力するための
ワークステーション、１１５はＡＴＭネットワークと接
続されるＰＣ（パソコン）であり、このパソコン１１５
は上述のローカルエリアネットワークとの間でＭＰＥＧ
データやＪＰＥＧデータの授受を行ない、データの符号
化・復号化を行うとともに本発明における各種画像デー
タの編集等の各種処理を行う。

【００１４】また、このパソコン１１５は上記プリンタ
１０７等と上記ネットワーク回線１０３又は専用線を介
して接続されている。

【００１５】１１７は１１１と同様のサーバーであっ
て、前記サーバ１１１と同様の構成である。

【００１６】かかるサーバー１１７には前述のカラー複
写機１０９と同様のカラー複写機１１９と接続されてい
る。

【００１７】１２１はＡＴＭネットワークに接続されて
いるデジタルテレビであり、このデジタルテレビはＡＴ
Ｍネットワークを介して入力されるＭＰＥＧ或はＪＰＥ
Ｇ方式の符号化データを受信し、これを復号して可視像
としてＣＲＴディスプレイ装置に表示する。

【００１８】なお、かかるモニターはＦＬＣとよばれる
強誘電体液晶を用いたディスプレイ装置であってもよ
い。

【００１９】１２３はＡＴＭネットワークを介して入力
されたＭＰＥＧあるいはＪＰＥＧ圧縮画像データデータ
を受信するＶＴＲである。

【００２０】かかるＶＴＲ１２３はＡＴＭネットワーク
回線から入力されたＭＰＥＧあるいはＪＰＥＧ圧縮画像
データデータを圧縮された符号化データのまま記録する
か又は所定の信号処理を行ってテープに記録する。

【００２１】また、このＶＴＲ１２３は外部から受信し
た非圧縮データをＭＰＥＧあるいはＪＰＥＧ方式に基づ
いて圧縮してテープに記録するための画像データ圧縮器
を有している。

【００２２】１２７はＡＴＭネットワークにＭＰＥＧあ
るいはＪＰＥＧ圧縮画像データ方式にて圧縮されたデー
タを送出するＣＡＴＶ局である。

【００２３】このＣＡＴＶ局１２７は図示したようにＡ
ＴＭネットワーク回線を介して放送用のデータを出力す
る。

【００２４】１２９はＡＴＭネットワークに他のＡＴＭ
ネットワークを接続するためのルータである。

【００２５】１３１は他のローカルエリアネットワーク
と接続するためのルータである。

【００２６】また、ファクシミリ装置１０５とプリンタ
ー１０７とカラー複写機１１１とＡＴＭネットワークと
の間には不図示のＡＴＭネットワークスイッチが設けら
れている。

【００２７】（ＪＰＥＧデータ）次に、上記ネットワー
クにて伝送される各種データの内のＪＰＥＧデータにつ
いて説明する。

【００２８】このＪＰＥＧデータは、データの周波数特
性や人間の視覚特性を利用してカラー静止画の圧縮を行
うことを目的とした国際標準方式であるＣＣＩＴＴ／Ｉ
ＳＯのＪＰＥＧ方式に基づいて符号化されたデータであ
り、このデータは符号化データ及び各種マーカコードを
図２に示すようなイメージ／フレーム／スキャンの階層
構造として構成している。

【００２９】即ち、このＪＰＥＧデータはＳＯＩ(Start
Of Image)コード、フレーム、ＥＯＩ(End Of Image)コ
ードから構成され、上記フレームは階層符号化されたデ
ータの場合には各階層毎に複数のフレームから成り、階
層符号化されていない場合には単一のフレームにて構成
される。

【００３０】上記フレームはＳＯＦ(Start Of Frame)コ
ード、フレームヘッダ及びスキャンから構成され、上記
スキャンはＳＯＳ(Start Of Scan) コード、スキャンヘ
ッダ及び符号化データにて構成されている。

【００３１】なお、上記スキャンは、輝度データ（Ｙ）
と２つの色差データ(Cr、Cb) とを分けて符号化する場合
（ノンインタリーブさせる場合）には複数のスキャンか
ら構成され、各データを分けずに符号化する場合（イン
タリーブさせる場合）には単一のスキャンにて構成され
る。

【００３２】次に、上述のようなＪＰＥＧ方式における
基本的なベースライン・システムにおける符号化・復号
化のアルゴリズムについて図３及び図４を用いて説明す
る。

【００３３】まず、入力画像データはブロック化回路２
０１にて８画素×８画素のブロックに分割し、これをＤ
ＣＴ回路２０２にて２次元ＤＣＴ（離散コサイン変換）
することによって１種の直流成分(DC)と63種の交流成分
(AC)から成る水平／垂直の空間周波数成分（ＤＣＴ係
数）に変換する。

【００３４】これによって得られた各周波数成分は、量
子化器２０３にて各々所定の係数（量子化係数）にて除
されて量子化され、その後直流成分と交流成分とで異な
るアルゴリズムによって各々符号化処理される。

【００３５】なお、上記量子化係数は、一般に周波数成
分毎に異なる係数が用いられており、視覚上重要な低域
成分に対する量子化係数は高域成分に対する量子化係数
に比して小さく設定されている。

【００３６】これによって、比較的重要でない高域成分
についてはカットされることになり、全体としてデータ
量の削減が図られる。

【００３７】上記直流成分については隣接ブロックとの
相関が高いことを利用して、差分回路２０４にて先行す
るブロックにおける直流成分との差分が求められ、得ら
れた差分値をハフマン符号化器２０５にて１次元ハフマ
ン符号化して直流成分の符号化データとされる。

【００３８】一方、交流成分については、上述の６３種
の交流成分をスキャン回路２０６にて視覚的に重要な低
域側の周波数成分から順次ジグザグスキャンして１次元
の配列に変換し、判定器２０７にて各成分の値が「０
値」であるか０値以外の値（有効係数）であるか判定さ
れる。

【００３９】「０値」については、カウンタ２０８にて
０ランがカウントされ、有効係数についてはグループ化
回路２０９にてその値によってグループ化され、これら
によって得られたランレングスとグループ値との組み合
わせによりハフマン符号化器２１０にて２次元ハフマン
符号化が行われて交流成分の符号化データとされる。

【００４０】ここで、上述のハフマン符号は、生起確率
の高いもの（直流成分については上記差分値、交流成分
についてはランレングスと有効係数との組み合わせ）に
より短い符号長を割り当てることによって全体としての
データ量を削減する。

【００４１】また、生起確率が低いものについては所定
のコード（ＺＲＬコード）と組み合わせることによって
有限のコード数にて総てのパターンを表すことができ
る。

【００４２】ＪＰＥＧでは以上の処理を各ブロック単位
で行って１枚のカラー静止画の符号化を終了する。

【００４３】その後、上記各符号化データには、付加回
路２１１にて前述のマーカコード等が付加されて図３に
示したＪＰＥＧデータとされる。

【００４４】なお、上述の量子化係数やハフマンコード
は任意に設定することができるため、符号化に用いられ
た量子化係数やハフマンコードを表すデータが上記ＳＯ
Ｉコードの後に付加される。

【００４５】次に、復号化のアルゴルについて説明す
る。

【００４６】復号化のアルゴルは基本的に符号化アルゴ
リズムの逆であり、入力された符号化データはこのデー
タと共に送られたハフマンテーブルを用いて復号器２１
２にて復号され、直流成分については加算器２１３にて
先行ブロックの直流成分と加算されて元の直流成分とさ
れ、交流成分については復号化された各周波数成分を並
変え回路２１４にて元の２次元配列に変換する。

【００４７】その後、それらの周波数成分を逆量子化器
２１５にて逆量子化した後、逆ＤＣＴ回路２１６にて逆
ＤＣＴを行ってもとの画像データ（復号データ）に変換
される。

【００４８】ＪＰＥＧでは以上の処理を各ブロック単位
で行って１枚のカラー静止画の復号化を終了する。

【００４９】なお、以上のアルゴルはＪＰＥＧ方式の基
本的なものであるが、これに更に各種の階層符号化を取
り入れたエクステンド・システムがＪＰＥＧ方式として
認められており、この階層符号化を行った場合には上記
ＳＯＦコードによってその種類を表すようになってい
る。

【００５０】（ＭＰＥＧデータ）次に、上記ネットワー
クにて伝送される各種データの内のＭＰＥＧデータにつ
いて説明する。

【００５１】このＭＰＥＧデータは、動画像の高能率符
号化を行うことを目的とした国際標準であり、基本的に
は先のＪＰＥＧ方式と同様にデータの周波数特性や人間
の視覚特性を利用するが、更に動画像特有の時間軸方向
の冗長度を利用して一層の高能率符号化を行う方式であ
る。

【００５２】このＭＰＥＧ方式は、デジタルストレージ
メディア用に転送レートを最大１．５ＭｂｐｓとしたＭ
ＰＥＧ１と、伝送レートの上限をなくし双方向デジタル
マルチメディア機器、デジタルＶＴＲ、ＡＴＶ、光ファ
イバネットワーク等の全ての伝送系で用いられることを
企図したＭＰＥＧ２があるが、基本的なアルゴリズムは
ほぼ同様であるのでＭＰＥＧ１をベースとしてそのデー
タ構造及び符号化・復号化のアルゴルを説明する。

【００５３】なお、ＭＰＥＧ２では、使用可能な符号化
方法を複数のプロフィール（シンプル・プロフィール、
メイン・プロフィール、スケーラブル、空間スケーラブ
ル、ハイ）によって規定しているが、代表的なメイン・
プロフィールは基本的に１とほぼ同様である。

【００５４】まず、このＭＰＥＧによる高能率符号化方
式の原理について説明する。

【００５５】この高能率符号化方式においては、フレー
ム間の差分を取ることで時間軸方向の冗長度を落とし、
これによって得られた差分データをＤＣＴ及び可変長符
号化処理して空間方向の冗長度を落とすことによって全
体として高能率符号化を実現する。

【００５６】上記時間軸方向の冗長度については、動画
の場合には連続したフレームの相関が高いことに着目
し、符号化しようとするフレームと時間的に先行又は後
行するフレームとの差分を取ることによって冗長度を落
とすことが可能となる。

【００５７】そこで、ＭＰＥＧでは、図５に示すように
専らフレーム内で符号化する符合化モードで得られるイ
ントラ符号化画像の他に、時間的に先行するフレームと
の差分値を符号化する前方予測符号化画像（Ｐ−ピクチ
ャ）と、時間的に先行するフレーム又は後行するフレー
ムとの差分値或はそれら両フレームからの補間フレーム
との差分値の内最もデータ量が少ないものを符号化する
両方向予測符号化画像（Ｂ−ピクチャ）とを有し、これ
らの符合化モードによる各フレームを所定の順序で組み
合わせている。

【００５８】ＭＰＥＧにおいては、上述のＩ−ピクチ
ャ、Ｐ−ピクチャ、Ｂ−ピクチャを夫々１枚、４枚、１
０枚で１単位（ＧＯＰ）とし、先頭にＩ−ピクチャを配
し、２枚のＢ−ピクチャとＰ−ピクチャとを繰り返し配
する組み合わせを推奨しており、一定周期でＩ−ピクチ
ャを置くことによって逆再生等の特殊再生やこのＧＯＰ
を単位とした部分再生を可能とするとともにエラー伝播
の防止を図っている。

【００５９】なお、フレーム中で新たな物体が現れた場
合には、時間的に先行するフレームとの差分を取るより
も後行するフレームとの差分を取った方がその差分値が
少なくなる場合がある。

【００６０】そこで、ＭＰＥＧでは上述のような両方向
予測符号化を行い、より高能率な圧縮を行っている。

【００６１】また、ＭＰＥＧでは動き補償を行う。

【００６２】即ち、先の８画素×８画素のブロックを輝
度データについて４ブロック、色差データについて２ブ
ロック集めた所定ブロック（マクロブロック）単位で、
先行又は後行フレームの対応ブロック近傍のマクロブロ
ックとの差分をとり、一番差が少ないマクロブロックを
探索することによって動きベクトルを検出し、この動き
ベクトルをデータとして符号化する。

【００６３】復号の際には、この動きベクトルを用いて
先行又は後行フレームの対応マクロブロックデータを抽
出し、これによって動き補償を用いて符号化された符号
化データの復号を行なう。

【００６４】上述のような動き補償に際しては、時間的
に先行するフレームを一旦符号化した後、再度復号した
フレームを得て先行フレームとされ、このフレームにお
けるマクロブロックと符号化しようとするフレームのマ
クロブロックとを用いて動き補償が行なわれる。

【００６５】なお、ＭＰＥＧ１はフレーム間の動き補償
を行なうが、ＭＰＥＧ２においてはイールド間の動き補
償が行なわれる。

【００６６】上述のような動き補償によって得られた差
分データ及び動きベクトルは先に説明したようなＤＣＴ
変換及びハフマン符号化によって更に高能率符号化され
る。

【００６７】次に、このＭＰＥＧ方式のデータ構造につ
いて説明する。

【００６８】このデータ構造は、図６に示すようにビデ
オシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、
マクロブロック層、ブロック層から成る階層構造で構成
されている。

【００６９】以下、各層について図中下の層から順に説
明する。

【００７０】先ず、ブロック層は先のＪＰＥＧと同様に
輝度データ及び色差データ毎に８画素×８画素で各々構
成され、この単位毎にＤＣＴが行われる。

【００７１】上記マクロブロック層は、上述した８画素
×８画素のブロックを輝度データについては４ブロッ
ク、色差データについては各１ブロックまとめ、マクロ
ブロックヘッダを付したものであり、ＭＰＥＧ方式では
このマクロブロックを後述する動き補償及び符号化の単
位とする。

【００７２】また、上記マクロブロックヘッダは、各マ
クロブロック単位の動き補償及び量子化ステップの各デ
ータ、及び各マクロブロック内の６つＤＣＴブロック(Y
0,Y1,Y2,Y3,Cr,Cb) がデータを有するか否かのデータを
含む。

【００７３】上記スライス層は、画像の走査順に連なる
１以上のマクロブロック及びスライスヘッダで構成さ
れ、同一スライス層内の一連のマクロブロックにおける
量子化ステップを一定とすることができる。

【００７４】なお、上記スライスヘッダは各スライス層
内の量子化ステップに関するデータを有し、各マクロブ
ロックに固有の量子化ステップデータがない場合にはそ
のスライス層内の量子化ステップを一定とする。

【００７５】また、先頭のマクロブロックは直流成分の
差分値をリセットする。

【００７６】上記ピクチャ層は、上述のスライス層を１
フレーム単位で複数集めたものであり、ピクチャースタ
ートコード等からなるヘッダと、これに続く１つまたは
複数のスライス層とから構成される。

【００７７】また、上記ヘッダには画像の符号化モード
を示すコードや動き検出の精度（画素単位か半画素単位
か）を示すコードを含む。

【００７８】上記ＧＯＰ層は、グループスタートコード
やシーケンスの最初からの時間を示すタイムコード等の
ヘッダと、これに続く複数のＩフレーム、Ｂフレーム又
はＰフレームから構成される。

【００７９】上記ビデオシーケンス層は、シーケンスス
タートコードから始まってシーケンスエンドコードで終
了し、その間に画像サイズやアスペクト比等の復号に必
要な制御データ及び画像サイズ等が同じ複数のＧＯＰが
配列される。

【００８０】このようなデータ構造を持つＭＰＥＧ方式
は、その規格にてビットストリームが規定されている。

【００８１】次に、上述のようなＭＰＥＧデータを扱う
基本的な符号化装置及び復号化装置について図７及び図
８を用いて説明する。

【００８２】この符号化装置は、図７に示すようにグロ
ック化回路３０１、ＤＣＴ回路３０２、量子化器３０
３、可変長符号化器（ＶＬＣ）３０４、動き補償回路３
０５、動きベクトル検出器３０６、レート制御回路３０
７、局部復号器３０８、出力バッファ３０９等から概略
構成されている。

【００８３】また、この符号化装置において符号化の対
象とする画像サイズは図９に示すように１９２０画素×
１０８０画素のＨｉｇｈ（ＭＰＥＧ２におけるハイレベ
ルに対応する）、１４４０画素×１０８０画素のＨｉｇ
ｈ１４４０（ＭＰＥＧ２におけるハイ１４４０レベルに
対応する）、４：２：２又は４：２：０のＣＣＩＲ．６
０１対応画像（ＭＰＥＧ２におけるメインレベルに対応
する）、ＳＩＦ、ＣＩＦ、ＱＣＩＦフォーマットに対応
したものがあり、ＭＰＥＧ１及びＭＰＥＧ２のローレベ
ルでは上記ＳＩＦフォーマットの画像サイズを対象とし
ている。

【００８４】この符号化装置において、符号化すべき画
像データはブロック化回路３０１にて上述の８画素×８
画素のブロックとされ、スイッチ３１０を介してＤＣＴ
回路３０２に伝送される。

【００８５】上記スイッチ３１０は、入力画像データが
イントラフレーム（Ｉフレーム）かそれ以外のフレーム
（Ｐフレーム又はＢフレーム）であるかで切り換えられ
るものであり、イントラフレームの場合にはａ接点に接
続され、それ以外の場合にはｂ接点に接続される。

【００８６】イントラフレームの場合にはＤＣＴ回路３
０２にてＤＣＴされ、これによって得られたＤＣＴ係数
はは量子化器３０３にて量子化され、更に可変長符号化
器３０４にて符号化された後、一旦バッファ３０９に記
憶される。

【００８７】一方、イントラフレーム以外の場合には上
記スイッチ３１０は接点ｂに接続されて先に説明した動
き補償が行われる。

【００８８】即ち、３１１、３１２は局部復号器３０８
を構成する逆量子化器、逆ＤＣＴ回路であり、上記量子
化器３０３にて量子化されたデータはこの局部復号器３
０８にて元に戻される。

【００８９】また、３１３は加算器、３１４はイントラ
フレーム以外の場合のみ閉成されるスイッチ、３１６は
減算器であり、上述のように局部復号された画像データ
は、動きベクトル検出回路３０６にて検出された動きベ
クトルを参照して所定のフレーム（先行フレーム、後行
フレーム又はこれらの補間フレーム）における対応マク
ロブロックを出力する。

【００９０】この動き補償回路３０５の出力は上記減算
器３１６にて入力画像データと減算処理されて差分値が
得られ、この差分値は上述のＤＣＴ回路３０２、量子化
回路３０３及び可変長符号化器（ハフマン符号化器）３
０４にて符号化されて上記バッファ３０９に記憶され
る。

【００９１】なお、上記ハフマン符号化器は基本的には
先に説明したＪＰＥＧにおける符号化器と同様である
が、生起確率が低いものについては所定のコード（エス
ケープコード）を一位的に割り当てる点で異なる。

【００９２】なお、上記動きベクトル検出器３０６は、
これから符号化するフレームデータと、所定の参照フレ
ームデータとの比較を行って動きベクトルを得るもので
あり、この検出器３０６の検出力は上記動き補償回路３
０５に供給されて動き補償回路３０５が出力すべきマク
ロブロックを指定する。

【００９３】また、上記レート制御回路３０７は上記バ
ッファにおける符号化データの占有量に基づいて上記量
子化器３０３における量子化ステップを切り換えること
によって符号量制御を行う。

【００９４】最後に付加回路３１５にて先に示したよう
な各種ヘッダを符号化データに付加してＭＰＥＧ方式に
対応したＭＰＥＧデータとして送出する。

【００９５】一方、復号装置は、基本的には上述の符号
化の逆の動作を行うものであり、図８に示すように入力
バッファ４０１、可変長復号器（ＶＬＤ）４０２、逆量
子化器（ＩＱ）４０３、逆ＤＣＴ回路（ＩＤＣＴ）４０
４、動き補償回路４０５、出力バッファ４０６等から構
成されている。

【００９６】即ち、上記入力バッファ４０１から順次読
み出される符号化データは上記可変長復号器４０２、逆
量子化器４０３、逆ＤＣＴ回路４０４にて処理されて空
間領域のデータに変換される。

【００９７】また、４０７は上記逆ＤＣＴ回路４０４の
出力に動き補償回路４０５からの差分値を加算するため
の加算器であり、４０８は上記逆ＤＣＴ回路４０４の出
力または加算器４０７０の出力を選択するためのスイッ
チである。

【００９８】このスイッチ４０８は、図示しないデータ
検出回路に検出された符号化識別符号に基づいてイント
ラフレームの場合には接点ａに接続され、イントラフレ
ーム以外の場合には接点ｂに接続される。

【００９９】このように復号された復号データは上記出
力バッファ４０６にて一旦記憶され、更に元の空間配置
に復元されて１フレームの画像データとして出力され
る。

【０１００】（ＡＴＭフォーマット）次に、ＡＴＭ通信
フォーマットについて説明する。

【０１０１】このＡＴＭ通信においては、図１０に示す
ように一連のビットストリームを複数の固定長パケット
に分割し、各パケットを複数（例えば４つ）のＡＴＭセ
ルにて構成する。

【０１０２】また、各ＡＴＭセルはパケットヘッダとデ
ータ用のペイロードとから構成され、一般的に上記ヘッ
ダは５バイト、データが４８バイトとされている。

【０１０３】このＡＴＭ通信は、ネットワークのビット
レートとは独立（非同期）でデータ伝送を行うことがで
き、単位時間当りの伝送セル数によって伝送レートを任
意に設定することができるため、種々のデータを混在し
て伝送する伝送系に適している。

【０１０４】（パソコン）次に、図１におけるパソコン
の構成について説明する。

【０１０５】図１１は本実施例のパソコンの構成を示す
ものであり、このパソコンは上述のような各種方式に対
応したデータを扱うとともに、種々の機能を有するため
に伝送されるデータのデータ量及び処理に要する転送速
度に応じて最適なデータバスを選択的に用いるマルチバ
スシステムを備えており、本実施例においては１６ｂｉ
ｔデータバスD1、３２ｂｉｔデータバスD2、６４ｂｉｔ
データバスD3、拡張バスとして１２８ｂｉｔデータバス
D4及びシステムバスSBを備えている。

【０１０６】また、このパソコンは、機能拡張を可能と
するために後述する拡張ボードインタフェースを備えて
おり、このインターフェースに接続される各種拡張ボー
ドによって機能の拡張を図り得るようになっている。

【０１０７】以下、詳細に説明する。

【０１０８】５０１はネットワークインターフェースで
あり、このネットワークインターフェース５０１及びこ
のインターフェース内のＡＴＭコントローラ５０２を介
して上記各伝送チャンネルとの各種データの授受を行
う。

【０１０９】また、上記ＡＴＭコントローラ５０２は、
ＡＴＭスイッチとしての機能のみならず上述のＡＴＭ−
ＬＡＮにおけるふくそう制御等の各種通信制御を行う。

【０１１０】図中、５０３は全体の制御を行うＣＰＵで
あり、このＣＰＵ５０３はサブＣＰＵとして上記マルチ
バスシステムを構成するバスコントローラ５０４及びビ
ット変換器５０５を備えている。

【０１１１】このマルチバスシステムは、処理するデー
タ容量や処理速度に応じて上述のいずれかのデータバス
を適宜使い分けることによって必要とされる処理速度を
可能とする。

【０１１２】５０６はＲＯＭ、５０７はメモリコントロ
ーラであり、このメモリコントローラ５０７によってハ
ードディスク装置５０８ＡやＣＤ−ＲＯＭ５０８Ｂ等を
有する外部記憶装置５０９とデータの授受を行う。

【０１１３】５１０は編集コントローラであり、このコ
ントローラ５１０によって画像編集時等における複数チ
ャンネルデータ間の位相管理や輝度成分や色成分の調整
等を行う。

【０１１４】５１１はディスプレイコントローラであ
り、このディスプレイコントローラ５１１から送出され
る画像データはメモリ５１２を介してＣＲＴディスプレ
イ５１３やＦＬＣディスプレイ５１４に表示される。

【０１１５】また、このディスプレイコントローラ５１
２は表示デバイスの種類に応じて適宜処理を行う。

【０１１６】５１５はプリンタコントローラであり、こ
のプリンタコントローラ５１５はプリントする画像デー
タに応じて熱転写プリンタ５１６やＢＪ方式と熱転写方
式等の異なるプリンタ部を有するハイブリッドプリンタ
５１７を使い分ける。

【０１１７】なお、上記メモリ５１２をディスプレイ用
とプリンタ用とで共用するようにしてもよい。

【０１１８】５１８はデータの符号化／復号化を行うコ
ーデックであり、本実施例では先に説明したようなＪＰ
ＥＧ方式及びＭＰＥＧ方式に対応したコーデックを備え
ている。

【０１１９】５１９は上記拡張ボードインタフェースで
あり、このインターフェース５１９を介して各種の拡張
ボード５２０、５２１、５２２を接続することによって
パソコンの機能拡張を図るようになっている。

【０１２０】５２３はマウス／キーボードコントローラ
であり、このコントローラ５２３を介してキーボード５
２４及びマウス５２５が接続される。

【０１２１】５２６は音声処理部、５２７は音声スピー
カである。

【０１２２】一方、このパソコンはシステムポート５２
８を介して手書き入力機器５２９、音声マイク５３０、
ビデオカメラ２３１及びスキャナ５３２が接続される。

【０１２３】このような構成のパソコンは、上述のよう
なマルチデータバスD1、D2、D3、D4 、バスコントローラ５
０４及びビット変換器５０５からなるマルチバスシステ
ムを備えているため、データ量や処理に要する転送・処
理速度等に応じて最適なデータバスを選択的に使用す
る。

【０１２４】また、上記拡張ボードインターフェース５
１９に接続される拡張ボードによって機能の拡張を行う
ことができ、例えばコーデックの拡張ボードとして上述
の各プロフィールに対応した符号化・復号化を行なうボ
ードを接続することによってそれらの処理を発展的に可
能にすることができる。

【０１２５】（コーデック）次に、図１１のパソコンに
おけるコーデックの構成について説明する。

【０１２６】このコーデックは図１２に示すように、デ
ータバス６００、システムバス６０１に各々接続された
各種機能ブロックから構成されており、パソコン本体の
システムバスSB及び各データバスとマイコンインタフェ
ース６０２及びデータインターフェース６０３を介して
ＣＰＵ５０３及び編集コントローラ５１０等とデータ及
びコマンドの授受を行うようになっている。

【０１２７】図中６０４はコーデック全体の動作制御を
行うためのＣＰＵであり、このＣＰＵ６０４はＲＡＭ６
０５に予め記憶されたプログラムに基づいて符号化及び
復号化処理を行なわせる。

【０１２８】また、６０６はコード検出器であり、入力
符号化データにおけるスタートコード（タイムコード）
や各種ヘッダ等の制御コード及び符号化データを検出す
る。

【０１２９】このコード検出器６０６にて検出された各
コードは上記データバス或はシステムバスを介して上記
ＣＰＵ６０４に伝送されて動作制御させるとともにパラ
メータメモリ６０７にてメモリされて適宜所定のブロッ
クに伝送される。

【０１３０】また、図中６０８は動き予測ユニット、６
０９はレート制御ユニット、６１０は符号化バッファユ
ニット、６１１は復号化バッファユニットである。

【０１３１】上記符号化バッファユニット６１０を介し
て伝送される入力画像データ又は上記動き補償ユニット
６０８から伝送される動きベクトルデータ及び差分値
（被符号化データ）は、複数のＤＣＴ回路と逆ＤＣＴ回
路（ＩＤＣＴ）とからなる変換ユニット６１２、複数の
量子化回路（Ｑ）と逆量子化回路（ＩＱ）とからなる量
子化ユニット６１３及び複数の可変長符号化回路（ＶＬ
Ｃ）と可変長復号化回路（ＶＬＤ）とからなる可変長符
号化ユニット６１４にて順次処理されて出力バッファと
して機能する上記復号化バッファ６１１にメモリされ、
上記ＣＰＵ６０４にて指示される所定のタイミングで上
記データバス及びインタフェース６０３を介して出力さ
れる。

【０１３２】なお、上記量子化ユニット６１３及び可変
長符号化ユニット６１４には量子化テーブル６１３Ａ及
びハフマンテーブル６１４Ａを備えており、これらユニ
ットにおける処理を行う上で必要な量子化ステップやハ
フマンコード等の各種パラメータが上記パラメータメモ
リ６０７より適宜これらメモリに転送されるようになっ
ている。

【０１３３】一方、上記復号化バッファ６１１を介して
伝送される符号化データ（被復号化データ）は変換ユニ
ット６１４、量子化ユニット６１３及び可変長符号化ユ
ニット６１２にて順次処理されて出力バッファとして機
能する上記符号化バッファ６１０にメモリされ、上記Ｃ
ＰＵ６０４にて指示される所定のタイミングで上記デー
タバス及びインタフェース６０３を介して出力される。

【０１３４】また、上記動き補償ユニット６０８は、符
号化時及び復号化時におけるＰフレーム及びＢフレーム
の動き補償をレファレンスバッファ６１５を用いて行う
ようになっており、本実施例においてこの動き補償ユニ
ット６０８はＪＰＥＧ符号化におけるＤＣ成分の差分値
を得るための動作に共用される。

【０１３５】さらに、６１６はバスアービタであり、パ
イプライン処理等における上記データバスの調停を行
う。

【０１３６】このようなコーデックは、パソコン本体の
ＣＰＵ５０３からの指示を受けて上記ＣＰＵ６０４にて
所定の各ユニットを動作させて符号化又は復号化を行
う。

【０１３７】また、このコーデックにおいては、同時に
複数系統の符号化、復号化を行う場合や、符号化と復号
化とを同時に並行処理する場合、或はパソコン本体にお
ける通信、ディスプレイ、プリントアウト等の各種処理
と符号化・復号化処理を平行して行う場合等、各種の処
理態様に応じて最適なシーケンスにて上記各ユニットへ
のデータ転送制御及び動作制御を行い、このシーケンス
に対応した動作プログラムは上記ＲＡＭ６０５に予め記
憶されている。

【０１３８】なお、このＲＡＭ６０５に記憶されたプロ
グラムは適宜更新することができるようになっている。

【０１３９】（編集動作）次に、このようなコーデック
システムにおける編集動作を図１３のフローチャートを
用いて説明する。

【０１４０】この実施例においては先に説明したＭＰＥ
Ｇに基づいて圧縮された画像データを複数チャンネル
（２チャンネル）同時入力し、これらを合成してモニタ
やプリンタ等の出力機器に供給するものである。

【０１４１】先ず、画像編集の指令に基づいて上記ＣＰ
Ｕ５０３は上記編集コントローラ５１０に編集動作を指
令するとともに、コーデック５１８に復号動作を指令す
る（ステップ１）。

【０１４２】次に、成分調整をするか否か判定し（ステ
ップ２）、しない場合には各チャンネルデータを上述の
ように復号して（ステップ３）、各チャンネルデータを
合成して１フレームの復号データとし（ステップ４）、
終了する（ステップ５）。

【０１４３】一方、成分調整をする場合には、先ずビッ
ト検出を行い（ステップ６）、検出されたスタートコー
ド等の各種制御コードに応じてタイミング制御を行う
（ステップ７）。

【０１４４】例えば２チャンネルのＭＰＥＧデータを複
合して編集する場合には、上記編集コントローラ５０３
は復号された第１の画像データのＩフレームのスタート
コード及び第２の画像データのＩフレームのスタートコ
ードを受けて、これらの位相差（時間差）に基づいて上
記復号化バッファ６１１からのデータの出力タイミング
を制御する。

【０１４５】すなわち、各画像データのスタートコード
がずれている場合、すなわち図１４に示すように第１の
画像データがＩフレームの差異に第２の画像データがＰ
又はＢフレームであった場合には、このずれた状態で上
記各デコードにおける復号処理を行わせるとともに出力
バッファ（符号化バッファ６１０）からの出力タイミン
グを各画像の位相が揃うように先行する画像データ（こ
の場合には第１の画像データ）のタイミング制御を行
う。

【０１４６】また、図１５に示すように各画像データの
スタートコードが一致している場合には、上記入力回路
２におけるバッファの出力タイミングを制御することに
よって各画像データの位相をずらし、このずれた状態で
各々の復号処理を行わせるとともに上記出力バッファに
おける出力タイミングを先行する画像データを遅らせて
各画像の位相が揃うように再度タイミング制御を行う。

【０１４７】次に、このようにタイミング制御された複
数チャンネルデータを復号し（ステップ８）、この復号
の結果に基づいて輝度成分、色相や色彩等の色成分の調
整を行う（ステップ９）。

【０１４８】即ち、本実施例においては一方のチャンネ
ルデータにおける１フレーム分の輝度成分の直流成分の
みを抽出し、各フレームの平均輝度を検出することによ
って他方のチャンネルデータにおける対応フレームの平
均輝度を決定し、これに基づいて復号化の際の逆量子化
テーブルを決定することによって輝度成分の調整を行
う。

【０１４９】同様に、色成分についても一方のチャンネ
ルデータにおける１フレーム分の色成分の直流成分のみ
を抽出し、各フレームの平均色相及び色彩を検出するこ
とによって他方のチャンネルデータにおける対応フレー
ムの平均色成分を決定し、これに基づいて復号化の際の
逆量子化テーブルを決定することによって色成分の調整
を行う。

【０１５０】このように成分調整がされた各チャンネル
データは１フレーム毎に合成されて（ステップ４）編
集、復号を終了し、（ステップ５）その後フレーム単位
で順次出力される。

【０１５１】このように、本実施例における編集動作に
おいては復号処理を行う場合に各チャンネルの画像デー
タの位相をずらしてＩフレームどうしが重ならないよう
にすることによって消費電力を抑えることができる。

【０１５２】また、モニタ等に表示を行う場合にはＩフ
レームどうしを揃えるようにすることによって合成され
た各画像データの画像品位を同等にすることができ、全
体として画像品位の高い合成画像を得ることができる。

【０１５３】

【発明の効果】上述の説明から明らかなように、本発明
によれば複数チャンネルの各々独立した圧縮画像データ
の同時復号を行う際に、各圧縮画像データの色成分の調
整を行うためにそれら圧縮画像データをまとめた際の画
像を自然なものにすることができる。

【図面の簡単な説明】

【図１】本発明の実施例のシステムを示す図である。

【図２】ＪＰＥＧのデータ構造を示す図である。

【図３】ＪＰＥＧのコーダを示す図である。

【図４】ＪＰＥＧのデコーダを示す図である。

【図５】ＭＰＥＧの画像構造を示す図である。

【図６】ＭＰＥＧのデータ構造を示す図である。

【図７】ＭＰＥＧのコーダを示す図である。

【図８】ＭＰＥＧのデコーダを示す図である。

【図９】符号化の対象とする画像サイズを示す図であ
る。

【図１０】通信フォーマットを示す図である。

【図１１】パソコンの構成を示す図である。

【図１２】図１１におけるコーデックを示す図である。

【図１３】編集動作を示すフローチャートである。

【図１４】タイミング制御を示す図である。

【図１５】タイミング制御を示す図である。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 H04N 9/00 - 11/24

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 符号化されて各々独立した複数の画像デ
   ータ間の成分差を検出する検出手段と、 上記各画像データを復号する復号化手段と、 上記画像データの色成分を規制する規制手段と、 上記検出手段の検出結果に基づいて上記規制手段を制御
   する制御手段とを備えたことを特徴とする画像再生装
   置。
2. 【請求項２】 符号化されて各々独立した複数の画像デ
   ータ間の成分差を検出し、この検出結果に基づいて複数
   チャンネルの画像データ間の色成分を制御することを特
   徴とする画像再生方式。