JPH0837662A - 画像符号化復号化装置 - Google Patents

画像符号化復号化装置

Info

Publication number
JPH0837662A
JPH0837662A JP6170699A JP17069994A JPH0837662A JP H0837662 A JPH0837662 A JP H0837662A JP 6170699 A JP6170699 A JP 6170699A JP 17069994 A JP17069994 A JP 17069994A JP H0837662 A JPH0837662 A JP H0837662A
Authority
JP
Japan
Prior art keywords
image
circuit
code
signal
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6170699A
Other languages
English (en)
Inventor
Junichi Kimura
淳一 木村
Taizo Kinoshita
泰三 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP6170699A priority Critical patent/JPH0837662A/ja
Priority to US08/504,661 priority patent/US5701160A/en
Priority to CN95108968.4A priority patent/CN1224271C/zh
Priority to CNB02101549XA priority patent/CN100466744C/zh
Publication of JPH0837662A publication Critical patent/JPH0837662A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

(57)【要約】 【目的】 画面を分割し各小領域毎に符号化あるいは復
号化を行う分割画像回路において、画面分割による画像
圧縮率の低下を防ぎ、しかも小型で低コストの画像符号
化装置あるいは画像復号化装置を提供することを目的と
する。 【構成】 入力された画像を所定の形状の小領域に分割
する画像分割回路801、分割した各小領域を符号化す
る小符号化装置1101−1〜4、小領域の符号を統合
する符号統合回路803、各小符号化装置が局所復号化
した画像を格納する共有メモリ回路1102により構成
される。 【効果】 本発明によれば、画像の符号化効率をほとん
ど落すことなく回路各所の動作速度の低速化が図れるた
め、小型・低価格の画像符号化装置あるいは画像復号化
装置あるいは画像符号化復号化装置を実現することがで
きる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像符号化装置あるいは
復号化装置もしくはこれら両者の機能を兼ね備えた画像
符号復号化装置に係わり、特にデジタル放送あるいはケ
ーブルテレビジョン等の映像符号化装置あるいは映像受
信端末や、画像蓄積装置におけるリアルタイム符号入力
装置、テレビ電話あるいはテレビ会議などの映像通信装
置の符号化復号化部分に適用される。
【0002】
【従来の技術】画像信号をデジタル化してそのまま伝送
や蓄積するには通常のテレビジョン(TV)信号で100M
bps以上、ハイデフィニションTV(HDTV)では1Gb
ps程度の伝送路あるいは蓄積媒体が必要になる。そのた
め画像信号の冗長度を削減し、画像の情報量を1/10から
1/1000程度までに低減する高能率符号化の研究が盛んに
なされている。その代表的なものに、インターナショナ
ル オーガニゼーションスタンダーダイゼーション(IS
O)が標準化を行ったISO/IEC 11172-2(92.11、通称MPEG
1)とその拡張であるISO/IEC CD 13818-2(93.11、通称
MPEG2)がある。以下、MPEG1とMPEG2を総称してMPEGと
呼び、MPEGを中心に従来の技術を説明する。なお、これ
らの詳細については上記のISO/IEC 11172-2およびISO/I
EC CD 13818-2に詳しい説明が記載されているため、本
説明ではこの概略のみを説明する。
【0003】図1はMPEG1,2を含む従来の符号化装置の
ブロック図である。入力されたデジタル画像2はバッフ
ァ3に一時的に蓄えられた後、マクロブロックと呼ばれ
る輝度信号16画素x16画素、色差信号R-Y 8x8画
素、B-Y 8x8画素からなる処理単位に分割される。各
マクロブロックは動き補償(MC)および離散コサイン変換
(DCT)回路4にて、画面の動きを補正した予測信号との
差分がとらた後、離散コサイン変換され周波数成分の一
種であるDCT係数8が得られる。DCTの演算はマク
ロブロックの輝度信号をさらに4分割したブロック(色
輝度とも8画素x8ライン)単位に行われる。DCT係
数8とMC/DCT処理時に得られた動きベクトル9等の付加
情報は可変長符号化(VLC)回路5に入力され、それぞれ
あらかじめ規定された順番に規定された符号に変換され
符号バッファ6に入力される。符号バッファからは外部
の伝送機器あるいは蓄積装置の読み出し速度に合わせた
速度で符号7が読みだされる。符号バッファでは一定周
期で符号量計算し、発生符号量10を符号量制御回路2
12に通知する。符号量制御回路では符号量が所定の値
になるように量子化ステップサイズ213等を調節し、
これらの制御情報をMC/DCT回路4に通知する。
【0004】図2に上記に示した従来例のMC/DCT回路4
の詳細図を示す。図2を説明する前に図3を用いてMPEG
1,2における動き補償動作を説明する。MPEG1およびMPEG
2ではTVの画面をIピクチャ、Pピクチャ、Bピクチ
ャの3種類に分類した後に符号化を行う。Iピクチャは
画面をマクロブロック、ブロックに分割した後、これら
のブロックに対し直接DCTを施す符号化方法である。
このため、以下に説明するP、Bピクチャとは異なりI
ピクチャの情報単独で1つの画面を再生することができ
る。一方P、Bピクチャは事前に符号化した画面を元に
予測画像を作成し、予測画像との差分に対しDCTを施
し符号化を行う。
【0005】図3はBピクチャにおける予測画像生成の
方法を説明するための図である。図3において前方(for
ward)参照画面と後方(backward)参照画面は先に符号化
を行った画像であり、前方参照画面は今から符号化する
符号化画面に対して時間的に前に位置し、後方参照画面
は時間的に後に位置する。符号化画面の1つの符号化マ
クロブロックに対する予測画像を生成するときには、前
方、後方各参照画面の同じ位置の周辺で符号化マクロブ
ロックに最も類似した部分を探し、予測マクロブロック
を生成する。画面内での符号化マクロブロックの位置と
予測マクロブロックの位置との差分を動きベクトルと呼
ぶ。予測信号の生成法には前方参照画面の予測マクロブ
ロックを用いる前方予測と、後方参照画面の予測マクロ
ブロックを用いる後方予測と、これら2つの予測信号を
画素ごとに平均した補間予測、予測信号をすべて同じ固
定値(128)にしたフレーム内予測がある。一般には
これら4つの予測モードのうち最も予測誤差電力が小さ
いものを選び予測信号とする。Pピクチャでは前方予測
とフレーム内予測のみが使用でき、後方予測、補間予測
は禁止される。なお、MPEG2ではPピクチャに対して、
2つの前方予測信号を画素ごとに平均した予測(デュア
ル プライム予測)が追加されている。
【0006】前方参照画面および後方参照画面にはIピ
クチャおよびPピクチャのみが使用され、一組の前方、
後方参照画面の間には別のIピクチャ、Pピクチャは存
在しない、すなわちBピクチャのみが連続して存在す
る。また、Bピクチャが全く存在しないことも許されて
いる。Iピクチャ、Pピクチャの間隔は任意に設定でき
るが、3画面おき以下の固定値にとることが多い。ま
た、Iピクチャはランダムアクセスの基点あるいはエラ
ー時の復帰点として用いられ、その間隔は任意に設定で
きる。一般には0.5秒以下の間隔でIピクチャを固定
的に挿入する、すなわち12あるは15フレームおき、
場合が多い。MPEGでは、これらIピクチャの周期とIお
よびPピクチャの周期の記述にはそれぞれN、Mの記号
が用いられる。たとえばN=12、M=3と記述した場
合には「BBIBBPBBPBBP」の周期で各フレー
ムが符号化される。実際に符号化する場合には、3番目
のIピクチャのフレームが一番先に符号化され、引き続
き1番目、2番目のフレーム、次に6番目のpピクチャ
のフレーム、そして4番目、5番目のフレームの順で符
号化される。そしてたとえば6番目のPピクチャのフレ
ームは3番目のIピクチャのフレームから予測され、4
番目のフレームは3番目のIピクチャのフレームと6番
目のPピクチャのフレームから予測される。
【0007】図3に戻り従来のMC/DCT回路の説明
を行う。入力されたデジタルの画像信号11は画像メモ
リ201に入力され上記で説明した符号化順に並べ替え
られる。一方、同時に動き検出回路12に入力され、す
でに符号化され参照画像メモリ200に格納されている
参照画像信号202との間で、マクロブロックごとの動
きベクトルが検出される。なお、このときに画像メモリ
201にて遅延された画像信号214を同時に動き検出
回路202に入力し参照画像データ202からの後方予
測のベクトルを検出する。画像メモリ201にて所定の
時間遅延した信号は符号化画像信号203として、動き
補償回路13に入力される、これと同時に動き補償回路
13は動き検出回路12にて検出された動きベクトル9
を元に参照画像メモリ200より参照画像信号202を
読み出し予測信号とする。なお、Iピクチャではこの参
照画像信号は読み出さず固定値が用いられる。動き補償
回路では符号化信号203と参照画像信号202を対応
する画素ごとに差分をとり、差分画像信号204を生成
する。差分画像信号204はDCT回路205にてDC
T係数に変換され、量子化回路206にて予め設定され
た量子化ステップサイズ213により量子化される。量
子化されたDCT係数8は動きベクトル9とともに可変
長符号化回路5に供給される。符号化する画像がBピク
チャの場合はこれでMC/DCT回路の処理は終わる
が、IあるいはPピクチャの場合には後の画像のために
参照画像信号再生する処理が必要となる。量子化された
DCT係数8は逆量子化回路207にて、量子化したと
きと同じ量子化ステップサイズにて逆量子化され、その
結果は逆DCT回路208にてDCTの逆変換が施され
る。逆変換された再生差分画像信号209は、加算回路
210にて、そのブロックの参照画像信号202を所定
時間遅延させた信号と加算され再生画像信号211が得
られる。再生画像信号211は参照画像メモリ200に
格納され後の画面の符号化時に参照画像信号として使用
される。
【0008】なお、画像復号化装置では、符号を解読し
た後、逆量子化207から参照画像メモリ200への格
納までの処理を行うことにより、画像を再生することが
できる。
【0009】図4は画像メモリ201、参照画像メモリ
200、動き検出回路12の詳細図である。図4の動作
は第5図のタイミングチャートに示される動作をおこな
う。なお、図4、図5はMが1から3までの場合に対応
している。すなわちBピクチャがないモード(M=1)
からBピクチャが2枚ずつ連続して入るモード(M=
3)にまでに対応している。以下、M=3の場合を中心
に動作の説明を行う。入力画像がPピクチャの場合、す
なわち図5のフレーム番号が3、6、9の場合にはベク
トル検出回路450−1において、参照画像メモリ20
0に格納されている、3フレーム前の参照画像との間で
動きベクトルが検出が行われる。参照画像メモリ200
では前方、後方2つの参照画像のための2つのフレーム
メモリ410、411をもち選択回路412にて参照画
像信号202−1に前方参照画像信号、202−2に後
方参照画像信号が対応するように、Mフレーム周期で切
り替えを行う。動き検出処理が終わった画像は、直後に
符号処理される。すなわちフレームメモリ401にて約
1フレーム時間遅延された信号が選択回路405にて選
択され符号化画像信号203として出力される。符号化
され、再生された画像信号211は参照画像メモリの中
の2つのフレームメモリ410、411のいずれか、よ
り古い参照信号が格納されている方に上書きされ格納さ
れる。符号化処理の開始時刻を、同じ時間帯に行う動き
検出処理開始時刻よりも若干早めることにより動き検出
処理時刻には画面先頭部分の参照画像信号を該当フレー
ムメモリ410あるいは411に格納しておくことがで
きる。
【0010】入力画像がIピクチャの時はベクトル検出
は行わず、Pピクチャと同様に1フレーム遅延した後に
符号化画像信号203として出力される。
【0011】入力画像がBピクチャの場合はまず入力時
にPピクチャと同様に前方参照画像に対する動きベクト
ルが検出される。次にその3フレーム時間後に後方参照
画像に対する動きベクトル検出を行う。遅延させるフレ
ーム数はMの値に相当し、選択回路406にてM=2の
場合と3の場合を切り替える。なおM=1の場合にはB
ピクチャは存在しないため、後方予測は不要である。後
方予測の動き検出処理が終わった画像は、直後に符号処
理される。すなわちフレームメモリ403あるいは40
4にて約1フレーム時間遅延された信号がMの値に応じ
て選択回路405にて選択され符号化画像信号203と
して出力される。
【0012】ベクトル検出回路450−1,2では入力
された信号11あるいは214に最も類似した部分を参
照信号202−1あるいは202−2から探し出し、そ
のときのベクトルの値を451−1,2として出力す
る。出力された信号はバスにまとめられて動きベクトル
信号9として出力される。
【0013】動きベクトル検出回路の動作内容を簡単に
説明する図を図6に、その動作タイミングチャートを図
7に示す。図6は図7の下に示すように2x2画素の符
号化ブロックに最も類似するする部分を6(=W)xV
(Vは3以上)の参照画面から探索する例である。図6
において、探索開始時はスイッチ603は入力信号11
または214側を選択している。入力信号11または2
14は図7に示されるように参照信号0、1、6、7の
タイミングでA、B、C、Dの画素データを入力し、遅
延回路604−1〜3においてそれぞれ1クロックずつ
遅延される。同時にRAM603に格納され、検出単位
である4画素の入力の後は、スイッチ603を切り替え
て4個の入力信号を8画素周期で周期的に入力する。8
画素周期中データの存在しない期間はどのような値でも
構わない。一方、入力信号の入力開始と同時に参照画像
のうち探索する範囲のデータを参照信号202として入
力する。これらの信号は検出回路601−1〜8に入力
され、類似性が計測される。各々の検出回路に入力され
るデータは、参照信号はすべて同じデータ、入力信号は
1クロックずつ遅延させたデータがそれぞれ入力され
る。その結果、図7に示すように入力開始から8クロッ
ク経過すると各検出回路からそれぞれ位置が1画素ずつ
異なった部分との類似度614が出力される。この類似
度の出力は1クロックにいずれかの1検出回路のみが出
力するため最小値選択回路602は1クロックに1回ず
つ最小値の判定を行うことにより最も類似したベクトル
を検出することができる。類似度614の中には参照画
面の画面両端の境界にかかるブロック(例えば図7下の
番号で5、6、11、12の画素からなるブロック)も
含まれるので、最小値選択回路602はこうした境界に
かかるブロックは除外して処理を行う。なお、検出回路
601の内部は差分回路610にて2信号の差分をとっ
た後、絶対値回路611にて絶対値をとり、レジスタ6
13に記憶していたこれまでの累積値614に加算す
る。4画素の最初画素のの加算直前にレジスタ613を
0にクリアすることにより、4クロック後に、累積値6
14が該当部との類似度を表す値となる。図6および図
7では、説明をわかりやすくするために、通常16x1
6画素単位でおこなう動きベクトル検出を2x2画素単
位に簡略化した。図6の回路にて16x16画素単位の
検出を行う場合は検出回路数を増やす(参照画面の幅W
x16個程度)ことにより対応ができる。この検出回路
数を減らすために参照画面の左右境界部にかかる部分に
対応する検出器を省略し(w−16)x16個の検出回
路にてベクトル探索を行う方法も知られている。また、
入力信号を間欠的に入力するのではなく、連続的に入力
し回路内部で遅延させる方法も知られている。
【0014】以上が従来の画像符号化回路の概要であ
る。これらの処理量は単位時間に入力される画素数に比
例する。そのため、各画素に対する全処理を1画素の入
力時間時内に処理する必要がある。すなわち、通常のT
V信号では15M画素/秒程度の入力画素数であるた
め、1画素当りの処理を約70nsで実行しなければな
らない。通常は8x8画素あるいは16x16画素単位
で1つの処理を4μsあるいは16μs程度の時間で実
行し、これらの処理をパイプライン処理することによ
り、この条件を実現している。一方、HDTV信号では
通常のTV信号の4倍から5倍程度の処理が必要であ
る。上記のようなパイプライン処理では非常に高速動作
の演算素子が必要になり装置のコストが上がり、回路規
模も大きくなる。そのため、HDTVでは画面を複数の
小画面に分割し、各画面ごとに複数の小符号化回路を割
り当てて並列処理を行うことが行われることが多い。
【0015】図8は従来の分割処理の画像符号化装置で
ある。入力画像信号2は画像分割回路801にて図の例
では4つの信号805−1,2,3,4に分割され、そ
れぞれ4つの小符号化装置1−1,2,3,4にて符号
化され、符号806−1,2,3,4が得られる。符号
806−1,2,3,4は符号統合回路803にて1つ
の符号7に統合される。この場合、小符号化装置の構成
は図1のものがそのまま使用できる。画面の分割の仕方
は、画面を数走査線単位(たとえば1画面1024走査
線を256走査線ずつ4分割)に分割する方法や、画面
を縦横4分割にする方法などがある。
【0016】図9は図8における画像分割回路801の
詳細図である。入力された画像信号1は画像の位置に応
じた切り替え信号903を出力する切り替え制御回路9
02の指示に従い、スイッチ901にて4つの信号のう
ちのいずれかへ、画像信号を転送する。
【0017】図10は図8における符号統合回路803
の詳細図である。それぞれの小符号化回路で生成された
符号806はファーストインファーストアウトメモリ
(FIFO)1001に格納される。一方、FIFOの
読み出しは該当画像分の符号の格納が終了した後に開始
する。読み出した符号1011はスイッチ1003を介
して符号7として出力される。FIFO1001−1よ
り該当画像分の符号の出力が終了すると終了信号101
0−1が出力され、終了信号を受けた切り替え制御回路
1002はFIFO1001−1の読み出しを終了し、
FIFO1001−2の読み出しを開始する。これと同
時にスイッチ1004を出力1011−2側に切り替え
る。以下同様に予め規定した順序に従い4つのFIFO
を順次読み出した後、再びFIFO1001−1から次
のフレームの符号の読み出しを行う。
【0018】
【発明が解決しようとする課題】上記に示した従来の分
割処理の画像符号化装置では、次の2つの課題がある。
第1の課題は、分割処理する各小符号化回路がそれぞれ
独立に符号化処理をするため、各領域の境界付近では画
面内、画面間の相関を充分用いて符号化をすることがで
きず、単一の符号化回路を用いて符号化した場合に比べ
符号化効率が低下する。特に動き補償フレーム間予測を
用いた方式では他の領域の画像を予測画像として使えな
いために、符号化効率の劣化が特に大きい。
【0019】第2の課題は、、各小符号化回路がそれぞ
れ独立に符号化処理をするため、各小符号化回路内でし
か発生符号量を調節することしかできない。このため、
例えば、ある部分で多くの情報量が発生した場合、その
部分を符号化担当する小符号化回路の以降の処理担当部
分に割り当てる符号量が少なくなり、画質が低下し、特
に周辺の領域との境界部分で劣化が目立つ。
【0020】本発明は上記の課題を解決し、小型で低コ
ストの画像符号化装置を提供することを目的とする。
【0021】
【課題を解決するための手段】本発明は上記の目的を達
成するために、まず、互いに隣接する領域どおしが重な
る領域を有する複数個の小画像に分割し、重複した領域
部分に書き込む信号は該当する各小符号化装置全てに伝
送する手段を設け符号化する。次に、隣接する領域を担
当する各小符号化装置間に、発生した情報量を通知する
手段を設け、1つの小符号化装置にて一時的に発生した
大量の情報量を隣接した小符号化装置にて吸収させる手
段を設ける。
【0022】
【作用】各小符号化装置にて重複した領域部分を持つこ
とにより領域の境界付近においても画面内、画面間の画
素間の相関を利用することができ、単一の符号化装置に
比べた符号化効率の劣化を防止することができる。ま
た、発生した情報量を通知することにより、一時的に発
生した大量の情報量による画質の劣化を広範囲に分散す
ることができ、劣化を目立ちにくくすることができる。
【0023】
【実施例】図11に本発明を用いた実施例を示す。図1
1は図8の画像符号化装置に本発明を適用した例であ
る。図中1100に示した部分が本発明による部分であ
り、その他の部分は図8のものと同じ機能であるため説
明を省略し、1100の部分を中心に説明を行う。
【0024】小符号化装置1101は入力された画像信
号805を符号化し符号806を出力するが、符号化処
理に用いる画面を保持するメモリを2種類持つ。1つは
符号化画像を格納するメモリであり各小符号化装置の処
理領域に対応する。もう1つは、参照画像を格納するメ
モリであり各小符号化装置の処理領域より広い、隣接し
た領域と重複した領域に対応するのメモリである。符号
化画像のメモリは、従来と同様に各小符号化装置110
1内に持ち、参照メモリは共有メモリ回路1102内に
持つ。小符号化装置1101から共有メモリ回路110
2へのアクセスはアクセス信号1103と読み出し信号
1104を用いる。
【0025】図12は小符号化回路1101の詳細図で
ある。小符号化回路1101の動作は図1の符号化装置
1とほとんど同じで、MC/DCT回路1201に共有
メモリ回路1102への書き込み信号1103、読み出
し信号1104が追加されている点が異なる。図12の
小符号化回路では重複領域として予測画像メモリを割り
当てている。予測画像を重複領域に割り当てることによ
り、従来該当領域外であった部分からも動き補償による
予測を行うことができるようになり、単一の符号化処理
装置による場合と同じ符号化効率が得られる。
【0026】図13に共有メモリ回路1102の詳細図
を示す。書き込みは信号1103−1〜4を介して行
い、読み出しは信号1104−1〜4を用いて直接メモ
リにアクセスする。各小符号化回路より入力された書き
込み信号1103−1〜4はメモリ管理回路1301に
入力される。書き込み信号1103はメモリに対する制
御信号とデータを並べた信号列であり、例えば、書き込
み先頭アドレス、書き込みデータ数、書き込みデータ列
が順次転送される。書き込みデータ数は64画素(8画
素x8ライン:ブロックデータ)あるいは256画素
(16画素x16ライン)あるいは384画素(8画素
x8ライン信号を6つ:マクロブロックデータ)程度が
適当であり、2次元データを予め定められた走査法によ
って一次元信号に変換して転送する。なお、書き込みデ
ータ数は8画素あるいは16画素の1次元データでも構
わない。また、分割後の小画面の符号化開始時に画面先
頭を示す信号と画面の大きさを転送する信号を転送し、
その後は符号化順にデータを転送するだけで予め定めら
れたアドレス順に書き込む方法でも構わない。メモリ管
理回路1301は書き込みアドレスにより該当するメモ
リを判断し、メモリアクセス信号1310−1〜4の該
当部分に信号を出力し、メモリ1303あるいはメモリ
1304に書き込む。書き込みは入力1次元データを元
の2次元データに戻したアドレスを用いて行う。
【0027】一方、読み出しの場合には読み出し信号1
104を用いてメモリ1303あるいは1304のいず
れか一方にアクセスする。読み出し信号1104は読み
出しアドレス線、データ線からなり書き込みとは独立に
読み出しを行うことができる。
【0028】図14にメモリ管理回路1201の詳細図
を示す。入力された書き込み信号1103のうち、アド
レスの部分はスイッチ1401を経由してアドレスFI
FO1402に格納されデータ部分はデータFIFO1
403に格納される。格納されたアドレス、データはス
イッチ1404およびスイッチ1407により選択され
該当するメモリに同時に書き込まれる。この際、アドレ
スデータはアドレス変換回路1405により各小符号化
回路の使用するアドレスに変換する。書き込み信号11
03−1〜4による書き込みが時間的に重なった場合に
は、重なった信号のうち1つのみを書き込み、他の書き
込みは最初の書き込みが終了するまで遅延させた後に実
行する。なお、FIFOがオーバーフローする恐れがあ
る場合は該当する小符号化回路に通知し、データの入力
を中止させる。
【0029】図15にメモリ管理回路のアドレス変換の
例を示す。図15は水平1920画素、垂直1024ラ
インの画面を4分割する例である。なお、MPEG等の
画像符号化方式では輝度信号16画素x16ライン毎に
処理をするため分割する領域の大きさは、水平垂直とも
に16の倍数の矩形が好ましい。但し、画面の右端ある
いは下端を含む領域に関しては16の倍数でなくても構
わない。また、インターレース画像の2つのフィールド
を1ライン毎に合成して作りだしたフレームを処理する
符号化装置においては、領域の垂直方向の画素数はフレ
ーム画像上で32の倍数が望ましい。分割例(1)は水
平に4分割し、分割例(2)は水平垂直にそれぞれ2分
割した例である。ともに境界を接する隣接領域との間で
境界より128ラインあるいは128画素分の共有領域
を持った例である。なお、以降の説明ではメモリを2次
元のアドレスにより指定するものと考え、特に指定のな
いかぎり垂直アドレスを単にアドレスと呼ぶ。
【0030】分割例(1)では、画面を256走査線ご
とに分割した符号化装置において、各メモリ1303、
1304に垂直方向512走査線分のメモリを実装し、
どの小符号化回路もアドレス0〜255までを符号化処
理する領域、アドレス256〜511に共有領域を格納
している。第1のメモリ、例えば1304−1では、走
査線256〜383までを垂直アドレス256〜383
に、メモリ1304−2では領域1の走査線128〜2
55までを垂直アドレス384〜511に、領域3の走
査線512〜639までを垂直アドレス256〜383
に格納している。従って、例えば走査線240のデータ
はメモリ1304−1のアドレス240に書き込まれる
のと同時にメモリ1304−2のアドレス496(24
0+256)に書き込まれる。また、走査線300のデ
ータはメモリ1304−2のアドレス44(300−2
56)に書き込まれるのと同時にメモリ1304−1の
アドレス300(300−256+256)に書き込ま
れる。一般に走査線P本ずつの小領域に分割し、境界を
接する隣接領域1つに対しQ走査線分のデータを共有す
る場合、各メモリの垂直アドレスはP+2Q必要であ
る。記号/を割り算後の小数点以下切り捨て処理、記号
%を剰余計算とすると、走査線Yのデータは領域n(=
Y/P)のアドレスy(=Y%P、0≦y≦P−1)に
書き込まれ、y<Qの場合には領域(n−1)と共有さ
れ、領域(n−1)のメモリのアドレス(y+P)に、
y≧P−Qの場合には領域(n+1)と共有され、領域
(n+1)のメモリのアドレス(y−(P−Q)+P+
Q=y+2Q)に格納される。上記の計算はアドレス変
換回路1405で実行され、固定値の加算・減算で実現
できる。特にP=256、Q=128のようにPが2の
ベキ乗、Qがその1/2の例では上記の例で示したよう
に加算・減算はビット操作のみで実現でき回路規模削減
の効果が大きい。Pが2のベキ乗、Qがその1/2未満
の場合もQがPの1/2の場合と同じアドレスを割り当
てることによりビット操作のみによる演算が可能にな
る。この場合、アドレスの途中にアクセスしない領域が
存在するが、この領域に対して実際のメモリ素子を割り
当てても割り当てなくても構わない。
【0031】図15の分割例(2)では画面を960x
512画素の4つの小画面に分割する。この場合は符号
化する領域はメモリのアドレス0〜511に格納され、
アドレス512以降に共有領域のデータが格納される。
メモリ1304−1の例ではアドレス512〜639に
領域3の960画素x128ライン(走査線512〜6
39ライン)を、アドレス640〜767に領域2の1
28画素x512ライン(走査線0〜511ライン)の
垂直、水平アドレスを交換したものを、アドレス768
〜960に領域4の128画素x128ライン(走査線
512〜639ライン)を格納する。書き込み時には、
例えば領域1〜4すべてに共有される部分のデータはメ
モリ1304−1〜4に同時に書き込まれる。アドレス
変換回路1405では以上のアドレス変換走査を行う。
水平垂直分割では水平分割に比べアドレス変換回路14
05はやや複雑になる。一方同じ共有範囲(境界より同
画素数の範囲)を実現する場合には各メモリ1303、
1304の容量は少なくなる。図15の例では3/4の
容量になっている。なお、上記の説明は輝度信号を例に
取っておこなったが、色信号、あるいは輝度信号と色信
号の両方、すべてに適用可能である。
【0032】図11から図15までの説明は画面の分割
数を4として行ってきたが、画面の分割数は4以外のい
くつの値にも適用できることは明白である。分割数が多
くなると1つの小符号化装置あたりの処理量が少なくな
るため、より低処理能力の回路を用いたり、逆に同じ処
理能力でより大面積の画像を符号化することが可能にな
る。ただし、1つの小画像符号化装置がある画面を符号
化終了し、次の画面の符号化を開始するには、領域を共
有する全ての小符号化装置の処理の終了を待つ必要があ
る。例えば水平分割の場合では、領域1の信号が入力さ
れ終わった時点で小符号化装置1101−1が処理を開
始し、領域2が入力され終わった時点で小符号化装置1
101−1が処理を開始するように、処理開始時間を小
符号化装置毎にずらした方が遅延が少なくなり、遅延補
正用のバッファ容量も少なくてすむ利点がある。こうし
た方法では、小符号化装置1101−1が次の符号化を
開始するには小符号化装置1101−2の終了を待たな
ければ、同様に小符号化装置1101−2は小符号化装
置1101−3の終了を、小符号化装置1101−3は
小符号化装置1101−4の終了を待たなければならな
い。いいかえれば、1つ前の小符号化装置の画面が入力
される前に符号化処理を終了しなくてはならない。その
結果、各小符号化装置が実質符号化処理を行う時間は3
/4になり、各小符号化装置の処理能力は全体の処理量
を1とした場合、1/4ではなく、1/3(=1/4*
4/3)になる。分割数を増やし、更に共有する領域の
小符号化装置数が増えた場合には、該当する全ての小符
号化装置の終了を待たないと次の画面の符号化を開始す
ることができない。そのため、分割数を増やしていって
も共有する領域が広い場合は必ずしも各小符号化装置の
処理能力を低くすることはできない。画像符号化の処理
単位が輝度信号で16x16画素である点と、動きベク
トルの探索範囲が−15〜+15程度で大部分の動きを
補償できることから、共有領域の走査線数は境界から1
6ライン(境界の上下32ライン分が2つの領域により
共有される)が最適である。ただし、垂直方向の画面の
相関はあまり強くないことから共有領域を8ラインにし
ても画質への影響は少ない。16ライン程度以下の共有
の場合は上記の符号化開始待ち時間による影響は小さ
い。
【0033】一般に水平方向の画面の相関が強いことか
ら水平方向には全画素を同じ領域として処理した方が符
号化効率が向上する。小符号化装置の数と分割領域の数
は必ずしも一致しなくてもよい。小符号化装置の数が少
ない場合には処理を終了した小符号化装置が同じ画面の
別の領域を符号化することになる。小符号化装置の数が
多い場合には、1つの小符号化装置あたりの処理を少な
くできるが、実際には、前の画面の符号化が終わらない
と次の符号化が開始できないため、16ライン程度共有
の例では領域分割数をRとすると小符号化装置の処理能
力は1/(R−1)必要になる。ただし、Bピクチャの
ように他の画面の予測には用いない画面の符号化に対し
ては1/Rの処理能力で対応できる。
【0034】以上の共有メモリの書き込み操作では、以
下の効果がある。各小符号化装置1101において隣接
する小符号化装置の参照画像をアクセスすることができ
るため動き補償の範囲が単一の符号化装置の場合と同じ
にとることができ、分割符号化方式の欠点を補うことが
できる。共有領域を同時に書き込むことにより単位時間
当りのメモリへの書き込み回数は単一符号化装置を用い
た場合と同じ回数になる。従って、メモリ管理回路やメ
モリは、単一符号化装置を用いた場合と同じ動作速度の
ものを用いることができ、特に高速な素子や複雑な回路
を必要としない。
【0035】図16は図12のMC/DCT回路110
3の詳細図である。MC/DCT回路1103全体の動
作は従来のMC/DCT回路4とほぼ同じであるので説
明を省略する。図16のMC/DCT回路1103では
図2の参照画像メモリ200に相当する部分が外部の共
有メモリ回路1102の中に設けられている点が本発明
に係わる部分である。そのため書き込み信号1103、
読み出し信号1104が追加されている。この部分を除
けばMC/DCT回路1103とMC/DCT回路4と
は全く同じである。
【0036】このように本発明を適用した画像符号化装
置800は、単一の符号化装置と同じ符号化効率を保ち
ながら、画面を4分割し処理することにより各小符号化
装置処理量が約1/3〜1/4になり、低速デバイスの
みを用いて符号化処理が可能となる。その結果、低速で
小規模あるいは低速で低コストが実現でき、装置全体の
小型化あるは低コスト化あるいはその両方が達成でき
る。また、本発明は小符号化装置1101としてプロセ
ッサ等によるソフトウエア処理をしたときにその効果が
大きい。現在のプロセッサの能力では通常のTV信号を
単一プロセッサで符号化することは難しい。一方、ソフ
トウエア処理により符号化処理が実現できれば、処理方
法の改良や、新符号化方式への対応など容易に実行でき
るほか、装置の開発、メンテナンスの時間、手間も削減
できる。本発明を適用することにより、ソフトウェア処
理の利点を生かしながら、かつ、単一ハードウェアによ
る符号化効率と同じ効率を得ることが可能になる。この
とき、各小符号化装置1101に固有の番号をつけてお
き、その番号をもとに符号化領域位置、アドレス変換方
法等を設定するようにすれば、全ての小符号化装置を同
じ構成にすることができ、ハードウエェア処理で実現す
る場合には装置の基版あるいはLSI等の生産性・検査効
率が向上し、ソフトウェア処理で実現する場合には上記
の生産性向上の他に実行ソフトウェアの配送の時間・手
間を削減できる。
【0037】図17は本発明を適用した第2の実施例で
ある。図17では本発明を画像復号化装置1700に適
用している。画像復号化装置1700は画像符号化装置
1もしくは800などで生成した符号列を入力し、元の
画像を再生する装置である。入力符号列7は符号分割回
路1701に入力され、予め分割された領域に対応する
符号1710−1〜4に分割される。分割された符号1
710は小復号化装置1702に入力され、画像が再生
1702される。再生された画像1702−1〜4は画
像合成回路1703において、1枚の画像2に合成され
る。
【0038】図18は符号分割回路1701の詳細図で
ある。入力された符号7は、ヘッダ検出回路1802に
おいて、そのヘッダ部分が検出・解析され画面上のどの
位置の符号化が調べられる。その位置情報1811に従
って、切り換え制御回路1803はスイッチ1801を
制御信号1810を用いて切り替える。
【0039】図19に復号化回路1702の詳細図を示
す。入力された符号1710は、一旦、符号バッファ1
901に蓄えられた後に可変長復号化回路1902によ
って読みだされ、解読される。解読の結果、差分画像の
DCT係数8と動きベクトル9等の復号化情報がMC/
iDCT回路1903に入力される。MC/iDCT回
路1903ではDCT係数8を逆量子化をした後、DC
T逆変換(iDCT)により差分画像を再生する。一
方、動きベクトル9等の情報で示された予測画像を共有
メモリ回路1102に格納された参照画像から読み出し
信号1713を用いて生成し、再生した差分画像に加え
る。これらの処理は先に述べたように第3図の逆量子化
207から参照画像メモリ200への格納までの処理を
と同じである。この操作により再生画像が得られる。再
生画像は出力バッファ1904に蓄えられ、表示に同期
して読みだされ、TVの画面等に表示される。同時に、
共有メモリ回路1102に書き込み信号1712を介し
て格納する。
【0040】図20に画像合成回路1703の詳細図を
示す。切り換え制御回路2002は表示タイミングを監
視し、表示部分に該当する領域の再生画像信号1711
−1〜4をスイッチ2001で選択し、画素データを読
み出し出力画像信号2へ出力する。
【0041】以上、本発明は図17のように画像復号化
装置にも適用することができる。従来、分割処理を行う
復号化装置は他の小領域からの予測を禁止した特殊な符
号でなければ画像を再生することができなかった。本発
明を適用することにより、この制約がなくなり、あわせ
て、符号化装置の場合と同様に回路規模の削減の効果も
得られる。また、符号化装置の場合と同様に、特にソフ
トウェア処理を行った場合にその効果が大きい。画像の
分割の仕方は水平分割のみ垂直方向のライン数は16の
倍数、インターレース画像の場合は32の倍数でなけれ
ばならない。
【0042】以下、上記2実施例の変形例を示す。以下
の変形例あるいは以下の変形例の組み合わせが本発明に
包含されることは明白である。
【0043】図21に小符号化回路1101の変形例を
示す。図21の符号化回路ではMC/DCT回路4と可
変長復号化回路5と間にDCT係数8、動きベクトル9
等の情報を一時的に蓄えれるバッファ2102が置かれ
ている点である。MC/DCT4の処理は先にも説明し
たように画素数に比例した処理量になるため、予め固定
的に定められた時間内に1処理単位(8x8ブロックの
処理あるいはマクロブロックの処理)を行うことがハー
ドウェアの実現上望ましい。一方、可変長符号化5の処
理量は発生する符号量に依存し上記の1処理単位ごとの
処理量は異なる。これら性質の異なる2つの処理をパイ
プライン処理する場合には、例えば可変長符号の処理時
間がMC/DCT処理時間よりも長くなると、MC/D
CTの1処理単位の処理が終了しても可変長符号化の該
当処理が終わらず、MC/DCT回路4が次の処理の開
始待つ問題点がある。この解決策として、MC/DCT
4の1処理単位時間内に可変長符号化5の該当する処理
終わらせるように、高速な可変長符号化回路を用いる方
法と、MC/DCT回路4の処理を高速化し可変長符号
化処理の待ち時間が生じても規定時間内に規定の処理を
実行できるようにする方法の2つが知られている。いず
れの方法も高速処理回路が必要になるため装置の低コス
トか小型化には不向きであった。図21のようにバッフ
ァ2102を置くことにより、MC/DCT、可変長符
号化の両処理の処理量の片寄を吸収することができ、両
回路とも低速で処理を行うことが可能になる。バッファ
の量は最大、画面1枚の情報を格納できる量、すなわち
1画面の画素数と同じ数のDCT係数と動きベクトル情
報等を保持できることが望ましいが、実質的には1画面
の画素数の1/2〜1/4程度の容量でかまわない。実
際の動作時には、バッファ2101に予め定めた個数の
DCT係数が入力された時点で可変長符号化回路5の処
理を開始させる。なお、本発明は第11図に示した実施
例と組み合わせて用いると、さらに回路規模を削減でき
るが、単一の小符号化回路を用いた画像符号化装置に適
用しても同程度の回路規模削減効果が得られる。
【0044】図22は図16のMC/DCT回路120
1の変形例である。図16と異なる第一の点は動き検出
回路2203に参照画像1104ではなく遅延させた入
力画像2210が入力されている点である。通常、参照
画像とそれに対応する入力画像の差は小さいため、本来
は参照画像1104を用いて動き検出を行う所を、入力
画像を遅延させた信号2210を用いて動き検出を行う
ことができる。図22の実施例では参照画像による検出
と入力画像による検出との誤差を吸収するために動き補
償回路2202内にて、参照画像を用いた小範囲の動き
検出を行っている。
【0045】図23は図22におけるフレームメモリ回
路2201の詳細図である。従来、図4にあるように参
照画像211を入力していたメモリ410、411の代
わりに入力画像11を格納するメモリ2301、230
2が使われる。メモリ2301、2302は各小領域に
共有領域の部分を加えただけの容量が必要であり、格納
する画素数は他のメモリ401〜404よりも多い。こ
れは信号11に全画面分の画像データを流しておき、メ
モリ401、2301、2302にて必要な部分のみを
書き込むことにより実現できる。なお、メモリ2301
あるいは2302への格納は入力された画像11がIピ
クチャあるいはPピクチャに該当するときにのみ行われ
る。入力された画像は選択回路2303により2210
−1が前方予測用の信号、2210−2が後方予測用の
信号に並び替えられて出力される。
【0046】これら図22、図23の処理により、図1
6の実施例において、動き検出時の参照画像の読み出し
回数を大幅に削減することができる。参照画像は、前の
画像の符号化および局所的な復号化が終了した後に該当
部分を符号化するまでの期間に読み出し、動き検出を行
わなければならない。そのため、高速な読み出しと、大
量なデータ転送が要求されていた。参照画像の代わりに
入力画像を用いて動き検出を行うことにより、読み出し
信号1104の信号線数の削減や、共有メモリ回路11
02の読み出し回路の低速化、メモリ素子1303、1
304の低速化を図ることができ、回路規模、回路コス
トの低減が図れる。参照画像が書き込まれた後でなけれ
ば動き検出処理が行えなかった点が、参照画像の書き込
みとは独立に動き検出を行うことができるため回路構成
の自由度が増えさらに回路規模コストを削減することが
できる。また、フレームメモリ2201と動き検出回路
12を画像符号化装置から切り離し時間的あるいは空間
的もしくはその両方とも別に処理を行うことも可能であ
る。このような機能を有する画像符号化装置あるいは画
像符号化方法も本発明に含まれる。具体的には、オフラ
インで画像の並び替えや動きベクトルの検出を行い蓄積
しておき、符号化装置の動作に連動して、蓄積した画像
および動きベクトルデータを信号線203、9を用いて
入力することにより実現できる。なお、これらの変形例
は単一の符号化回路を用いた画像符号化装置にも適用が
可能なことは明白である。図11に示した実施例と組み
合わせて用いると、さらに高い効果が得られる。すなわ
ち、図11では、符号化装置部分は入力された画素レー
トの数分の1の処理レートで動作しているが、共有メモ
リ回路1102は入力される画像の画素レートに比例し
た処理レートが要求される。図22の発明を適用するこ
とにより、この処理レートの高い箇所の処理の一部を小
符号化装置内の低速処理にて実行することができ、装置
全体の小型化が図れる。
【0047】図24は図22の動き検出回路12の詳細
図である。図4の回路と異なる点は、インターレース走
査された画像に対応したことである。インターレース画
像が入力された場合は、1つの16画素x16ラインの
マクロブロックをそのままの形で検出したベクトル24
10と、奇数ラインのみの16画素x8ラインと偶数ラ
インのみの16画素x8ラインとに分離した後にそれぞ
れ検出したベクトル2411、2412との3種類のベ
クトルが1つの動きベクトル検出回路2401から出力
される。出力されたベクトルはそれぞれバッファ240
2、2403、2404に蓄えられ信号線9を介して読
みだされる。動き検出回路12には前方予測の動きベク
トル検出回路2401−1と後方予測の動きベクトル検
出回路2401−2と2つが設置される。一方、非イン
ターレース画像すなわちフィールド画像などの順次走査
画像が入力された場合には、1つの16画素x16ライ
ンのマクロブロックをそのままの形で検出したベクトル
2410と、マクロブロックの上半分の16画素x8ラ
インと下半分の16画素x8ラインとに分離した後にそ
れぞれ検出したベクトル2411、2412との3種類
のベクトルが1つの動きベクトル検出回路2401から
出力される。これらの機能により、限られた回路規模で
種々の走査構造を持つ画像に対して高い予測効率を実現
することが可能となる。
【0048】図25は図24の動きベクトル検出回路2
401の詳細図である。全体の動作は図6、図7に示し
た回路と同じである。検出単位は16x16画素である
が、検出回路の数は従来例で説明したように探索範囲に
よって異なるため汎用的にN個としてある。本発明の特
徴は各検出回路2501の内部の信号処理が2系等にな
った点と、最小値選択回路2503、2504、250
5が3つになった点である。検出回路2501ではマク
ロブロックの各画素毎の差分値の絶対値和を計算する
が、絶対値回路611で計算された差分の絶対値をスイ
ッチ2550を用いて加算器612と加算器2551に
出力先を切り替える。この切り替え方法を奇数ラインと
偶数ラインに応じて行うと先のインターレース走査信号
対応の動きベクトル検出が実現でき、上部8ラインと下
部8ラインで切り替えると16x8画素の動きベクトル
検出が実現できる。これら加算器612、2551の加
算結果はそれぞれレジスタ613、2552に格納され
る。1つのマクロブロック分、すなわち256画素の演
算が終わった時点で、レジスタ613には偶数ライン分
あるいは上部8ライン分の差分値2510、レジスタ2
552には奇数ライン分あるいは下部8ライン分の差分
値2512が格納されている。この2つの差分値を加算
器2553で加算するとマクロブロック全体の差分値2
511が得られる。これら3つの差分値を各対応する最
小値選択回路2503、2504、2505に入力し、
各最小値選択回路内で独立に最小値を選択すれば、すべ
ての処理を終了した時点で、マクロブロック全体に対す
るベクトル2410、奇数ライン分あるいは上部8ライ
ン分に対するベクトル2412、偶数ライン分あるいは
下部8ライン分に対するベクトル2411の3つのベク
トルが得られる。図25において、スイッチ2550の
切り替え方を変えることによって上記で説明した分割以
外の分割方法、例えばマクロブロックの左右分割等、を
容易に実現できる。なお、これらの動作は探索範囲や検
出単位の大きさには依存せず、また動くベクトル検出回
路の従来例の項目で述べた検出方法の変形例全てに適用
が可能である。
【0049】また、分割加算器2551、レジスタ25
52の信号処理系統と最小値選択回路の数を増やし、そ
れに対応したスイッチ2550、加算器2553をもち
いれば1つのマクロブロックの分割の数を増やすことが
できる。例えば、図26(1)に示すように、スイッチ
2601を用いて誤差信号を4系等に分割し、左上8x
8画素は蓄積加算器2560−1、右上8x8画素は蓄
積加算器2560−2、左下8x8画素は蓄積加算器2
560−3、右下8x8画素は蓄積加算器2560−
4、となるようにスイッチ2601を切り替えれば、図
の右に示したようにマクロブロック内の8x8のブロッ
ク単位のベクトル4つと16x16のベクトルの合計5
つを同時に1つの回路で検出することができる。また、
図26(2)に示すように、例えば蓄積加算結果261
0−1、2を加算する加算器2603、蓄積加算結果2
610−3、4を加算する加算器2604を設置し、そ
れぞれの加算結果2610−6、7を用いることによ
り、図26(1)の例に加え新たにマクロブロックを上
下に2分割した単位での動きベクトルを求めることがで
きる。図26(3)は誤差信号の分割にスイッチ260
5、2606の2つを用いた例である。スイッチ260
5、2606の切り替え方を変えることにより、1つの
マクロブロックを、例えば図の右に示したような異なる
2つの分割法によって分割した単位での動きベクトル検
出が可能になる。ここで、蓄積加算信号2601−1、
2のそれぞれの最小値の和と、蓄積加算信号2601−
3、4のそれぞれの最小値の和を比較することにより2
つの分割法のうち最適な方法を選択することができる。
これらの変形例により、わずかな回路規模の増加で、複
数の分割法の動きベクトルを求めることが可能になり、
画像の予測効率を高めることができる。図26におい
て、スイッチ2601の出力数を3あるいは5以上の値
Ns個にし、それと同じNs個の蓄積加算回路2560を
用いてNs個の領域単位での動きベクトル検出を行う方
法あるいは回路も本発明に包含される。またスイッチ2
605、2606の他に1つ以上のスイッチを設け、合
計Ms個のスイッチを互いに異なる切り替え方をするこ
とにより、Ms個の分割方法に対応した動きベクトルお
よび最適な分割方法を検出する方法あるいは回路も本発
明に包含される。さらに、これらを組み合わせて、Ns
個の領域に分割する方法Ms通りの各動きベクトルおよ
び最適な分割方法を検出する方法あるいは回路も本発明
に包含される。なお、Ms通りの分割方法における領域
の分割数は同じ個数でなくても構わない。
【0050】図27は図11の符号化回路800の変形
例である。図11と異なる点は各小符号化回路2701
−1〜4の間に符号量制御の情報を通知する信号線27
10〜2715が付加された点である。これらの信号線
により他の小符号化回路の符号量制御情報を得て、それ
に応じた符号量制御を行うことにより、一時的な大量な
符号発生により1つの小符号化回路の符号化した画質の
みが著しく劣化したり、逆に符号が発生が少ないために
周辺の領域に比べ画質が著しく向上することを防止する
ことができる。各小符号化回路間の通知の組み合わせ
は、小符号化装置の数をCとした場合、最大C*(C−
1)本の信号線が考えられる。しかし、画質の違いが目
立つのは2つの領域の境界部分であることから、画面上
で境界を接する領域を担当する小符号化回路間でのみ符
号量制御の情報を通知すれば信号本数を削減することが
でき、回路規模の削減ができる。水平分割の例では小符
号化装置の数をCとした場合、2*(C−1)本の信号
線でC*(C−1)本の信号線の場合とほぼ同等の効果
が得られる。また、画面上の距離が一定値以下の領域を
担当する小符号化回路間でのみ符号量制御の情報を通知
しても、上記と同様の効果が得られる。
【0051】図28に図27の符号化回路2601−2
の詳細図を示す。なお、他の符号化回路2601−1、
3、4もほぼ同様な動作を行う。現在符号化している画
面の符号量は信号線10を介して符号制御回路2801
に入力される。符号制御回路2801では予め定められ
た値と発生符号量を比較し、発生符号量が大きければ符
号量を減らす方向に、発生符号量が少なければ符号量を
増加させる方向に制御する。すなわち、予め定められた
値と発生符号量の差に応じた値を符号量制御情報として
信号線2711、2713に出力し隣接する小符号化回
路に通知する。一方、隣接する小符号化回路から信号線
2710、2712を介して入力された符号量制御情報
は先の符号量10に加味され制御される。
【0052】図29に図28の符号化制御回路2801
の詳細図を示す。隣接する小符号化回路より通知された
符号量制御情報2710、2712をそれぞれ係数回路
2902、2901にてk2倍、k1倍され、現在符号
化している画面の符号量10と加算される。加算された
結果2910は予め設定された符号量2915との差分
をとられる。この差分値2911の絶対値が一定値以上
であれば制御回路2907は制御線2912、2913
を介して、係数回路2906、2908の係数値k3、
k4を制御して、隣接する小符号化回路へ差分値291
1のそれぞれk3倍、k4倍の値を符号量制御情報27
11、2713へ出力させる。一方、差分情報2911
は、現在の量子化ステップサイズや係数k3、k4や画
面内の位置情報等からから算出される制御情報2914
とあわせて、予め定められた算出法により量子化ステッ
プサイズ213が得られ、出力される。なおここで、k
1、k2、k3、k4は全て1以下、0以上の値であ
り、k3+k4も1以下、0以上であることが望まし
い。また、2つの隣接する小符号化回路間で符号量制御
情報が往復・発振しないように、信号2710の値が大
きな正数のときには信号2711が大きな正の値となら
ないように、また信号2712の値が大きな正数のとき
には信号2713が大きな正の値とならないように、同
様に信号2710の値が絶対値の大きな負数のときには
信号2711が絶対値の大きな負の値とならないよう
に、また信号2712の値が絶対値の大きな負数のとき
には信号2713が絶対値の大きな負の値とならないよ
うにk3、k4を制御される。具体的な数値例としてk
1=1、k2=1、k3+k4=0.25等が挙げられ
る。
【0053】信号2713の出力系統を遅延回路290
7によって遅延させることにより、小符号化回路270
2−2と2702−3の処理開始時刻の時間差を吸収
し、画面上でほぼ同じ水平位置から制御がかかるように
なる。逆に信号2711が到達した時点では、小符号化
回路2701−1はすでに該当水平位置の符号化処理が
終わっているため、制御の対象となる位置が画面上右に
ずれる。
【0054】図30は小符号化回路1101の変形例で
あり、符号調整回路3001が設置された点が図12の
回路と異なる。また、図31は小符号化回路1101の
別の変形例であり、符号調整回路3101が設置される
位置が図30の回路と異なる。30図、図31の符号調
整回路3001、3101は可変長符号化回路5から出
力された符号3010を操作して所定の符号量にする機
能を持つ。符号量の設定は符号化装置外部より行い、た
とえば、1フレームの符号量の最大値、あるフレームか
ら別のフレームまでの間の符号量の値を設定することに
より行う。符号量の調整は先に説明した符号量制御回路
212等で主に行うが、正確に制御することは難しく、
ある程度の符号量の誤差が生じてしまう。符号調整回路
3001、3101はこの誤差を調整しさらに高精度な
符号量の制御を行う。
【0055】図32に符号量調整回路3001の詳細図
を示す。入力された符号3010はシフト回路3201
に順次入力される。シフト回路3201では所定のビッ
ト数が入力された時点で入力された信号をパラレル符号
3210に出力を行う。テーブル3202ではパラレル
符号3210のどの部分が可変長符号の切れ目かを判断
し、そのビット数3211と一連の符号列の区切り符号
を示す信号3212を出力する。テーブル3210の内
容は、たとえば可変長符号が10、11、010、01
1、0010、0011の6種類(A〜F)で符号00
01が区切り信号(z)とすると、4ビットの入力値を
持ち、各入力値に対応して以下の出力値設定しておく。
【0056】 テーブル3202の設定例1 入力値 出力値(ビット数) 出力値(区切り符号) A 10xx 2 0 B 11xx 2 0 C 010x 3 0 D 011x 3 0 E 0010 4 0 F 0011 4 0 z 0001 3 1 0000 1 0 (未使用) ここで、入力値は2進数で表示してあり、xの記号は
0、1のいずれの値でもよいことを示す。すなわち、入
力値01xは入力値010と011の両方を示す。ま
た、区切り符号出力は1の時、その符号が区切り符号で
あることを示す。この例では、入力された符号3010
は入力値の上位ビット(左側)から詰められている。テ
ーブル3202より出力されたビット数3211はシフ
ト回路3201に入力され、ビット数3211のビット
数だけデータがシフトされる。このとき、必要であれば
符号3010が入力される。一方、パラレル符号321
0とそれに対応したビット数3211はそれぞれ符号F
IFO3203および符号長FIFO3204に入力さ
れ、格納される。ここで符号FIFO3203には実際
の符号の長さ(ビット数3211)にかかわらずパラレ
ル符号3210全ビット数、すなわち上記のテーブルの
例では4ビットが格納される。一方、該当符号が区切り
符号の場合には区切り符号を示す信号線3212を介し
て制御回路3205に通知される。通常の場合、符号F
IFO3203および符号長FIFO3204に格納さ
れた信号は所定のタイミングで信号線3213および3
214に出力され、パラレル−シリアル変換回路320
6にて、符号3213と符号長3214から、可変長符
号列3011が再生される。ここで、制御回路3205
は区切り符号の位置をもとにパラレル−シリアル変換回
路3206を制御し、符号の追加、削除を行い、所定の
符号量になるよう調整を行う。以下に、調整の例を示
す。
【0057】発生した情報が”AEADzAABz”の
とき入力符号3010は”10 0010 10 01
1 0001 10 10 11 0001”の25ビ
ットとなる。なお、符号列は左側が先頭すなわち先に送
信されるビットを表す。見やすくするために符号の切れ
目部分に空白文字をいれてあるが、実際には連続した符
号列が入力される。このとき、テーブル3202により
符号は分離され、以下のデータが順番に符号FIFO3
203および符号長FIFO3204に入力される。
【0058】 ここで区切り符号の1つ前の符号を削除することにより
符号量を削減する。すなわち4番目の情報Dと8番目の
情報Bを削除する。その結果、出力される可変長符号列
3011は”10 0010 10 0001 101
0 0001”の20ビットとなる。一般に符号を削減
すると再生される信号に劣化が生じる。さらに、劣化し
た画像が予測画像として用いられる場合には、符号化装
置の予測画像と復号化装置の予測画像がこの劣化により
若干異なるため、以降の画面にも劣化が波及する。従っ
て、以下ような場合を優先的に符号削除を行うことによ
り視覚的に画像劣化を最小限にとどめることができる。
(1)BピクチャのDCT係数、(2)振幅の小さいD
CT係数(すなわち+1、−1のもの)、(3)高い周
波数のDCT係数。
【0059】また符号を削除するのではなく、符号語長
の短い符号に置き換えることによっても同様な効果を得
ることができる。たとえば、高い周波数のDCT係数あ
るいは直流成分の振幅を1レベル小さくすることにより
実現できる。
【0060】符号量を増加させるためにはパラレル−シ
リアル変換回路3206にて復号化装置において復号化
に使われないスタッフィングの符号を挿入することによ
って実現できる。たとえばMPEGの場合には、符号の
同期を示すスタートコードの前に0ビットを8の倍数個
挿入する方法がある。また、同じ情報を示しかつ符号語
長のより長い符号に置き換えることによっても同様の効
果が得られる。たとえばMPEGの場合には、一部のD
CT係数には2ビットから17ビットまでの可変長の符
号が割り当てられているが、同時に20ビットあるいは
28ビットの固定長符号も割り当てられている。従っ
て、通常、17ビット以下の可変長符号として符号化さ
れるDCT係数を、20ビットあるいは28ビットの固
定長符号に置き換えることによって符号量を増加させる
ことができる。この符号の増加処理においては直接画像
が劣化することはない。
【0061】これらの符号量の増減の調整処理を組み合
わせることにより所定の符号量に微調整することができ
る。符号調整回路3001、3101は可変長符号化回
路5の中で符号化と同時に行っても構わない。また、符
号FIFO3203および符号長FIFO3204はシ
フトレジスタ、バッファ、リングバッファでも構わな
い。
【0062】符号調整回路3101の構成は符号調整回
路3001とほとんど同じである。異なる点は、図30
では符号バッファ6が通知していた符号発生量10を通
知する機能が追加された点である。符号量の調整を符号
バッファの出力の後で行うため、1画面の符号化が終了
し、符号がすべてバッファ6に格納され、発生符号量が
既知になった後に、符号量の調整を行うことができる。
したがって、1画面単位等の比較的大きい単位での高精
度な調整が可能となる。
【0063】このような符号量の高精度な調整を行うこ
とにより、符号列中の一部分を別の符号に置き換える操
作が可能になる。すなわち、テレビジョンのデジタル放
送において、ある映像の放送中に、その一部にコマーシ
ャルや臨時ニュース等を挿入する場合に相当する。この
ような置き換え操作では置き換えられる部分と置き換え
る部分の符号量が異なると復号化装置において符号を一
時的に蓄えるバッファ1901がオーバーフローあるい
はアンダーフローしてしまい、画像の大きな劣化が生じ
てしまう。本発明の高精度な符号量調整により、こうし
た劣化を防止あるいは、劣化の確率を最小限にとどめる
ことが可能になる。
【0064】先に示したテーブル3202は以下の変形
例により、そのデータ容量を削減することができる。す
なわち、パラレル符号3201をその先頭に連続する0
符号の個数と最初の1符号の後に続く符号に分離して入
力を行う。先の符号の例では先頭に続く0の個数は最大
3個、最初の1符号の後に続く符号長は最大1ビットで
あるため、テーブルのデータの種類は先の設定例1の場
合(4ビット16通り)に比べて半分の3ビット8通り
に削減できる。なお、この場合、シフト回路にて先頭に
続く0の個数の計測回路が必要になる。以下に本変形例
によるテーブル3202の設定例を示す。入力値の項の
うち左半分2ビットは0符号の連続数の2進数表示、右
の1ビットは最初に出現する1符号の後に続く符号を示
す。
【0065】 テーブル3202の設定例2 入力値 出力値(ビット数) 出力値(区切り符号) A 00 0(10xx) 2 0 B 00 1(11xx) 2 0 C 01 0(010x) 3 0 D 01 1(011x) 3 0 E 10 0(0010) 4 0 F 10 1(0011) 4 0 z 11 X 0001) 3 1 (−− − 0000) 1 0 (未使用) このテーブルの設定例では”0000”の符号を解読す
るには0の連続数を表すビットをもう1ビット追加する
必要があるが、MPEG等ではすべて0からなる符号
は、同期符号と混同する恐れがあるため通常禁止されて
いるため問題ない。本変形例は先頭に0の続く個数の長
い符号セットほどテーブルのデータ数の削減の効果が大
きくなる。例えば、MPEGのDCT係数の可変長符号
は最後尾の符号ビットを除けば最長16ビットの符号が
あるため、2の16乗(65536)個のテーブルデータが
必要であった。しかし、その符号の先頭に続く0符号の
個数は最大11個(4ビット)、最初に出現する1符号
の後に続く符号長は最大5ビットであるため、合計して
9ビット、すなわち2の9乗(512)個のテーブルデー
タで済み、テーブルサイズを128分の1に削減でき
る。テーブルサイズを削減することにより、例えばLS
I化したときのチップサイズが小さくなり、LSI製作
コストを低減したり、テーブルアクセスの高速化が図れ
るため、同じ回路規模でより高速な処理、あるいは同じ
処理速度でより小型低価格の回路構成をとることができ
る。
【0066】図32に示したシフト回路3201および
テーブル3203の回路構成は、復号化装置の可変長復
号化回路にも適応が可能である。この場合、テーブル3
203の構成は設定例1でも設定例2でもいずれでも適
用でき、設定例2を適用すれば上記の符号量調整回路の
説明部分で示したものと同じ効果が得られる。本発明を
適用する可変長復号化回路は複数の小復号化回路170
2からなる復号化装置に適用しても、単一の復号化回路
からなる復号化装置に適用しても構わない。
【0067】図33は図23のフレームメモリ回路22
01と図24の動き検出回路2203の変形例である。
本変形例の特徴は図23のフレームメモリ回路2201
と図24の動き検出回路12がフィールド単位の画像を
格納するようになった点であり、これにより、フレーム
単位の符号化処理にしか対応していなかったものが、フ
ィールド単位の符号化処理にも対応できるようになる。
具体的には1つのフレームをなす2つのフィールド間で
予測処理を行えるようになるため、動きの大きい映像の
符号化の時にも通常の映像の場合と同程度の符号化効率
を実現できる。動き検出回路2203においては、後述
する図35の動き補償回路と組み合わせて適用すること
により、図25の動きベクトル検出回路のようにフィー
ルド/フレームの両方のベクトルを検出する検出回路を
用いなくても、従来の図6のような動きベクトル検出回
路を用いてフィールド/フレーム単位での動きベクトル
を検出できる。また、フィールド毎に動き検出を行うた
め検出単位が16x8画素でよく、フレーム単位の検出
の場合の半分で済む。このため、動きベクトル検出回路
450内の検出回路数は半分のN/2個で検出すること
ができ、動きベクトル検出回路の回路規模が約半分に削
減される。
【0068】図33の動作は図23の動作とほぼ同じで
ある。図33では、図23の各メモリ401〜404お
よび参照画像用のメモリ2301、2302を2つに分
割し、それぞれにデータ量が半分であるフィールド画像
画像を格納する。符号化処理をする画像は図23の場合
と同様に選択回路405により選択するが1つのフレー
ムのうちどちらのフィールドを処理するかはスイッチ3
301あるいはスイッチ3302あるいはスイッチ33
03を用いて選択する。画像をフレーム単位で符号化す
るときにはこれらのスイッチは例えばライン毎に切り替
えられ、フィールド単位で符号化処理をするときにはそ
れぞれのスイッチを下側(401−2、403−2、4
04−2の出力側)に設定する。一方、参照用の画像は
メモリ2301、2302に格納され、図34に例示し
たタイミングに従い、選択回路3304を制御する。信
号線3350、3354はフレームを構成する2フィー
ルドのうち時間的に前方にあるフィールド(フィールド
A)の参照画像を出力し、信号線3351は後方にある
フィールド(フィールドB)の参照画像を出力する。こ
れらの参照画像の切り替えのタイミングは図34に示す
ように、IピクチャもしくはPピクチャ(図中入力信号
を太線で囲んだ画像)の入力が終了した時点で切り替わ
る。ただし、信号線3350は入力終了から1フィール
ド時間遅延して切り替えられる。これらの参照信号もと
に動き検出回路2203にて動きベクトルを検出する
が、動きベクトル検出回路3321は主にフィールドA
の参照画像による後方予測ベクトル、動きベクトル検出
回路3322はフィールドBの参照画像による後方予測
ベクトル、動きベクトル検出回路3323はフィールド
Aの参照画像による前方予測ベクトル、動きベクトル検
出回路3324はフィールドBの参照画像による前方予
測ベクトルを検出する。なお、動きベクトル検出回路3
321は一時的にフレームメモリ回路2201内の選択
回路3306により信号が切り替えられ、Pピクチャ内
のフィールド間予測、すなわちフィールド6Aを参照画像
としフィールド6Bを入力画像とするような前方予測予測
ベクトルにも用いられる(図34*印)。検出されたベ
クトルはそれぞれバッファ3325〜3328に格納さ
れ、仮の動きベクトル2211として次の動き補償回路
より読みだされる。
【0069】図35は図22の動き補償回路2202の
詳細図である。動き補償回路2202では動き検出回路
2203の検出した仮の動きベクトル2211をもと
に、フレーム予測/フィールド予測のうち最適な予測方
法と最適なベクトル9を決定し、差分画像信号2212
を出力する。同時に半画素精度の動きベクトル検出も行
う。最適な予測方法決定の例を図36を用いて説明をす
る。
【0070】図36(1)はフィールド毎に符号化を行
う場合の予測方法の選択法を説明する図である。図中の
丸印は一つの走査線(水平方向の画素列)を表し、縦方
向は画面の垂直方向に、横方向は時間軸に対応する。図
はフィールド中、同じマクロブロックに含まれる4ライ
ンのみ取り出して記述しており、インターレース構造を
取っているため第1のフィールドと第2のフィールドは
垂直方向に半ライン分だけずれた構造になっている。図
中では4フィールド分の画像を示しており、左側の2フ
ィールドは参照画像(参照A、参照B)のフィールド、右
側は符号化する画像(符号A、符号B)のフィールドを示
している。それぞれ右側2フィールド、左側2フィール
ドは時間的に連続したフィールドであるが、参照のフィ
ールドと符号化フィールドは必ずしも連続していない。
ただし、本図では参照のフィールドと符号化フィールド
の間のフィールドは省略してある。図中の矢印は図33
の動き検出回路にて検出した動きベクトルの垂直成分を
記してある。本来は対応する全ての走査線間に矢印(図
では各符号走査線1本当り2〜3本、合計16〜24
本)を記入するべきであるが、本図では見やすくするた
めに、そのうちの代表的なものを選択し、見やすい位置
に配置した。従って、例えば図中fA0を記されている予
測のベクトルは参照Aと記されたフィールドの1番目の
走査線から符号Aと記されたフィールドの1番目の走査
線へ書かれているが、実際には同じ方向大きさの矢印
が、それぞれ2〜4番目の走査線間にも存在し、これら
3本は省略されている。なお、図中の矢印に付された3
文字の記号は、第1の文字が前方予測のベクトル(f)か
後方予測のベクトル(b)か、2文字目が第1の参照フィ
ールド(A)か第2の参照フィールド(B)かを、末尾の数字
は予測の種類(参照->符号A:0,参照->符号B:1, 符号A->
符号B:2)を示している。すなわち先頭2文字の4通り
の組み合わせが図33の動きベクトルのバッファ332
5〜3328に対応し、末尾の数字がバッファに格納さ
れる順番を表す。フィールド毎の符号化では、符号Aの
フィールド符号時にはベクトルfA0を用いて参照Aフィー
ルドから、あるいはベクトルfB0を用いて参照Bフィール
ドからの予測のうち予測誤差の少ないほうを選択する。
同様に符号Bのフィールド符号時にはベクトルfA2を用い
て符号Aフィールド(フィールド単位の符号化では、符
号Aフィールドの符号化終了後は符号Aフィールド新たな
参照フィールドになる)から、あるいはベクトルfB1を
用いて参照Bフィールドからの予測のうち予測誤差の少
ないほうを選択する。これらの処理はフィールド単位の
符号化のBピクチャにおいても同じである。ただし、B
ピクチャ前方予測では符号A->符号Bの予測はできないた
め、ベクトルfA2のかわりにベクトルfA1が用いられる。
後方予測の場合には前方予測の場合のベクトルの記号の
fをbに置き換えたベクトルを用いて同様に行うことがで
きる。これらフィールド単位の符号化時の予測はすべて
16x8画素単位の予測を基準としている。すなわち1
6x16のマクロブロックを上下に2分割した予測であ
り、1つのマクロブロックあたり2つの動きベクトルが
必要になる。この2つのベクトルが同じ値であるとき
は、16x16画素単位の予測に置き換えることができ
る。図中および以降、ベクトルfA0を用いて参照Aフィー
ルドから生成した予測画像をR(A,fA0)と記述する。
【0071】フレーム単位の符号化においてはフレーム
単位の予測とフィールドに2分割しての予測が主に使わ
れる。一般の映像では静止部分や水平方向の動きが多い
ため、図では水平のベクトル(参照A->符号A、参照B->
符号B)が多く、これらはフレーム単位の予測に含まれ
る。一方それ以外の動きでは時間的に近いフィールドか
らの予測、すなわち参照Bからの予測が多くなり、これ
らはフィールド単位の予測に含まれる。従って、フレー
ム単位の予測と、参照Bからの予測とにより大部分の動
きをカバーすることが可能になる。フレーム単位の前方
(P、Bピクチャ)予測時のベクトルはfA0あるいはfB1
を用いる。理想的な場合にはこの2つのベクトルは同じ
値になるが、実際には若干異なる場合もある。従って、
2つのベクトルfA0、fB1に対応するフレーム予測信号を
生成し、予測誤差の小さいものを選択する。この選択後
に参照Bからのフィールド予測信号による予測誤差を調
べ、3者のうち最適なものを選択する。フレーム単位の
後方予測時は前方予測の場合のベクトルの記号のfをbに
置き換えたベクトルを用いて同様に行うことができる。
ただしフィールド予測時は参照Aフィールドからベクト
ルbA0,bA1を用いて予測信号を生成する。
【0072】図35に戻り、制御回路3510は入力さ
れたベクトル2211(上記のfA0等)をもとに4つの
メモリ3502〜3504に4種類の図36右中央の表
に示した参照画像信号を格納する。信号格納時には動き
ベクトルによって示される部分16x8画素とその左右
1画素、上下2画素を合わせて18x12画素を格納す
る。図36右側の表中、orで示したものはベクトル検出
時の誤差が小さいほうを用いる。図36の(2)の場合
はベクトル検出時の誤差信号をベクトル値とともにバッ
ファ3327等に格納しておき、ベクトルfA0の誤差が
ベクトルfB1の誤差より小さい場合にはメモリ3503
にR(B,fA0)を格納し、ベクトルfB1の誤差が小さいとき
にはR(A,fB1)を格納する。メモリ3502〜3504に
格納した信号のうち必要なものを同時に読み出し、予測
信号回路3505にて2種の予測信号3520、352
1を生成する。予測信号3520はフレーム予測信号
(図36予測信号枠内の第1あるいは第2の予測信
号)、予測信号3521はフィールド予測信号(図36
予測信号枠内の第3の予測信号)である。予測信号35
20、3521は半画素回路3507−1〜9に入力さ
れベクトル2211の±0.5画素の範囲の半画素予測信
号3530−1〜9および3531−1〜9を生成す
る。これらは検出器3506−1〜9により、符号化画
像信号203と画素毎の差分が取られ、16x8画素全
体での誤差電力が3551および3552が計算され
る。最小値選択回路3554は誤差電力3551、35
52の小さいほうを選択し、選択情報と誤差電力を信号
線3523−1に出力する。最小値選択回路3508は
各検出器3506−1〜9の出力3523−1〜9の誤
差電力を比較し、最も小さいものを選択する。選択結果
は予測のモードと半画素単位の動きベクトルとして信号
線9に出力される。一方各半画素予測信号3530−1
〜9および3531−1〜9と符号化画像信号203は
選択差分回路3509に蓄えられ、誤差が最小になった
予測信号が選択され、画素毎に差分画像信号2212と
して出力される。
【0073】予測信号生成回路3505は図36右端に
示した予測信号の組(|記号の両側に示した組)をメモ
リ3502〜3504から順次読み出し、ライン(18
画素)毎に出力する。なお、図36右端に示した予測信
号の組のうち第1組と第2組がフレーム予測信号、第3
組がフィールド予測信号を表すが、第1組と第2組は先
に述べたように動きベクトル検出時の誤差の大きさによ
り、いずれか一方のみが使われる。
【0074】図37に半画素回路3507の詳細図を示
す。入力されたフレーム予測信号3520は、遅延回路
3710および3701〜3708により所定の時間遅
延させられた後に、平均値回路3709にてそれらの一
部の平均が計算され半画素フレーム予測信号3530が
出力される。75画素入力し終わった時点での各信号線
3720a〜i、A〜Iとブロックの位置関係を示す。
【0075】 a〜i、A〜Iはそれぞれ信号線3720a〜i、A〜Iが
この位置の画素を保持していることを示し、xは遅延回
路内に保持され、zはすでに廃棄されていることを表
す。75画素を入力し終わったこの時点で符号化画像信
号202は入力される。すなわち、符号化画像信号の第
1の画素と先の動きベクトルによりのeあるいはEで示
した位置の画素が対応する。半画素信号の生成法は、例
えば符号化画像信号の第1の画素に対応する予測信号値
は、半画素のベクトルが(-0.5、-0.5)の場合、フレー
ム予測で(i+h+f+e+2)/4、フィールド予測
で(I+H+F+E+2)/4、(0、+0.5)の場合、
フレーム予測で(e+b+1)/2、フィールド予測で
(E+B+1)/2、(0、0)の場合、フレーム予測で
e、フィールド予測でEとなる。ここで記号/は割り算
後結果を切り捨てて整数にする操作を表し、a〜i、A
〜Iはそれぞれ信号線3720a〜i、A〜Iの値を表す。
平均値回路3709、3719における平均値のとりか
たは各回路3507−1〜9によりすべて異なる。例え
ば平均値回路3709の場合は次の計算を行う。
【0076】 検出回路 対応ベクトル 計算 3507−1 (-0.5,-0.5) (i+h+f+e+2)/4 3507−2 (-0.5, 0) (h+e+1)/2 3507−3 (-0.5,+0.5) (g+h+d+e+2)/4 3507−4 ( 0,-0.5) (f+e+1)/2 3507−5 ( 0, 0) e 3507−6 ( 05,-0.5) (e+d+1)/2 3507−7 (+0.5,-0.5) (c+b+f+e+2)/4 3507−8 (+0.5, 0) (e+b+1)/2 3507−9 (+0.5,+0.5) (e+d+b+a+2)/4 フィールド予測信号も同様に遅延回路3711〜371
8により所定の時間遅延させられた後に、平均値回路3
719にてそれらの一部の平均が計算され半画素フレー
ム予測信号3531が出力される。平均値のとりかたは
各回路3507−1〜9によりすべて異なる。ここで、
遅延回路3713、3716は36画素分の遅延、遅延
回路3703、3706、3710は18画素分の遅
延、それ以外の遅延回路は1画素分の遅延である。以上
はフレーム単位に符号化した場合であるが、フィールド
単位に予測した場合には、2つのフィールド予測信号を
3520、3521に入力しフレーム予測と同様の計算
を行う。この時遅延回路3710、3713、3716
はそれぞれ0画素、18画素、18画素の遅延になるよ
う、すなわちに半画素回路3507の上半分と下半分が
同一の処理を行うように、外部より設定する。
【0077】図38に符号量制御回路の実施例を示す。
従来の符号量制御回路と異なる点は、動きベクトル検出
時に使われた各誤差信号3810を符号量メモリ380
1に蓄積し符号量制御に用いる点である。既に説明した
ように動きベクトルの検出は符号化に先だって行われ
る。そのため、そのとき生じた各部分での誤差の大きさ
をもとに画面内の発生情報量の偏りの予測を行えば、精
度の高い符号量制御を行うことができる。また、情報量
の多い箇所に多くの符号を割り当てることができるた
め、画面内の画質を一定にする効果もある。具体的に
は、所定の小領域毎の差分合計に比例して、この小領域
に符号を割り当てる。すなわち、i番目の小領域の誤差
値をEr(i)、i番目の小領域までの誤差値の累積を
SEr(i)、領域数をn、1画面に割り当てられた符
号量をBとすると、全画面の誤差値の合計SER(n)
に対する、符号化をおこなう部分までの誤差値の合計の
比率、すなわちSEr(i)/SEr(n)を信号線3
811を介して符号量制御回路3803に通知する。符
号量制御回路ではB*SEr(i)/SEr(n)と実
際に発生した符号量を比較し、発生符号量の方が多けれ
ば画質を粗くし、少なければ画質を細かくし、割り当て
られた符号量になるよう制御を行う。上記の説明は画面
内の小領域間の符号量の割当法をを例にとって行った
が、数画面(例えばPピクチャとその前に連続するBピ
クチャ)中の画面間の符号量の割当法にも適応できる。
また、全画面の誤差値の合計が一定値以上になった場合
にその画面をIピクチャとして符号化するよう制御する
方法も本発明に含まれる。上記の説明は誤差値として動
きベクトル検出時に使われる画素毎の差分の絶対値和を
前提としていたが、動きベクトル検出時に別の類似度の
類似度の評価値、例えば画素毎の差分の二乗和や、差分
信号をアダマールやDCT変換等により直交変換した後
の信号の絶対値和などを評価値として用いてもよい。こ
れらの評価値は実際に発生する符号量により近いため、
より精度の高い符号量制御が可能となる。また、先の画
素毎の差分の絶対値和、あるいは上記の評価値を変換し
た値、例えば二乗、対数などの処理をした値、をもちい
ても制御精度向上の効果が得られる。なお、画像を分割
処理する符号化装置にも単一の符号化回路からなる符号
化装置にも適用可能である。
【0078】図39は図38の符号量制御回路の変形例
である。図38の実施例と異なる点は符号量制御用のメ
モリが2面になり、その一方は外部から入力画像に応じ
た設定が可能な点である。図38の実施例では、画面内
の画質は一定になるように制御がかかる。しかし、実際
には一部をより高画質にした方が画面全体の画質が向上
したように感じられたり、また符号者が意図的に画面の
一部を高画質化する用途がある。こうした場合には符号
配分の重み係数3910を符号配分補正用メモリ390
1に入力し、符号量制御回路3902では、読み出した
係数3911を加味して量子化ステップサイズを決定す
る。符号配分補正メモリ3901には、画面をいくつか
の小領域に分割した時、それぞれの小領域に対応した符
号配分の重み係数を格納する。例えば、1小領域あたり
8ビットのメモリを持ち、メモリに格納した値をW(0
〜255)としたとき、量子化の値を一時的にW/12
8倍する。
【0079】符号配分の重み係数3911の入力は符号
化開始時に一度だけ設定しても、1画面毎に設定しても
構わない。1画面毎に設定したほうがより細かな補正が
可能であるが、逆に入力する符号配分の重み係数の情報
量が増えてしまう。例えば1920画素x1024ライ
ンx30Hzの画像に対し、16x16画素に対し8ビ
ットの係数を入力すると、約1.8Mbpsの転送レート
になる。符号配分の重み係数の転送レートを下げるため
の以下の変形例も本発明に包含される。
【0080】(1)符号配分の重み係数の対応する領域
を広げる。あるいは係数のビット数を少なくする。例え
ば、64x16画素に4ビットの係数を割り当てると、
転送レートは1/8になる。小領域の形状は任意で構わ
ないが、マクロブロックの形状単位に設定したほうが正
確な補正ができ、連続して処理されるL個のマクロブロ
ックの形状(水平16xL画素、垂直16画素)にする
と符号配分補正用メモリ3901をランダムアクセスし
なくてすむためメモリのアドレス回路を削減できる。ま
た水平分割した符号化装置に適用する場合も余分な符号
配分補正用メモリを持たずに済む。
【0081】(2)予め定められたフレーム数(Nwフ
レーム)に1回、符号配分の重み係数を入力する。これ
により、転送レートが1/Nwになる。
【0082】(3)重み係数を符号化して転送し、符号
配分補正用メモリ3901の入力時に復号して入力す
る。例えば同じ重み係数が連続する場合には、その係数
値と連続する個数を伝送する。連続数の最大を255個
(8ビット)とすると、係数値の変化毎に16ビットの
情報が発生する。1マクロブロックライン(上記例では
1920x16画素)あたり平均10回の変化点があっ
たとすると転送レートは約300kbpsと1/6にな
る。連続数をハフマン符号等の可変長を用いたり、係数
値の変化差分値を可変長符号で符号化する処理等を行え
ば、さらに転送レートを低くすることができる。ただ
し、この変形例では1画面当りの重み係数を符号量が可
変になるため転送の開始、終了等を通知する制御が必要
になる。
【0083】(4)数フレームにわたる重み係数の分布
を記述する符号を伝送し、符号配分補正用メモリ390
1の出力時にこの符号を展開して所望の係数値を得る。
以下に分布の記述の例を示す。例は3フレーム同じ係数
値を続けた後、画面が右に移動したため係数値も右にず
らした例である。()は()内に記した内容の処理に応
じた符号を意味する。
【0084】 (1画面分係数値転送)(第1係数値)(第2係数値).....(最終係数値) (前画面と同一係数を使用) (前画面と同一係数を使用) (前画面の左隣の係数を使用)(画面左端第1係数値)(画面左端第2係数値 ) ..... (画面左端最終係数値) ..... 以上の様な符号化処理を、上記(3)の変形例と組み合
わせることにより転送レートをさらに下げることができ
る。一方、符号の解析処理は複雑になるが、マイクロプ
ロセッサあるいはディジタルシグナルプロセッサ等を配
置し、ソフトウェアにより処理を行えば少ないハード追
加で実現ができる。なお、画像を分割処理する符号化装
置にも単一の符号化回路からなる符号化装置にも適用可
能である。
【0085】図40は図13に示した共有メモリ回路1
102の変形例である。図13では各小符号化あるいは
復号化装置に対応するメモリを2面持ち、読み出し用と
書き込み込み用に分けていたが、図40では読み出しと
書き込みを1つのメモリ1303で行っている。こうし
た処理を行うことによりメモリ管理回路4001の回路
規模はやや増大するが、メモリ1303の数は半分にな
る。メモリ素子はその高集積化がめざましいため、1画
面を4分割した程度画像の大きさの画像(1920画素
x256ラインx8ビット+該当色信号では6Mビット
程度)2枚を1つの素子に格納することは十分可能であ
り、1つの素子に格納したほうが回路規模も小さくな
る。
【0086】メモリ管理回路4001ではメモリの読み
出し機能が追加される。メモリの読み出し処理は書き込
み処理と同様に読みだすブロックの先頭画素のアドレス
等を信号線1104を用いて設定し、設定した後に所望
の画素が連続してあるいは間欠的に信号線1104のデ
ータ線に出力される。読み出しアドレスの設定は先頭の
画素のアドレスの代わりにマクロブロックの番号、マク
ロブロック内のブロックの番号、該当マクロブロックの
動きベクトルを設定してもよい。
【0087】図40の共有メモリ回路はメモリのアクセ
ス回数が2倍になる点、また読み出しを設定してから該
当する画素データが出力されるまでの時間に若干の遅延
がある点から、本変形例は比較的メモリアクセス数の少
ない、復号化回路(図17)へ適用したときに特に効果
が得られる。
【0088】図41は図40の変形例であり、図40の
メモリ1301−1〜4が1つのメモリ4101に集約
されている。このためメモリ管理回路4102は全ての
小符号化回路あるいは小復号化回路のメモリアクセスを
1つのバス4110で行う。メモリ管理回路4102内
部には、各アドレス入力線毎にFIFOあるいはバッフ
ァメモリが接続され、このFIFOあるいはバッファメ
モリにアドレスが設定された時点でメモリ4101の所
定のアドレスにアクセスをする。いくつかのアドレス設
定がほぼ同時刻に行われた場合はそれらの設定に順序づ
けをし順番に処理を行う。順序づけには、少しでも早い
時刻に書き込まれたものから処理をする方法や、予め定
められた順番にFIFOあるいはバッファメモリの設定
の有無を確認しておき、設定されていたものを処理する
方法等がある。後者はアクセスの優先順位を自由に設定
できる利点はあるが優先順位の低いものは設定してから
データ処理される間での待ち時間が長くなる場合があ
る。
【0089】図40、図41の変形例を用いた復号化回
路では、メモリアクセス回数が最も多い場合をもとにメ
モリのアクセス速度を決定する。例えば、先に説明した
MPEGではBピクチャの補間予測の場合に最もメモリアク
セス回数が増大し1画素あたり4回(予測画像読み込み
2回、再生画像書き込み1回、表示読み出し1回)にな
る。また、説明を省略したがMPEG2で採用されたDua
l prime予測もBピクチャと同様に4回のアクセ
スが必要である。1920x256x30Hzx1.5
(色信号分)の画像の場合は約22M画素/秒であるこ
とから、88M画素/秒のアクセスが必要になる。現在
の大容量のメモリのアクセス速度は30〜40ns前後
であることから、1回に2画素(16ビット)アクセス
すすることにより、88M画素/秒のアクセスを達成す
ることができる。しかし、この場合はアクセスのオーバ
ーヘッドを最小限に抑さえなければならないため、回路
構成が複雑になり回路規模が増大する。また、実際には
1画面内の予測が全て補間予測あるいはDual pr
ime予測であることはほとんどないため、平均のアク
セス回数はさらに少ない。従って、メモリのアクセス回
数を88M画素/秒よりも少ない値で回路を設計してお
き、アクセス処理回数が所定の回数を越えたあるいは越
える恐れのあるときには、補間予測あるいはDual
prime予測を簡略処理により実行する回路を付加す
ることによって、小復号化回路および復号化装置全体の
回路規模を小さくすることができる。補間予測あるいは
Dual prime予測の簡略処理としては図42に
示すように従来2画素の平均を取っていた予測値をその
いずれかの1画素で置き換えることによって実現する。
このときメモリへのアクセス回数は1画素あたり3回と
なる。図42(1)は従来の補間予測あるいはDual
prime予測における補間処理を示し、以降(2)
〜(4)に簡略処理を示す。図の白丸印あるいは黒丸印
のついた画素だけを読みだす。これらの簡略処理により
再生する画像の画質はやや劣化するが、両予測とも類似
した画像の平均値を予測画像としている点、簡略処理を
するブロック数が確率的に非常に少ない点から、再生画
像の劣化は通常ほとんど気にならない程度のものにな
る。一方、簡略処理による効果は上記に説明した回路の
小型化が図れる。あるいは逆に従来と同じ回路でより低
速のメモリを使うこともできる。低速のメモリを使う
と、回路コストを削減できる他に、最先端の大容量メモ
リ(一般には再高速のメモリに比べアクセス速度が遅
い)を使用できることになり回路規模削減にも効果があ
る。(2)の簡略処理1では一方の予測画像しか用いな
いた復号化のモードを例えば補間予測から前方予測に強
制的に切り替えることにより回路の変更増大を最小限に
抑さえることができる。一方、(3)の簡略処理2では
ライン毎に予測画像を切り替えているため、2つの予測
画像の特徴を予測画像に反映させることができる。一般
には2つの予測画像はほぼ同一のものであるが、標準化
の規定では任意の画像の組み合わせが許されている。簡
略処理2は2つの画像が異なるものであっても、簡略処
理による劣化を最小限におさえることができる。簡略処
理2は垂直方向に分割する方法も包含する。(4)の簡
略処理3は簡略処理2に水平方向の変化を加えたもの
で、簡略処理による誤差の周波数成分が垂直水平とも高
周波成分になるため、人間の視覚に感じにくくなり、劣
化がより少なく感じられる効果がある。さらに、(5)
の簡略処理4は簡略処理2において、予測画像2の画素
を用いる箇所にて、予測画像1の周辺の画素から空間補
間した画素を作り、この空間補間画素と予測画像2の画
素との間で平均値処理を行い予測画像を作りだす。この
場合、予測画像生成の回路構成はやや複雑になるが、最
も処理速度に影響するメモリへのアクセス頻度は他の簡
略処理と同じになる。簡略処理による劣化も他の簡略処
理の場合よりもさらにおさえることができる。図では空
間補間画素作成時に境界の画素は空間補間画素を使用し
ていないが、ブロック外の画素を用いて空間補間画素を
生成する方法、ブロック内の空間的に近い位置の画素を
空間補間画素とする方法も本発明に包含される。また、
簡略処理4は簡略処理2をベースとしているが、簡略処
理3に空間画素補間による方法を適用しても同様の効果
が得られる。
【0090】なお、本発明は上記で説明した以外のいか
なる画素数の画像に対しても適用でき回路の小型化の効
果が得られる。また、画像分割した復号化装置に限ら
ず、単一の復号化回路をもつ画像復号化装置にも適用が
でき同じ効果がある。
【0091】図40、図41に示した回路構成および制
御方法は画像符号化装置に適用可能である。
【0092】図43は本発明を適用した画像符号化復号
化装置の実施例である。画像信号および符号を画面上の
該当する位置に応じて分割し、符号化および復号化処理
を行う。入力画像信号2−1および入力符号7−1は符
号/画像分割回路4301にて画像、符号それぞれ独立
のタイミングで4つに分割され、信号線4310−1〜
4を介し小符号化復号化回路4301−1〜4に入力さ
れる。信号線4310−1〜4では画像信号と符号信号
が空間的に多重されている。小符号化復号化回路430
1−1〜4は入力された画像信号に対し符号化処理を行
い、符号に対しては復号化処理を行う。これらの処理は
既に説明した小符号化回路1101や小復号化回路17
02と同じ処理である。符号化あるいは復号化された結
果は画像/符号合成回路4303にて符号、再生画像そ
れぞれ独立のタイミングで合成され、出力符号7−2お
よび再生画像信号2−2が得られる。
【0093】符号化復号化における参照画像は共有メモ
リ4304に格納されており、アクセス信号4312と
読み出し信号4313を用いてアクセスを行う。これら
アクセス信号4312と読み出し信号4313は小符号
化装置のものと、小復号化装置のものを空間的に多重し
ても時間的に多重しても構わない。共有メモリ回路43
03の内部のメモリ数はそれぞれの小符号化回路・小復
号化回路に対応して1メモリずつ、合計8つの独立した
メモリ構成でも、対応する小符号化回路・小復号化回路
に1メモリずつ、合計4つの独立したメモリ構成でも、
小符号化回路に1メモリ、小復号化回路に、合計2つの
独立したメモリ構成でも、あるいは1つのメモリ構成で
も構わない。独立のメモリ数が減れば回路規模は小さく
なるが、逆に1小符号化回路あるいは小復号化回路に対
するアクセス速度が遅くなる、もしくは非常に高速なメ
モリ素子を必要が必要になる。メモリ構成とアクセス用
の信号の多重方法は、それぞれ独立であり、全ての組み
合わせが可能である。
【0094】図44は図11に示した画像符号化装置の
変形例である。図44の変形例は符号化装置だけではな
く復号化装置、符号化復号化装置にも適用可能である。
【0095】図44の図11の共有メモリ回路1102
を分散させて各小符号化回路4401内に設置してあ
る。そのため共有する部分の画像情報は信号線4410
〜4415を介して転送され、各小符号化回路内の共有
メモリに格納される。なお、図44では共有情報は小符
号化回路4401−1と2、2と3、3と4の間のみに
設定された例である。
【0096】図45は小符号化回路4401−2の詳細
図である。小共有メモリ回路4501が配置された点が
図12の小符号化回路1101と異なる以外は、図12
の小符号化回路1101と同じ動作をする。小共有メモ
リ回路4501は同じ小符号化回路4401の局所再生
した参照画像1103を保持する他、画像を共有する小
符号化回路からの共有画像信号4411、4413を受
信し参照画像1103と同じメモリに保持する。一方、
参照画像1103のうち、他の小符号化回路にて共有画
像として用いる信号は共有画像信号4410あるいは4
412へ出力し、該当の小符号化回路に転送する。な
お、小符号化回路4401−3の構成は小符号化回路4
401−2とほとんど同じであり、共有画像信号441
0〜4413の部分が異なる信号線に接続される。ま
た、小符号化回路4401−1、4は共有画像信号線の
数が4本から2本になる。
【0097】図46は図45の小共有メモリ回路450
1の詳細図である。参照画像信号1103および共有画
像信号4410、4413はメモリ管理回路4601に
入力され、メモリ管理回路4601内のバッファメモリ
あるいはFIFOに保持される。メモリ管理回路460
1はバッファメモリあるいはFIFOにデータが入力さ
れると、そのデータをメモリ1303あるいは1304
の該当する箇所に書き込む。一方、メモリ1303ある
いは1304の読み出しは信号線1104を介して図1
3に示した共有メモリ回路と同様に行う。
【0098】参照画像信号1103は転送スイッチ46
04にも入力される。転送スイッチは入力された信号が
共有される部分の信号であれば共有画像信号4410あ
るいは4412へ出力し、該当の小符号化回路に転送す
る。
【0099】上記図44から図46までの変形例によれ
ば、第11図と同じ符号化処理速度で同じ符号化効率を
達成できる。さらに、第11図では共有メモリ回路11
02に集中していた信号線を分散することにより全体の
信号線数を減らすことが可能になる。例えば、各小符号
化回路あたりアクセス信号1103がデータ8本、制御
2本、読み出し信号1104がデータ8本、アドレス1
0本、制御4本とすると共有メモリ回路1102の入力
信号本数は128本になる。一方、図44の変形例では
共有画像信号4410〜4413はそれぞれデータ8
本、制御2本とすると合計で60本となり半分以下にな
る。また信号線の集中の度合いも、第11図では共有メ
モリ回路一箇所に128本に対し、変形例では40本に
なる。信号線の集中を回避することにより、画像符号化
装置800を1つのLSIにした場合には信号線のレイ
アウトが容易になりチップサイズも小さくなる。小画像
符号化回路および共有メモリ回路をそれぞれ1つのLS
Iにした場合には特に共有メモリ回路のLSIのピン数
増加による高価格化を避けることができる。また、符号
化回路および共有メモリ回路をそれぞれ1つの基版に
し、それらをコネクタやケーブル等で接続する場合には
コネクタ数あるいはケーブル数を削減することができ
る。なお、本変形例はとくに画像を水平分割した時に信
号本数を減らす効果が高い。また、分割数を多くするほ
ど信号本数を減らす効果は高くなる。
【0100】図47は図25の動きベクトル検出回路2
401の変形例である。動きベクトル検出回路2401
をコアとしてその周辺回路を設置することによって動き
ベクトルの検出範囲を広げている。図47の詳細を説明
する前に図48を用いて動作の概要を説明する。図48
は動き検出に用いるマクロブロックの順番と位置を図示
している。第1の例は上に符号化画像のマクロブロック
列、下に参照画像のマクロブロック列を示している。1
つの四角形が1つのマクロブロック(16x16画素)
に対応し、256画素からなり、図の左のマクロブロッ
クから順次入力し処理を行う。図25の動きベクトル検
出回路の説明では各画素は上の画素から水平方向にスキ
ャンして入力することを仮定していたが、本変形例では
左側の画素から垂直にスキャンして入力する。これは図
25の回路の動作の垂直アドレス(位置)と水平アドレ
ス(位置)を入れ替えただけで各動作は全く同じであ
る。
【0101】第1の例では参照マクロブロック1A、1
B、1Cが符号マクロブロック1の入力に対応して入力
され、1A、1B、1C、2A、2B、2C、を用いて
符号マクロブロック1の動きベクトルが探索される。符
号マクロブロック2に対しては参照マクロブロック1
A、1B、1C、2A、2B、2C、3A、3B、3C
が用いられ、そのうち1A、1B、1C、2A、2B、
2Cは先の符号マクロブロック1の処理時に入力した画
素を保持しておき、新たに3A、3B、3Cの画素のみ
を入力する。
【0102】符号マクロブロック2と参照マクロブロッ
ク1Bが位置的には対応し、水平垂直±16画素(第1
のマクロブロックのみは水平0〜+16)の範囲を探索
している。通常は、参照マクロブロック2Bの位置の画
素との類似性が最も高いとき通常は動きベクトル(0、
0)とするが、参照画素を読み出すアドレスに固定のオ
フセット値を加え(0、0)以外の点を中心に探索をす
ることも可能である。例えば水平・垂直アドレスに(
8、1)のオフセットを加えれば水平―8〜+24、垂
直―15〜+17までの範囲を探索することになる。第
1の例では参照画像の各マクロブロックの図示した順番
と画面上のマクロブロックの位置が一致している。
【0103】図48の第2の例は上記のオフセット値を
マクロブロック毎に変化させた場合である。例えば符号
化マクロブロック2に対しては参照マクロブロック1
A'、1B'、1C'、2A'、2B'、2C'、3A、3
B、3Cが用いられ、1A'等は1A、1B、1C、2
A、2B、2Cとは異なる位置の画素であるため一般に
は再度読み出す必要がある。その結果、参照画像の読み
出し速度を第1の例と同じにした場合には、処理速度は
3分の1になってしまう。
【0104】図48の第3の例はオフセット値を4マク
ロブロック毎に変えた例である。この例が図47の回路
に相当する。第3の例では処理量は第1の例に比べ3分
の2になるが、オフセット値を変化させる単位を8マク
ロブロックにすれば10分の8、16マクロブロックに
すれば18分の16と例1に近づく。
【0105】図47に戻って説明を行う。入力した参照
画像11(例えば図48の例3の3A〜C)あるいは2
14はベクトル検出回路2401に入力されると同時に
メモリ4701―1、2、3のいずれか(例えば470
1―1)に格納される。一方、これと同時に、先の例で
はメモリ4701―2、3から格納されている画素のデ
ータが読み出されて(例えば図48の例3の1A〜C、
2A〜C)入力参照画像11あるいは214(例えば図
48の例3の3A〜C)と同時にベクトル検出回路24
01に入力される。一方符号化画像202(例えば図4
8の例3のマクロブロック2)は遅延回路4708にて
所定の時間(図48の例では1マクロブロック分の時
間)遅延させた後、ベクトル検出回路2401に入力さ
れベクトルが求められる。求められた3つ(フレーム、
奇数フィールド、偶数フィールド)のベクトル241
0、2411、2412は出力されると同時に、それぞ
れ加算器4702、4704、4706に入力される。
これら加算器ではメモリ4703、4705、4707
に格納されている、同一符号化画面の別のマクロブロッ
クのベクトル値の加算結果4714、4715、471
6と水平、垂直成分毎に加算され、再びメモリ470
3、4705、4707にそれぞれ格納される。制御回
路4750は画面内のマクロブロックをいくつかのグル
ープに分割し、各グループ毎にメモリ4703、470
5、4707に領域を設け、これら領域にベクトル値の
加算結果を格納する。処理中のマクロブロックがあるグ
ループに属しているとき、制御回路4750は該当する
メモリのアドレス4713を出力し同一グループ内の全
てのマクロブロックのベクトル値を水平、垂直成分毎に
加算する。制御回路4750はこれらの加算結果471
0、4711、4712を各グループの最終マクロブロ
ックの処理終了時に読み出す。これらの加算結果をグル
ープ内のマクロブロックの数で割ると各グループの平均
ベクトルが得られる。
【0106】同一符号化画面に対して次の連続する画面
からベクトル探索時にこれら平均ベクトルを各グループ
のオフセット値とする。制御回路4750は参照画像ア
ドレス4761を生成するときに、そのマクロブロック
が属するグループの平均ベクトルをオフセット値として
加えることにより実現できる。なお、符号化画像アドレ
ス4762は通常の処理時と同様に符号化画像のマクロ
ブロックを順次読み出すようアドレスを生成する。
【0107】同一符号化画面に対して次の連続する画面
からベクトル探索時にこれら平均ベクトルを各グループ
のオフセット値とすることにより、1画面に対するベク
トル探索範囲を狭くしても、広範囲のベクトルを求める
ことができる。具体的にはI、B、B、Pの順番に符号
化するとき、最初のIピクチャから第1のBピクチャの
ベクトルを求め、次に求めたベクトルのグループ毎の平
均ベクトルをオフセットとして、Iピクチャから第2の
Bピクチャのベクトル、第2のBピクチャのベクトルを
オフセットとして、IピクチャからPピクチャのベクト
ルを求める操作により、Pピクチャに対しては1回のベ
クトル探索範囲の水平垂直それぞれ3倍までの範囲の動
きに追随すること可能となる。
【0108】各グループの画面内での形状は自由であ
り、分散していても構わないが、図48の第3の例の項
で説明したように水平方向には数マクロブロック連続し
ていることが望ましい。具体的には水平は8以上で画面
水平マクロブロック数(44あるいは45)の整数分の
1あるいは2のベキ乗、具体的には8あるいは9あるい
は11あるいは16マクロブロックのうちいずれかと、
垂直1〜4マクロブロックのいずれかの組み合わせが回
路構成上およびメモリの読み出し速度の理由から特に好
ましい。
【0109】グループ内のマクロブロック数が2のベキ
乗であると平均ベクトルの計算がシフト操作にて可能に
なり回路的に有利である。2のベキ乗個でない場合には
その数より大きい2のベキ乗で割っても構わない。例え
ば1つのグループが水平8マクロブロック、垂直3マク
ロブロックの時には、1グループあたり24マクロブロ
ックであるが、平均値計算時に32で割ってもかまわな
い。このとき、得られる平均ベクトルは正しい平均ベク
トルの4分の3の値になり、探索範囲も4分の3(先の
例のPピクチャでは3*3/4=2.25倍の範囲)に
なるが、グループ内の不規則な動き等によるベクトルの
影響を小さくする効果があり、実際の符号化時には動き
ベクトルの符号量が少なくなり高い画質が得られる場合
もある。
【0110】上記の説明ではグループの重複はないと仮
定していたが、グループを重複しても構わない。ただ
し、オフセットとして使用する平均ベクトルをどのグル
ープの平均値を用いるかは定めておかなければならな
い。グループ重複の例としては、例えば同一オフセット
値を用いるグループが水平8マクロブロック、垂直1マ
クロブロック、平均値計算に用いるグループが水平8マ
クロブロック、垂直3マクロブロック(上下1マクロブ
ロック)などがある。このような重複行うことにより、
オフセット値のベクトルの精度が高くなり、符号化の効
率も高まる。なお、平均ベクトル計算時に加重平均を用
いても構わない。上記の重複ブロック例で、上下のマク
ロブロックのベクトルは1/2の重みとして計算しても
構わない。なお、例えば上記の例の重複ブロックの処理
ではメモリ4703。4705、4707の読み出しお
よび加算器4702、4704、4704の処理に3倍
の処理速度が必要になる。
【0111】
【発明の効果】本発明によれば、画像の符号化効率をほ
とんど落すことなく回路各所の動作速度の低速化が図れ
るため、小型・低価格の画像符号化装置あるいは画像復
号化装置あるいは画像符号化復号化装置を実現すること
ができる。
【図面の簡単な説明】
【図1】従来の符号化装置を説明する図である。
【図2】従来のMC/DCT回路の詳細図である。
【図3】動き補償フレーム間予測の動作を説明する図で
ある。
【図4】従来の画像メモリ、参照画像メモリ、動き検出
回路の詳細図である。
【図5】図4の動き検出回路の動作タイミングチャート
である。
【図6】従来の動きベクトル検出回路の詳細図である。
【図7】図6の動きベクトル検出回路の動作タイミング
チャートである。
【図8】従来の画像分割処理による画像符号化装置を説
明する図である。
【図9】従来の分割回路の詳細図である。
【図10】従来の符号統合回路の詳細図である。
【図11】本発明を適用した画像符号化装置を説明する
図である。
【図12】本発明を適用した小符号化回路の詳細図であ
る。
【図13】本発明を適用した共有メモリ回路の詳細図で
ある。
【図14】本発明を適用したメモリ管理回路の詳細図で
ある。
【図15】本発明を適用したメモリ管理方式を説明する
図である。
【図16】本発明を適用したMC/DCT回路の詳細図
である。
【図17】本発明を適用した画像復号化装置を説明する
図である。
【図18】本発明を適用した符号分割回路の詳細図であ
る。
【図19】本発明を適用した小復号化回路の詳細図であ
る。
【図20】本発明を適用した画像統合回路の詳細図であ
る。
【図21】小符号化回路の変形例である。
【図22】MC/DCT回路の変形例である。
【図23】図22のフレームメモリ回路の詳細図であ
る。
【図24】図22の動き検出回路の詳細図である。
【図25】図24の動きベクトル検出回路の詳細図であ
る。
【図26】図25の検出回路の変形例である。
【図27】図11の画像符号化装置の変形例である。
【図28】図27の小符号化回路の詳細図である。
【図29】図28の符号制御回路の詳細図である。
【図30】本発明を適用した符号量調整回路付きの小符
号化回路の詳細図である。
【図31】符号量調整回路付きの小符号化回路の変形例
である。
【図32】図30の符号量調整回路の詳細図である。
【図33】図23、24のフレームメモリ回路及び動き
検出回路の変形例である。
【図34】図33のフレームメモリ回路及び動き検出回
路の動作タイミングチャートである。
【図35】図22中の動き補償回路の詳細図である。
【図36】図35の動き補償回路の動作を説明する図で
ある。
【図37】図35の半画素回路の詳細図である。
【図38】本発明を適用した符号量制御回路を備えた小
符号化回路を説明する図である。
【図39】図38の符号量制御回路を備えた小符号化回
路の変形例である。
【図40】図11の共有メモリ回路の変形例を説明する
図である。
【図41】図11の共有メモリ回路の第2の変形例を説
明する図である。
【図42】予測画像生成の簡略化法を説明する図であ
る。
【図43】本発明を適用した画像符号化復号化装置を説
明する図である。
【図44】図11の符号化装置の変形例である。
【図45】図44の小符号化回路の詳細図である。
【図46】図45の小共有メモリの詳細図である。
【図47】図25の動きベクトル検出回路の変形例であ
る。
【図48】図47の動きベクトル検出の動作を説明する
図である。
【符号の説明】
2…入力画像、4…MC/DCT回路、5…可変長符号
化回路、7…符号、800…画像符号化装置、801…
画像分割回路、803…符号統合回路、1101…小符
号化回路、1102…共有メモリ回路、1700…画像
復号化装置、1701…符号分割回路、1702…小画
像復号化回路、1703…画像合成回路、2201…フ
レームメモリ回路、2202…動き補償回路、2401
…動きベクトル検出回路、2801…符号制御回路、3
001…符号調整回路、3801…符号量制御メモリ、
4300…符号化復号化装置、4301…画像/符号分
割回路、4302…小符号化復号化回路、4303…画
像/符号合成回路。

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】入力画像を複数のブロックに分割し、既に
    符号化された信号から再生した画像を用いて分割された
    該ブロックの予測画像を生成し、該入力画像と該予測画
    像の差分画像を生成し、該差分画像を符号化する画像符
    号化装置において、入力画像を互いに隣接する領域どお
    しが重なる領域を有する複数個(N個)の小画像に分割
    する手段、分割された各小画像に対し先の予測画像生
    成、符号化処理および画像の再生を実行するN個の符号
    化処理部、各符号化処理部にて再生した画像を関連する
    符号化処理部に配送する共有情報処理部、各符号化処理
    部にて生成された符号列をN個以下の符号化列に変換す
    る符号合成部を具備することを特徴とする画像符号化装
    置。
  2. 【請求項2】請求項1に記載の画像符号化装置におい
    て、1つの符号化処理部において生成された符号量を他
    の符号化処理部に通知する手段、他の符号化処理部より
    通知された符号量に応じて自らの発生する符号量を制御
    する手段を具備することを特徴とする画像符号化装置。
  3. 【請求項3】インターレース走査構造を持つ画像を入力
    画像とし、予測画像生成方法としてフィールド単位に動
    き補償した予測画像とフレーム単位に動き補償した予測
    画像とを切り替える方法を持つ請求項1に記載の画像符
    号化装置において、フィールド単位に検出した動き補償
    ベクトルからフレーム単位の動きベクトルを生成する手
    段を具備することを特徴とする画像符号化装置。
  4. 【請求項4】請求項1に記載の画像符号化装置におい
    て、2つの時刻とその時刻の間に発生する符号量を入力
    する手段、指定された時間の間に発生した符号量を計測
    する手段、該計測手段により計測された符号量が指定さ
    れた符号量に一致しないときは符号量を増加あるいは削
    減手段を具備することを特徴とする画像符号化装置。
  5. 【請求項5】請求項1に記載の画像符号化装置におい
    て、画面内の重み係数を入力する手段、該重み係数度に
    応じて符号量の画面内での配分を設定する手段、設定さ
    れた符号量になるように発生符号量を制御する手段を具
    備することを特徴とする画像符号化装置。
  6. 【請求項6】入力された符号を解読し、差分画像を生成
    し、該入力符号にて別途指定された情報により既に復号
    された画像から予測画像生成し、該差分画像と該予測画
    像を加算して新たな復号画像を生成する画像復号化装置
    において、入力符号を復号化したときの画像が互いに隣
    接する領域と重なる領域を有する複数個(M個)の符号
    に分割する手段、分割された符号に対し先の予測画像生
    成および復号化化処理を実行するM個の復号化処理部、
    各復号化処理部にて復号した画像を関連する復号化処理
    部に配送する共有復号情報処理部、各復号化処理部にて
    復号された画像を1つの画像に合成する画像合成部を具
    備することを特徴とする画像復号化装置。
  7. 【請求項7】請求項6に記載の画像復号化装置におい
    て、復号化処理の進捗量を算出する手段、得られた進捗
    量と基準となる進捗量を比較する手段、進捗量が基準に
    満たないときに処理を簡略化させる手段を具備すること
    を特徴とする画像復号化装置。
  8. 【請求項8】請求項1および請求項6において画像の分
    割数と符号の分割数を同じにし、それぞれの符号化処理
    部、復号化処理部の機能を化ね備える処理手段を具備す
    ることを特徴とする画像符号化復号化装置。
JP6170699A 1994-07-22 1994-07-22 画像符号化復号化装置 Pending JPH0837662A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP6170699A JPH0837662A (ja) 1994-07-22 1994-07-22 画像符号化復号化装置
US08/504,661 US5701160A (en) 1994-07-22 1995-07-20 Image encoding and decoding apparatus
CN95108968.4A CN1224271C (zh) 1994-07-22 1995-07-21 图像编码译码装置
CNB02101549XA CN100466744C (zh) 1994-07-22 1995-07-21 帧间预测编码、译码装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6170699A JPH0837662A (ja) 1994-07-22 1994-07-22 画像符号化復号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004177746A Division JP2004320804A (ja) 2004-06-16 2004-06-16 可変長復号化回路及び方法

Publications (1)

Publication Number Publication Date
JPH0837662A true JPH0837662A (ja) 1996-02-06

Family

ID=15909765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6170699A Pending JPH0837662A (ja) 1994-07-22 1994-07-22 画像符号化復号化装置

Country Status (3)

Country Link
US (1) US5701160A (ja)
JP (1) JPH0837662A (ja)
CN (2) CN1224271C (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999033025A1 (de) * 1997-12-18 1999-07-01 Deutsche Telekom Ag Vorrichtung zur aufteilung grosser datenmässig erfasster bilder
JP2005333177A (ja) * 2004-05-18 2005-12-02 Matsushita Electric Ind Co Ltd 動画像符号処理方法および装置
WO2007091459A1 (ja) * 2006-02-10 2007-08-16 Ntt Electronics Corporation 動きベクトル検出装置および動きベクトル検出方法
WO2007129433A1 (ja) * 2006-04-17 2007-11-15 Toshihiro Minami 動画像符号化装置および動画像符号化方法
WO2008102446A1 (ja) * 2007-02-22 2008-08-28 Fujitsu Limited 動画像符号化装置および動画像符号化方法
JP2013074403A (ja) * 2011-09-27 2013-04-22 Jvc Kenwood Corp 動きベクトル検出装置及び方法
JP2013110770A (ja) * 2002-07-15 2013-06-06 Panasonic Corp 動画像復号化装置及びその方法
CN104660976A (zh) * 2013-11-19 2015-05-27 横河电机株式会社 缓慢变化检测系统

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242452A (ja) * 1995-03-02 1996-09-17 Matsushita Electric Ind Co Ltd 映像信号圧縮符号化装置
US6661838B2 (en) * 1995-05-26 2003-12-09 Canon Kabushiki Kaisha Image processing apparatus for detecting changes of an image signal and image processing method therefor
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US6057893A (en) * 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
US6256349B1 (en) * 1995-12-28 2001-07-03 Sony Corporation Picture signal encoding method and apparatus, picture signal transmitting method, picture signal decoding method and apparatus and recording medium
EP0793389B1 (en) * 1996-02-27 2001-08-16 STMicroelectronics S.r.l. Memory reduction in the MPEG-2 main profile main level decoder
JP3647200B2 (ja) * 1997-05-01 2005-05-11 オリンパス株式会社 情報再生システム
JPH10341438A (ja) * 1997-06-09 1998-12-22 Sharp Corp 画像処理装置
JP4105257B2 (ja) * 1997-07-30 2008-06-25 ソニー株式会社 記憶装置および記憶方法
JPH11122498A (ja) * 1997-10-16 1999-04-30 Matsushita Denso System Kk 画像処理装置
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置
JP3104868B2 (ja) * 1997-11-25 2000-10-30 富士ゼロックス株式会社 画像処理装置
JP3416649B2 (ja) * 1998-01-21 2003-06-16 松下電器産業株式会社 可変長符号化装置
WO1999038316A2 (en) * 1998-01-26 1999-07-29 Tiernan Communications, Inc. Method and apparatus for advanced television signal encoding and decoding
WO1999041697A1 (en) * 1998-02-13 1999-08-19 Quvis, Inc. Apparatus and method for optimized compression of interlaced motion images
US20020044692A1 (en) * 2000-10-25 2002-04-18 Goertzen Kenbe D. Apparatus and method for optimized compression of interlaced motion images
JPH11285004A (ja) * 1998-03-31 1999-10-15 Nec Corp 動画像伸長装置及び方法
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
EP0987897A3 (en) * 1998-08-25 2005-07-13 Matsushita Electric Industrial Co., Ltd. Moving picture synthesizing device
JP4027513B2 (ja) * 1998-09-29 2007-12-26 株式会社ルネサステクノロジ 動き検出装置
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
WO2000021302A1 (en) * 1998-10-02 2000-04-13 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US20030142875A1 (en) * 1999-02-04 2003-07-31 Goertzen Kenbe D. Quality priority
US20030185455A1 (en) * 1999-02-04 2003-10-02 Goertzen Kenbe D. Digital image processor
JP3406255B2 (ja) 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
US6573945B1 (en) * 2000-01-12 2003-06-03 General Instrument Corporation Logo insertion on an HDTV encoder
US6904094B1 (en) 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
US7039115B1 (en) 2000-09-20 2006-05-02 General Instrument Corporation Processor allocation for channels in a video multi-processor system
US6724825B1 (en) 2000-09-22 2004-04-20 General Instrument Corporation Regeneration of program clock reference data for MPEG transport streams
US6847656B1 (en) 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
US20040013198A1 (en) * 2001-08-31 2004-01-22 Haruo Togashi Encoding apparatus and method for encoding
US7181070B2 (en) * 2001-10-30 2007-02-20 Altera Corporation Methods and apparatus for multiple stage video decoding
KR100451584B1 (ko) * 2001-12-20 2004-10-08 엘지전자 주식회사 웨이블릿 변환과 움직임 추정을 이용한 동영상 부호화 및복호화 장치
US6925125B2 (en) * 2002-01-09 2005-08-02 Hiroshi Akimoto Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning
US8401084B2 (en) * 2002-04-01 2013-03-19 Broadcom Corporation System and method for multi-row decoding of video with dependent rows
JP4476104B2 (ja) * 2004-04-22 2010-06-09 三洋電機株式会社 符号化回路
KR100605105B1 (ko) * 2004-05-28 2006-07-26 삼성전자주식회사 영상 보간 장치
US7881546B2 (en) * 2004-09-08 2011-02-01 Inlet Technologies, Inc. Slab-based processing engine for motion video
JP4501631B2 (ja) * 2004-10-26 2010-07-14 日本電気株式会社 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
US20070216685A1 (en) * 2006-03-15 2007-09-20 Microsoft Corporation Scene write-once vector and triangle rasterization
CN101098473B (zh) * 2006-06-30 2012-05-09 联想(北京)有限公司 一种图像编码方法及装置
JP4789200B2 (ja) * 2006-08-07 2011-10-12 ルネサスエレクトロニクス株式会社 動画符号化と動画復号とのいずれかを実行する機能モジュールおよびそれを含む半導体集積回路
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
US20080152014A1 (en) * 2006-12-21 2008-06-26 On Demand Microelectronics Method and apparatus for encoding and decoding of video streams
US20080162743A1 (en) * 2006-12-28 2008-07-03 On Demand Microelectronics Method and apparatus to select and modify elements of vectors
CN101222636B (zh) * 2008-01-24 2011-05-11 杭州华三通信技术有限公司 图像编解码方法和图像编解码装置
CN101582851B (zh) * 2009-06-12 2011-11-30 中兴通讯股份有限公司 一种实现双栈路由器上共享路由容量的方法和系统
EP2497273A4 (en) * 2009-11-05 2016-07-27 Ericsson Telefon Ab L M PREDICTING PIXELS IN PICTURE CODING
US8347200B1 (en) * 2011-07-29 2013-01-01 Stec, Inc. Reduced memory multi-channel parallel encoder system
JP6056124B2 (ja) * 2011-09-05 2017-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
JP5969914B2 (ja) * 2012-12-20 2016-08-17 株式会社日立情報通信エンジニアリング 動画像圧縮伸張装置
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
JP6116639B2 (ja) * 2014-09-29 2017-04-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited クラスタ化されたコード解析警告のレビューのための方法およびシステム
TWI741919B (zh) * 2020-01-15 2021-10-01 瑞鼎科技股份有限公司 串流解壓縮電路

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
US5379070A (en) * 1992-10-02 1995-01-03 Zoran Corporation Parallel encoding/decoding of DCT compression/decompression algorithms
EP0614317A3 (en) * 1993-03-05 1995-01-25 Sony Corp Decoding video signals.
US5510842A (en) * 1994-05-04 1996-04-23 Matsushita Electric Corporation Of America Parallel architecture for a high definition television video decoder having multiple independent frame memories

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999033025A1 (de) * 1997-12-18 1999-07-01 Deutsche Telekom Ag Vorrichtung zur aufteilung grosser datenmässig erfasster bilder
JP2013110770A (ja) * 2002-07-15 2013-06-06 Panasonic Corp 動画像復号化装置及びその方法
JP2014143725A (ja) * 2002-07-15 2014-08-07 Panasonic Intellectual Property Corp Of America 動画像符号化装置及びその方法
JP2014143727A (ja) * 2002-07-15 2014-08-07 Panasonic Intellectual Property Corp Of America 動画像復号化装置及びその方法
JP2014143726A (ja) * 2002-07-15 2014-08-07 Panasonic Intellectual Property Corp Of America 動画像符号化・復号化装置
JP2005333177A (ja) * 2004-05-18 2005-12-02 Matsushita Electric Ind Co Ltd 動画像符号処理方法および装置
JP4588360B2 (ja) * 2004-05-18 2010-12-01 パナソニック株式会社 動画像符号化復号化処理方法、動画像符号化復号化処理装置及び動画像双方向通信システム
WO2007091459A1 (ja) * 2006-02-10 2007-08-16 Ntt Electronics Corporation 動きベクトル検出装置および動きベクトル検出方法
US8126060B2 (en) 2006-02-10 2012-02-28 Ntt Electronics Corporation Motion vector detection device and motion vector detecting method
JP2007312340A (ja) * 2006-04-17 2007-11-29 Toshihiro Minami 動画像符号化装置
WO2007129433A1 (ja) * 2006-04-17 2007-11-15 Toshihiro Minami 動画像符号化装置および動画像符号化方法
JP4900470B2 (ja) * 2007-02-22 2012-03-21 富士通株式会社 動画像符号化装置および動画像符号化方法
WO2008102446A1 (ja) * 2007-02-22 2008-08-28 Fujitsu Limited 動画像符号化装置および動画像符号化方法
JP2013074403A (ja) * 2011-09-27 2013-04-22 Jvc Kenwood Corp 動きベクトル検出装置及び方法
CN104660976A (zh) * 2013-11-19 2015-05-27 横河电机株式会社 缓慢变化检测系统
CN104660976B (zh) * 2013-11-19 2019-01-11 横河电机株式会社 缓慢变化检测系统

Also Published As

Publication number Publication date
CN1224271C (zh) 2005-10-19
CN1520188A (zh) 2004-08-11
CN1119386A (zh) 1996-03-27
US5701160A (en) 1997-12-23
CN100466744C (zh) 2009-03-04

Similar Documents

Publication Publication Date Title
JPH0837662A (ja) 画像符号化復号化装置
JP4358990B2 (ja) 動き推定システムおよび方法
US5424779A (en) Video coding apparatus
US5467136A (en) Video decoder for determining a motion vector from a scaled vector and a difference vector
US6996174B2 (en) MPEG video decoder with integrated scaling and display functions
US6442206B1 (en) Anti-flicker logic for MPEG video decoder with integrated scaling and display functions
JPH07193823A (ja) 映像データ・ブロック変換システム
KR100201981B1 (ko) 메모리제어장치 및 그것을 사용한 화상디코더
EP1768420A1 (en) Motion detection device
US6005627A (en) Video coding apparatus
JPH0759096A (ja) ビデオエンコーダ及びデコーダ
US5986713A (en) Video coding apparatus using inter-field prediction
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2863096B2 (ja) 並列処理による画像復号装置
JPH0221776A (ja) 予測性静止画像エンコーダ・デコーダ
JP2004320804A (ja) 可変長復号化回路及び方法
JP2002314951A (ja) 画像処理装置、画像処理システム、走査方式変換方法、記憶媒体、及びプログラム
US20070071098A1 (en) Image storage device for motion estimation and method of storing image data
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
KR920010514B1 (ko) 디지탈 신호처리장치
JPH11177992A (ja) 画像復号装置
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
KR20010046144A (ko) 엠펙-2 부호화기에서의 움직임 추정장치
JP2001103486A (ja) ビデオ信号復号装置
JPH10174109A (ja) 画像復号装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050208