JPH09139949A - フィードバック制御付ビデオエンコーダ - Google Patents
フィードバック制御付ビデオエンコーダInfo
- Publication number
- JPH09139949A JPH09139949A JP8279788A JP27978896A JPH09139949A JP H09139949 A JPH09139949 A JP H09139949A JP 8279788 A JP8279788 A JP 8279788A JP 27978896 A JP27978896 A JP 27978896A JP H09139949 A JPH09139949 A JP H09139949A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- error signal
- signal
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 本発明は、ビデオ情報のコード化のためのエ
ンコーダ構成に関する。 【解決手段】 エンコーダに入力されるビデオ信号の変
化の結果のエラーと非能率的な量子化の結果のエラーと
の間を識別することができるビデオ信号エンコーダー
は、量子化部と非量子化部を含み、各部は別のイメージ
予測器を持っている。スイッチ機構は、後続のビデオフ
レームに表されるイメージを予測する際に使用される先
行するフレームから導かれるビデオデータを含む部分を
含む対応する信号を各イメージ予測器に選択的に提供す
る。信号は、また、量子化エラーが検出されたとき、量
子化器の量子化ステップサイズを調整し、イメージの動
きを測定するためのイメージ分析ユニットに提供され
る。
ンコーダ構成に関する。 【解決手段】 エンコーダに入力されるビデオ信号の変
化の結果のエラーと非能率的な量子化の結果のエラーと
の間を識別することができるビデオ信号エンコーダー
は、量子化部と非量子化部を含み、各部は別のイメージ
予測器を持っている。スイッチ機構は、後続のビデオフ
レームに表されるイメージを予測する際に使用される先
行するフレームから導かれるビデオデータを含む部分を
含む対応する信号を各イメージ予測器に選択的に提供す
る。信号は、また、量子化エラーが検出されたとき、量
子化器の量子化ステップサイズを調整し、イメージの動
きを測定するためのイメージ分析ユニットに提供され
る。
Description
【０００１】
【発明の属する技術分野】本発明は、広くビデオ情報の
コード化のためのエンコーダ構成に関係する。特に、発
明は、ビデオ信号のフレームに描かれたオブジェクトの
動きを評価するための改善されたイメージ分析を持つフ
ィードバックエンコーダに関係する。更に特に、本発明
は、改善されたオブジェクト動き評価と量子化器制御を
持っているフィードバックエンコーダに向けられる。
コード化のためのエンコーダ構成に関係する。特に、発
明は、ビデオ信号のフレームに描かれたオブジェクトの
動きを評価するための改善されたイメージ分析を持つフ
ィードバックエンコーダに関係する。更に特に、本発明
は、改善されたオブジェクト動き評価と量子化器制御を
持っているフィードバックエンコーダに向けられる。
【０００２】
【従来の技術】ビデオエンコーダは、ビデオフレームと
いう形のビデオ情報を対応するデコーダを持つ受信器へ
の送信のために連続的なビットストリームにコード化す
るために使用される。デコーダは、符号化信号をビデオ
情報に変換し、それはビデオスクリーンまたはＣＲＴに
表示される。ビデオ情報は、一般にビデオフレームから
なり、その中に含まれているオブジェクトのイメージ
が、色成分を持っている画素により表されて、オブジェ
クトのイメージの動きが動きベクトルにより表される。
いう形のビデオ情報を対応するデコーダを持つ受信器へ
の送信のために連続的なビットストリームにコード化す
るために使用される。デコーダは、符号化信号をビデオ
情報に変換し、それはビデオスクリーンまたはＣＲＴに
表示される。ビデオ情報は、一般にビデオフレームから
なり、その中に含まれているオブジェクトのイメージ
が、色成分を持っている画素により表されて、オブジェ
クトのイメージの動きが動きベクトルにより表される。
【０００３】送信されるコード化ビデオ情報の量は、も
ちろん、エンコーダが動作するシステムの帯域幅により
制限される。こうして、すべてでなければほとんどの既
存のエンコーダは、送信の前にビデオ情報を量子化する
などの制限された利用可能な帯域幅の効率的な使用のた
めに様々な技術が使用される。相対的に均一なまたは均
質なイメージを表すために、たとえば、精細な量子化が
要求され、一方、活動的なまたは動きの激しいイメージ
の正確な表現は、粗い量子化を必要とする。こうして、
最大の効率のために、必要とされるように量子化ステッ
プサイズを動的に調整し、ビデオ信号の正確な表現のた
めに必要な適切なビット数だけが送信されるようにする
ことが望ましい。加えて、ビデオ情報信号は、既存のイ
メージを表示する画面上に現在のフレームに表示される
イメージを描くために連続的なストリームあるいは一連
のフレームからなっているので、現在のフレームの全体
は送信される必要はなく、むしろ表示されるフレームと
現在のフレームの間の差と変化だけが送信される必要が
ある。こうして、スクリーン上の既存のイメージは、現
在のフレームイメージを表示するために変更されること
だけが必要がある場合がしばしばある。
ちろん、エンコーダが動作するシステムの帯域幅により
制限される。こうして、すべてでなければほとんどの既
存のエンコーダは、送信の前にビデオ情報を量子化する
などの制限された利用可能な帯域幅の効率的な使用のた
めに様々な技術が使用される。相対的に均一なまたは均
質なイメージを表すために、たとえば、精細な量子化が
要求され、一方、活動的なまたは動きの激しいイメージ
の正確な表現は、粗い量子化を必要とする。こうして、
最大の効率のために、必要とされるように量子化ステッ
プサイズを動的に調整し、ビデオ信号の正確な表現のた
めに必要な適切なビット数だけが送信されるようにする
ことが望ましい。加えて、ビデオ情報信号は、既存のイ
メージを表示する画面上に現在のフレームに表示される
イメージを描くために連続的なストリームあるいは一連
のフレームからなっているので、現在のフレームの全体
は送信される必要はなく、むしろ表示されるフレームと
現在のフレームの間の差と変化だけが送信される必要が
ある。こうして、スクリーン上の既存のイメージは、現
在のフレームイメージを表示するために変更されること
だけが必要がある場合がしばしばある。
【０００４】図１は、ビデオ情報をコード化するため
の、上記の形式の従来のエンコーダを示す。そのような
エンコーダは、テレビ電話技術と同様に直接的なテレビ
システム、またはＣＤＲＯＭシステムによって使用で
き、たとえば、ビデオ情報は統合サービスデジタルネッ
トワーク（ＩＳＤＮ）回線上に送信される。図１に示さ
れるように、エンコーダ１０は、カメラ１２から入力さ
れる一連の連続する時間合致ビデオフレームからなるビ
デオ信号の一部をいつでも受信する。各フレームはアナ
ログ・デジタル（Ａ／Ｄ）コンバータ１４によりデジタ
ル化されて、各デジタル化フレームは、ブロック分割器
１８によりブロックに分割され、それは、いつもビデオ
情報の１つのブロックをエンコーダ１０に供給する。現
在のブロックと現在のブロックの評価との間の差を表し
ているエラー信号は、減算器２０により生成される。評
価は、イメージの変位測定と同様に、予測器４２から導
かれる現在のブロックのイメージの予測からなり、その
予測器４２は、前のブロックのイメージからの予測と評
価を導く。変位測定は、典型的に、変位評価器４４によ
り生成される動きベクトルという形でである。変位評価
器４４は、現在のブロックを、フレーム格納またはメモ
リ３６に格納された対応する前のブロックと比較するこ
とによりイメージの間の変位を測定する。結果として生
じるエラー信号は、離散コサイン変換（ＤＣＴ）ユニッ
ト２２により空間領域から周波数領域に変換され、エラ
ー信号の周波数成分は、予め選択されたステップサイズ
で動作する量子化器ユニット２４により量子化される。
量子化エラー信号は、ノード２６において分割されて、
変位評価器ユニット４４から対応する変位ベクトルも受
信するエントロピーコーダ２８に供給される。エントロ
ピーコーダ２８の出力――すなわち、その対応する動き
ベクトル付のコード化信号が、バッファ３０に入力され
る。そのバッファは、コード化ビデオ情報をリモートの
または下流のデコーダに送信するための送信器（図示せ
ず）に提供されるビットレートを調節する。
の、上記の形式の従来のエンコーダを示す。そのような
エンコーダは、テレビ電話技術と同様に直接的なテレビ
システム、またはＣＤＲＯＭシステムによって使用で
き、たとえば、ビデオ情報は統合サービスデジタルネッ
トワーク（ＩＳＤＮ）回線上に送信される。図１に示さ
れるように、エンコーダ１０は、カメラ１２から入力さ
れる一連の連続する時間合致ビデオフレームからなるビ
デオ信号の一部をいつでも受信する。各フレームはアナ
ログ・デジタル（Ａ／Ｄ）コンバータ１４によりデジタ
ル化されて、各デジタル化フレームは、ブロック分割器
１８によりブロックに分割され、それは、いつもビデオ
情報の１つのブロックをエンコーダ１０に供給する。現
在のブロックと現在のブロックの評価との間の差を表し
ているエラー信号は、減算器２０により生成される。評
価は、イメージの変位測定と同様に、予測器４２から導
かれる現在のブロックのイメージの予測からなり、その
予測器４２は、前のブロックのイメージからの予測と評
価を導く。変位測定は、典型的に、変位評価器４４によ
り生成される動きベクトルという形でである。変位評価
器４４は、現在のブロックを、フレーム格納またはメモ
リ３６に格納された対応する前のブロックと比較するこ
とによりイメージの間の変位を測定する。結果として生
じるエラー信号は、離散コサイン変換（ＤＣＴ）ユニッ
ト２２により空間領域から周波数領域に変換され、エラ
ー信号の周波数成分は、予め選択されたステップサイズ
で動作する量子化器ユニット２４により量子化される。
量子化エラー信号は、ノード２６において分割されて、
変位評価器ユニット４４から対応する変位ベクトルも受
信するエントロピーコーダ２８に供給される。エントロ
ピーコーダ２８の出力――すなわち、その対応する動き
ベクトル付のコード化信号が、バッファ３０に入力され
る。そのバッファは、コード化ビデオ情報をリモートの
または下流のデコーダに送信するための送信器（図示せ
ず）に提供されるビットレートを調節する。
【０００５】ノード２６からのエラー信号は、また、逆
離散コサイン変換（ＩＤＣＴ）ユニット３２に供給さ
れ、その後、加算器３４において、現在の予測イメージ
に付加される。結果としての信号は、次のフレームに対
する対応するマクロブロックに対するイメージを予測す
る際に、予測器４２と変位評価器４４による使用のため
にフレーム格納３６に提供される。エラー信号が存在し
なければ、すなわち、現在のブロックとその評価を見て
同一であるならば、イメージの変位だけが存在できるこ
とに注意すべきである。こうして、変位評価器４４は、
また、生成された動きベクトルをエントロピーコーダ２
８に供給する。また、図１に示されるように、バッファ
３０は、バッファのオーバーフローに応答して、量子化
器２４のステップサイズを調整するための制御手段３１
を含む。そのとき、量子化器ステップサイズは、生成さ
れるビットの量を減らすために増やされる。
離散コサイン変換（ＩＤＣＴ）ユニット３２に供給さ
れ、その後、加算器３４において、現在の予測イメージ
に付加される。結果としての信号は、次のフレームに対
する対応するマクロブロックに対するイメージを予測す
る際に、予測器４２と変位評価器４４による使用のため
にフレーム格納３６に提供される。エラー信号が存在し
なければ、すなわち、現在のブロックとその評価を見て
同一であるならば、イメージの変位だけが存在できるこ
とに注意すべきである。こうして、変位評価器４４は、
また、生成された動きベクトルをエントロピーコーダ２
８に供給する。また、図１に示されるように、バッファ
３０は、バッファのオーバーフローに応答して、量子化
器２４のステップサイズを調整するための制御手段３１
を含む。そのとき、量子化器ステップサイズは、生成さ
れるビットの量を減らすために増やされる。
【０００６】一般に、ビデオエンコーダは、基本的に、
イメージの各ブロックに対して、エラー信号のＤＣＴ係
数と変位ベクトルとは送信される必要があるかどうかを
決定する。換言すれば、スクリーン上の既存のイメージ
が変更される必要があるかどうか、およびどれほど変更
されるべきかを現在のイメージを描くために決定する。
これは、スクリーンに表示される前のイメージが、カメ
ラ１２により入力される対応するイメージの満足すべき
表現であるかどうかを決定することと同様に、前のイメ
ージと現在のイメージの間の重要な変化を識別すること
によって遂行される。
イメージの各ブロックに対して、エラー信号のＤＣＴ係
数と変位ベクトルとは送信される必要があるかどうかを
決定する。換言すれば、スクリーン上の既存のイメージ
が変更される必要があるかどうか、およびどれほど変更
されるべきかを現在のイメージを描くために決定する。
これは、スクリーンに表示される前のイメージが、カメ
ラ１２により入力される対応するイメージの満足すべき
表現であるかどうかを決定することと同様に、前のイメ
ージと現在のイメージの間の重要な変化を識別すること
によって遂行される。
【０００７】図１を続けて参照して、上に述べたよう
に、ＤＣＴユニット２２へのエラー信号入力は、現在の
イメージおよびそのイメージの予測からのマクロブロッ
クと、フレーム格納３６に格納されるように、前もって
送信されたイメージとの現在のマクロブロックの比較か
ら導かれる変位測定との間の差から展開される。ＤＣＴ
ユニット２２へのエラー信号入力は、量子化器により使
用されるステップサイズの関数としてＩＤＣＴユニット
３２からのエラー信号出力とは異なるかもしれない。例
えば、小さいステップサイズまたは細密な量子化が使用
されれば、ＩＤＣＴ３２からの出力エラー信号は、大き
いステップサイズまたは粗い量子化が使用されるよりも
ＤＣＴ２２へのエラー信号入力により近く似ているであ
ろう。こうして、従来のエンコーダの欠点は、図１に示
されるエンコーダを含めて、デコーダに送信されるエラ
ー信号が、前のフレームの非能率な量子化のため量子化
器２４により導入されるエラーと同様に、前のフレーム
から現在のフレームへのイメージの変化を表している成
分を含んでいてもよいということである。既存のエンコ
ーダは、これらの２タイプのエラーを区別せず、量子化
器制御が非能率となっている。
に、ＤＣＴユニット２２へのエラー信号入力は、現在の
イメージおよびそのイメージの予測からのマクロブロッ
クと、フレーム格納３６に格納されるように、前もって
送信されたイメージとの現在のマクロブロックの比較か
ら導かれる変位測定との間の差から展開される。ＤＣＴ
ユニット２２へのエラー信号入力は、量子化器により使
用されるステップサイズの関数としてＩＤＣＴユニット
３２からのエラー信号出力とは異なるかもしれない。例
えば、小さいステップサイズまたは細密な量子化が使用
されれば、ＩＤＣＴ３２からの出力エラー信号は、大き
いステップサイズまたは粗い量子化が使用されるよりも
ＤＣＴ２２へのエラー信号入力により近く似ているであ
ろう。こうして、従来のエンコーダの欠点は、図１に示
されるエンコーダを含めて、デコーダに送信されるエラ
ー信号が、前のフレームの非能率な量子化のため量子化
器２４により導入されるエラーと同様に、前のフレーム
から現在のフレームへのイメージの変化を表している成
分を含んでいてもよいということである。既存のエンコ
ーダは、これらの２タイプのエラーを区別せず、量子化
器制御が非能率となっている。
【０００８】従来のエンコーダの別の欠点は、バッファ
オーバーフローなどの場合に量子化器ステップサイズを
制御する制御手段３ｌが、イメージの変化と同様に、量
子化器エラーを含んでいるエラー信号に依存しているこ
とである。従って、量子化ステップサイズは不必要に調
整されているかもしれない。加えて、図１の変位評価器
４４が現在のブロックと前のブロックの量子化信号にだ
けその変位測定の基礎を置くので、変位測定の精度が損
なわれる。
オーバーフローなどの場合に量子化器ステップサイズを
制御する制御手段３ｌが、イメージの変化と同様に、量
子化器エラーを含んでいるエラー信号に依存しているこ
とである。従って、量子化ステップサイズは不必要に調
整されているかもしれない。加えて、図１の変位評価器
４４が現在のブロックと前のブロックの量子化信号にだ
けその変位測定の基礎を置くので、変位測定の精度が損
なわれる。
【０００９】いくつかの従来のシステムが、コントロー
ラフィードバックループ３１に独立に量子化器ステップ
サイズをコントロールするために、エラー信号と反対
に、元のイメージを利用してエラー信号のエラーのタイ
プを識別する問題を解消しようとする。更に他の従来の
システムは、元の現在のイメージと元の前のイメージと
の間の変位を測定することにより変位測定の問題を解消
しようとする。これらの従来のシステムは、改善された
量子化器制御および改善された変位評価を生じるが、そ
れらは、また、新しいイメージは前のイメージにもはや
結び付けられず関連付けられないので、１つのフレーム
から次のフレームにドリフトされる結果となる。
ラフィードバックループ３１に独立に量子化器ステップ
サイズをコントロールするために、エラー信号と反対
に、元のイメージを利用してエラー信号のエラーのタイ
プを識別する問題を解消しようとする。更に他の従来の
システムは、元の現在のイメージと元の前のイメージと
の間の変位を測定することにより変位測定の問題を解消
しようとする。これらの従来のシステムは、改善された
量子化器制御および改善された変位評価を生じるが、そ
れらは、また、新しいイメージは前のイメージにもはや
結び付けられず関連付けられないので、１つのフレーム
から次のフレームにドリフトされる結果となる。
【００１０】
【発明の概要】従って、前のフレームから現在のフレー
ムへのビデオ情報の変化に基づくエラーと非能率な量子
化の結果として導入されるエラーを区別することができ
るビデオ信号エンコーダを持つことが望ましい。また、
変位評価が、未量子化信号に少なくとも部分的に基づ
き、改善された量子化制御を提供するビデオ信号エンコ
ーダを持つことが望ましい。本発明は、連続的なストリ
ームのまたは一連のビデオフレームにより定義されるビ
デオ信号により表されるオブジェクトのイメージ分析に
フィードバックエンコーダ装置を提供することによりこ
れらのゴールを達成する。エンコーダは、各ビデオフレ
ームに対して、そのフレームのオブジェクトの予測され
るイメージを評価するための第１と第２のイメージ予測
器を含んでいる。第１のイメージ予測器により予測され
るイメージは、オブジェクトの変位の測定と現在のフレ
ームに先行しているフレームの表現とから導かれる。現
在のビデオフレームと現在のビデオフレームの第１の予
測されるイメージ間の差から導かれるエラー信号が生成
され、エラー信号は、調整可能なステップサイズを持つ
量子化器により量子化される。各フレームのための表現
は、（１）先行フレームの第１の予測されるイメージと
その先行フレームのエラー信号の量子化バージョンと、
および（２）先行するフレームの第１の予測イメージの
うちの少なくとも１つから形成される。エントロピーコ
ーダは、量子化エラー信号をコード化し、その信号は、
ＣＲＴスクリーン等での表示のためにコード化される量
子化エラー信号を送信するための送信器に提供される。
第２のイメージ予測器は、各フレームのために、オブジ
ェクトの第２の予測イメージを評価する。第２の予測イ
メージは、オブジェクトの変位の測定と第２のイメージ
予測器へ入力される信号とから導かれる。第２のイメー
ジ予測器への信号は、（１）先行するビデオフレーム、
および（２）先行するビデオフレームの予測イメージの
うちの少なくとも１つから形成される。各フレームに対
して、オブジェクトの変位の測定を決定するためのイメ
ージ分析ユニットは、また、エントロピーコーダに変位
測定を供給するために提供され、変位測定は、先行する
フレーム、信号、および現在のフレームの表現から導か
れる。
ムへのビデオ情報の変化に基づくエラーと非能率な量子
化の結果として導入されるエラーを区別することができ
るビデオ信号エンコーダを持つことが望ましい。また、
変位評価が、未量子化信号に少なくとも部分的に基づ
き、改善された量子化制御を提供するビデオ信号エンコ
ーダを持つことが望ましい。本発明は、連続的なストリ
ームのまたは一連のビデオフレームにより定義されるビ
デオ信号により表されるオブジェクトのイメージ分析に
フィードバックエンコーダ装置を提供することによりこ
れらのゴールを達成する。エンコーダは、各ビデオフレ
ームに対して、そのフレームのオブジェクトの予測され
るイメージを評価するための第１と第２のイメージ予測
器を含んでいる。第１のイメージ予測器により予測され
るイメージは、オブジェクトの変位の測定と現在のフレ
ームに先行しているフレームの表現とから導かれる。現
在のビデオフレームと現在のビデオフレームの第１の予
測されるイメージ間の差から導かれるエラー信号が生成
され、エラー信号は、調整可能なステップサイズを持つ
量子化器により量子化される。各フレームのための表現
は、（１）先行フレームの第１の予測されるイメージと
その先行フレームのエラー信号の量子化バージョンと、
および（２）先行するフレームの第１の予測イメージの
うちの少なくとも１つから形成される。エントロピーコ
ーダは、量子化エラー信号をコード化し、その信号は、
ＣＲＴスクリーン等での表示のためにコード化される量
子化エラー信号を送信するための送信器に提供される。
第２のイメージ予測器は、各フレームのために、オブジ
ェクトの第２の予測イメージを評価する。第２の予測イ
メージは、オブジェクトの変位の測定と第２のイメージ
予測器へ入力される信号とから導かれる。第２のイメー
ジ予測器への信号は、（１）先行するビデオフレーム、
および（２）先行するビデオフレームの予測イメージの
うちの少なくとも１つから形成される。各フレームに対
して、オブジェクトの変位の測定を決定するためのイメ
ージ分析ユニットは、また、エントロピーコーダに変位
測定を供給するために提供され、変位測定は、先行する
フレーム、信号、および現在のフレームの表現から導か
れる。
【００１１】好適実施例では、イメージ分析ユニット
は、また、量子化エラーが検出される場合に、量子化器
のステップサイズを調整するための量子化器制御機構も
含む。本発明の他の目的と特徴は、添付の図面と関連し
て考慮される以下の詳細な説明から明白であろう。しか
しながら、図面は説明のためだけに提供され、発明の限
界を特定するものとして提供されるものではない。
は、また、量子化エラーが検出される場合に、量子化器
のステップサイズを調整するための量子化器制御機構も
含む。本発明の他の目的と特徴は、添付の図面と関連し
て考慮される以下の詳細な説明から明白であろう。しか
しながら、図面は説明のためだけに提供され、発明の限
界を特定するものとして提供されるものではない。
【００１２】
【発明の実施の形態】図２を参照して、本発明に従って
構成されたビデオエンコーダは参照番号１０’により指
定される。図示されるにように、図１の従来のエンコー
ダ１０のように、エンコーダ１０’はカメラからビデオ
情報を受け取り、ビデオ情報はアナログ−デジタル変換
器１４によりデジタル化されている。デジタル化ビデオ
信号は、ブロック分割器１８によりマクロブロックに分
割され、ノード１６においてエンコーダ１０’へ入力さ
れる。好適実施例では、ブロック分割器１８は、入力ビ
デオ信号の各フレームを四角いマクロブロックの１６×
１６の画像素子（画素）に分割する。当業者に知られて
いるように、各ブロックは、フレームを次から次にオブ
ジェクトの動きを識別する動きベクトルとブロックを定
義する画素の色を表している離散コサイン変換係数とに
より表される。
構成されたビデオエンコーダは参照番号１０’により指
定される。図示されるにように、図１の従来のエンコー
ダ１０のように、エンコーダ１０’はカメラからビデオ
情報を受け取り、ビデオ情報はアナログ−デジタル変換
器１４によりデジタル化されている。デジタル化ビデオ
信号は、ブロック分割器１８によりマクロブロックに分
割され、ノード１６においてエンコーダ１０’へ入力さ
れる。好適実施例では、ブロック分割器１８は、入力ビ
デオ信号の各フレームを四角いマクロブロックの１６×
１６の画像素子（画素）に分割する。当業者に知られて
いるように、各ブロックは、フレームを次から次にオブ
ジェクトの動きを識別する動きベクトルとブロックを定
義する画素の色を表している離散コサイン変換係数とに
より表される。
【００１３】一般に、エンコーダ１０’は、２つのステ
ージからなる。即ち量子化ステージ２１と非量子化ステ
ージ４６である。付加された第１のスイッチＳ１を除い
て、エンコーダ１０’の量子化ステージ２１は、図１の
従来のエンコーダ１０と同様に動作する。特に、第１予
測器４２は、対応する前の時間合致（一般に、直前の）
マクロブロックに基づいて、現在のマクロブロックの色
成分を予測する。現在のマクロブロックにおいて定義さ
れるイメージの動きは、イメージ分析ユニット４４’に
より測定され、予測器４２に提供される。イメージ分析
ユニットは、従来のエンコーダ１０の変位評価器４４と
同様に動作し、２つのステージ２１と４６を接続する。
現在のフレームからの入力されるまたは現在のマクロブ
ロックは、第２減算器４８だけでなく、減算器２０とイ
メージ分析ブロック４４’に入力される。現在のマクロ
ブロックと、現在のマクロブロックの予測バージョン間
の差を表しているエラー信号は、現在のブロック内のイ
メージの動き測定を含み、減算器２０により生成され
る。予測されるイメージは、前の時間合致マクロブロッ
クから導かれる。エラー信号は、その後、離散コサイン
変換（ＤＣＴ）ユニット２２により周波数領域に変換さ
れ、変換されたエラー信号は、調整可能なステップサイ
ズを持っている量子化器２４により量子化される。量子
化器２４のステップサイズは、従来技術におけるように
制御手段３１により、また以下に詳細に説明するよう
に、イメージ分析ユニット４４’に接続された第２の制
御手段４５により制御可能である。また、以下に詳細に
説明するように、第１スイッチＳ１は、量子化器２４の
出力をノード２６を通して逆離散コサイン変換（ＩＤＣ
Ｉ）ユニット３２とエントロピーエンコーダ２８に接続
する。
ージからなる。即ち量子化ステージ２１と非量子化ステ
ージ４６である。付加された第１のスイッチＳ１を除い
て、エンコーダ１０’の量子化ステージ２１は、図１の
従来のエンコーダ１０と同様に動作する。特に、第１予
測器４２は、対応する前の時間合致（一般に、直前の）
マクロブロックに基づいて、現在のマクロブロックの色
成分を予測する。現在のマクロブロックにおいて定義さ
れるイメージの動きは、イメージ分析ユニット４４’に
より測定され、予測器４２に提供される。イメージ分析
ユニットは、従来のエンコーダ１０の変位評価器４４と
同様に動作し、２つのステージ２１と４６を接続する。
現在のフレームからの入力されるまたは現在のマクロブ
ロックは、第２減算器４８だけでなく、減算器２０とイ
メージ分析ブロック４４’に入力される。現在のマクロ
ブロックと、現在のマクロブロックの予測バージョン間
の差を表しているエラー信号は、現在のブロック内のイ
メージの動き測定を含み、減算器２０により生成され
る。予測されるイメージは、前の時間合致マクロブロッ
クから導かれる。エラー信号は、その後、離散コサイン
変換（ＤＣＴ）ユニット２２により周波数領域に変換さ
れ、変換されたエラー信号は、調整可能なステップサイ
ズを持っている量子化器２４により量子化される。量子
化器２４のステップサイズは、従来技術におけるように
制御手段３１により、また以下に詳細に説明するよう
に、イメージ分析ユニット４４’に接続された第２の制
御手段４５により制御可能である。また、以下に詳細に
説明するように、第１スイッチＳ１は、量子化器２４の
出力をノード２６を通して逆離散コサイン変換（ＩＤＣ
Ｉ）ユニット３２とエントロピーエンコーダ２８に接続
する。
【００１４】量子化されたエラー信号が、予め設定され
たしきい値を越えていれば、スイッチＳ１は閉じる。換
言すれば、現在のマクロブロックと現在のマクロブロッ
クの予測バージョン間の差が実質的に変化が起こったこ
とを示していれば、エラー信号は遠隔のまたは下流のデ
コーダへの送信のためにエントロピーエンコーダ２８と
バッファ３０に提供され、それにより、ビデオスクリー
ンまたは他の表示装置のイメージに必要な変化をもたら
す。エラー信号は、また、一般には直ぐ後のフレームの
後続の対応するマクロブロックのイメージを予測し動き
を評価する際に、予測器４２とイメージ分析ユニット４
４’により使用されるためにＩＤＣＴユニット３２に提
供される。
たしきい値を越えていれば、スイッチＳ１は閉じる。換
言すれば、現在のマクロブロックと現在のマクロブロッ
クの予測バージョン間の差が実質的に変化が起こったこ
とを示していれば、エラー信号は遠隔のまたは下流のデ
コーダへの送信のためにエントロピーエンコーダ２８と
バッファ３０に提供され、それにより、ビデオスクリー
ンまたは他の表示装置のイメージに必要な変化をもたら
す。エラー信号は、また、一般には直ぐ後のフレームの
後続の対応するマクロブロックのイメージを予測し動き
を評価する際に、予測器４２とイメージ分析ユニット４
４’により使用されるためにＩＤＣＴユニット３２に提
供される。
【００１５】上記のように、現在のフレームからの各マ
クロブロックに対する各エラー信号は、前のフレームの
対応するマクロブロックから生成される予測イメージと
現在のマクロブロックを利用して計算される。前のフレ
ームのマクロブロックは、フレーム格納ユニット３６に
格納される。こうして、予め決められたしきい値を越え
ているエラー信号は、後続の対応するブロックに対する
イメージと動きを評価し予測する際に、予測器ユニット
４２とイメージ分析ユニット４４’による使用のために
フレーム格納ユニット３６に供給され、格納される。
クロブロックに対する各エラー信号は、前のフレームの
対応するマクロブロックから生成される予測イメージと
現在のマクロブロックを利用して計算される。前のフレ
ームのマクロブロックは、フレーム格納ユニット３６に
格納される。こうして、予め決められたしきい値を越え
ているエラー信号は、後続の対応するブロックに対する
イメージと動きを評価し予測する際に、予測器ユニット
４２とイメージ分析ユニット４４’による使用のために
フレーム格納ユニット３６に供給され、格納される。
【００１６】図２への参照を続けて、量子化器２４によ
り量子化されるエラー信号の逆離散コサイン変換は、エ
ラー信号を空間領域に戻すことが認識されるであろう。
そのときに、現在のブロックの予測イメージは、加算器
３４でそれに加算される。量子化部分をもつ結果として
の信号（「量子化信号」）は、後続の対応するブロック
のイメージと動きを予測する際に、予測器ユニット４２
とイメージ分析ユニット４４’による上記のような使用
のためにフレーム格納ユニット３６に格納される。
り量子化されるエラー信号の逆離散コサイン変換は、エ
ラー信号を空間領域に戻すことが認識されるであろう。
そのときに、現在のブロックの予測イメージは、加算器
３４でそれに加算される。量子化部分をもつ結果として
の信号（「量子化信号」）は、後続の対応するブロック
のイメージと動きを予測する際に、予測器ユニット４２
とイメージ分析ユニット４４’による上記のような使用
のためにフレーム格納ユニット３６に格納される。
【００１７】理想的には、エラー信号の逆離散コサイン
変換は、減算器２０により生成されるエラー信号と同一
であるはずである。しかしながら、当業者には容易に理
解されるように、量子化器２４の量子化ステップサイズ
は、ＩＤＣＴユニット３２によるエラー信号出力とＤＣ
Ｔユニット２２へのエラー信号入力との間に差を生じ
る。特に、量子化ステップサイズが小さく、精細量子化
となれば、エラー信号のこれらの２つのバージョン間に
は僅かの差しかない。しかしながら、量子化ステップサ
イズが大きく粗い量子化となれば、差が実質的に存在
し、ステップサイズ調整を必要とするかもしれない。加
えて、効率的な量子化に関してさえ、エラー信号は、前
のマクロブロックから対応する現在のマクロブロックへ
の変化に単に起因して実質的に存在するかもしれない。
こうして、上記のように、量子化信号だけを生成するエ
ンコーダは、乏しいあるいは非効率的な量子化の結果と
してのエラーと現在のフレームと後続のフレームの間の
変化に起因しているエラーとを区別できない。
変換は、減算器２０により生成されるエラー信号と同一
であるはずである。しかしながら、当業者には容易に理
解されるように、量子化器２４の量子化ステップサイズ
は、ＩＤＣＴユニット３２によるエラー信号出力とＤＣ
Ｔユニット２２へのエラー信号入力との間に差を生じ
る。特に、量子化ステップサイズが小さく、精細量子化
となれば、エラー信号のこれらの２つのバージョン間に
は僅かの差しかない。しかしながら、量子化ステップサ
イズが大きく粗い量子化となれば、差が実質的に存在
し、ステップサイズ調整を必要とするかもしれない。加
えて、効率的な量子化に関してさえ、エラー信号は、前
のマクロブロックから対応する現在のマクロブロックへ
の変化に単に起因して実質的に存在するかもしれない。
こうして、上記のように、量子化信号だけを生成するエ
ンコーダは、乏しいあるいは非効率的な量子化の結果と
してのエラーと現在のフレームと後続のフレームの間の
変化に起因しているエラーとを区別できない。
【００１８】従って、この問題を緩和し、そのような調
整を必要としないビデオ信号の変化からステップサイズ
調整を要求する量子化エラーを区別するために、本発明
のエンコーダは、未量子化ステージ４６を具備してい
る。量子化ステージ２１のように、未量子化ステージ４
６は、減算器４８、スイッチＳ２、第２加算器５０、第
２のフレーム格納ユニット５２、及び第２予測器ユニッ
ト５６を具備し、そのスイッチＳ２は、スイッチＳ１に
接続され、それに同期して動作する。未量子化ステージ
４６は、しかしながら、量子化器、ＤＣＴユニット、あ
るいはＩＤＣＴユニットを具備しない。こうして、現在
のマクロブロックが減算器４８を介して未量子化部４６
に入力されると、現在のマクロブロックの予測バージョ
ンと実際の現在のマクロブロックとの間の差からなる第
２エラー信号が生成される。スイッチＳ２が閉じられる
と、加算器５０において、第２エラー信号および予測さ
れたバージョンが付加されて、現在のマクロブロックと
実質的に同一の信号となる。この信号は、後続の対応す
るブロックのイメージと動きを評価する際に第２の予測
器５６およびイメージ分析ユニット４４’による使用の
ためにフレーム格納５２に格納される。
整を必要としないビデオ信号の変化からステップサイズ
調整を要求する量子化エラーを区別するために、本発明
のエンコーダは、未量子化ステージ４６を具備してい
る。量子化ステージ２１のように、未量子化ステージ４
６は、減算器４８、スイッチＳ２、第２加算器５０、第
２のフレーム格納ユニット５２、及び第２予測器ユニッ
ト５６を具備し、そのスイッチＳ２は、スイッチＳ１に
接続され、それに同期して動作する。未量子化ステージ
４６は、しかしながら、量子化器、ＤＣＴユニット、あ
るいはＩＤＣＴユニットを具備しない。こうして、現在
のマクロブロックが減算器４８を介して未量子化部４６
に入力されると、現在のマクロブロックの予測バージョ
ンと実際の現在のマクロブロックとの間の差からなる第
２エラー信号が生成される。スイッチＳ２が閉じられる
と、加算器５０において、第２エラー信号および予測さ
れたバージョンが付加されて、現在のマクロブロックと
実質的に同一の信号となる。この信号は、後続の対応す
るブロックのイメージと動きを評価する際に第２の予測
器５６およびイメージ分析ユニット４４’による使用の
ためにフレーム格納５２に格納される。
【００１９】未量子化部４６で生成される予測とイメー
ジ分析が量子化エラーを含まないことは理解されるべき
である。イメージ分析ユニット４４’が３つの入力、−
−すなわち、（１）フレーム格納５２から引き出される
前のフレームに対応する信号、（２）フレーム格納３６
から引き出される量子化部２１からの信号、および
（３）実際の現在のブロック−−を受信するので、イメ
ージ分析ブロック４４’は、前のフレームから現在のフ
レームへのイメージの動きをより正確に測定する。した
がって、既存のエラーが、非能率な量子化、ビデオ信号
情報の変化、またはそれらのある組合せの結果であるか
どうかに関する判定がなされる。
ジ分析が量子化エラーを含まないことは理解されるべき
である。イメージ分析ユニット４４’が３つの入力、−
−すなわち、（１）フレーム格納５２から引き出される
前のフレームに対応する信号、（２）フレーム格納３６
から引き出される量子化部２１からの信号、および
（３）実際の現在のブロック−−を受信するので、イメ
ージ分析ブロック４４’は、前のフレームから現在のフ
レームへのイメージの動きをより正確に測定する。した
がって、既存のエラーが、非能率な量子化、ビデオ信号
情報の変化、またはそれらのある組合せの結果であるか
どうかに関する判定がなされる。
【００２０】エラーが非能率な量子化に起因しているな
らば、イメージ分析ユニット４４’は、現在のフレーム
に対する量子化ステップサイズを調整するために、量子
化器制御手段４５を介して量子化器に指示する。これ
は、量子化器２４に適切な指示を提供することによって
可能とされることが望ましい。例えば、ＣＲＴスクリー
ンのイメージの分解能が受け入れ不可能ならば、量子化
ステップサイズは、より代表的なイメージを生じるよう
にイメージ分析ブロック４４’から量子化器２４に適切
な信号を提供することによって減少されてもよい。一
方、現在の信号から次の信号への変化がわずかならば、
量子化器は、同様に、１つのフレームから次のフレーム
にビデオ信号に生じた相対的に意味のない変化に基づい
てより粗いまたは大きい量子化ステップに調整されるこ
とができるであろう。
らば、イメージ分析ユニット４４’は、現在のフレーム
に対する量子化ステップサイズを調整するために、量子
化器制御手段４５を介して量子化器に指示する。これ
は、量子化器２４に適切な指示を提供することによって
可能とされることが望ましい。例えば、ＣＲＴスクリー
ンのイメージの分解能が受け入れ不可能ならば、量子化
ステップサイズは、より代表的なイメージを生じるよう
にイメージ分析ブロック４４’から量子化器２４に適切
な信号を提供することによって減少されてもよい。一
方、現在の信号から次の信号への変化がわずかならば、
量子化器は、同様に、１つのフレームから次のフレーム
にビデオ信号に生じた相対的に意味のない変化に基づい
てより粗いまたは大きい量子化ステップに調整されるこ
とができるであろう。
【００２１】本発明のエンコーダ１０’の様々な要素と
構成要素を説明すると、その動作の簡単な説明は、以下
の通りである。エラー信号の量子化されたバージョンが
予め設定されたしきい値を越えると、たとえば量子化器
２４の出力が大きいとき、同期的に動作可能なスイッチ
Ｓ１とＳ２は閉じる。これが起こる時には、ビデオ信号
での変化を表しているエラー信号は、ＣＲＴスクリーン
上の既存のイメージを変更するためにデコーダ（図示せ
ず）への送信のためにエントロピーコーダ２８とバッフ
ァ３４に提供される。さらに、量子化エラー信号はＩＤ
ＣＴユニット３２により空間の領域に変換され、エラー
信号が引き出される現在のブロックの予測されたイメー
ジに加算され、後続のイメージ分析と予測での使用のた
めのフレーム格納ユニット３６に格納される。スイッチ
Ｓ２を同時に閉じることは、後続のビデオブロックの動
きを予測し、評価する時に、予測器５６およびイメージ
分析ユニット４４’による使用のためにフレーム格納ユ
ニット５２に現在のマクロブロックを提供する。
構成要素を説明すると、その動作の簡単な説明は、以下
の通りである。エラー信号の量子化されたバージョンが
予め設定されたしきい値を越えると、たとえば量子化器
２４の出力が大きいとき、同期的に動作可能なスイッチ
Ｓ１とＳ２は閉じる。これが起こる時には、ビデオ信号
での変化を表しているエラー信号は、ＣＲＴスクリーン
上の既存のイメージを変更するためにデコーダ（図示せ
ず）への送信のためにエントロピーコーダ２８とバッフ
ァ３４に提供される。さらに、量子化エラー信号はＩＤ
ＣＴユニット３２により空間の領域に変換され、エラー
信号が引き出される現在のブロックの予測されたイメー
ジに加算され、後続のイメージ分析と予測での使用のた
めのフレーム格納ユニット３６に格納される。スイッチ
Ｓ２を同時に閉じることは、後続のビデオブロックの動
きを予測し、評価する時に、予測器５６およびイメージ
分析ユニット４４’による使用のためにフレーム格納ユ
ニット５２に現在のマクロブロックを提供する。
【００２２】次のオリジナルのフレームからのエンコー
ダ１０’へのビデオブロックの入力において、エラー信
号は、また、減算器２０により計算されて、ＤＣＴユニ
ット２２により周波数領域に変換され、変換された信号
は、量子化器２４により量子化される。エラー信号が実
質的でない、すなわち、しきい値以下ならば、スイッチ
Ｓ１は開放され、それにより、前のマクロブロックと比
べて、現在のマクロブロックを具備している画素に実質
的でない変化を示す。この状況で、エラー信号は、従っ
て、下流のデコーダに転送されず、あるいは送信されな
い。しかしながら、イメージの動きが存在し、したがっ
て、イメージ分析ユニット４４’（ビデオフレームに存
在するオブジェクトに対する動きを測定する）は、デコ
ーダへの送信のためにエントロピーコーダユニット２８
に出力される動きベクトルを生成するために前のフレー
ムの未量子化信号と前のフレームの量子化信号の両方と
現在のブロックとを比較することにより動きを測定す
る。
ダ１０’へのビデオブロックの入力において、エラー信
号は、また、減算器２０により計算されて、ＤＣＴユニ
ット２２により周波数領域に変換され、変換された信号
は、量子化器２４により量子化される。エラー信号が実
質的でない、すなわち、しきい値以下ならば、スイッチ
Ｓ１は開放され、それにより、前のマクロブロックと比
べて、現在のマクロブロックを具備している画素に実質
的でない変化を示す。この状況で、エラー信号は、従っ
て、下流のデコーダに転送されず、あるいは送信されな
い。しかしながら、イメージの動きが存在し、したがっ
て、イメージ分析ユニット４４’（ビデオフレームに存
在するオブジェクトに対する動きを測定する）は、デコ
ーダへの送信のためにエントロピーコーダユニット２８
に出力される動きベクトルを生成するために前のフレー
ムの未量子化信号と前のフレームの量子化信号の両方と
現在のブロックとを比較することにより動きを測定す
る。
【００２３】スイッチＳ１が開いているとき、現在のマ
クロブロックの現在の予測イメージへの付加のために加
算器３４へのエラー信号入力が存在しないことに注意す
べきである。現在の予測イメージと動き測定だけは、こ
うして、フレーム格納ユニット３６の対応するアドレス
位置に格納される。換言すれば、フレーム格納ユニット
３６の対応する位置に格納されたデータは、いずれのエ
ラー信号構成要素も含まない。同様に、スイッチＳ２が
開かれているので、フレーム格納ユニット５２の対応す
る位置のための新しいデータは、イメージ分析ユニット
４４’により生成される動き測定と共にイメージ予測器
５６から前の予測イメージからなっているにすぎない。
こうして、理解されるように、イメージ分析ユニット４
４に量子化部を有する前のフレームからの信号と、量子
化部が欠けている前のフレームからの信号とを提供する
ことにより、イメージ分析ユニット４４’は、非能率な
量子化またはビデオ信号内容の実際の変化、あるいは両
方によりエラー信号が引き起こされるかどうかを決定す
ることができる。この決定は、動き変位をより効果的に
測定し、量子化器２４をより効率的にコントロールする
ために使用されてもよい。
クロブロックの現在の予測イメージへの付加のために加
算器３４へのエラー信号入力が存在しないことに注意す
べきである。現在の予測イメージと動き測定だけは、こ
うして、フレーム格納ユニット３６の対応するアドレス
位置に格納される。換言すれば、フレーム格納ユニット
３６の対応する位置に格納されたデータは、いずれのエ
ラー信号構成要素も含まない。同様に、スイッチＳ２が
開かれているので、フレーム格納ユニット５２の対応す
る位置のための新しいデータは、イメージ分析ユニット
４４’により生成される動き測定と共にイメージ予測器
５６から前の予測イメージからなっているにすぎない。
こうして、理解されるように、イメージ分析ユニット４
４に量子化部を有する前のフレームからの信号と、量子
化部が欠けている前のフレームからの信号とを提供する
ことにより、イメージ分析ユニット４４’は、非能率な
量子化またはビデオ信号内容の実際の変化、あるいは両
方によりエラー信号が引き起こされるかどうかを決定す
ることができる。この決定は、動き変位をより効果的に
測定し、量子化器２４をより効率的にコントロールする
ために使用されてもよい。
【００２４】当業者は、エンコーダー１０’の個々の要
素と構成要素は、設計選択の一般的事項として、ハード
ウェアおよび／あるいはソフトウエアの組合せにより実
現されることができ、いずれかあるいは両方の使用は、
本発明の範囲と考察内で完全に意図されることを認識す
るであろう。例えば、単一なコンピュータは、予測器４
２と５６の機能およびイメージ分析ユニット４４’を実
行するために使用されることができる。加えて、フレー
ム格納ユニット３６と５２は例としてコンピュータメモ
リからなってもよい。
素と構成要素は、設計選択の一般的事項として、ハード
ウェアおよび／あるいはソフトウエアの組合せにより実
現されることができ、いずれかあるいは両方の使用は、
本発明の範囲と考察内で完全に意図されることを認識す
るであろう。例えば、単一なコンピュータは、予測器４
２と５６の機能およびイメージ分析ユニット４４’を実
行するために使用されることができる。加えて、フレー
ム格納ユニット３６と５２は例としてコンピュータメモ
リからなってもよい。
【００２５】こうして、好適実施例に適用されるよう
に、発明の基本的な新規な特徴を説明し指摘したが、図
示の装置の形式と詳細における種々の省略と置換と変化
が、その動作において、発明の精神から離れることなく
当業者によりなされることができることは理解されよ
う。例えば、同じ結果を達成するために実質的に同じ方
法で実質的に同じ機能を達成する要素のすべての組み合
わせは発明の範囲内にあることは明白に意図される。発
明は、特許請求の範囲により示されるようにだけ制限さ
れる。
に、発明の基本的な新規な特徴を説明し指摘したが、図
示の装置の形式と詳細における種々の省略と置換と変化
が、その動作において、発明の精神から離れることなく
当業者によりなされることができることは理解されよ
う。例えば、同じ結果を達成するために実質的に同じ方
法で実質的に同じ機能を達成する要素のすべての組み合
わせは発明の範囲内にあることは明白に意図される。発
明は、特許請求の範囲により示されるようにだけ制限さ
れる。
【図１】図１は、従来のビデオエンコーダのブロック図
である。
である。
【図２】図２は、本発明により構成されるビデオエンコ
ーダのブロック図である。
ーダのブロック図である。
１４ アナログ−デジタル変換器 ２０，４８ 減算器 ３４，５０ 加算器
Claims (16)
- 【請求項１】 連続合致ビデオフレームの連続ストリー
ムにより定義されるビデオ信号により表されるオブジェ
クトのイメージ分析のためのフィードバックエンコーダ
であって、 各前記ビデオフレームに対して、フレームのオブジェク
トの第１の予測イメージを評価するための第１のイメー
ジ予測器と、ここで各前記フレームに対する第１の予測
イメージは前記各フレームに先行しているフレームの表
現とオブジェクトの変位の測定から導かれ、 現在のビデオフレーム、および現在のビデオフレームの
第１の予測イメージとの間の差から導かれるエラー信号
を生成するための手段と、 前記発生手段と関連して、調整可能なステップサイズで
前記第１のエラー信号を量子化し、量子化エラー信号を
定義するための量子化器と、 各前記フレームに対して、前記表現は、（１）前記先行
するフレームの前記第１の予測イメージと前記量子化エ
ラー信号と、及び（２）前記先行するフレームの前記第
１の予測イメージの少なくとも1つからなり、 前記量子化エラー信号をコード化するためのエントロピ
ーコーダと、 各前記フレームに対して、前記各フレームのオブジェク
トの第２の予測イメージを評価するための第２のイメー
ジ予測器と、各前記フレームに対する前記第２の予測イ
メージは前記第２のイメージ予測器への信号入力とオブ
ジェクトの変位の測定から導かれ、前記信号は、（１）
先行するビデオフレームと（２）前記先行するビデオフ
レームの予測イメージのうちの１つからなり、および前
記各フレームに対して、前記オブジェクトの変位の前記
測定を決定するためのイメージ分析手段とを含み、前記
測定は、前記エントロピーコーダーに提供され、前記先
行するフレームの前記表現、前記信号、前記現在のフレ
ームから導かれるフィードバックエンコーダ。 - 【請求項２】 前記表現を格納し、前記表現を前記第１
のイメージ予測器と前記イメージ分析手段に提供するた
めの第１のメモリ手段と、前記信号を格納し、前記信号
を前記第２の予測器と前記イメージ分析手段に提供する
ための第２のメモリ手段とを更に具備する請求請1に記
載のエンコーダー。 - 【請求項３】 前記量子化エラー信号に応答するスイッ
チ手段と、前記スイッチ手段は、前記量子化エラー信号
がしきい値を越えるとき、前記量子化エラー信号を前記
第１のメモリ手段に、前記現在のビデオフレームを前記
第２のメモリ手段に提供するための閉鎖条件を持つ請求
項２に記載のエンコーダ。 - 【請求項４】 前記スイッチ手段は、開放条件を有し、
前記量子化エラー信号が前記しきい値を越えず、それに
より前記第１の予測イメージが前記第１のメモリ手段
に、前記第２の予測信号が前記第２のメモリ手段に供給
されるとき、前記解放条件にある請求項３に記載のエン
コーダ。 - 【請求項５】 コード化された量子化エラー信号と前記
変位測定がオブジェクトの表示のためにデコーダーに送
信されるレートを調節するために前記エントロピーコー
ダに接続されたバッファを更に具備する請求項３に記載
のエンコーダ。 - 【請求項６】 前記バッファが、量子化器の量子化ステ
ップサイズを調整するための制御手段を含んでいる請求
項５に記載のエンコーダ。 - 【請求項７】 前記イメージ分析手段は、量子化器の量
子化ステップサイズを調整するための制御手段を含んで
いる請求項１に記載のエンコーダ。 - 【請求項８】 イメージ分析手段は、量子化器の量子化
ステップサイズを調整するための制御手段を含んでいる
請求項６に記載のエンコーダ。 - 【請求項９】 連続時間合致ビデオフレームの連続スト
リームにより定義されるビデオ信号により表されるオブ
ジェクトのイメージ分析のためのフィードバックエンコ
ーダであって、 前記ビデオフレームの各々に対して、そのフレームのオ
ブジェクトの第１の予測イメージを評価するための第１
のイメージ予測器と、前記フレームの各々に対する前記
第１の予測イメージは、前記各フレームに先行するフレ
ームの表現と前記オブジェクトの変位の測定とから導か
れ、 現在のビデオフレームと、現在のビデオフレームの第１
の予測イメージの間の差から導かれるエラー信号を生成
するためのエラー発生器と、 前記エラー発生器と通信して、調整可能なステップサイ
ズで第１のエラー信号を量子化して量子化エラー信号を
定義する量子化器と、 前記フレームの各々に対して、前記表現は、（１）前記
先行するフレームの前記量子化エラー信号と前記先行す
るフレームの前記第１の予測イメージと（２）前記先行
するフレームの前記第１の予測イメージとのうちの少な
くとも１つからなり、 前記量子化エラー信号をコード化するためのエントロピ
ーコーダーと、 前記フレームの各々に対して、前記各フレームの前記オ
ブジェクトの第２の予測イメージを評価するための第２
のイメージ予測器と、前記フレームの各々に対する前記
第２の予測イメージは、前記オブジェクトの前記変位測
定と前記第２のイメージ予測器に入力される信号とから
導かれ、前記信号は（１）前記先行するビデオフレーム
と（２）前記先行するビデオフレームの予測イメージの
うちのすくなくとも１つからなり、 前記フレームの各々に対して、前記オブジェクトの前記
変位測定を決定するためのイメージ分析器と、前記測定
は、前記先行するフレーム、前記信号、および前記現在
のフレームの表現から導かれるを具備するエンコーダ。 - 【請求項１０】 前記表現を格納し、前記表現を前記第
１のイメージ予測器と前記イメージ分析手段に提供する
ための第１のメモリと、前記信号を格納し、前記信号を
前記第２の予測器と前記イメージ分析器に提供するため
の第２のメモリとを更に具備する請求請９に記載のエン
コーダー。 - 【請求項１１】 前記量子化エラー信号に応答するスイ
ッチと、前記スイッチ手段は、前記量子化エラー信号が
しきい値を越えるとき、前記量子化エラー信号を前記第
１のメモリ手段に、前記現在のビデオフレームを前記第
２のメモリに提供するための閉鎖条件を持つ請求項１０
に記載のエンコーダ。 - 【請求項１２】 前記スイッチは、開放条件を有し、前
記量子化エラー信号が前記しきい値を越えず、それによ
り前記第１の予測イメージと前記変位測定が前記第１の
メモリに、前記第２の予測信号と前記変位測定が前記第
２のメモリに供給されるとき、前記解放条件にある請求
項１１に記載のエンコーダ。 - 【請求項１３】 コード化された量子化エラー信号と前
記変位測定がオブジェクトの表示のためにデコーダーに
送信されるレートを調節するために前記エントロピーコ
ーダに接続されたバッファを更に具備する請求項１１に
記載のエンコーダ。 - 【請求項１４】 前記バッファが、前記量子化器の量子
化ステップサイズを調整するための制御機構を含んでい
る請求項１３に記載のエンコーダ。 - 【請求項１５】 前記イメージ分析器は、前記量子化器
の量子化ステップサイズを調整するための制御機構を含
んでいる請求項９に記載のエンコーダ。 - 【請求項１６】 イメージ分析器は、前記量子化器の量
子化ステップサイズを調整するための制御機構を含んで
いる請求項１４に記載のエンコーダ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/546,853 US5646689A (en) | 1995-10-23 | 1995-10-23 | Video encoder with feedback control |
| US08/546853 | 1995-10-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09139949A true JPH09139949A (ja) | 1997-05-27 |
Family
ID=24182312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8279788A Pending JPH09139949A (ja) | 1995-10-23 | 1996-10-23 | フィードバック制御付ビデオエンコーダ |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5646689A (ja) |
| EP (1) | EP0771118A3 (ja) |
| JP (1) | JPH09139949A (ja) |
| CA (1) | CA2183799A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3089941B2 (ja) * | 1994-02-28 | 2000-09-18 | 日本ビクター株式会社 | 画像間予測符号化装置 |
| KR100246626B1 (ko) * | 1997-10-16 | 2000-03-15 | 정선종 | 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법 |
| JP4142180B2 (ja) * | 1998-10-29 | 2008-08-27 | 富士通株式会社 | 動きベクトル符号化装置および復号装置 |
| TW589870B (en) * | 2000-12-19 | 2004-06-01 | Pts Corp | Adaptive transforms |
| EP1322121A3 (en) * | 2001-12-19 | 2003-07-16 | Matsushita Electric Industrial Co., Ltd. | Video encoder and decoder with improved motion detection precision |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62222783A (ja) * | 1986-03-24 | 1987-09-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像の高能率符号化方式 |
| JP2520306B2 (ja) * | 1989-05-24 | 1996-07-31 | 三菱電機株式会社 | 変換符号化装置 |
| JP3189861B2 (ja) * | 1992-11-13 | 2001-07-16 | ソニー株式会社 | 動画像符号化装置および方法 |
| JPH05167998A (ja) * | 1991-12-16 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像の符号化制御処理方法 |
| NL9201640A (nl) * | 1992-09-22 | 1994-04-18 | Nederland Ptt | Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een digitaal signaal, en encoder en decoder voor toepassing in het systeem volgens de uitvinding. |
| KR940020832A (ko) * | 1993-02-25 | 1994-09-16 | 김주용 | 고선명 텔레비젼의 적응 양자화 방법 및 이를 이용한 시스템 부호기 |
| JPH07203443A (ja) * | 1993-12-27 | 1995-08-04 | Olympus Optical Co Ltd | 動画像符号化装置 |
| US5565921A (en) * | 1993-03-16 | 1996-10-15 | Olympus Optical Co., Ltd. | Motion-adaptive image signal processing system |
| US5347311A (en) * | 1993-05-28 | 1994-09-13 | Intel Corporation | Method and apparatus for unevenly encoding error images |
| BE1007808A3 (nl) * | 1993-11-30 | 1995-10-24 | Philips Electronics Nv | Inrichting voor het coderen van een videosignaal. |
-
1995
- 1995-10-23 US US08/546,853 patent/US5646689A/en not_active Expired - Lifetime
-
1996
- 1996-08-21 CA CA002183799A patent/CA2183799A1/en not_active Abandoned
- 1996-10-15 EP EP96307501A patent/EP0771118A3/en not_active Withdrawn
- 1996-10-23 JP JP8279788A patent/JPH09139949A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CA2183799A1 (en) | 1997-04-24 |
| EP0771118A3 (en) | 1999-04-14 |
| US5646689A (en) | 1997-07-08 |
| EP0771118A2 (en) | 1997-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6414992B1 (en) | Optimal encoding of motion compensated video | |
| KR0127094B1 (ko) | 트랜스코딩장치 | |
| US6360017B1 (en) | Perceptual-based spatio-temporal segmentation for motion estimation | |
| EP1029416B1 (en) | Multi-layer coder/decoder | |
| JP3347954B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| KR100240771B1 (ko) | 이동벡터 스케일링기능을 개선한 스케러블 부호화기 및 그 방법 | |
| KR19990036646A (ko) | 비디오 프레임 시퀀스 인코딩 시스템 및 그 방법, 컴퓨터 프로그램 제품 | |
| EP0782342A2 (en) | Video coding and decoding system and method | |
| JPH04334190A (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
| JPH08111870A (ja) | 画像情報の再符号化方法及び装置 | |
| US7054497B2 (en) | Method and system for optimizing image sharpness during coding and image enhancement | |
| JP4619479B2 (ja) | 統計的多重化システム | |
| JP2002531018A (ja) | デジタル画像フレームの高解像化方法 | |
| US5778100A (en) | Method and apparatus for reducing the bit rate in a video object planes sequence coder | |
| KR100202538B1 (ko) | 엠펙 비디오 코덱 장치 | |
| US6025880A (en) | Moving picture encoding system and method | |
| US20070025438A1 (en) | Elastic storage | |
| JPH09139949A (ja) | フィードバック制御付ビデオエンコーダ | |
| KR100327952B1 (ko) | 영역분할기반동영상압축부호화방법및장치 | |
| JP4326758B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JPH07298270A (ja) | 動き補償フレーム間予測符号化装置 | |
| US7013048B2 (en) | Method and apparatus for coding a digitized original picture and method and apparatus for decoding a digitized coded picture | |
| JP2000125301A (ja) | 画像符号化装置 | |
| KR0123092B1 (ko) | 픽쳐 시작 위치 코드 코딩 방법 및 장치 | |
| JP2006254485A (ja) | 動画像復号化装置 |