JPH05506135A - ビデオ処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ビデオ処理方法及び装置 ｌ豆立ユエユ」 本発明は、ビデオ信号に関し、より特定的には、テレビジョン及び高精細度テレ ビジョンシステムに用いられる、さらに、低減された記憶容量及び／又は低減さ れた帯域幅のチャネルを与える形態で動画又は動画と静止画との組み合わせをあ らゆる適切な媒体に渡って伝送及び／又は記憶することを含む他の用途に用いら れるビデオ信号を符号化及び復号する方法及び装置に関する。このいくつかの技 術は、例えば、画質上の認識可能な劣化がほとんどないか又は全（ない状態で、 単一のビデオ信号に通常は割り当てられた帯域幅のみを使用する複数のビデオ信 号を、空中を介して若しくは導体又は光ケーブルを介して伝送するために使用可 能である。このいくつかの技術は、例えば、独立した高精細度テレビジョン信号 が同じプログラム情報についての既存方式による伝送と同時に送られるいわゆる 「同時放送（ｓｉｍｕｌｃａｓｔ）Ｊ方式の場合のごとく、「両立（ｃｏｍｐａ ｔｉｂｌｅ）」高精細度テレビジョンと称せられる方式に使用可能である。この いく？かの技術は、さらに、通常のテレビジョンプログラムと同じチャネルで（ 完全な高精細度性能のために必要な情報より少ない）画質改善情報を送る「画質 改善（ＨＤＴＶ）Ｊと称せられる方式に使用可能である。

及１２−背ＸＩＬ玉 ビデオ情報チャネルについての絶えることのない多大な需要により、利用できる 周波数帯域がますます負担となっている。これまでの空中波スペクトル空間は、 長年の間に混み合ってきており、最近、家庭用ケーブル、遠隔会議、テレビ電話 、及びコンビエータ画像伝送等のための急速に発展したビデオプログラミングが 、導体及び光ケーブル、電話線、及び衛星通信チャネルを混み合わせている。こ れらの伝送媒体を介して送ることので−きるビデオ情報の量を増大させる技術が 望まれていることは明らかである。また、より多くのビデオ情報が記憶される場 合、与えられた記憶容量内に記憶できるビデオ情報量を増大させる技術の発展が 望まれている。

高精細度テレビジョン（ＨＤＴＶ）がより普及されるにつれて、ＨＤＴＶ画像を 提供するに要する付加情報を送受信する改善されたシステムが必要となる。通常 の放送よりも高精細度の（即ち、ライン毎により多くの画素及びフレーム毎によ り多くのラインを有し、従って伝送により広い帯域幅を要する）テレビジョンを 提供する全ての新しいサービスは、現存の家庭用テレビジョン受像様が可能とす るほとんど全ての画像特性及び画質をそれら受像機に供給すべきである。また、 新しい（高精細度）サービス用に設計された受像機は、現行の伝送方式を用いて 動作可能であるべきであり、この伝送によって現行の受像機によって提供される ものよりも劣ることのない結果が得られるべきである。

種々のＨＤＴＶ方式が提案されている。１９８６年４月のダブリュー・イー・グ レン（Ｗ、Ｅ、Ｇ　１　ｅ　ｎｎ）、ナショナル・アソシエーション・才ブ・ブ ロードキャスタによるｒＨＤＴＶ両立性伝送システム」なる刊行物、及び本願と 同−譲渡人に譲渡された米国特許第４，５１７．５９７号、第４．６２８，３４ ４号、第４，６５２．９０９号、第４，７０１，７８３号、及び第４，８００． ４２６号には、ＨＤＴＶの両立性のある伝送を可能とするオーグメンテーション （ａｕｇｍｅｎｔａｔｉｏｎ）方式を用いたＨＤＴＶシステムが記載されている 。独立した補助又は「オーグメンテーション」チャネルは、通常に受信したテレ ビジョン情報を高精細度性能を得るために増大させる画像ディテール情報を送る のに使用される。上述の記載技術は、ビデオ帯域幅圧縮及びビデオ記憶容量の低 減という用途をも有している。

参照した特許及び刊行物に記載されているように、電子ビデオ信号（例えばテレ ビジョン信号）は、低空間周波数成分の少なくとも一部のフレームリフレッシュ 速度を欄準速度に維持しながら高空間周波数成分のフレームリフレッシュ速度を 下げることによってより狭い帯域幅で符号化され得る０人間の視覚が、低い空間 解像度情報内では変化を知覚できるのに、高い空間解像度情報内では同程度に速 い速度の変化を知覚できないので、特定の方法により上述のことが行われてもこ れは、最終的なデイスプレイ画像を実質的に劣化させることにはならない、従っ て、前述したように、電子ビデオ符号化及び復号システムは、より高い空間解像 度ビデオ成分を、この種の成分について人間の視覚が実際に知覚できる最高の速 度にほぼ対応した一時的な情報速度に符号化することによって、人間の視覚のこ の及びその他の特性による利点が得られるよう工夫可能である。これにより、帯 域幅を本質的に浪費する、これら成分をより高い速度に符号化する必要性、がな くなる。また、参照した特許及び刊行物に示されているように、低い空間解像度 情報は、例えば米国で使用されているＮＴＳＣビデオ等の標準テレビジョンビデ オと両立する形態で発生され得る。動きの多い画面ではより高い一時的解像度を 有し、動きのほとんどない画面ではより高い空間解像度を有するように動きの程 度に応じて選択された成分と共に、幾つかの周波数成分が特定の速度で伝送でき る［例えば、ダブリュ・エフ・シュライバー（Ｗ、Ｆ、５ｃｈｒｅｉｂｅｒ）、 ［低品質アナログチャネルにおける信頼できるＨＤＴＶ／ＨＤＴＶ伝送Ｊ　、Ｓ ＭＰＴＥジャーナル、１９８９年７月、及び本譲渡人による前述した特許を参照 ］ことも知られている。

図１は、上述した特許及び刊行物に記載されている一般的なタイプの両立性高精 細度テレビジョン送受信システムを示している。送信機２００は、テレビジョン カメラシステム（図示なし）又はビデオレコーディングシステム（図示なし）等 のソースからのテレビジョン信号を処理するＮＴＳＣ処理回路２１０を含んでい る０回路２１０は、標準のＮＴＳＣチャネルを介して送信するべき信号を生成す るための変調回路又は他の適切な回路を一般に含んでいる送信回路２１５に接続 されている。テレビジョンカメラ又はビデオレコーダからのテレビジョン信号（ 高精細度ビデオ性能を有すると仮定する）は、また、上述の特許及び刊行物に記 載されているように、ＨＤＴＶ信号を得るべ（通常のテレビジョン信号を改善す るために用いることのできるディテール信号を発生する高精細度テレビジョン（ ＨＤＴＶ）処理回路２６０によって処理される。（米国特許第４．６５２，９０ ９号にさらに記載されているように、ディテール信号は別のカメラ得ることがで きる。）ディテール信号は、テレビジョン情報の標準部を伝送するために用いら れる（主）ＮＴＳＣチャネルに一般に隣接していない第２の（補助）チャネルを 介してディテール信号を送信するさらなる回路２７５に結合する。ＮＴＳＣ信号 は、例えば通常のディスプレイ３１５用の、はぼ通常の解像度のテレビジョン画 像を生成する能力のみを有する受信機３１０等の受信機によって受信される。高 精細度テレビジョン信号を受信し、処理し、ディスプレイする能力を有する受信 機３６０等の受信機は、ＮＴＳＣ信号を運ぶ主チャネルと、ＨＤＴＶディスプレ イ３６５上にディスプレイする高精細度テレビジョン信号を発生するためのＮＴ ＳＣビデオ信号のオーグメンテーション用のディテール信号を運ぶ補助チャネル とを受信する。

参照した特許及び刊行物において、空間的ディテールは、１５又は７．５フレ一 ム／秒のごとき比較的低いフレーム速度で送信される。ディテールフレーム速度 があまりにも低下した場合には、「ジャダ」　（揺れる工・ソジの動き）が観察 された。この人工的な産物は、オーグメンテーションチャネルの帯域幅を、そう でなければ精神物理学の研究によって指摘される値よりも太き（させる。撮像管 の面上の像エネルギの統合によって生じ、画面の動きのある領域内のディテール を減衰させるカメララグは、ジャダを減少させるために利用できるが、像ディテ ールのわずかの減少であっても動対象体においてはこれらが視覚的に追跡された 場合には看取されてしまう。上述した技術に関する及び他の従来技術に関する性 能及び帯域幅圧縮の改善を図ることが本発明の目的の１つである。また、既存の 又は将来のテレビジョン標準（例λば、ＮＴＳＣ１若しくはＰＡＬ又はＳＥＣＡ Ｍ等の他の標ｔｓ）と両立性のあるシステムについてこのような改善を図ること も本発明の目的の１つである。

本発明のさらなる技術的背景として、ビデオ信号及び／又は静止画傷情報の圧縮 、伝送、及び／又は他の処理に関する以下の米国特許が参照される。

米国特許第４，１９６，４４８号、第４．２１０．９３１号、第４，２２４，６ ７８号、第４，３０２，７７５号、第４，３９４，７７４号、第４，５４１，０ １２号、第４，６０５．９５２号、第４，６３０．０９９号、第４．６６１．８ ６２号、第４，６７２，４２５号、第４．６７５，７３３号、第４，６７５，７ ５０号、第４，７２９，０１２号、第４，７７４，５６２号、第４，７８０，７ ６１号、第４．７９１，５９８号、第４，８０７，０２９号、第４，８２１，１ １９号、第４，８４５，５６２号、第４，８５１，９０６号、第４，８７０．４ ８９号、及び第４．８７３，５７３号である。

ＦＣＣは、最近、米国における地上のＨＤＴＶ伝送は同時放送（ｓｉｍｕｌｃａ ｓｔ）方式、即ち通常のテレビジョンチャネルと独立したＨＤＴＶチャネルとの 両方で同時に同じプログラム内容を送る方式、を用いて放送するべ（計画するこ とが好ましいと公表した。テレビジョン視聴者が、早暁、標準ＮＴＳＣ受像機を 高精細度装置に取り替え、これにより現行のＮＴＳＣチャネルが最終的に他の用 途に割り当て直され得ることは予想されてきた。しかしながら、この概念が実施 されるためには、視聴者が、この新しい方式に対応するように設計さ、れな受像 機を購入するように意識付けされなければならない。広画面のＨＤＴＶが利用可 能となっても、より小さい画面の受像機に関するかなりの需要は常に存在するで あろう。小画面サイズのテレビジョン受像機の画質は。

一般に伝送の見地からは制限されず、人間の視覚の鋭さによって制限される０世 間一般の１９〜２０インチの通常の受像機における最適視覚距離は、例えば、６ 〜７フイートである。同じ画面サイズのＨＤＴＶ受像機は、はとんどの視覚状況 において明らかに実際的ではない約３フィートの量適視覚距離を有している。安 価なより小さい画面のテレビジョン装置を要求する消費者が常にいるであろうか ら、予知できる将来において、通常のＮＴＳＣチャネルを廃棄するという目標は 達成できないであろう。

上述した問題点及び従来技術の制限を処理し、帯域幅の実質的な節約を図り、ビ デオ伝送及び記憶の効率を増大させ、かつ、単一の通常テレビジョンチャネルの 帯域幅における高精細度テレビジョン伝送を行う能力を提供するビデオ情報の符 号化及び復号を改善することも本発明の目的の１つである。単一のビデオ信号に 通常は割り当てられる帯域幅を使用して、異なる画像を表す２つのビデオ信号を 、画質の認知できる劣化をほとんど又は全く起こすことなく伝送することができ る技術を提供することも本発明の目的の１つである。改善された耐干渉性を有し つつビデオ信号を放送する方法を提供することも本発明の目的の１つである。

色豆二１上 帯域幅圧縮を達成するためにビデオを符号化及び復号する方法及び装置が記載さ れている。本発明の１態様においては、異なる画像を表す２つのビデオ信号が、 画質の劣化をほとんど又は全く認知することな（伝送され得る。本発明の他の態 様においては、動きを示す信号が、記憶及び／又は伝送されるべき周波数帯域情 報を動的に変更する技術において使用される。

本発明のさらなる要旨及び効果は、添付の図面を参照した以下の詳細な記述から よりたやすく明らかなるであろう。

・　の　舌 図１は、従来の両立性高精細度テレビジジンシステムの簡略化されたブロック図 である。

図２は、斜め効果を測定したデータを表す極性図である。

図３Ａ、図３Ｂ、及び図３０は、基点サンプリング、５点（ｑｕｉｎｃｕｎｘ） サンプリング、及び低いサンプリング速度による５点サンプリングをそれぞれ表 している。

図４Ａ、図４Ｂ、及び図４０は、図３Ａ、図３Ｂ、及び図３０の状態のためのス ペクトルをそれぞれ表している。

図５及び図６は、記述中で参照されるスペクトルを表している。

図７は、ビデオサンプリング速度の半分の速度の垂直及び水平カットオフ周波数 を有する２次元ダイアゴナルフィルタの４象限の通過帯域を表している。

図８は、本発明の一態様における符号器及び符号化方法の実施例のブロック図で ある。

図９は、９×７フイルタカーネルアレイの係数例を表している。

図１０は、フィルタカーネルによる２次元たたみ込みを実施するために使用可能 な回路のブロック図である。

図１１は、２次元サブキャリアを２次元像が変調することによって生じる、斜め ｉｌ！（ダイアゴナル）の周辺における２次元スペクトルの折り返しの例を表し ている。

図１２Ａ及び図１２Ｂは、２次元変調の前及び後での画素アレイをそれぞれ示し ている。

図１３は、２次元変調を行うための回路を表している。

図１４は、本発明の一態様によって符号化された信号を回復するために使用可能 である復号器及び復号方法の実施例のブロック図である。

図１５Ａ１図１５Ｂ１図１５Ｃ１図１５Ｄ、及び図１５Ｅは、実例となるスペク トルを示している。

図１６は１本発明の他の態様における符号器及び符号化方法の実施例のブロック 図である。

図１７は、本発明の実施例で使用可能なデシメータの図である。

図１８は１本発明の一態様によって符号化された信号を復号するために使用可能 である復号器及び復号方法の実施例のブロック図である。

図１９は、本発明の実施例で使用可能なゼロパツダの図である。

図２０は、本発明の他の態様における符号器及び符号化方法の実施例のブロック 図である。

図２１は、本発明の他の態様によって符号化された信号を復号するために使用可 能である復号器及び復号方法の実施例のブロック図である。

図２２は、本発明の他の態様による高精細度テレビジョンシステム及び方法の実 施例のブロック図である。

図２３は、伝送されたビデオ信号間の干渉を最小限とするために使用される本発 明のさらに他の態様を表している。

図２４及び図２５は、図６のスペクトルの帯域分割例を表している。

図２６は、本発明の方法の実施例を実行するために使用可能でありかつ本発明の 実施例における符号器のブロック図である。

図２７は、符号器走査変換のためのシステムのブロック図である。

図２８は、図２６の実施例の符号器の一部のブロック図である。

図２９は、図２８のタイル制御プロセッサを制御するためのルーチンのフローチ ャートである。

図３０は、図２８の動き検出回路の実施例のブロック図である。

図３１は、記載されている復号方法の実施例を実行するために使用可能でありか つ本発明の実施例における復号器のブロック図である。

図３２は、図３２Ａ及びその下に続く図３２Ｂからなっており、図３１の実施例 のオーグメンテーション入カプロセッサを制御するためのルーチンのフローチャ ートである。

図３３及び図３４は１図３１の実施例のスペクトル−ディテール変換プロセッサ を実行するためのルーチンのフローチャートである。

図３５は、図３１の実施例で使用されるＦＩＦＯ（先入れ先出し）回路のブロッ ク図である。

１鼠久且ｌ 主観的な視覚研究によれば、知覚される解像度が異方性を有すること（全ての方 向で正確には等しくないこと）が分かっている。眼は、斜めの線（ダイアゴナル ）に沿ったディテールよりも水平軸及び垂直軸に沿ったディテールの方がより感 度がよい、［例えば、ダブリュ・イー・グレン　他（Ｗ、Ｅ、Ｇｌｅｎｎ　ｅｔ 　ａｌ、）、「精神物理学データに基づく画像システム設計Ｊ、ＳＩＤ会報、Ｖ ｏｌ、２６／１．第７１〜７８頁、１９８５年１月、ＮＹＩＴ　５ＴＲＣ１「宇 宙で使用するためのビデオシステムの設計及び発展に適用可能な視覚的精神物理 学要素、最終報告Ｊ、ＮＡＳＡ報告、１９８９年５月；　ジー・シー・ヒギンズ 　他（Ｇ、Ｃ，Ｈ４ｇｇｉｎｓ　ｅｔ　ａｔ、）、［種々のテスト対象体方向及 び視界条件による視覚の鋭さの変化Ｊ、Ｊ、ｏｐｔ、Ｓｏｃ、Ａｍ、４０、第１ ３５〜１３７頁、１９５０年；エフ・ダブリュ・キャンベル　他（Ｆ、Ｗ、Ｃａ ｍｐｂｅｌｌ　ａｔ　ａｔ、）、「人間の視覚システムの方向選択性Ｊ、Ｊ、Ｐ ｈｙｓｉｏ１．１８７、第４３７〜４４５頁、１９６６、及びニス・アラペル（ Ｓ、Ａｐｐｅｌｌｅ）、［刺激方向の関数としての知覚及び判別二人間及び動物 の斜め効果Ｊ　、Ｐｓｙｃｈｏｌｏｇｉｃａｌ　Ｂｕｌｌｅｔｉｎ、Ｖｏｌ、７ ８　Ｎｏ、４、第２６６〜２７８頁、１９７２年を参照のこと、］図２は、極座 標の形でプロットされており、種々の研究者毎のこの斜め効果を表している。用 いたテストのタイプが違うことにより結果は多少異なっているが、主観的解像度 の曲線は、同様の形状を有しており、外側臼によって示される異方性解像度から 発散している。視覚システムの異方性空間応答特性を利点を取り入れることによ り、帯域幅及びディスプレイエレメント濃度が低減できることが知られている０ 図３Ａ、図３Ｂ、及び図３０は、基点サンプリング、５点形（又はダイアゴナル ）サンプリング、及び低いサンプリング速度による５点彩サンプリングをそれぞ れ表している０図４Ａ、図４Ｂ、及び図４０は、図３Ａ、図３Ｂ、及び図３０の サンプリングのための独立したスペクトルをそれぞれ示しており、ここでｆ、＝ １／Ｄである。図３Ｂ及び図３０に示す５点彩サンプリングは、スペクトル座標 軸を４５度だけ回転させる結果となり［例えば、アール・シー・ゴンザレス　他 （Ｒ，Ｃ，Ｇｏｎｚａｌｅｓ　ｅｔ　ａｌ、）、［デジタル像処理Ｊ、Ｒｅａｄ ｉｎｇ　Ｍａｓｓ、、アディソンーウエズレイ（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ ）　、１９８７年；　イー・デュボイス　他（Ｅ、Ｄｕｂｏｉｓｅｔ　ａｌ、） 、「デジタルＮＴＳＣカラー信号の３次元スペクトル及び処理Ｊ、ＳＭＰＴＥ　 ＪｏｕｒｎａＩ、第３７２〜３７８頁、１９８２年４月：　及びビー・ウエンド ランド　他（Ｂ、Ｗｅｎｄｌａｎｄ　ｅｔａｌ、）、「いくつかのテレビジョン 信号処理技術の画質についてＪ、ＳＭＰＴＥ　Ｊｏｕｒｎａｌ、第９１５〜９２ ２頁、１９８４年１０月参照のこと］、これによって視覚特性により近づいてマ ツチングすることとなる。この方法は、知覚される画質の劣化なしに２の因数だ け情報内容を低減するのに使用することができる。中間調印刷、より最近ではＣ ＣＤカメラ及びＬＣＤディスプレイが有効にこの技術を用いている。本明細書の 背景技術で参照した特許に記載されているいくつかのシステムでは、２の因数だ けサンプリング速度を低減し、それによってオーグメンテーション帯域幅を低減 するべ（５点彩サンプリングを利用している。以下に記述する実施例では、図５ に示す独立したスペクトル領域における斜めの線（ダイアゴナル）５のほぼ右上 までダイアゴナル高周波数成分を除去することによって情報内容が低減されてい る。ＮＴＳＣ輝度スペクトルは、図５の左下側のボックス内におおよそ表されて いる。ＮＴＳＣスペクトル部分が通常のチャネルから得られるオーグメンテーシ ョンシステムに関している次に述べる実施例においては、オーグメンテーション チャネルの伝送に用いられるおよその残りのスペクトルが、図６のハツチング領 域で示されている。

基点サンプリングした像の周波数成分を図２のダイヤモンド形状の知覚曲線内の 領域に制限するために、ローパスフィルタを用いることができる。最も有利な視 聴距離（通常のＮＴＳＣ５２５ラインビデオについて画面高さの約６倍）に位置 するテレビジョン視聴者は、像のディテールは識別できるにもかかわらず、（垂 直）ビデオラスターを解像することができない。図７は、ビデオサンプリング速 度（例えば垂直サンプリング速度の半分）の半分の速度の垂直及び水平カットオ フ周波数を有する２次元ダイアゴナルフィルタの４象限の通過帯域を表している 。総スペクトル領域の半分がこのフィルタによって通過される。人間の視覚シス テム特性にマツチする像に有効な２次元帯域幅は、基点サンプリングによって得 られるものの半分のみである。本発明の特徴によれば、有効なビデオ情報は、図 ７のハツチング部分、即ち従来システムに右いては一般に浪費されかつ有効に使 用されていなかったスペクトル領域、に位置するべく２次元的に変調される。本 実施例においては、例えば２つの異なるテレビジョン像は、各々を２つの別個の スペクトル領域の各々に有効に配置することにより、単一の伝送チャネル上に符 号化することができる。本出願人は、各テレビジョン画面が原画に存在する完全 に主観的な解像度をほぼ維持でき、かつ他方のテレビジョン画像から完全に独立 できることを見いだした。

本発明の方法の一態様を実行するために使用可能であり、本発明の第１の態様の 実施例に基づく装置のプロツり図を示している図８を以下に参照する。２つの電 子ビデオ信号は、ブロック８１０及び８５０でそれぞれ示される部分で生成され る。電子ビデオ信号は、例えばビデオカメラ、ビデオメモリ、図形又は動画発生 器、若しくは医療又は他の像発生器等のあらゆる適切な手段によって発生せしめ られるであろう。ブロック８１０及び８５０が異なるタイプの電子ビデオ信号源 をそれぞれ表しているかもしれないことは理解できるであろう。−例として、ブ ロック８１０及び８５０が異なるシーンに向けた電子ビデオカメラシステムを表 していると想定できる。以下に述べるように、上述の信号が同一の像の異なる成 分を表しているかもしれない。また、この技術が電子ビデオ信号の種々フォーマ ットに及び通常の低又は高精細度ビデオに適用可能であることが理解されるであ ろう。この技術はカラービデオ信号についても一般に通用するが、通常テレビジ ョンの解像度を有するモノクロビデオ信号に関する例を量初に説明する。

ビデオ信号源８１０及び８５０の出力は、ローパスフィルタ８１５及び８５５に それぞれ印加され（２次元スペクトル８１５Ａ及び８５５Ａをも参照のこと）、 次いでアナログ−デジタル変換器８２０及び８６０に印加される。アナログ−デ ジタル変換器は、デジタルバッファ８２１及び８６１にそれぞれ記憶されている デジタル画素のフレームを得るべく、いかなる適切なりロック速度においても既 知の方法で動作可能である。バッファは、フレームバッファか又はその一部であ るかもしれない。

各々のフレームの各画素は、一般にはｎビットのデジタル語で表される輝度値を 有し得る。

フレームバッファ８２１及び８６１の出力は、２次元ダイアゴナルローパスフィ ルタ８２５及び８６５にそれぞれ印加される。これらフィルタの各々は、デジタ ル化されたビデオ信号のフレームから高周波数の２次元ダイアゴナル周波数成分 を取り除くよう動作する。例えば、図７の第１象限のほぼ正方形のスペクトルに ついて、本実施例のフィルタリングによれば、図７のハツチングのない領域で示 すようにほぼ三角形を有するスペクトルを好ましくは得る結果となるであろう（ 略図８２５Ａ及び８６５Ａも参照のこと）。しかしながら、通過した最高の垂直 及び水平周波数（ｆｖ７□＝定数）を結合するラインが、境界であると通常はみ なされることは理解できるであろう１図２の記述に関連して分がるように、上述 の三角形領域内にあるいくらかの周波数についても、人間の視覚システムによっ てほぼ減衰されるであろうと断定している研究者等が存在している。フィルタの 正確な形は、人間の視覚システムの現在及び／又は将来の研究から決定され得る 、及び／又は経験的に調整され得る。

２次元ダイアゴナルローパスフィルタ（８２５及び８６５）は、いかなる適切な 技術によっても実現できる。例えば、市販のプログラマブルフィルタカーネルが 、所望のフィルタ機能を得るために使用できる。図９は、２次元ダイアゴナルロ ーパスフィルタリングを実行するために使用可能な９×７フイルタカーネルアレ イの係数の例を示している。フィルタカーネルは、フィルタすべき画素のフレー ムでアレイをたたみ込みすることによって適用可能である。このフィルタリング 処理を実行する技術は、この分野で公知である。図１０は、２次元たたみ込みを 実施するために使用可能であり、適切な重み付は係数を用いることにより、本実 施例において２次元ダイアゴナルローパスフィルタを実現するのに使用可能な回 路のブロック図である。図１０の回路において、係数に＋、のアレイは、ｍ個の ライン遅延１０２０と、図１０においてレジスタ列１０２５で表され各々が１つ の画素遅延に関する独立した段を有しているｎ個の画素遅延とを用いることによ り、（ｍ）Ｘ　（ｎ）の動画素群に印加される。シフトレジスタ又はＦＩＦＯが この目的に用いられるかもしれない。各画素及び遅延された画素は、乗算器１０ ５０に対応する信号レベルを印加することによって実現される係数値により、係 数ｋｌ、を掛けられる。係数は特定のフィルタカーネル用の選ばれたアレイ、例 えば図９に示されたアレイ、に応じたものであり得る。乗算器１０５０の出力は 、アレイがフレームを「動いた」ときに、各たたみ込み出力信号を発生する加算 器１０８０によって加算される。所望により市販のチップを含む他のフィルタ完 成体が使用可能であり、かつ最終状態が既知の技術によって取り扱い可能である ことが理解されるであろう。

図８を再び参照すると、２次元ダイアゴナルローパスフィルタ８２５の出力は、 加算回路８８０の１つの入力に結合している。２次元ダイアゴナルローパスフィ ルタ８７０の出力は、２次元変調器８７０に印加される。この２次元変調器は、 フィルタされた信号のスペクトルを高周波数ダイアゴナル成分によって通常は占 められているスペクトル空間に折り返す役目を果たす。図１１は、サンプリング 速度の半分の水平周波数及びサンプリング速度の半分の垂直周波数を有する（個 の例の場合）２次元サブキャリアを２次元像が変調した場合に起こる２次元スペ クトルの折り返しの例を表している。一般に像スペクトルは、図１１に示すよう に、原画像の高周波数水平成分が高周波数垂直成分となるように又はその逆とな るように斜め境界線の周辺で折り返されて反転されるであろう。これにより、符 号化された像上の一定のグレイレベル（ｄａ）が、サンプリングパラメータで、 ／２、ｆ、／２として表し得る最も高い周波数として現れるであろう、換言すれ ば、このような２次元変調の後、スペクトル位置（０、Ｏ）が（ｆ、／２、ｆ、 ／２）となり、通常は、一定の強度レベルが高周波数チェッカーボードパターン として現れるであろう。［平均グレイレベルより下の場合と同様に、この場合に は平均グレイレベルより明るいと変調される、偉の明るい領域におけるこの変調 によって、像内容全体は、失われかつディスプレイから画面高さの６倍以上離れ た視聴者には空白のグレイ画面として現れる。これは、スペクトル内容が人間の 知覚範囲外にあるため、即ち人間の視覚システムがダイアゴナルローパスフィル タとして働くためである。］このような２次元変調により、スペクトル位置（０ ゜！、）が（ｆ、／２、ｆ、／２−ｆ、）となる等、同様のことが行われるであ ろう、斜め線周辺での折り返しを達成するための２次元変調は、図１２Ａ及び図 １２Ｂに示すように、１つおきのラインで極性の順序を反転させつつ各ライン上 の１つおきの画素の極性を反転させることによって実行可能である。図１２Ａは ２次元サブキャリアの２次元変調前の画素アレイを示しており、図１２Ｂはこの 種の変調後の画素アレイを示している。図１３はこの変調を実施するための回路 を表している。マルチプレクサ１３５０は、その一方の入力において２次元フィ ルタ８６５の画素出力を受け取り、他方の入力においてインバータ１３１０によ って反転された画素出力を受け取る。変調器は、画素及びライン指示を受け取り 、その入力ライン選択シーケンスを図１２Ｂに示す極性シーケンスの通りに交番 させる。

両方の像（１及び２でそれぞれのビデオ信号スペクトルを示す２次元スペクトル の略図８８０Ａを参照のこと）を表すビデオ信号を含む加算器８８０の符号化出 力は、ブロック８９０で表すように、記憶及び／又は送信可能である。

図１４には、符号化ビデオ信号を回復及び記録及び／又はディスプレイするのに 使用可能な復号器のブロック図が示されている。ブロック１４１０は、符号化信 号の受信又はメモリからのその信号の読み出しを表している。２次元周波数スペ クトルが略図１４１０Ａに表されている。オプションの画素記憶バッファ１４１ ５が、情報フレーム又はその一部を記憶するために使用可能である。バッファ１ ４１５の出力は、図１１〜図１３に関連して説明した変調器８６５（図８）と同 様に作動できる２次元変調器１４５０に印加される。前に述べたスペクトル折り 返しにより、ビデオ信号のスペクトル位置が反転される。変調器１４５０の出力 は、これも図９〜図１０に関連して説明したタイプであり得る２次元ダイアゴナ ルローパスフィルタ１４７０に印加される。バッファ１４１５の出力は個の出力 のフィルタ（１４２０）にも印加される。２次元ローパスフィルタ１４２０及び １４７０のそれぞれの出力は、デジタル−アナログ変換器１４２５及び１４７５ に印加され、次いでアナログ（水平）ローパスフィルタ１４３０及び１４８０に 印加される。出力されるアナログビデオ信号は、ブロック１４３５及び１４９０ でそれぞれ表すように記録及び／又はディスプレイ可能である。２次元変調器は 、機能的には、「１」及び「２」　（略図１４５０Ａを参照）で表される信号の スペクトル位置を「反転」するように動作する。

フィルタ１４２０及び１４７０は、次いで、不要なスペクトル成分をフィルタし 、それぞれ分離されたビデオ信号（略図１４２０Ａ及び１４７０Ａを参照）得る ために使用可能である。アナログ形態への変換及び適切なローパスフィルタリン グの後、回復された信号は所望により記録及び／又はディスプレイ可能である。

本発明のさらなる態様によれば、最初のフィルタリングの後にサブサンプリング してエイリアス（折り返し雑音）となる周波数を除去することにより像の大きさ が低減又は圧縮されるかもしれない。後述するように、像は、１つおきの画素を 水平方向及び垂直方向に投げ捨てるか又はデシメイトすることにより、その原画 像の大きさの半分に減少させることができる。空間的なデシメーションは、本質 的な解像度をほとんど悪化させることなく、圧縮されてない像のデータ内容及び 関連する伝送帯域幅を減少させるのにも用いることができる。２次元デシメーシ ョンについて考察する前に、１次元デシメーションの効果について検討すること が役に立つ。連続するアナログ信号が、限りなく小さいサンプリングアパーチャ を有するデジタイザを用いてサンプリングされたと仮定すると、デジタル入力は 、Ｔ、秒間隔のインパルス列を乗算してなる連続アナログ信号とみなされ得る。

サンプリングされたスペクトルは、ｆ、＝１／Ｔ、とすると、ｎ　ｆ　ｓに位置 するスペクトルインパルスにたたみ込みされた元のアナログスペクトルからなっ ている。従ってアナログスペクトルの繰り返しは、図１５Ａに示すように、サン プリング周波数の整数倍数位置に集中せしめられるであろう。アナログベースバ ンドスペクトルがサンプリングの前にｆ、／２より低い周波数に制限された場合 、エイリアスは生じない。今、偶数及び奇数のサンプルが、以下の偶数及び奇数 デシメーション関数により分離されたと仮定する。ここで、Ｘは整数のサンプル 数である。

ＤＥＣ＊ｖ＊ｎ＝　（１／　２）　［１＋　ｃｏ　ｓ　２　ｐ　ｉ　＊（ｆ−／ ２）　（ｘ／ｆ、）］ ＝　（１／２）　［１＋ｃｏｓ　（ｐｆ＊ｘ）］ＤＥＣａａａ　＝　（１／２） 　Ｅｌ−ｃｏｓ　（ｐｉ　＊ｘ））データの組にＤＥＣ，、。を印加することに より、奇数データ要素がゼロとなり、Ｄ　Ｅ　Ｃ、、、を印加することにより、 偶数データ要素がゼロとなる。サンプリングされたスペクトルをＤ　Ｅ　Ｃ、、 、、、のスペクトルとたたみ込みすることによって、偶数的にデシメートされた 像が得られる。図１５Ｂは、デシメーションにより、アナログスペクトルの他の 繰り返しがほぼｆ、／２に生成されることを示している。エイリアスは、ｆ、／ ４より高い周波数について生じる。ＤＥＣ，。６も同様なスペクトルを生成する であろうが、エイリアス成分はＤ　Ｅ　Ｃ、、、、によるエイリアススペクトル に対して反転したものであろう。偶数及び奇数成分が加算される場合、原スペク トルを放置し、エイリアスされない原成分は追加するが、エイリアスされた成分 はキャンセルする。この結果は興味深いものであるが、１次元のものについては ほとんど実用的でない。同一の結果が、ｆ、／２のアナログ入力をサンプリング することによって得られる。

しかしながら、空間デシメーションは、ダイアゴナルデシメーシゴンパターンを 使用すれば、１次元の場合のように平凡な結果とはならない、ダイアゴナルデシ メータは、例えば黒のドツトのチェックボードパターンで像をマスクする。偶数 デシメータは次のように表される。

ＤＥＣａ＋ａｇ＝　（１／２）　［１＋ｃｏｓ　（ｐｉ　１ｘ）ｃｏｓ　（ｐｉ ｔｙ）］ デシメータのスペクトルは、ＤＣ（０，０）と水平及び垂直サンプリング速度の 半分（ｆ、、／２、ｆ、／２）ちう２つの周波数からなっている０周波数が２次 元であることを除いて、これは１次元デシメーションスペクトルに類似している 。デシメートすべき像は、前述したタイプの２次元ダイアゴナルブリフィルタを 最初に通過せしめられ得る。デシメートされたスペクトルは、フィルタされた像 スペクトルをデシメータのスペクトルでたたみ込みすることによって得られる。

元のフィルタされたスペクトルは、デシメーション周波数の倍数、即ち全てのｍ 及びｎについて、 （２ｍ＋１）ｆ−／２、（２ｎ＋１）ｆ、／２付近で繰り返される、その一部が 図１５Ｇに示されている。デシメートされた像が他のダイアゴナルフィルタを通 過することによって、画質を劣化させることな（デシメートされない像が再生さ れる。上述したことをまとめると、斜めにブリフィルタされた像が斜めに空間的 にデシメートされると、デシメーション処理で導入されるスペクトル成分は、元 のスペクトル領域まで広がっておらず、従ってフィルタリングによって除去され 得る。

斜めにデシメートされた像は、基点サンプリングされたライン毎の画素の数の半 数の画素を含んでいる。ビデオの１ラインを送るに要する時間は、帯域幅が一定 に保たれるとすれば、半分に減少可能であり、これによって像は水平に圧縮され る。従って、各ビデオラインの後半は、第２の像を運ぶ又は基本像の高精細度成 分を運ぶ等の他の目的に使用できる。圧縮された像は、デシメータで生成された ゼロを再挿入しかつ２次元ローパスフィルタを通過させることにより、受信側で 再構築できる。

図１５Ｄは、デシメーション周波数の倍数、即ち全ての整数値ｍ及びｎについて 、 （２ｍ　＋　１　）　ｆ　ｈｏｒｉｚｏｎｔａｌ／　２、（２ｎ　＋　１　）　 ｆ　ｖｅｒｔｉｃａ＋／　２付近での基点サンプリングスペクトルの繰り返しか らなるデシメートされた像の２次元周波数スペクトルを表している。

周波数エイリアスは、像が適切にプレフィルタされてない場合、また、ゼロパッ ダで再構築されたものが適当にポストフィルタされない場合に発生するであろう 。図１５Ｅは、ブリフィルタ及びポストフィルタの両方に使用できるダイアモン ド形状の通過帯域を有する２次元フィルタを示している。これは、人間の視覚シ ステムの感度範囲の外側のスペクトル成分のみを除去する。従って、原画像と同 じ主観的質を有する画面が、斜めにデシメートされた像から再構築され得る。

図１６を参照すると、直前に述べた原理を利用した本発明の一態様の実施例にお けるブロック図を示している。図８の記載に関連して前に述べたように、２つの ビデオ信号源１６１０及び１６５０が備えられている。ブロック１６１５及び１ ６２０．１６５５及び１６６０で表すように（略図１６１５Ａ及び１６５５Ａも 参照）、信号は、それぞれ、水平方向にローパスフィルタリングされアナログ− デジタル変換される。アナログ−デジタル変換器の出力は、前に述べた方法によ ってかつブロック１６２５及び１６６５で示すように、それぞれ２次元ローパス フィルタリングされる。その結果得られる２次元スペクトルが、略図１６２５Ａ 及び１６６５Ａに表されている。フィルタされた像は、次いで、前に述べた方法 によってかつブロック１６３０及び１６７０で示すように、それぞれデシメート される。本実施例においては、（図示されたような）選択された１つおきの画素 のみがデシメータによって通過せしめられる。これは、図１７に説明するような 電圧制御ゲートを用いることにより実施できる。特に、制御ゲートに供給される ライン及び画素情報が、デシメータによって画素を通過させるかどうかを決定す る。または、各ラインで異なる初期状態にセットされるフリップフロップを使用 することもできる。デシメータ１６３０及び１６７０の出力は、画素の各ライン を元のライン時間の半分にそれぞれ圧縮するように動作する時間軸圧縮器１６３ ５及び１６７５にそれぞれ印加される。この技術分野では時間軸訂正については 良（知られており、いかなる適切な時間軸圧縮器もこの目的に使用可能である。

その結果得られた信号の圧縮された２次元スペクトルが、略図１６３５Ａ及び１ ６７５Ａにそれぞれ示されている。水平成分が２倍となっていることが分かる０ 次いで、図１６９０Ａに示すように、連続するタイムスロットの間にそれら信号 を組み合わせるべくマルチプレクサ１６９０が使用されろ。その結果得られた信 号は、ブロック１６９５で示されるように、記憶及び／又は送信可能である。

図１８を参照すると、図１６の回路の符号化ビデオ信号を復号するために利用可 能な復号器の実施例のブロック図を示している。ブロック１８１０は、符号化信 号の受信又はメモリからの読み出しを表している。デマルチプレクサ１８１５は 、各ラインの２つのタイムスロット内の信号を分離するために用いられ、このデ マルチプレクサの出力は、時間軸訂正回路１８２０及び１８５０にそれぞれ印加 される。時間軸訂正回路１８２０及び１８５０は、符号器の対応する時間軸訂正 器１６３５及び１６７５によってなされる動作の逆動作を行う。時間軸訂正器の 出力は、例えば半フレーム分のメモリを備えているであろう画素記憶バッファ１ ８２５及び１８５５にそれぞれ印加される。バッファの出力は、図１８３０Ａ及 び１８６０Ａにそれぞれ表すように、斜め方向に１つおきの画素位置にゼロを挿 入するように動作するゼロバッグ１８３０及び１８６０にそれぞれ印加される。

これらバッグを実施するために使用可能な回路が図１９に示されている。特に、 バッファ（１８２５又は１８５５）からの画素出力及びゼロレベルを表す信号を 入力として受け取るマルチプレクサが使用可能である。バッグによって通過せし められる値の選択は、図示されている１つおきのパターンに応じて、マルチプレ クサに入力されろうイン及び画素情報に従うであろう。バッグ１８３０及び１８ ６０の出力は、前述したようにエイリアス成分を除去するべく動作する２次元ダ イアゴナルローパスフィルタ１８３５及び１８６５にそれぞれ印加される。フィ ルタの出力は、デジタル−アナログ変換器１８４０及び１８７０にそれぞれ印加 され、次いで所望により、アナログローパスフィルタリング（水平方向）され、 ブロック１８４５及び１８７５でそれぞれ示すように、ディスプレイ及び／又は 記録され得る。

図２０を参照すると、２つのビデオ信号が帯域幅の減少要求に応じた単一のチャ ネルに組み合わせ可能な本発明の一態様の実施例を示している。この実施例では 、アナログ処理が用いられている。最初に、２つのビデオ入力信号が、ビデオ信 号源（２０１０及び２０５０）から受け取られる。本発明（デジタル及びアナロ グ処理の両方の実行例）では、大部分の自然の像がスペクトルの高ダイアゴナル 周波数領域内で始まるスペクトルエネルギをほとんど有していないので、最初の ２次元ダイアゴナルローパスフィルタリングを行わずに実行されることがしばし ばあり得る。図２０の実施例は、この種のブリフィルタリングなしの処理例であ る。図２０の実施例においては、これも−例として、ビデオがインタレースされ たビデオを含んでいると仮定する。またこの実施例では、別々の垂直及び水平変 調によって２次元変調が実行されている。特に、ブロック２０２０は垂直変調を 表している。インタレースされるディスプレイのために１つおきのラインがこれ に続くフィールドで生じ、従って、垂直変調は、各地のフィールドの間に反転を することによってなされる。線２０２１Ｂ上の、フィールド同期部からの信号に よって制御されるマルチプレクサ２０２１は、増幅器２０２２を介して受け取る ビデオか又は反転増幅器２０２３を介して受け取るビデオを選択する。その結果 得られる「１つおきのラインが反転された」信号は、（水平変調成分について実 行する）２重平衡変調器を駆動するのに用いられる。線２０３０Ｂを介して受け 取るこの変調器のミキシング信号の周波数（ｆ、）は、例えば４．２ＭＨｚであ る最大通過帯域周波数に選択される。ビデオの単極性を保つために、最大単極ビ デオレベルの半分に等しいレベルのバイアスが、符号化前に差動回路２００５に よって差し引かれ、次いで、変調処理の後に加算回路２０５０によって再挿入さ れる。変調ビデオ信号及び非変調ビデオ信号が加算回路２０６０によって足し合 わされ、ローパスフィルタされ（ブロック２０７０）、記録及び／又は送信され る（ブロック２０８０）。

図２１を参照すると、記憶及び／又は送信の後、組み合わせ信号が受信及び／又 はメモリから読み出され（ブロック２１１０）、原信号を回復すべく復号される ことができる。組み合わせ信号は、線２１２ＯＣ上に低２次元ダイアゴナル周波 数を得、線２１２０Ｂ上に高２次元ダイアゴナル周波数を得るために２次元ダイ アゴナルフィルタ２１２０に印加される。ダイアゴナルフィルタリングば、アナ ログ形態で、又はデジタル形態に変換し上述のごと（分離し再変換することによ り実行されるかもしれない。信号２１２０Ｃは、ブロック２１８０で表されてい るように、記録及び／又はディスプレイ可能である。信号２１２０Ｂは、図２０ の符号化処理と同様に１次元段において、２次元的に変調される。特に、線２１ ４０Ｂ上の、フィールド同期部からの信号によって制御されるマルチプレクサ２ １４０は、増幅器２１３０の出力か又は反転増幅器２１３５の出力を選択する。

その結果得られる信号は、送信機側で用いられるものと同じ周波数の信号、即ち この例では４．２ＭＨｚの信号、をその他方の入力で受け取る２重平衡ミキサ２ １５０を通過する。バイアスが加算回路２１６０によって適切に加算可能であり 、その結果得られる信号は、ブロック２１７０で表されているように、記録及び ／又はディスプレイ可能である。

２次元スペクトルの高周波数ダイアゴナル部分は、主要像成分（例えば、高精細 度成分、カラー成分、アスペクトレシオ又は他の目的等を修正するための付加的 像領域）を運ぶため、又はデータ、静止画、オーディオ等の他の情報を運ぶため にも使用できる。図２２は、高精細度成分を高周波数２次元ダイアゴナル領域に ２次元的に変調する高精細度テレビジョンシステムのブロック図である。高精細 度源（原稿の通常テレビジ目ンビデオより本質的に高い精細度を有する信号を包 含するとみなされ得る信号の発生源）２２０５が備えられている。この出力は、 差動回路２２０１の正の入力に及び高精細度ビデオ信号の２次元ローパスダイア ゴナルフィルタリングを表すブロック２２１０に印加される。このフィルタリン グは、例えば、上述したようにデジタル形態に変換し。

フィルタリングを前述したように行うことによって実行されるかもしれない。そ の結果得られる信号の２次元スペクトルが２２１０Ａで表されており、高精細度 サンプリング速度の半分である水平及び垂直周波数は、低周波数標ｓｍ細度の２ 次元カットオフ周波数におけるダイアゴナル帯域内に低減されることが分かる。

フィルタ２２１０の出力は、本実施例では、１つおきの垂直ラインをデシメート し、４つ毎の水平画素を保持するように動作するデシメータ２２１５によって受 け取られる。デシメーションパターンは図の他の部分２２６ＯＡに表されており 、このデシメーションが、所望のパターンに応じて保持するべき画素を選択させ るためのライン及びフィールド入力を有する、前に説明したデシメータによって 達成されることが理解できるであろう。その結果得られる相対的像密度が、２２ ００における図に表されている。

前述した方法による時間軸訂正の後、デシメータの出力はマルチプレクサ２１２ ０の１つの入力に印加される。

マルチプレクサの出力は、ゼロバッグ２２６０及びディテール係数を記憶するた めの記憶バッファ２２８０へ印加される。ゼロバッグ２２６０の８力は、前述し たタイプのバッグを用いて２２６ＯＡに示すごときパターンを再構築する。この 信号は、フィルタ２２１０と同じように動作し、２２６５Ａに示すスペクトルを エイリアスなしに発生する標準精細度２次元ダイアゴナルローパスフィルタ２２ ６５に印加される。フィルタ２２６５の出力は加算回路２２７０の一方の入力で ある。マルチプレクサの他方の出力は、逆コサイン変換回路２２８５にその出力 が印加されるディテール係数記憶バッファ２２８０に印加される。回路２２８５ は、米国特許出願番号第５０２．５０９号に記載されたタイプのチップであり得 る。回路２２８５の出力は加算回路２２７０の他方の入力である。加算回路２２ ７０の出力は、一方、差動回路２２０７の負の入力となる。この回路２２０７の 出力はコサイン変換回路２２３５に印加され、この回路の出力はディテール成分 選択回路２２３７に印加される。回路２２３５及び２２３７も、米国特許出願番 号第５０２゜５１９号に記載されたタイプのものであり得る。回路２２３７の出 力は時間軸訂正され（ブロック２２４０）、次いでマルチプレクサ２１２０の他 方の入力に印加される。動作中、この回路は、（−例として）デシメーションに よって得られるタイムスロット内の選択された変換成分を使用する。デマルチブ レツクリングの後、復号器は、信号内の成分を回復しＨＤＴＶ出力を得るために これらを加算するために破線で囲まれた回路２２５０を用いることができる。変 換されていないディテール成分についてもこれと同じ原理が適用できることが理 解されるであろう。

スペクトル（これに続く回復用）の高周波数ダイアゴナル部分へのビデオの２次 元変調は、例えば共チャネル状態における、信号間の干渉を低減するために使用 可能である。図２３は、別々の放送領域における送信機Ａ及びＢと送信機から干 渉信号を受信することができる受信機とを表している。送信機の１つが２次元的 に変調されたビデオ信号（上述したようにこれに続く変換用）を使用していれば 、知覚される干渉が実質的に低減される。

画面が、代わりに、そのスペクトル内容を用いて表され得ることは知られている 。Ｎ個の空間画素を有する像全体のフーリエ変換は、Ｎ個の単一周波数成分を包 含しており、従って、空間像情報を送るのに必要とする同一の伝送帯域幅を一般 に要求する。次に述べる実施例では、オーグメンテーションディテールのスペク トル変換によって、例えば通常のチャネルにおいていつも送られる低いスペクト ル成分が重複不要であるという効果、及び変換されたオーグメンテーション成分 が人間の視覚システムの要求をより満足できる方法でダイナミックに選択可能で あるという効果が得られる。図２４及び図２５は、図６のスペクトルの２つ又は ４つの帯域への典型的な帯域分割をそれぞれ表している。図２５において、帯域 はほぼ等しいスペクトル順序を有しており、視覚的重要度が下がる順に番号付け されている。４帯域のオーグメンテーション技術は以下記載する実施例で述べる が、他の帯域選択（帯域の数とスペクトルの形状及び割り当てとの両方について ）も採用可能である。

図２６を参照すると、本発明のさらなる実施例による、かつ本発明の方法の実施 例を行うに使用可能である符号器のブロック図が示されている。この符号器は、 図１で説明したタイプのシステムで使用されるであろう。

符号又は同期信号の使用、若しくはチャネル識別又はチャネル同期のための他の 手段の使用は、米国特許第４゜８００．４２６号又は前述した他の特許又は刊行 物の技術に従うかもしれない。

高精細度ビデオ信号は、相補２次元空間フィルタ９１０に印加される。図２７に さらに関連して説明されこのるフィルタは、中でも、受信したＨＤＴＶ信号を通 常解像度のビデオ信号とディテール信号とに分離するように動作する。符号化空 間フィルタ９１０は、水平空間方向に動作するフィルタとこれに縦続接続された 垂直空間方向に動作するフィルタとからなる２つの１次元ローパス有限長インパ ルス応答（ＦＩＲ）フィルタの形態であり得る。縦続接続動作により、垂直及び 水平空間像がたたみ込みされる６２２次元空応答は、２つのフィルタの応答を掛 は合せて２次元周波数領域に矩形の空間窓を作ることにより得られる。この点に ついて前述した米国特許第４，６２８，３４４号を再び参照することができる。

［もちろん、別々の高及び低解像度カメラ又は他のビデオ成分信号源を使用すれ ば、フィルタリングは不要か、又は他の形態であるかもしれない、］通常解像度 のビデオ信号は、例えばＮＴＳＣ方式においては４８３本の視認可能な線である 通常の走査線及び要素フォーマットを有するビデオを発生するのに用いられる走 査線数変換器９２０に印加される。走査線数変換されたビデオは、例えばＮＴＳ Ｃ符号器である符号器９３０に印加される。

符号化された通常解像度ビデオ信号は、記憶、送信、又は公知の方法による処理 が可能である。ある種の処理能力を有する受信機側において改善された動作を得 るために、動き指示信号を通常のビデオチャネルに含めることが可能である。

本実施例においては、高精細度ディテール成分が画面の所定領域（又は「タイル 」）を用いて処理される。この実施例では、他の大きさ及び形状を使用すること もできるが、各タイルは８×８画素の四角形である。

ディテールオーグメンテーションチャネルは、ブロック９５０で表されておりコ サイン変換等による、直角変換を用いた周波数領域へのディテール信号の変換を 含んでいる。使用（この場合送信）されるべき特定の変換帯域は、ブロック９６ ０及び９７０に示しかつ図２８に関連してさらに述べるように、各タイルについ ての動きの関数として動的に選択される。この実施例の特徴に従って、選択され る特定の帯域は、現在実質的な動きのないこれらタイルについて、そのタイルの 動きの履歴の関数として定められる。特に、画面情報が実質的に同じである状態 が長引く程、タイルに関してより詳細な情報が、得ることのできる全てのディテ ールが提供されるまで、提供（この場合送信）される０本実施例では、動き指示 信号は、変換されたタイルの動きを検出することによつて発生せしめられる（例 えば図２８及び図３０）、なお、動きは、ディテール成分又は他の適切なビデオ 表現体を用いて検出され得ることが理解できるであろう。各タイルの選択された 帯域成分（もしあるのなら）及び動き状態信号は、本実施例においては、マルチ プレクサ９８０を介して送信機及び／又は記憶媒体に印加される。

図２７は符号器走査線数変換のための好ましい構成を表している。２次元空間フ ィルタ９１０の低（又は通常）解像度出力（例えば１１２５本の走査線）は、通 常の送信機（例えば図１の２１０）と結合するために通常の５２５本の走査線（ ＮＴＳＣ）のフォーマットに変換する第１の走査線数ダウン変換器２７２０に印 加可能である。受信機の符号器（例えば図３１のブロック３１１５）で用いられ るであろうものと同じ走査線数アップ変換器２７３０が、１１２５本の走査線に 戻すためにアップ変換するのに用いられる。その結果が、差動回路２７５０によ り高精細度成分から減算されて所望のバイパスディテール成分が得られる０図示 されているように、補償遅延回路２７１０が用いられ得る。また、以上の記載全 体にわたって必要な補償遅延が公知技術のごとく使用可能であることが理解され よう。

図２８を参照すると、図２６にブロック９５０．９６０．９７０、及び９８０で 表されておりオーグメンテーションチャネルにディテール信号を印加するように 処理する符号器の一部をより詳細に示すブロック図を表している。デマルチプレ クサ１１０５、ラインＦＩＦＯＩ１１０、及びマルチプレクサ１１１５は、公知 の方法により、本実施例においてはｌＮＭＯＳ　ＩＭＳＡ１２１独立コサイン変 換チップで実施される変換チップ１１２０によって受け取られるように適当なフ ォーマットでディテール信号を入力する。変換チップ１１２０は、係数カウンタ １１２５によっても受け取られる画素クロックを受け取る。変換チップは、さら に、画素計数モジュロ６４として供給される「次のタイル」指示を受け取る。こ の指示は、係数カウンタ及びタイル位置カウンタ１１３０にも印加される。タイ ル位置カウンタ１１３０は、さらに、「次のフレーム」指示をも受け取る。係数 カウンタ１１２５は変換チップ１１２０から出力されている変換係数（この例で はそれらの６４）の通路を保持し、タイル位置カウンタ１１３０は処理されるタ イルの位置（ｘ、ｙ）の通路を保持する。複数のタイルは、一般に、継続的に列 毎に処理される。リードオンリメモリ（ＲＯＭ）であるかもしれないルックアッ プテーブル１１３５は、カウンタ１１２５からの係数指示情報を、変換チップ１ １２０からの係数が２つの帯域記憶ＲＡＭ１１５０及び１１５５にそれぞれ記憶 されるべきアドレスの一部に翻訳する。帯域記憶ＲＡＭ１１５０はデュアルポー トである。即ち、入力アドレスを用いた入力ボートで、又はこれとは独立して、 出力アドレス（この場合、これはタイル制御プロセッサ１１７５から得られる） を用いた出力ボートでアクセス可能である。帯域記憶ＲＡＭ１１５０は、図２５ に１．２，３、及び４で示した４つの帯域のごとき別々の周波数スペクトル帯域 を備えた変換係数の群である帯域成分を記憶するために用いられる。本例におい て、４つの帯域１〜４の各々は５つの係数を有していると仮定する。これは、可 能性のある６４個の係数のうちの２０個が図６のハツチングされたスペクトルを 表すのに実際に用いられること、かつ他の４４個の係数が、最初に述べたように 必要ではない、図５の残りの領域をほぼ表していることを意味している。後述す るように、適切な帯域成分は、帯域記憶ＲＡＭ１１５０からマルチプレクサ１１ ６Ｓに読み出される。マルチプレクサ１１６５は、さらに、フラグ記憶ＲＡＭ１ １７０から動きフラグ記憶状態の指示を受け取る。これらの信号は、ＰＩＦ０１ １８５に印加され、最終的に、図１の送信機２７５のごとき送信機（又は場合に よってはメモリ）に印加される。

他方の帯域記憶ＲＡＭ１１５５は、単一ボートかもしれず、本実施例では動き検 出の目的に使用される。ＲＡＭ１１５５はＲＡＭ１１５０と同じ係数情報を受け 取るが、その度に新しい係数を受け取る。即ち、前のフレームから対応する係数 （即ち、現在のフレームの対応する係数によって占有されるべきアドレスに記憶 されている係数）を受け取り、これにより図３０により詳しく示されている回路 １１６０によって動き検出が実行可能となる。一時的に図３０を参照すると、現 在の帯域成分（図２８の変換チップ１１２０から）と、対応する前のフレームの 帯域成分（図２８の帯域記憶ＲＡＭ１１５５から）とが、出力が絶対値回路１３ ２０に印加される差動回路１３１０によって受け取られる。累算器１３３０は、 各タイルについての差の絶対値の総和を累算する（累算器のリセット及び読み出 しが次のタイル指示によってイネーブルとなる）。累算器１３３０の出力は、所 定のしきい値レベルと比較される。しきい値レベルが越えている場合、動き指示 信号が比較器１３４０から出力される。図２８に示されているように、この信号 は、これもデュアルポートＲＡＭであるフラグ記憶ＲＡＭ１１７０によって受け 取られる。本実施例においては、以下に記述するごとき５つの動き状態フラグが ある。動き状態フラグ１は、動きを表しており４つの帯域の第１のものが送られ るべきである。動き状態フラグ２は、１つのフレーム中に動きが全くなかったこ とを表しており帯域２が送られるべきである。動き状態フラグ３は、２つのフレ ーム中に動きが全くなかったことを表しており帯域３が送られるべきである。動 き状態フラグ４は、３つのフレーム中タイルに動きが全（なかったことを表して おり帯域４が送られるべきである。動き状態フラグＯは、４つ以上のフレーム中 タイルに動きが全くなかったことを表しておりスペクトル情報は送られるべきで はない（全ての４つの帯域が既に送られている）、いかなる適当なマイクロプロ セッサ又はその一部、専用の論理回路、又は集積回路であってもよいタイル制御 プロセッサ１１７５は、後述するようにフラグ記憶ＲＡＭ１１７０を制御する。

図２９は、タイル制御プロセッサ１１７５を制御するルーチンのフローチャート である。ブロック１２０５は、２次元タイルアレイにおけるタイルの位置を示す インデックスｉ及びｊの初期化を表している。次いで、図２８において、アナロ グマルチプレクサ１１９５の一方の入力へ同期信号を出力する同期符号発生器１ １８゜へのタイル制御プロセッサの出力で示されているように、同期符号が送ら れる（ブロック１２１０）、次に、タイル（ｉ、ｊ）についての動き状態フラグ が、ブロック１２１５に示すように、フラグ記憶ＲＡＭ１１７０からマルチプレ クサ１１６５を介してＰＩＦ０１１８５へ送られる。これは、アドレス（ｉ、ｊ ）をフラグ記憶ＲＡＭ１１１７０の出力ボートに送ることにより、及びＦＩＦＯ １１８５へのフラグ状態情報がマルチプレクサ１１６５を通過することをイネー ブルとすることにより実行される。動き状態フラグがゼロであるかどうかの質問 がなされる（ダイアモンド１２２０）。もしそうであれば、少なくとも最後の４ フレームの間このタイルに動きがないこととなり、かつ全ての帯域情報が既に送 られていることとなり、従ってこのタイルについてスペクトル情報は送られない 。この場合、ダイアモンド１２５０へ直接進む。動き状態フラグがゼロでない場 合、帯域情報が帯域記憶ＲＡＭ１１５０からＦＩＦＯ１１８５へ送られるであろ う。そしてこれは、ループ１２４３で実行される。ブロック１２２５に示すよう に、インデックスｋがゼロに初期化される。このインデックスには、各帯域の５ つの成分を識別するために用いられる。ｋが歩進される毎に（ブロック１２４０ ）、帯域記憶ＲＡＭ１１５０のアドレス［ｌ、Ｊ、フラグ（Ｌ、ｊ）、ｋｌにお ける帯域成分がマルチプレクサ１１６５を介してＦＩＦＯ１１８５ヘロードされ る。マルチプレクサは、このフェーズの間、図２８において「フラグ又は帯域成 分の選択」と表示された線によって、帯域記憶ＲＡＭ１１５０から情報をロード するように制御される。アドレスは、タイル位置［（ｉ、ｊ）］、動き状態フラ グ［前述した規則リストに従って使用すべき帯域を決める、フラグ（ｉ、ｊ）］ 、及び帯域成分［ｋｌを含んでいることが分かる。ループ１２４３の処理が完了 した場合、ダイアモンド１２３５の質問についてはＹＥＳとなるであろうからブ ロック１２４５へ進む。このブロック１２４５は、前述した規則リストに従って 動き状態フラグを更新することを表している。換言すれば、アドレス（ｉ。

ｊ）における動き状態フラグがフラグ記憶ＲＡＭ１１７０においてアクセスされ モジュロ５で歩進される。次いで、列の最後のタイルまで到達したかどうかの質 問がなされる（ダイアモンド１２５０）。もしそうでなければ、ｉが歩進され（ ブロック１２６０）、ブロック１２１５へ再び進んで列が完了するまでループ１ ２６３を続けて実行する。その後、インデックスｉが次の列のために初期化され （ブロック１２５２）、さらにタイルの最後の列まで実行されたかどうか質問が なされる（ダイアモンド１２５５）。もしそうでなければ、ｊが歩進され（ブロ ック１２７０）、ブロック１２１５へ再び進んで全てのタイルについて実行され るまでループ１２７３を続けて実行する。その後、次のフレームのタイルの処理 のためにブロック１２０５へ再び進む。

ＰＩＦ０１１８５の情報は、好ましくは、送信機フレームの所与の部分のための 一定のクロック速度でクロックされて読み出されてデジタル−アナログ変換器１ １９０へ送られ、さらにアナログマルチプレクサ１１９５を介して送信機へ送ら れる。マルチプレクサ１１９５は、前述したように同期符号が印加された場合を 除いて、デジタル−アナログ変換器１１９ｏの出力を通過させるように制御され る。

図３１を参照すると、復号器の実施例のブロック図を示されている。一般に、復 号器は、通常チャネル（例えば、５２５本の走査線からの入力）を受け取り、こ れを最終的にディスプレイ又は記録すべきＨＤＴＶとして同数の線の比較的低い 解像度の像に変換する。オーグメンテーションチャネルからの情報は、別個の通 路によって受け取られ、処理されてスペクトルメモリ（図３１のブロック３１４ ５）に記憶される。スペクトルメモリの出力は、通常解像度チャネルから得られ た相対的に低い解像度の走査線変換された像に加えるべき像ディテールを得るた めに、例えば本実施例では逆コサイン変換である逆変換チップ（図３１のブロッ ク３１６０）によって処理される。この加算は、図３１の実施例では加算器３１ ７０によってなされる。得られた信号は、アナログ形態に変換され、適切なＨＤ ＴＶディスプレイ及び／又は記録手段に印加可能である。

通常チャネルとオーグメンテーションチャネルとのタイミングの関係が臨界的な ものではないことは最初から知ることができ、別個に扱うことが可能である。［ これは、低解像度成分とディテール成分との間の小さな遅延が通常は視聴者に知 覚されないためである。］図３１の復号器の実施例においては、オーグメンテー ション入カプロセッサ３１４０及びスペクトル−ディテール変換制御プロセッサ ３１５５が用いられている。これらの機能は、例えば単一のマイクロプロセッサ 又は独立した複数のマイクロプロセッサを共用することによって、若しくは専用 の論理回路又は集積回路手段によって実施される。オーグメンテーション入カプ ロセッサを制御するルーチンが図３２のフローチャートに関連して記述され、ベ クトル−ディテール変換制御プロセッサを制御するルーチンが図３３及び図３４ のフローチャートに関連して記述される。逆変換チップ３１６０からの画素の流 れの出力は、図３５にさらに関連して説明するＦＩＦＯ回路３１６５に印加され る。

図３１の実施例の詳細な動作について述べると、通常の受信機部からのビデオは 、アナログ−デジタル変換器３１０５へ印加され、次いで走査線数変換器３１１ ５に印加される。走査線数変換器は、同期検出器３１１０によって抽出され、こ の走査線数変換器３１１５及びスペクトル−ディテール変換制御プロセッサ３１ ５５で用いられる必要とする同期情報をも受け取る。

オーグメンテーションチャネル受信機部からのオーグメンテーション信号がアナ ログ−デジタル変換器３１２０を使用してデジタル化され、オーグメンテーシ３ ン同期信号が抽出されて（ブロック３１２５）オーグメンテーション入カプロセ ッサ３１４０に印加される。このオーグメンテーション入カプロセッサは、動作 の途中においては、再同期のために、進行中の処理を非同期的に終了しフレーム シーケンスのスタートへ戻る。アナログ−デジタル変換器３１２０のデジタルデ ータ出力は、デマルチプレクサ３１３０を介して、プロセッサ３１４０又は他方 の入力が論理的にゼロとなっているマルチプレクサ３１３５の一方の入力に印加 される。思い出すであろうが、データは、正しくはスペクトル成分を後に伴う状 態指示フラグを有しており、オーグメンテーション入カプロセッサ３１４０は、 動き状態指示フラグをこのプロセッサ３１４０に、スペクトル成分データをマル チプレクサ３１３５を介してデュアルポートのスペクトルデータＲＡＭ３１４５ にそれぞれ印加するようにデマルチプレクサ３１３０を制御すべく動作する。

ここで、オーグメンテーション入カプロセッサ３１４０を制御するためのルーチ ンを表す図３２のフローチャートを参照する。ダイアモンド１５０２及びこれに 伴うループは、同期検出待ちを表しており、これが検出されると、タイル位置イ ンデックスｉ＋Ｊが初期化される（ブロック１５０４）。次いで、動き状態フラ グがゼロであるかどうかの質問がなされる（ダイアモンド１５０６）。もしそう であれば、動き状態フラグの後にスペクトルデータが続くことはな（、ルーチン の次の部分はバイパスされてダイアモンド１５７５に直接進む。状態フラグがゼ ロではない場合、状態フラグが１であるかどうかの質問がなされる（ダイアモン ド１５０ｇ）、もしそうでなければ、ブロック１５６０に直接進む。しかしなが らもしそうであれば、現在のタイルの動きが示され、スペクトルデータＲＡＭ３ １４５内の高解像度帯域が、もはや使用されない値を含むこととなる。このよう な場合、ルーチンの次の部分はこれら使用されない値をＲＡＭ３１４５から除去 して「０」をマルチプレクサ３１３５を介して挿入するために用いられる。詳細 には、帯域インデックスｂが２に初期化され（ブロック１５１０）る。次の動作 によって帯域ｌ　（ルーチンのこのブランチについて動き状態フラグが１）に新 しいスペクトルデータが挿入されるであろうため、帯域１の記憶から存在するデ ータを除去する必要がないことが分かる。次いで、帯域成分インデックスｋが初 期化され（ブロック１５１２）、ブロック１５１４が実行される。このブロック は、スペクトルデータＲＡＭ３１４５のアドレス［ｉ。

ｊ、ｂ、ｋｌにおける成分のセットを表している。次に、最後のｋに到達したか どうかの質問がなされる（ダイアモンド１５１７）　、もしそうでないならば、 ｋが歩進されて（ブロック１５２０）、ブロック１５１４へ再び進んで全ての帯 域成分について実行されるまでループ１５１９を続けて実行する。その後、最後 の帯域すまで到達したかどうかの質問がなされる（ダイアモンド１５２５）。も しそうでないならば、帯域インデックスｂが歩進されて（ブロック１５２９）、 ブロック１５１２へ再び進んで全ての帯域成分について実行されるまでループ１ ５３０を続けて実行する。次いで、ブロック１５６０に進み、ｋが初期化される 。その後、受は取ったスペクトル成分が、ブロック１５６５で表されるように、 スペクトルデータＲＡＭのアドレス［ｉ、ｊ、フラグ（ｉ、ｊ）、ｋｌに記憶さ れる。次に、最後のｋに到達したかどうかの質問がなされる（ダイアモンド１５ ６７）。もしそうでないならば、ｋが歩進され（ブロック１５６９）、ブロック １５１４へ再び進んで受け取ったスペクトル帯域の全ての成分がスペクトルデー タＲＡＭ３１４５の適切なアドレスに記憶されるまでループ１５７０を続けて実 行する。その後、ダイアモンド１５７５へ進み（同じくダイアモンド１５０６の ＹＥＳの出力ブランチから直接的に入る）、最後の１（即ち、列の最後のタイル ）に到達したかどうかの質問がなされる。もしそうでないならば、ｉが歩進され て（ブロック１５７８）、ダイアモンド１５０６へ再び進んで最後のｉに到達す るまでループ１５８０を続けて実行する。その後、新しい列が始まるようにｉが 初期化され（ブロック１５８２）、最後の列に到達したどうかの質問がなされる （ダイアモンド１５８５）。もしそうでないならば、ｊが歩進されて（ブロック １５８７）、ダイアモンド１５Ｏ６へ再び進み全てのタイルが処理されるまでル ープ１５９０を続けて実行し、その後、ダイアモンド１５０２に再び進む。

再び図３１を参照すると、スペクトル−ディテール変換制御プロセッサ３１５５ は走査線数変換器３１１５の出力に同期せしめられる。プロセッサ３１５５は、 フレームのスタートの確認を受け取ると、ＲＡＭ３１４５からマルチプレクサ３ １５０を介しての逆変換チップ３１６０へのスペクトルデータ情報の入力を制卸 するルーチンを開始する。これに関して図３３のフローチャートを参照すると、 同期待ちとなり（ダイアモンド３３０２及びこれに伴うループ）、その後、タイ ルインデックスが初期化される（ブロック３３０５）。次いで、各タイルについ て逆変換チップ３１６０に印加されるべき全ての係数〔例えば、８×８画素タイ ルについて６４個の係数］を考慮するために係数イ・ンデックスＣが初期化され る（ブロック３３０８）。Ｃが用いられたかどうか（係数のい（つかのみが使用 される）の質問がなされる（ダイアモンド３３１０）。もしそうでないならば、 マルチプレクサ３１５０の制御線にコマンドを送ることによって「０」が逆変換 チップ３１６０へ送られる。〔なお、逆変換チップ３１６０の使用されない係数 を永久的にディスエーブルとすることが実行可能ならば、この動作は不要であろ う。〕係数が使用されたならば、スペクトルデータＲＡＭのアドレス［ｉ、ｊ、 ｃｌにおける成分を逆変換チップへ送ることを表すブロック３３２０へ進む０次 いで、最後の係数まで到達したかどうかの質問がなされる（ダイアモンド３３３ ０）。もしそうでないならば、Ｃが歩進されて（ブロック３３３２）、ダイアモ ンド３３１０へ再び進んで全ての係数が逆変換チップ３１６０に読み出されるま でループ３３３５を続けて実行する。現在のタイルについてこの処理が終了する と、逆変換動作が初期化される（ブロック３３４０、及び図３１の「スタート」 線）、次いで、列の最後のタイルまで到達したかどうかの質問がなされる（ダイ アモンド３３６０）。もしそうでないならば、ｉが歩進されて（ブロック３３４ ５）、ブロック３３０８へ再び進んでその列が完全に実行されるまでループ３３ ５０を続けて実行する０次に、インデックスｉが次の列のために初期化され（ブ ロック３３６５）、最後の列まで処理されたかどうかの質問がなされる（ダイア モンド３３６８）。もしそうでないならば、ｊが歩進されて（ブロック３３８ｏ ）、ブロック３３０８へ再び進んでタイルの全ての列が処理されるまでループ３ ３８５を続けて実行する。その後、同期待ちのためにダイアモンド３３０２へ再 び進む。

図３４のフローチャートで示したルーチンは、図３１のＦＩＦＯ回路３１６５へ の及びその後のこれからの出力画素データのタイルのロードを制御するために用 いられる。このＦＩＦＯ回路は図３５に示されている。本実施例においては、８ つのＰＩＦ０３５２１〜３５２８が存在し、これらの各々が逆変換チップ３１６ ０から入力を受け取る。しかしながら、一時にはただ１つのＦＩＦＯのみが、デ マルチプレクサ３５１０の制御によって、イネーブルとなる。デマルチプレクサ ３５１０は、逆変換クロックとプロセッサ３１５５からのＦＩＦＯ選択制御信号 とを受け取る。より詳細には、図３４のルーチンを参照すると、ダイアモンド１ ７１０及びこれに伴うループは発生すべき出力ビデオの同期待ちを表している。

次いで、現在のタイルに関する逆変換演算の完了待ちとなり（ダイアモンド１７ １５及びこれに伴うループ）、画素インデックスが初期化される（ブロック１７ ２０１゜その後、デマルチプレクサ３５１０は、現在の画素係数のためにＦＩＦ Ｏを選択するように制御される（ブロック１７２５）。次いで、最後の画素まで 到達したかどうかの質問がなされる（ダイアモンド１７３０）、もしそうでない ならば、画素インデックスが歩進されて（ブロック１７３５）、ブロック１７２ ５へ再び進んで現在のタイルの全ての画素がＦＩＦＯに読み出されるまでループ １７４０を続けて実行する０次いで、すべてのタイルが処理されたかどうかの質 問がなされる（ダイアモンド１７５０）。もしそうでないならば、タイルインデ ックスが歩進されて（ブロック１７５５）、ダイアモンド１７１５へ再び進んで 全てのタイルが処理されるまでループ１７５１を続けて実行する。その後、ダイ アモンド１７１０へ再び進む。ＦＩＦＯ内の画素情報は、図３５に示すようにビ デオ出力クロック及びライン出力イネーブルを受け取るデマルチプレクサ３５４ ０の制御により、クロックで読み出される。このデマルチプレクサは、本実施例 ではモジェロ８カウンタでありライン出力イネーブルを受け取るラインカウンタ ３５５０の出力によって制御される。カウンタ３５５０の８カは、８×８画素デ ータがＦＩＦ０３５２１〜３５２８に読み込まれた後、情報が１つのラインずつ 読み出されるべ（、どのＦＩＦＯ出力を加算器３１７０（図３１）に印加するか を選択するためにマルチプレクサ３５３０を制御する。

この技術が、原画の解像度にかかわりな（適用でき、いかなる原画帯域幅につい ても動画ビデオ情報の帯域幅圧縮に用いて効果があることが分かるであろう。さ らに、シーンの実質的な部分が実質的なフレーム期間の間（Ｓフレーム期間又は １／６秒）、静止している（動きのない）場合、非常に少ない画像情報しか伝送 されない［上述したようにほとんどのタイルがｒＯＪの状態であるため］ことが 分かるであろう。このような場合、残りの帯域幅は、最新の情報を定期的に送る のに使用可能である。さらに、前述したタイプの複数のチャネル間での統計的な マルチプレックスにより、各チャネルの動的な帯域幅特性が得られるという特別 の効果も得られるであろう。

４８３　Ｌ／ＰＨ−＋０３５　Ｌ／ＰＨ０−基本サンプリングしたスペクトルの 中心・スペクトル成分がダイアモンド 要約書 帯域幅圧縮を行うためにビデオを符号化及び復号する方法及び装置である。その １つの態様によれば、異なる像を表す２つのビデオ信号（８１ｏ、８５０）を、 一般には単一のビデオ信号に割り当てられる帯域幅（８８０）のみを用いて、知 覚できる画質低下をほとんど又は全く起こさずに送信することができる。他の態 様によれば、記憶及び／又は送信されるべき周波数帯域情報を動的に修正する技 術に、動き指示信号（９７０）が用いられる。

補正書の写しく翻訳文）提出書（特許法第１８４条の８）平成４年９月２９日

Claims (35)

【特許請求の範囲】
1. １．第１の像を表す第１のビデオ信号と第２の像を表す第２のビデオ信号とを組 み合わせる方法であって、高周波数２次元ダイアゴナル周波数成分を除去すべく 前記第１のビデオ信号をフィルタリングするステップと、 高周波数２次元ダイアゴナル周波数成分を除去すべく前記第２のビデオ信号をフ ィルタリングするステップと、 フィルタリングされた第２のビデオ信号を２次元的に変調するステップと、 前記フィルタリングされた第１のビデオ信号と前記フィルタリングされかつ変調 された第２のビデオ信号とを組み合わせるステップとを備えたことを特徴とする 方法。
2. ２．前記第１のビデオ信号及び第２のビデオ信号が電子ビデオ信号であり、前記 第１の像及び第２の像が異なる像である請求項１に記載の方法。
3. ３．フィルタリングされた第２のビデオ信号を２次元的に変調する前記ステップ が、前記フィルタリングされた第２のビデオ信号を２次元キャリア上に変調する ことを含んでいる請求項２に記載の方法。
4. ４．前記２次元キャリアがビデオ信号サンプリング周波数の約半分の垂直周波数 及びビデオ信号サンプリング周波数の約半分の水平周波数を有している請求項３ に記載の方法。
5. ５．前記第１のビデオ信号をフィルタリングする前記ステップが、前記ビデオ信 号を２次元ローパスフィルタでフィルタリングすることを含んでいる請求項１に 記載の方法。
6. ６．前記第２のビデオ信号をフィルタリングする前記ステップが、前記第２のビ デオ信号を２次元ローパスフィルタでフィルタリングすることを含んでいる請求 項１又は５に記載の方法。
7. ７．フィルタリングされた第２のビデオ信号を２次元的に変調する前記ステップ が、前記フィルタリングされた第２のビデオ信号を２次元キャリア上に変調する ことを含んでいる請求項１又は５に記載の方法。
8. ８．前記２次元キャリアがビデオ信号サンプリング周波数の約半分の垂直周波数 及びビデオ信号サンプリング周波数の約半分の水平周波数を有している請求項７ に記載の方法。
9. ９．フィルタリングされた第２のビデオ信号を２次元的に変調する前記ステップ が、前記フィルタリングされた第１のビデオ信号の２次元周波数スペクトルと実 質的にオーバーラップしない２次元周波数スペクトルを得るために前記第２のビ デオ信号を変調することを含んでいる請求項２又は８に記載の方法。
10. １０．前記第１のビデオ信号を２次元的にローパスフィルタリングする前記ステ ップが、ほぼ３角形の境界内で２次元周波数スペクトルを得るために前記第１の ビデオ信号をフィルタリングすることを含んでいる請求項９に記載の方法。
11. １１．前記フィルタリングされた第１のビデオ信号と前記フィルタリングされか つ変調された第２のビデオ信号とを組み合わせる前記ステップが、前記フィルタ リングされた第１のビデオ信号と前記フィルタリングされかつ変調された第２の ビデオ信号とを加算することを含んでいる請求項２に記載の方法。
12. １２．前記組み合わせるステップから得られる組み合わせた信号を記憶及び／又 は送信するステップをさらに備えている請求項２に記載の方法。
13. １３．前記組み合わせた信号から前記第１のビデオ信号及び第２のビデオ信号を 回復するステップをさらに備えている請求項１２に記載の方法。
14. １４．前記回復するステップが、 相対的な低周波数２次元ダイアゴナル周波数成分を含む第１のフィルタリングさ れた成分と相対的な高周波数２次元ダイアゴナル周波数成分を含む第２のフィル タリングされた成分とを得るために前記組み合わせた信号を２次元的にフィルタ リングし、 前記第２のフィルタリングされた成分を２次元的に変調することを含んでいる請 求項１３に記載の方法。
15. １５．前記第１のフィルタリングされた成分と前記フィルタリングされかつ変調 された第２の成分とをディスプレイするステップをさらに備えている請求項１３ に記載の方法。
16. １６．第１の像を表す第１のビデオ信号と第２の像を表す第２のビデオ信号とを 組み合わせる方法に関連して用いられ、高周波数２次元ダイアゴナル周波数成分 を除去すべく前記第１のビデオ信号をフィルタリングするステップと、高周波数 ２次元ダイアゴナル周波数成分を除去すべく前記第２のビデオ信号をフィルタリ ングするステップと、フィルタリングされた第２のビデオ信号を２次元的に変調 するステップと、組み合わせた信号を得るために、前記フィルタリングされた第 １のビデオ信号と前記フィルタリングされかつ変調された第２のビデオ信号とを 組み合わせるステップとを含んでおり、前記第１及び第２のビデオ信号を回復す るために前記組み合わせた信号を処理する方法であって、 相対的な低周波数２次元ダイアゴナル周波数成分を含む第１のフィルタリングさ れた成分と相対的な高周波数２次元ダイアゴナル周波数成分を含む第２のフィル タリングされた成分とを得るために前記組み合わせた信号を２次元的にフィルタ リングするステップと、前記第２のフィルタリングされた成分を２次元的に変調 するステップとを備えたことを特徴とする方法。
17. １７．前記フィルタリングされた第１の成分と前記フィルタリングされかつ変調 された第２の成分とをディスプレイするステップをさらに備えている請求項１６ に記載の方法。
18. １８．第１の像を表す第１のビデオ信号と第２の像を表す第２のビデオ信号とを 組み合わせる方法であって、前記第２のビデオ信号を２次元キャリア上に２次元 的に変調するステップと、 前記第１のビデオ信号と前記変調された第２のビデオ信号とを組み合わせるステ ップとを備えたことを特徴とする方法。
19. １９．ビデオ信号を符号化する方法であって、前記信号を第１及び第２の部分に 周波数分離するステップと、 前記第２の部分を２次元キャリア上に２次元的に変調するステップとを備えたこ とを特徴とする方法。
20. ２０．第１の部分と変調された第２の部分とを組み合わせるステップをさらに備 えている請求項１９に記載の方法。
21. ２１．周波数分離する前記ステップが、２次元的ダイアゴナルフィルタリングす ることを含んでいる請求項１９又は２０に記載の方法。
22. ２２．第１の像を表す第１のビデオ信号と第２の像を表す第２のビデオ信号とを 組み合わせる方法であって、高周波数２次元ダイアゴナル周波数成分を除去すべ く前記第１のビデオ信号をフィルタリングするステップと、 高周波数２次元ダイアゴナル周波数成分を除去すべく前記第２のビデオ信号をフ ィルタリングするステップと、 フィルタリングされた第１のビデオ信号を空間的にデシメートするステップと、 フィルタリングされた第２のビデオ信号を空間的にデシメートするステップと、 空間的にデシメートされた第１のビデオ信号と空間的にデシメートされた第２の ビデオ信号とを組み合わせるステップとを備えたことを特徴とする方法。
23. ２３．改善された耐干渉性で複数の電子ビデオ信号を符号化及び送信する方法で あって、 高周波数２次元ダイアゴナル周波数成分を除去すべく少なくとも１つの前記電子 ビデオ信号をフィルタリングするステップと、 前記少なくとも１つのフィルタリングされたビデオ信号を送信するステップと、 高周波数２次元ダイアゴナル周波数成分を除去すべく少なくとも他の１つの前記 電子ビデオ信号をフィルタリングするステップと、 前記フィルタリングされた少なくとも他の１つの前記ビデオ信号を２次元的に変 調するステップと、前記フィルタリングされかつ変調された少なくとも他の１つ の前記ビデオ信号を送信するステップとを備えたことを特徴とする方法。
24. ２４．第１の像を表す第１のビデオ信号と第２の像を表す第２のビデオ信号とを 組み合わせる装置であって、前記第２のビデオ信号を２次元キャリア上に２次元 的に変調する手段と、 前記第１のビデオ信号と前記変調された第２のビデオ信号とを組み合わせる手段 とを備えたことを特徴とする装置。
25. ２５．ビデオ信号を符号化する方法であって、前記ビデオ信号のフレームを多数 のタイルに分割するステップと、 各タイルの画面内容を所定の優先順位を有する複数の周波数帯域に分離するステ ップと、 フレームからフレームヘのタイルの画面内容における変化から各タイルの動きを 決定するステップと、各タイルの動き状態の指示と、各特定のタイルの周波数帯 域表示が該特定のタイルの動き状態の関数として選択されるところの、各タイル の周波数帯域の表示とを含んでいる、各フレームについての信号を発生するステ ップとを備えたことを特徴とする方法。
26. ２６．前記複数の周波数帯域が、少なくとも３つの周波数帯域を含んでいる請求 項２５に記載の方法。
27. ２７．各タイルの動き状態の指示を含む信号を発生する前記ステップが、動きを 示していない各特定のタイルについて、該特定のタイルの動きを示さない期間を 表す状態信号を発生することを含んでいる請求項２５又は２６に記載の方法。
28. ２８．異なる周波数帯域表示が各動き状態について選択される請求項２７に記載 の方法。
29. ２９．前記動き状態の１つが、該１つの動き状態を有するタイルについて周波数 帯域表示を選択しない結果となる請求項２７に記載の方法。
30. ３０．各タイルの画面内容を周波数軸上で分離する前記ステップが、各タイルの 画面内容に直角周波数変換を適用し、その結果得られる係数を帯域グループに分 割することを含む請求項２５、２７、又は２９に記載の方法。
31. ３１．各タイルの画面情報の相対的な高周波数２次元ダイアゴナル周波数成分を 表す係数を廃棄するステップをさらに備えている請求項３０に記載の方法。
32. ３２．ビデオ信号を符号化する装置であって、前記ビデオ信号のフレームを多数 のタイルに分割する手段と、 各タイルの画面内容を所定の優先順位を有する複数の周波数帯域に分離する手段 と、 フレームからフレームヘのタイルの画面内容における変化から各タイルの動きを 決定する手段と、各タイルの動き状態の指示と、各特定のタイルの周波数帯域表 示が該特定のタイルの動き状態の関数として選択されるところの、各タイルの周 波数帯域の表示とを含んでいる、各フレームについての信号を発生する手段とを 備えたことを特徴とする装置。
33. ３３．各タイルの動き状態の指示を含む信号を発生する前記手段が、動きを示し ていない各特定のタイルについて、該特定のタイルの動きを示さない期間を表す 状態信号を発生する手段を含んでいる請求項３２に記載の装置。
34. ３４．ビデオ信号を符号化する方法であって、前記ビデオ信号を相対的に低い解 像度の成分と相対的に高い解像度のディテール成分とに分離するステップと、 前記ディテール成分のフレームを多数のタイルに分割するステップと、 各タイルの画面内容を所定の優先順位を有する複数の周波数帯域に分離するステ ップと、 フレームからフレームヘのタイルの画面内容における変化から各タイルの動きを 決定するステップと、各タイルの動き状態の指示と、各特定のタイルの周波数帯 域表示が該特定のタイルの動き状態の関数として選択されるところの、各タイル の周波数帯域の表示とを含んでいる、各フレームについての信号を発生するステ ップとを備えたことを特徴とする方法。
35. ３５．ビデオ信号を符号化する方法に関連して用いられ、前記ビデオ信号のフレ ームを多数のタイルに分割するステップと、各タイルの画面内容を所定の優先順 位を有する少なくとも３つの周波数帯域に分離するステップと、フレームからフ レームヘのタイルの画面内容における変化から各タイルの動きを決定するステッ プと、各タイルの動き状態の指示と、各特定のタイルの周波数帯域表示が該特定 のタイルの動き状態の関数として選択されるところの、各タイルの周波数帯域の 表示とを含んでいる、各フレームについての信号を発生するステップとを備えた 復号方法であって 各タイルの周波数帯域表示を記憶するステップと、前記動き状態信号の関数とし て、記憶された周波数帯域を選択するステップと、 前記記憶され選択された周波数帯域から復号ビデオ信号を発生するステップとを 備えていることを特徴とする方法。