JPH08512439A - サブサンプルされたビデオ画像のコンピュータ・ディスプレイへの表示 - Google Patents

Abstract

(57)【要約】 サイズを縮小した画像をホストコンピュータ(12)のディスプレイ(18)のウインドウに表示する装置であって、サイズを縮小した画像はサブサンプルされたデジタル画像データに基づいて作られる。この装置はホストコンピュータ(12)及び周辺機器コントローラ(10)を有する。周辺機器コントローラ(10)はサブサンプラ(80)とウインドウ表示手段(42)とを有する。サブサンプラ(80)はデジタルソースの画像データを受け、サブサンプルされた画像データを出力する。ウインドウ表示手段(42)は、ホストコンピュータ(12)からのホストディスプレイ(18)上のウインドウ位置を示す指令と、前記サブサンプルされた画像データとを受ける。ウインドウ表示手段(42)は独立して（ホストＣＰＵ(28)から独立して）サブサンプルされたデータをホストのシステムバス(46)を介して表示メモリ(44)の指定ウインドウに相当するアドレスに書き込む。この装置により、ビデオ画像データを表示している間に、ホストＣＰＵ(28)による多大な介在又は管理を回避した状態で、画像をディスプレイスクリーン(18)に表示できる。

Description

【発明の詳細な説明】 サブサンプルされたビデオ画像のコンピュータ・ディスプレイへの表示 関連出願の相互参照 本願と共に出願された、「適応型画像圧縮」、「適応型画像伸張」、「デジタ ル音声のデジタル画像への同期」、および「コンピュータ用ビデオ周辺機器」は 参照用として本発明に併合されている。 発明の背景 本発明は、画像データをコンピュータのディスプレイに表示することに関する 。 高解像度でカラーのコンピュータ・ディスプレイのコストおよび処理力が下が るにつれて、マイクロコンピュータのアプリケーションの一つとして、ビデオ像 の後生産、すなわち、コンピュータのディスプレイをモニタとして使用し、これ にビデオ画像を表示し、編集する作業が登場してきた。コンピュータを使ったビ デオ編集システムでは、ビデオソース（典型的にはビデオテープレコーダ）のデ ータがデジタル量の形でコンピュータのディスクに読み込まれ、格納される。こ のビデオデータは再生することも、編集することも、さらには他のビデオ機器に 書き込むこともできる。 このテープからディスク、編集、及びディスクからテープへ処理を行っている 間は、ディスプレイのウインドウに画像をリアルタイムに表示していることが望 ましく、これによりユーザはその操作をモニタできる。ディスプレイを常に更新 状態に維持しておくためには、大量の演算要求が課せられる。これは、ビデオ用 プログラムの際立ったデータ量、すなわち毎秒３０フレーム、１フレーム当り３ ００，０００個のピクセル、そして１ピクセル当り数ビットというデータ量を扱 うことからして容易に分かる。 このビデオデータをモニタするために必要な演算を減らす一つの方法として、 サブサンプリングと呼ばれるものがある。ビデオ画像をサブサンプルする場合、 各フルフレーム（米国で使用されているＮＴＳＣ標準方式では１フレーム当り６ ４０×４８０ピクセル；欧州及び日本国で使用されているＰＡＬ標準方式では１ フレーム当り７６８×５７６ピクセル）のピクセル数は、例えば１６０×１２０ ピクセルに縮小された後、ディスプレイのスクリーン上のウインドウに表示され るから、スクリーンのほかの領域はインタラクティブ方式のための表示やコント ロールに使用できる。 従来周知のビデオ編集システムの場合、ホストコンピュータのＣＰＵがビデオ モニタの更新状態を維持し、同時に、このＣＰＵが現在の他の仕事、例えばユー ザからのコマンドの実行、ほかのシステムアクティビティの監視など、に追従し ていく責務を負っていた。 発明の概要 本発明は全体的には、ディスプレイのコントローラのメモリへデータを転送す ることで、ビデオソースからホストコンピュータのディスプレイにリアルタイム なサブサンプル画像を表示する装置を特徴とする。一つの側面として、本発明は 、ホストコンピュータのディスプレイのウインドウにサイズを縮小した画像を表 示する装置を特徴とし、このサイズを縮小した画像はサブサンプルされたデジタ ル画像データを基礎としている。本装置はホストコンピュータおよび周辺機器コ ントローラを有する。周辺機器コントローラはサブサンプラおよびウインドウ表 示手段を有し、サブサンプラがデジタルソースの画像データを受け、サブサンプ ルされた画像データを出力する。ウインドウ表示手段はホストコンピュータから ホスト・ディスプレイ上のウインドウ位置を示す指令を受け取るとともに、サブ サンプルされた画像データをも受け取る。ウインドウ表示手段は独立して（ホス トＣＰＵから独立して）サブサンプルされたデータをホストのシステムバスを介 してディスプレイメモリの指定ウインドウに相当するアドレスに書き込む。本装 置は、ディスプレイのスクリーン上にビデオ画像データを表示させ、その一方で 、そのビデオ画像データの表示中はホストＣＰＵによる集中的な介在や管理を不 要にする。 好適な実施形態によれば、以下の特徴を備えることができる。サブサンプラは 所望サイズ及び所望位置のサブサンプル画像を表示するようにプログラムできる 。 このプログラミングはホストコンピュータの制御の元に行える。ウインドウ表示 手段は、インターレース画像データのフィールドの走査線のインターレースを解 除する手段を有してもよい。これは、例えばビデオデータの連続する走査線を（ ２フィールドのそれぞれから）表示メモリの一つ置きの走査線に格納することで 行える。本装置はさらに、サブサンプルされたデータが表示メモリに書き込まれ る前に、そのサブサンプルされたデータを格納するＦＩＦＯを備える。本装置は 、ホストＣＰＵの仲介を必要とせず、すなわち１フレーム当り１度未満の頻度で の管理で、サブサンプルされたデータを表示メモリに転送できる。本装置はスケ ジューラを備え、優先度の高いタスクをタイムリに完了させるようにするため、 ウインドウ表示手段を一時的に中断するようにしてもよい。このスケジューラは ＦＩＦＯのデータ充填度を監視できる。本装置はさらに、圧縮符号器又は伸張復 号器を備えることができる。本装置はさらにカラー空間変換器を備えることがで きる。ウインドウ表示手段は、サブサンプルされた画像データのブロック化をブ ロックして、システムバスを通って表示メモリへの転送を効率化させることがで きる。 本発明の効果の中には以下のようなものがある。本発明を実施する機器は画像 データ、例えば、ビデオデータをホストコンピュータのディスプレイ上に表示す る一方で、そのホストコンピュータの中央処理器による介入や管理の要求を減ら すことができる。かかるサブサンプリング及び表示は、システムの高優先度タス クに取って代えることができる。 本発明のほかの効果や特徴は、以下の好適な実施形態の説明及びクレームから 明らかになろう。 好適な実施形態の説明 図面 図１は、本発明にしたがって動作するビデオ編集システムに使用されるコンポ ーネントの概略斜視図である。 図２は、図１のシステムに使用されているホストコンピュータ及びビデオ周辺 基板のブロック図である。 図３は、ホストコンピュータの代わりの構成を示すブロック図である。 図４は、ビデオ編集セッションのスクリーンディスプレイである。 図５は、図２の周辺基板によって実行させる動作である、インターレース解除 を説明する図である。 図６は、図２のビデオ周辺基板の特徴のいくつかを詳述するブロック図である 。 図７は、図２のバスコントロール回路のブロック図である。 図８は、ホストＣＰＵから周辺基板へメッセージを伝えるためのデータ構造を 示す。 図９は、本システムの動作を示すフローチャートである。概観 図１及び図２で参照されるように、ビデオ編集システム１１は、ホストコンピ ュータ１２に差込み接続される周辺基板１０を有する。そのほかの構成要素には 、ビデオテープレコーダ（ＶＴＲ）１６、モニタ１８、キーボード２０、マウス ２２、及び大きな格納ディスク２４が含まれる。ビデオ編集を行うソフトウエア は機能的に２つの部分に分割される。一方はホストコンピュータの中央処理装置 （ＣＰＵ）２８上で実行される部分２６で、概括的にはユーザにインターフェイ ス及び管理の機能を提供する。もう一方は周辺基板上で実行される部分１４で、 概括的には周辺基板、周辺基板内部でのデータ転送、及びホストコンピュータ及 び周辺機器間のデータ転送を制御する。 このビデオ編集システム１１において、ビデオデータはビデオ入力ポート３２ を通して読み込まれ、音声データは音声入力ポート３２を通して入力する。それ らのデータが読み込まれると、この内、ビデオデータはデジタル化され、圧縮さ れる一方で、音声データはデジタル化される。ビデオ及び音声のデータはディス ク２４に格納される。圧縮されたビデオ／音声データは伸張でき、ディスプレイ １８及びスピーカ（図示せず）に再生し戻すことができる。ユーザはビデオ編集 ソフトウエア２６を使えば、圧縮されたビデオ及び音声の部分をビデオ／音声プ ログラムに組み立てることができる。プログラムを編集するとき、ユーザはプロ グラムを再生できるし、またプログラムを１枚のフレームほどの僅かな増分だけ 、 すなわち組み立てられた組み合わせ状態で、再調整することもできる。ユーザが その結果得られたプログラムに満足すると、プログラムはフル・フレーム・レー トでビデオ出力ポート３４及び音声出力ポート３６を通して、例えばＶＴＲ１６ のようなビデオ保存機器、又は放送機器に出力させることができる。 図２に示す如く、周辺基板はビデオ及び音声ポート３０〜３６（ＶＴＲ１６又 はほかのビデオ機器を接続する）、バスコントロール回路４２（ホストコンピュ ータ１２とインターフェイスさせる）、各種の信号処理パス、および管理用のマ イクロプロセッサ４８を備える。信号処理パスには、圧縮／伸張用符号器／復号 器（ＣＯＤＥＣ）６０を通してデジタル化されたビデオデータをホストコンピュ ータディスク２４に又はホストコンピュータディスク２４から転送する双方向の パス、および、デジタル化されたビデオをホストコンピュータ・ディスプレイ１ ８に表示する、一方向でカラー空間変換（ＣＳＣ）及びサブサンプルのパスが含 まれる。ビデオＩ／０ポート回路３５はビデオデータをＶＴＲのアナログ形態、 例えばＮＴＳＣ又はＰＡＬからデジタル形態、例えばＹＵＶ ４：２：２ フォ ーマットに変換し、そのデジタルビデオデータをビデオバス３８に出力する。（ ビデオバス３８にはビデオデータ圧縮中にＣＯＤＥＣ６０によっても書き込まれ る。）ビデオバス３８からサブサンプルパス上のディスプレイスクリーンまでビ デオ信号のパスをトレースすることで、ＹＵＶデータはビデオバス３８から読み 出され、表示システムで必要でかつサブサンプラ／ＣＳＣ８０で表示させるサブ サンプルウインドウにフィットすべくサブサンプルさせるフォーマットに変換さ れ、周辺機器データバス４０上に書き込まれる。バスコントロール回路４２はデ ータを、ホストコンピュータ１２の表示メモリ（「フレームバッファ」とも呼ば れる）４４にホストコンピュータ１２のシステムバス４６を介して書き込む。表 示システムによって表示メモリ４４に書き込まれていたデータが表示される。マ イクロプロセッサ４８は周辺基板のコンポーネントを制御する。 次に、図３に示す如く、ホストコンピュータのＣＰＵ２８、表示メモリ４４、 メインメモリ５０、及び／又はディスクコントローラ５２のコンポーネントは、 プライベートバス５４及びシステムバス４６の間にあるバスコントロールインタ ーフェイス５６を使って、ホストコンピュータ１２に専属のバス５４を通してデ ータを転送することができる。この場合、周辺機器のバスコントロール回路４２ はシステムバス４６に／システムバス４６からデータを転送し、またホストのバ スコントロールインターフェイス５６はさらにホストコンピュータのプライベー トバス５４上の周辺機器に／周辺機器からデータを方向付ける。 再び図２で参照される如く、周辺基板１０はサブサンプル・パスに加えて、別 のパスを多数有する。例えば、ビデオデータはＣＯＤＥＣ６０によってビデオバ ス３８から読み出すことができ、エンコードされたデータは周辺機器データバス ４０から読み出すことができ且つホストコンピュータのメインメモリ５０に書き 込み、ディスクコントローラ５２に転送させることができる。また音声チャンネ ルによれば、ＶＴＲ（又は別の音声ソース）から周辺機器のデータバス４６に、 又は、周辺機器のデータバス４６からＶＴＲ（又は別の音声ソース）に、音声コ ントローラ６２及び音声Ｉ／０ポート３２、３６を介してデータを転送する。 カラー空間変換は、ピクセルのクロミナンス及びルミナンス（カラー及び明る さの値）を表わす符号を、一つからエンコーディングから別のエンコーディング に変換する処理である。コンピュータを使ったカラー表示機器の多くは、赤／緑 ／青（ＲＧＢ）のエンコーディングを採用している。すなわち、表示メモリ４４ は表示スクリーン１８の各ピクセルに相当するメモリセルを有し、このメモリセ ルは赤、緑、及び青のそれぞれの輝度の強さを表わす３つのサブコンポーネント を有する。これら３つのサブコンポーネントのそれぞれの数値を変えることで、 ピクセルのカラーを変えて指定色を作ることができる。どのような指定カラーも 赤、黄、青、黒、及び白の割合を変えることで混合することができる。ディスプ レイ上に像を表示しようとする場合、どのプログラム又は機器も表示メモリに赤 、緑、及び青の値を書き込んで行う必要があり、表示システムのメーカによって 予め定められたＲＧＢエンコーディング法を使う必要がある。一方、大抵の画像 処理の電子工学では、ＹＵＶエンコーディングの値を変化させることで、色差及 び輝度を表わす。ＹＵＶは、ルミナンス成分Ｙ及びカラー成分Ｕ及びＶに分割す ることで、カラーの画像情報を表わす。このルミナンスとクロミナンスの分離に よって画像信号をより忠実に扱うことができ、このことが最終画像をより高品質 なものにする。好適な本実施形態のカラー空間変換では、ビデオバス３８でのＹ Ｕ Ｖエンコーディングから表示メモリ４４に格納するためのＲＧＢエンコーディン グに変換する。 サブサンプリングは、フルサイズの画像の大きさを減らして小さいサイズの画 像を形成する処理である。フルサイズの画像の大きさを減らして任意サイズのサ ブサンプルのウインドウ、例えば１６０×１２０のピクセル数（「１６０×１２ ０」は、ＮＴＳＣ形式での要素に対して整数の約数となるため、ＮＴＳＣ画像を 表示するのに好適である）に合わせることができる。サブサンプリングの手法は 以下のように数種在り、そのどれによっても達成できる。具体的には、いくつか の隣接したピクセルを合わせて平均化する手法、全ピクセルを代表する部分集合 を抽出する方法（例えば、奇数番目の走査線の奇数番目のピクセルのみを選択す る法）がある。さらにこの２種類の手法を組み合わせることもできる。例えば、 サブサンプラ８０は４番目の走査線毎にのみ表示を行い、これにより垂直方向の ピクセル数の３／４を減らすことができる。各水平走査線において、サブサンプ ラは２ピクセルをスキップ、次いで２ピクセルを平均化、次いで２ピクセルをス キップ、次いで２ピクセルを平均化するといった処理を行うことがきる。（これ により、水平方向のピクセル数の３／４を減らすことができる。 図５を参照して、フレームの走査線をインターレースする、例えばＮＴＳＣ方 式のビデオフォーマットを示す。すなわち、フレームを左から右に、上から下に 連続的に走査するのではなく、フレームを２つのフィールド７０、７２に分割す る。第１のフィールド７０は奇数番目の走査線全部を含み、第２のフィールド７ ２は、第１のフィールド全体が完成した後で伝送されるもので、偶数番目の走査 線全部を含む。組み立てられたフレームのフィールドは交互に走査される。 図４を参照して、ホストコンピュータの表示スクリーン２００は、サブサンプ ルウインドウ２０２に加えて、図柄２０６を表示し、ユーザに編集セッションを コントロールさせることができる。このコントロールされる図柄には、ビデオ切 抜きからの代表フレーム、スライドスイッチによりコントロールされるノブ、ポ インタ、などが含まれる。構成 図６は、周辺基板１０を通るサブサンプリングパス及び圧縮／伸張パスをより 詳細に示す。ビデオデータバス３８は、ビデオ入力ポートまたはＣＯＤＥＣ６０ の符号器部分などのコンポーネントのいずれかで発生したビデオデータを伝送す る。カラー空間変換器及びサブサンプラ８０はコントロール・レジスタ８４を有 し、このコントロール・レジスタがその動作を制御する。これらのコントロール レジスタのデータは周辺機器マイクロプロセッサ４８により読み出され、書き込 まれる。変換されサブサンプルされたピクセル値８８はサブサンプルＦＩＦＯ(f irst-in first-out queueing store)９０でバッファされる。バスコントロール 回路４２は、ＦＩＦＯ９０からサブサンプルされたビデオデータを読み出し、そ のピクセル値をブロック毎に束ねる。この束ねにより、ピクセル値がシステムバ ス４６を介して表示メモリ４４に効率的に転送される。（表示メモリがシステム バスに接続されている図２の構成、または、ホストコンピュータがプライベート バスを有する図３の構成のいずれも適用可能である。） サブサンプラ及びカラー空間変換器８０は単一チップ、例えば、Pixel semico nductor社のＣＬ−ＰＸ００７０のビデオウインドウ発生器などで、一緒に提供 することができる。この部品は、種々の標準のデジタル画像入力フォーマットか ら種々のＲＧＢエンコーディング出力への変換に供するもので、ホストコンピュ ータの表示システム１８で必要とするフォーマットに合致するようにＲＧＢフォ ーマットを選択することになる。この部品は、カラー空間、スケーリング、ピク セル解像度処理、及びウインドウのクリッピング・パラメータを指定するコント ロール・レジスタ８４を内部に有する。入力ピンは入力ビデオのクロック及びデ ータを与えるもので、変換されたピクセル出力に対するリクエスト信号を読み込 む。出力ピンは、変換された、サブサンプルされた出力ピクセル値、及び、例え ばこのチップの内部の出力ＦＩＦＯの状態といった、ほかの状態情報を与える。 マイクロプロセッサ４８は周辺基板１０をコントロールするもので、Ｍｏｔｏ ｒｏｌａ社製のＭＣ６８０３９で成る。コントロールを必要とする周辺基板１０ のコンポーネントには、サブサンプルＦＩＦＯ９０、圧縮及び伸張ＦＩＦＯ９２ ，９４、音声ＦＩＦＯ（図示せず）、並びに周辺基板の各種のサブサンプリング 、カラー空間変換及び圧縮コンポーネントが含まれる。比較的高速処理のマイク ロ プロセッサを選択することで、リアルタイム性に対する待ち時間の要求を満足さ せることができる。 サブサンプルＦＩＦＯ９０には２５ｎｓの部品を使っており、３２ビットのビ ット長、１６Ｋのワード量で、１ピクセルのＲＧＢ値をエンコーディングする各 エントリを有する。３２ビットは最も大きい一般的なＲＧＢエンコーディング、 すなわち赤、緑及び青のそれぞれに８ビットを当てるエンコーディングに適応さ せるには十分なビット長さである。２４ビットのピクセルエンコーディングデー タは３２ビットのワードを満たすように詰め込みとともに書き込まれる。 ビデオデータバス３８並びにカラー空間変換器及びサブサンプラ８０は、ビデ オＩ／Ｏシステムの動作速度と同一速度で動作するようになっている。しかし、 ホストコンピュータ１２は、種々の周辺機器やユーザプログラムからの割り込み を処理する責務があり、リアルタイムは処理に供することができない。ＦＩＦＯ ９０、９２、９４は、本来的に非同期動作のホストコンピュータ１２及び周辺機 器バス４０から同期動作のビデオデータバス３８のリアルタイムな要求項目及び 動作を切り離している。これらのＦＩＦＯ間のフローコントロールの調整法を以 下に述べる。 図７で参照されるように、バスコントロール回路４２はシステムバス４６を周 辺基板１０にインターフェイスさせている。バッファ２２０がシステムバス４６ のバスデータ及びアドレスラインを緩衝する。データバッファ２２４はシステム バス４６との間で送受されるデータを緩衝し、スレーブアドレスラッチ２２６は アドレスデータをラッチする。周辺基板１０はバス・マスタとして機能すること もある。すなわち、このモードのとき、バス・マスタ・アドレス発生器２３６は （マイクロプロセッサ４８と共働して）これらのバス・トランザクションのため のアドレスを発生する。バス・マスタ／スレーブ・コントロール・ロジック２２ ８はバスコントロール信号２３０をバスに発生しかつバスからそれを受けるとと もに、信号２３２、２３４をマイクロプロセッサ４８及び周辺基板のほかのコン ポーネントとの間で通過させる。 再び図６で参照して説明する。図５との関連で前述したように、マイクロプロ セッサ４８の管理下に置かれているバスコントロール回路４２は、ＲＧＢのサブ サンプルされたピクセル値をサブサンプルＦＩＦＯ９０からアンロードし、それ らをシステムバス４６を通って表示メモリ４４の適宜な位置に書き込む。水平走 査ラインはカラー空間変換器、サブサンプラ、及びサブサンプルＦＩＦＯによっ てインターレースされた順序になっているが、バスコントロール回路４２はそれ らのピクセル値を表示メモリに格納するとき、走査ラインのインターレースを解 く。１本の走査線の終りの又は１フィールドの終りのときに、マイクロプロセッ サ４８はアドレス計算をして、次のピクセル走査線に対する表示メモリ４４上の 正しいアドレスを求める。新しい走査線のアドレスは、サブサンプルされたデー タから成る各走査線を表示メモリ４４上の正しい走査線に合わせることで、フレ ームのフィールドのインターレースを解けるように計算される。マイクロプロセ ッサ４８は、このアドレスと走査線上のピクセル数をバスコントロール回路４２ に与える。 バス通過量を減らすため、バスコントロール回路４２はピクセル値をブロック に束ね、バス転送の効率化を図る。ブロック間の空き時間に、例えばＣＯＤＥＣ の複写演算、音声チャンネル複写演算、又はダイナミックＲＡＭリフレッシュサ イクルといった他の演算を行うことが可能になり、サブサンプルされたビデオデ ータの流れを先取りできる。バスコントロール回路４２は、３２ビット長のデー タワードを要求し、このワードにより、バス転送するブロック（典型的には１６ 個の３２ビットワード／ブロック）になるまでサブサンプルＦＩＦＯ９０から一 つずつピクセル値が符号化され、ピクセル値がブロックの状態で転送される。バ スコントロール回路４２は各走査線に書かれるピクセル数をカウントし、走査線 の終りをフィルアウトする"short block"を使って転送を完成させることができ る。このバスコントロール回路はそれ自身のアドレス計算をして、走査線の各連 続ブロックについての表示メモリ４４上のアドレスを探す。走査線の終りにバス コントロール回路はマイクロプロセッサ４８に割り込みを掛ける。これに呼応し て、マイクロプロセッサ４８はバスコントロール回路４２に表示メモリ４４上の 次のアドレスを与える。マイクロプロセッサ４８はアドレス計算を行って、走査 線のインターレースを解き、各フィールドの終りにバスコントロール回路４２で のアドレスをサブサンプルウインドウの上まで戻す。 一度ピクセル値が表示メモリ４４に格納されると、それらが新しいピクセル値 によって書き込み過剰となるまでディスプレイ１８に表示される。 周辺基板は別のビデオ出力ポートを備えることができ、このポートにＴＶモニ タを接続することができる。このＴＶモニタは映像をフルフォーマットで表示す る。 好適なホストコンピュータはＡｐｐｌｅ ＭａｃＩｎｔｏｓｈ社製、モデル「 Ｑｕａｄｒａ ９５０」か又はこれより高速なものがよい。 このビデオ編集セッションはホストコンピュータのＣＰＵ２８上で実行させる ソフトウエア２６の制御下に置かれる。このソフトウエアは、人間のユーザには グラフィカルなユーザ・インターフェイスして機能し、周辺基板１０の動作を管 理する。ホストＣＰＵ２８に要求されている管理は、しかしながら、限定されて いる。つまり、ＣＰＵ２８は周辺基板に一つのメッセージを送り、指定されたス クリーン位置でウインドウに画像表示を開始させる。これ以降のメッセージは、 スクリーンの別のウインドウに画像ウインドウを移す、又はその表示を停止させ るために周辺基板を管理する。しかし、画素の表示を単に維持する目的で、これ 以上のメッセージ又は計算がＭａｃＩｎｔｏｓｈ ＣＰＵから要求されることは ない。 図６および８で参照できるように、ホストＣＰＵ２８は、ホストコンピュータ から周辺機器のコマンドおよびステータス待ち行列(queue)６４に書き込まれた メッセージを介して、周辺機器のマイクロプロセッサ４８を制御する。この待ち 行列はシステムバス上で一つのアドレスを占有する。そこで、周辺機器宛てにマ ルチワードのメッセージを書き込むため、ホストコンピュータはこのアドレス宛 てに各ワードを順次書き込む。マイクロプロセッサ４８はこれらのメッセージを 待ち行列６４から引き出し、その各メッセージに基づいて順次動作する。 サブサンプラを制御するメッセージのフォーマットは、図８に示すＣデータ構 造に示されている。“enum Subsumple mode t”はストップ／スタートのコマン ド語量で、これを用いてホストコンピュータはサブサンプラを制御できる。サブ サンプラは次フレームの境界で又は直ちに停止するように制御される。サブサン プラは、１フレームをサブサンプルして表示し、停止し（k Full Frame）、フレ ー ム毎にサブサンプルし（k Full Speed）、又は１フレーム置きにサブサンプルす る（k Half Speed）ように制御される。半分のスピード設定により、「Pixel Se mconductor」社製のサブサンプラ部は１フレーム置きに無視するようになる。メ ッセージ・パケットそれ自身は、パケット長およびソース並びに目的地のアドレ スを有するヘッダを持っている。「タイプ」メンバ（member）によりunionの変 形を区別できる（サブサンプラ動作に関連した変形のみを示す）。周辺機器はパ ケットを処理したときシーケンス番号を取り消す。これにより、ホストは、先に 周辺機器に発行したパケットに応答パケットを関連付けることができる。ユニオ ンのwindow locationの変形によって、サブサブサンプルのウインドウの上左側 のピクセルのための、ホストの表示メモリのアドレスを指定できる。メンバ“ro w bytes”は表示メモリの引き続く走査線間のアドレス・オフセット量を示して いる。メンバ“height”および“width”はサブサンプル・ウインドウのサイズ を示している。「message packet struct」は図８には図示していない他のメン バを備えており、それらは、例えば、ホストにより使用された、メモリのメッセ ージ・パケットのプールを管理するが、周辺機器には伝送されないメンバ、など である。動作 図９はマイクロプロセッサ４８の動作を示す。 このシステムは以下のように動作する。ホストコンピュータが起動しそのブー トストラップ処理を実行すると、ホストコンピュータは表示システムに問い合わ せ、外部の表示機器がシステムバスが接続されているかどうか（図２に示す如く ）、又はディスプレイがホストプライベートバスに接続されているかどうか（図 ３に示す如く）、そして表示メモリがどのアドレスにマップされているかの情報 を得る。このホストコンピュータはまた拡張スロットに在る周辺基板のそれぞれ に問い合わせを発し、それらに対するメモリアドレスをそれぞれ設置する。 かかる電源立ち上げルーチンの一部で、周辺基板１０は自己試験診断（周辺基 板１０上のＲＯＭに格納されている）を実行し、次いでホストコンピュータ１２ からマイクロプロセッサ４８にソフトウエア１４がダウンロードされるのを待つ 。 ビデオ編集ソフトウエア２６がホストコンピュータ１２上で起動すると、ホス トコンピュータ１２は仮想メモリモードから脱し、これにより周辺機器１０はホ ストコンピュータの１２のアドレス空間にアクセスする。ホストのソフトウエア ２６は次いで周辺機器ソフトウエア１４を周辺基板にダウンロードさせる。ダウ ンロードしたソフトウエア１４は周辺基板１０内にハンドシェイクを設定し、そ してホストＣＰＵ２８との間でハンドシェイクを設定する。この起動ルーチンが 完了すると、周辺基板が自己をデフォルトモードに設定する。このデフォルトモ ードでは、ビデオバス上の画像データがホストにより指定されたウインドウに表 示され、そして周辺機器は映像または音声をポート３０〜３６を通して記録また は再生する用意ができる。 システムが一度、動作状態になると、周辺機器を介するサブサンプリングパス は本質的に常にアクティブ状態となり、ビデオデータバス３８上にあるどんなビ デオデータも表示可能なＲＧＢ形態に変換し、画像を小さいサイズにサブサンプ リングし、そしてそのピクセル値を表示メモリ４４に格納する。この結果、ユー ザはビデオデータを入と出をホストのディスプレイのサブサンプルウインドウ２ ０２にて常に監視できる。カラー空間変換、サブサンプリング、およびＦＩＦＯ ９０への書込みは同期して継続され、この動作はビデオ機器の動作速度で行われ 、本質的にリアルタイムである。しかしながら、サブサンプリングパスはシステ ムリゾース、例えばシステムバス４６を求めて、周辺機器を通るほかのパスと競 り合うので、バスコントロールカイロ４２はサブサンプルＦＩＦＯ９０から表示 メモリ４４に非同期にデータを転送する。これらの難題を解決する上での各種パ スのスケジューリングの相互影響を以下に詳述する。 データの流れを処理する間、ホストコンピュータのＣＰＵ２８はそれに関与せ ず、したがってＣＰＵ２８はフリーで、ほかのタスクの遂行が可能になることに 言及する。ホストＣＰＵ上で実行するソフトウエア２６によりユーザは各種の選 択ができる。典型的には、ユーザは最初にソースのビデオデータをＶＴＲ１６ま たはほかのソースからディスク２４にロードし、これによりビデオが編集できる ようになる。編集の完了後は、圧縮されたビデオデータをディスクからＶＴＲ１ ６に複写できる。ユーザコマンドが発せられると、ホストコンピュータは周辺機 器を制御してサブサンプリングパスの動作を停止してよく、これにより、フレー ムをフリーズするか、またはホストコンピュータに表示メモリをほかの目的に向 けさせるか、の状態となる。ホストＣＰＵ２８およびソフトウエア２６が同様に システム管理タスクを実行する。例えば、ホストは周辺基板１０のデフォルトを 検知することができ、反対に周辺基板１０をリセットして未完成又は不一致の状 態のいずれをもクリアさせることができる。 ビデオデータをディスク２４にロードするとき、サブサンプラ及びカラー空間 変換器８０は、ビデオバス３８上にいかなる画像データが在る場合でも表示し続 ける。ＣＯＤＥＣ６０はいっせいにビデオデータを圧縮し、バスコントロールカ イロ４２は圧縮された画像データをホストのＲＡＭ５０に伝送し、ここからその データがディスク２４に複写される。周辺機器は、ＶＴＲ１６によってビデオバ ス３８にどんな画像データが呈示されていても表示を続ける。 編集の間、ディスク２４に圧縮形態で格納されているデータを見ることができ る。この場合、圧縮されたビデオデータはディスク２４からＣＯＤＥＣ６０を通 ってビデオバス３８に、そしていっせいにサブサンプラ８０を通って表示メモリ ４４に伝送される。このときの伝送速度は全て十分高速で、ウインドウの画像が ビデオレートに近いレートで変化できる。 ユーザが、ビデオウインドウを動かしたり、再サイズ合わせを行うようにシス テムを制御してもよい。（このハードウエアは、どの大きさのウインドウもホス トディスプレイ１８のスクリーンのフルサイズ又はビデオのフルサイズまで広げ る能力を有しているが、ビデオ編集ソフトウエア２６によりディスプレイスクリ ーン上のウインドウのサイズ及び位置に対するユーザ選択の幅が制限されている 。）ホストは、周辺機器にウインドウ位置を多数の方法で指定することができる 。例えば、ウインドウの上側左端コーナーのピクセルアドレスと水平方向及び垂 直方向のウインドウサイズを指定することで行える。ホストは周辺機器を制御す ることでビデオ画像の表示を停止できる。ユーザはその状態でビデオウインドウ の移動したり、再サイズ合わせを行える。これは例えば、サブサンプルウインド ウの１つのコーナーをドラッギングすることで行う。ビデオウインドウが一旦消 されてしまうと、ホストコンピュータは、再サイズ合わせウインドウ用の新規の 形態 ファクタの情報を計算し、その再サイズ合わせウインドウにサブサンプルされた ビデオデータを表示開始するように周辺基板を制御する。このウインドウサイズ 情報は周辺機器のバスコントロール回路４２によって格納され、その情報は表示 メモリ４４へのサブサンプルされたデータの流れを制御するのに使われる。この ウインドウのサイズ／位置の指定情報は周辺機器のマイクロプロセッサ４８に渡 され、これにより、マイクロプロセッサ４８は制御値を演算し、その制御値をサ ブサンプラのコントロールレジスタ８４に書き込むことでサブサンプラを制御で き、その結果、フルサイズのビデオデータから適正なサブサンプルを抽出できる 。次いで、マイクロプロセッサ４８はサブサンプラに用意をさせ、ビデオデータ を変換及びサブサンプリングしてサブサブサンプルＦＩＦＯに送る処理を開始さ せる。 サブサンプルパスは常にアクティブ状態であるけれども、ほかのデータ複写作 業、例えばビデオ及び音声のホスト・ディスクからＶＴＲへ／ＶＴＲからホスト ・ディスクは操作状態を見ることよりも重要視する必要がある。テープからディ スクへの複写作業中のデータ消失は事実上取り返しがつかないので、全ての可能 性において回避すべきである。一方、サブサンプルパスにＣＯＤＥＣパスを遅延 させる（すなわちビデオディスプレイからいくつかのフレームを欠落させる）こ とはひとつの失敗であり、画面上で持続性のあるインパクトが無くなってしまう 。周辺機器のマイクロプロセッサ４８は、その優先度を順守させることで、複写 の動きの忠実度を保持する責務が負っている。このため、マイクロプロセッサ４ ８は、ＦＩＦＯ９０、９２、９４がアンロードされる速度を、ホストコンピュー タのシステムバス４６の飽和速度まで制御する。したがって、本システムはビデ オデータが表示メモリに送られる速度を選択的に選ぶことができ、これによりデ ィスプレイ上に表示されるサブサンプルされたビデオのフレームレートを変える ことができる。この流れの制御は周辺機器のマイクロプロセッサ４８により達成 される。すなわち、マイクロプロセッサはＣＯＤＥＣのＦＩＦＯ９２、９４、音 声パス上のＦＩＦＯ、およびサブサンプルＦＩＦＯ９０のデータ充填（ｆｉｌｌ ）レベルを監視し、この情報を使って周辺機器のバス・トランザクションを制御 する。例えば、ＣＯＤＥＣ ＦＩＦＯ９２，９４のいずれかが一杯に近付いてい る ならば、マイクロプロセッサ４８はバスコントロール回路によるサブサンプルＦ ＩＦＯ９０のデータ排出を一時中断し、直ちにＣＯＤＥＣ ＦＩＦＯ９２，９４ のデータ排出に集中する。実際には、サブサンプルウインドウは殆どリアルタイ ムに更新され（すなわち、ビデオレートに近いレートで）、遅れは２フレームか ら４フレームに止められる。 図９に示す中央のループで参照できる如く、周辺機器のマイクロプロセッサ４ ８によりＦＩＦＯが監視され、データ転送が制御される。マイクロプロセッサ４ ８は、ＦＩＦＯに十分にデータ充填を行わせ、ブロック毎のデータ転送を効率化 できるようにした後、バスコントロール回路４２にデータ転送開始の信号を送る 。マイクロプロセッサ４８が一旦、バスコントロール回路４２にデータ転送開始 の指令を与えると、バスコントロール回路４２はシステムバス４６を通ってのデ ータ転送故に、サブサンプルＦＩＦＯ９０から１６個の３２ビット長ワードのブ ロックへのデータを遮断する。このバスコントロール回路４２によるブロッキン グのロジックは図９には示していない。 このマイクロプロセッサ４８、サブサンプルＦＩＦＯ９０、バスコントロール 回路４２、及びホストＣＰＵ２８の間の平行処理の結果、表示処理の流れが完全 に非同期となる。具体的には、サブサンプルウインドウの表示は数分の１秒の間 、２フレームの表示パーツの間で分かれる事態が多発するが、通常、短すぎて人 間の目で見分けることはできない。ＣＯＤＥＣの流れが非常にフルである間、例 えば、場面が圧縮し易い題材から圧縮し難い題材に変わった直後（例えば、非常 にシャープなエッジが多数有る新規場面）などは、バスコントロール回路４２は 数フレームの間、複写の流れを越えているデータ量が収まるまで、サブサンプル ＦＩＦＯ９０へのアンロードを一時中断する。この時間の間は、サブサンプルＦ ＩＦＯ９０はオーバフローしてもよい。周辺機器のマイクロプロセッサ４８が次 にサブサンプルＦＩＦＯ９０をフラッシュし、次のフレーム又はフィールドの境 界を待って、サブサンプルのビデオデータの流れを再スタートさせる。 本発明のほかの実施形態も請求項の記載範囲の内容に基づいて実施できる。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ Ｈ０４Ｎ 5/765 9563−5Ｃ Ｈ０４Ｎ 5/93 Ｃ 5/937 9061−5Ｈ Ｇ０６Ｆ 15/66 ３５５Ｆ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，Ｇ Ｂ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＭＧ ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ， ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＶＮ (72)発明者 カッター，ダニエル，エフ. アメリカ合衆国，マサチューセッツ州 01719，ボックスボロ，スワンソン コー ト 53 (72)発明者 ナウオクンスキ，ブライアン，エム. アメリカ合衆国，マサチューセッツ州 01435，レオミンスター，グラナト スト リート 243

Claims (1)

1. 【特許請求の範囲】 １． サイズを縮小した画像をホストコンピュータのディスプレイのウインドウ に表示する装置であって、前記画像はサブサンプルされたデジタル画像データに 基づいており、前記ホストコンピュータは中央処理装置（ＣＰＵ）、ディスプレ イ、このディスプレイに接続された表示メモリ、並びに前記中央処理装置及び表 示メモリに接続されたシステムバスを含む装置において、 デジタルソースの画像データを受けてサブサンプルされた画像データを出力す るサブサンプラと、 前記サブサンプルされた画像データと前記ホストコンピュータから前記ウイン ドウに対する前記ディスプレイ上の位置を示す指令とを受けるとともに、前記サ ブサンプルされたデータを前記システムバスを通して前記表示メモリ上の前記ウ インドウに相当するアドレスに自動的に、前記ホストＣＰＵから独立して書き込 むウインドウ表示手段と、 を有する周辺機器コントローラを備えたことを特徴とする装置。 ２． 請求項１記載の装置であって、前記サブサンプラは、前記サブサンプルさ れた画像データが前記ディスプレイ上の前記ウインドウに所望画像サイズの画像 を生成するように前記デジタル画像データのサブサンプルされた部分集合を抽出 するようにプログラム可能である装置。 ３． 請求項２記載の装置であって、前記ウインドウの画像サイズのプログラミ ングは前記ホストコンピュータの管理下で実行される装置。 ４． 請求項１記載の装置であって、前記デジタルソースの画像データはインタ ーレースの形態を成し、前記ウインドウ表示手段は、インターレースされた画像 データのフィールドの走査線のインターレースを解除するインターレース解除手 段を備える装置。 ５． 請求項４記載の装置であって、前記表示メモリは複数のアドレス位置にメ モリセルを備え、前記インターレース解除手段は、前記表示メモリ内のアドレス を発生するアドレス発生手段を備え、 前記発生した表示メモリアドレスは、前記走査線に相当する連続するグループ に分割され、かつ前記インターレースされた走査線の前記インターレース解除を 実効ならしめるように順序付けられている構成の装置。 ６． 請求項４記載の装置であって、前記サブサンプラはインターレースされた 順序で前記サブサンプルされた画像データを出力し、当該装置はさらに、前記イ ンターレースされたサブサンプル画像データが格納される待ち行列記憶装置を備 え、前記インターレース解除手段は、前記インターレースされたサブサンプル画 像データを前記待ち行列記憶装置からアンロードするとともに前記サブサンプル された画像データの連続する走査線を前記表示メモリの一つおきの走査線に格納 するインターレース解除器を備える装置。 ７． 請求項１記載の装置であって、さらに、前記サブサンプルされたデータが 前記表示メモリに書き込まれる前に、前記サブサンプルされたデータを格納する ＦＩＦＯを備える装置。 ８． 請求項１記載の装置であって、前記ウインドウ表示手段は、前記ウインド ウのスクリーン位置及びサイズ並びにそのスクリーン位置に相当する前記表示メ モリ上のメモリ位置を確立するコントロール手段と、前記ホストＣＰＵの介入を 必要とすることなく、前記サブサンプルされたデータを前記表示メモリに転送す る手段とを備える装置。 ９． 請求項１記載の装置であって、前記周辺機器コントローラは、ほかのデー タ転送パスと、前記サブサンプルされたデータよりも高い優先度のデータ転送を タイムリに完成させるために前記ウインドウ表示手段の動作を一時的に停止させ る優先度スケジューラとを備える装置。 １０． 請求項９記載の装置であって、前記ほかのデータ転送パスは、それらの パスにデータを一時的に格納するＦＩＦＯであって、それぞれがそのＦＩＦＯ内 のデータ量を決定する監視手段を有するＦＩＦＯを備え、前記優先度スケジュー ラは前記監視手段を監視して前記ウインドウ表示手段を一時停止させる構成の装 置。 １１． 請求項９記載の装置であって、さらに、前記高優先度転送が完了したと き前記ウインドウ表示手段を再スタートさせる手段を備え、この再スタートは前 記ホストＣＰＵが管理すること無しに実行できるようした装置。 １２． 請求項９記載の装置であって、前記ほかのデータ転送パスは圧縮符号器 または伸張復号器を備える。 １３． 請求項１記載の装置であって、さらに、前記ホストコンピュータ上で実 行されるアプリケーションプログラムから前記ウインドウのスクリーン位置及び 画像サイズを受け取るとともに、前記ウインドウ表示手段を制御して前記ウイン ドウのスクリーン位置に相当する前記表示メモリのメモリ位置に前記サブサンプ ルされたデータを前記表示メモリに書き込ませるウインドウ指定手段を備え、こ れにより、前記ホストＣＰＵの介入又は介在を必要とすること無しに、前記画像 データはその後に前記ホストの表示メモリに転送できるようにした装置。 １４． 請求項１３記載の装置であって、前記ウインドウ指定手段は、前記ホス トコンピュータのユーザにより指定された別のスクリーン位置に前記ウインドウ を再サイズ合わせしかつ再位置決めするとともに、前記ウインドウ表示手段を制 御して前記サブサンプルされたデータを、前記再サイズ合わせされた又は再位置 決めされたスクリーン位置に相当する前記表示メモリのメモリ位置に書き込ませ る手段を備えた装置。 １５． 請求項１記載の装置であって、前記サブサンプルされたデータは、前記 表示メモリに書き込まれて前記ディスプレイ上に時間関数として変化する画像を 与えるようにした装置。 １６． 請求項１記載の装置であって、前記サブサンプルされた画像データは、 前記ホストコンピュータから１フレーム当たり１回未満の頻度で必要な介入を受 けて前記ディスプレイ上に表示されるようにした装置。 １７． 請求項１記載の装置であって、前記表示メモリは、前記ディスプレイ上 のピクセルのカラー及び輝度の値を表す所定のプロトコルを有し、前記周辺機器 コントローラは、さらに前記デジタル画像データを前記ディスプレイで必要な前 記所定のプロトコルの元での画像データに変換するカラー空間変換器を備える装 置。 １８． 請求項１７記載の装置であって、前記変換器は、前記サブサンプラが前 記画像データをサブサンプルする前に前記デジタル画像データを前記所定のプロ トコルに変換する装置。 １９． 請求項１７記載の装置であって、前記ホストコンピュータはパーソナル コンピュータであり、前記周辺機器コントローラはパーソナルコンピュータの拡 張スロットに差し込む１つ以上の基板として構成されている装置。 ２０． 請求項１記載の装置であって、前記ホストコンピュータの前記ＣＰＵ及 び前記表示メモリはプライベートバスにより接続され、前記周辺機器バスコント ロール回路は前記システムバス及び前記プライベートバスを介して前記表示メモ リに接続されている装置。 ２１． 請求項１記載の装置であって、前記ＣＰＵ、表示メモリ、周辺機器バス は前記システムバスに直接接続されている装置。 ２２． 請求項１記載の装置であって、前記ウインドウ表示手段は前記サブサン プルされた画像データをブロックに封じ込め、前記ンステムバスを通る前記表示 メモリへの画像データ転送を効率化させる装置。 ２３． ホストコンピュータのディスプレイ上にデジタル画像データを表示する 装置であって、前記ディスプレイは、そのディスプレイ上のピクセルのカラー及 び輝度の値を表す所定のプロトコルを持ったメモリ・マップされた表示メモリを 有する装置において、 前記ホストプロセッサの指令の元に、自動的に前記デジタル画像データを入力 として取得し、前記表示メモリに書き込むことで前記ホストディスプレイの前記 ホストプロセッサにより指定される目標表示領域に前記デジタル画像データを格 納する周辺機器プロセッサを備え、 表示の一部として、前記周辺機器プロセッサは前記デジタル画像データを一つ のエンコードから前記ディスプレイで必要な所定のプロトコルに符号化するよう にし、 これにより１フレーム当り１回未満の頻度で前記ホストプロセッサから必要な 介入を受けて前記ホストのディスプレイ上にアクティブなリアルタイム映像が表 示されるようにした装置。 ２４． 請求項２３記載の装置であって、前記符号化のためにカラー空間変換器 を備える装置。 ２５． 請求項２３記載の装置であって、前記符号化のためにインターレース解 除を行う装置。 ２６． 請求項２３記載の装置であって、さらに、前記符号化された画像データ が前記目標表示領域に格納される前に前記符号化された画像データを格納するＦ ＩＦＯを備える装置。 ２７． ホストコンピュータのディスプレイのウインドウにサイズを縮小したビ デオ像を表示する方法であって、そのサイズを縮小した画像はサブサンプルされ たデジタル画像データを表示して成り、前記ホストコンピュータは中央処理装置 （ＣＰＵ）、ディスプレイ、このディスプレイに接続された表示メモリ、並びに 前記中央処理装置及び前記表示メモリに接続されたシステムバスを有し、この表 示方法は、 前記ホストＣＰＵから周辺機器コントローラに前記ウインドウの前記ディスプ レイ上の位置を表すコマンドを発行するステップと、 前記ホストＣＰＵによる実質的な介入無しに、前記画像データを前記周辺機器 コントローラにて受け、自動的にその画像データをサブサンプリングしかつその サブサンプルされたデータを前記システムバスを介して前記表示メモリの前記ウ インドウに相当するアドレスに書き込むステップと、 を有する方法。