JPH10507280A - ビデオフィールド内の反射オブジェクトの位置を検出する方法及びそのための装置 - Google Patents

Abstract

(57)【要約】 ビデオフィールド内の反射エレメントの正確な位置を検出し（１１）、その後、その検出した位置を利用して、合成技術を用いて（２１）前景ビデオシーン（１３）に加えるための図形を生成するシステム及び方法。反射オブジェクトの位置を指示する前景ビデオシーン（１３）内の正確な点を指定する信号を発生させる。この信号は、ビデオフィールド内のオブジェクトをユーザ指定のサイズ、形状及び色と比較することによって得られる。図形は位置を変えることができ、あるいは反射エレメントの動きを追跡する線あるいはその他の図形要素を生成することもできる。

Description

【発明の詳細な説明】 ビデオフィールド内の反射オブジェクトの 位置を検出する方法及びそのための装置 発明の概要 本発明は、ビデオフィールド内の反射エレメントの正確な位置を検出するため のシステムにおいて、検出後、その検出位置を利用して、当技術分野で周知の合 成技術を用いて前景ビデオシーンに加える図形を生成するようにしたものである 。このシステムは、前景ビデオと背景ビデオを合成した画像を生成したい様々な 場合に利用することができる。たとえば、天気予報は、合成ビデオ画像を用いる ことが多い。そこでは、予報担当アナウンサーがバッキング（通常青色）の前に いて、背景のビデオソースは、雲、温度、寒冷前線及び所定の順序で加えること ができるその他の図形からなる天気図である。また、予報担当アナウンサーは、 所望の図形を表示しようとする天気図上の位置に対応する青色バッキング上の位 置を指すことがしばしばあり、アナウンサーの手の位置とタイミングが正しい限 り、ある特定の都市の温度のような図形がその合成ビデオ画像上に現れる。しか しながら、このようなシステムでは、表示しようとする全ての図形をあらかじめ 位置決めしなければならず、また順番を決めておかなければならないが、これは 、おそらく、あらかじめプログラムされた特定の順番の全体を通して、あるいは その終わりへスキップする以外は、予報担当アナウンサーによって動的に変える ことはできない。 本発明のシステムによれば、反射エレメントにより表される形で予報担当アナ ウンサーが指し示す位置を指示する前景ビデオシーン中の正確な位置を指定する 信号を発生させるので、図形の位置をアナウンサーが所望の通りに変えることが でき、また反射エレメントの動きを追跡する線またはその他の図形要素を生成す ることができる。 本発明のシステムのもう一つの可能な用途は、フットボール解説者による利用 で、プレーの開始時にプレーヤーを整列させたグラウンドの背景ビデオシーンの フレームの全面にわたって反射エレメントを動かすことにより、様々なプレーヤ ーの動きを示しながらプレーを図解することができる。また、本発明は、軍事ア ナリストが一般視聴者あるいは佐官級将校向けに陸軍、海軍または空軍による作 戦行動を図解するために、あるいはポインタ手段によって背景・ビデオシーンを 図解説明することが望ましいあらゆる場合に利用することができる。 本発明は、ビデオフィールド内の球形または全体として球形のカラー反射オブ ジェクトの位置を検出するためのアナログシステムに関する本願譲受人の所有に なる１９９２年４月１０日出願の同時係属出願第０７／８６７，０４８号に記載 されているシステムを改良したものである。本発明は、この先行技術のシステム によって検出できるよりもはるかに小さいカラー反射オブジェクトを検出するこ とができ、かつどのような形状及び色のオブジェクトでも検出することができる ディジタルシステムにある。 図面の簡単な説明 図１は、本発明を利用することができるシステムを示す概略ブロック図である 。 図２は、本発明による検出器システムのブロック図である。 発明の詳細な説明 図１において、本発明は検出器システム１１として示されており、本発明を実 施するために必要なのは、ビデオカメラのようなビデオソース１３と共に、この 検出器システムだけである。しかしながら、完全を期すために、図１には、前述 のような合成画像を得るために本発明のシステムと共に用いられる他の要素も図 示されている。他の要素としては、グラフィックスコンピュータ１５があり、グ ラフィックスコンピュータ１５は、それ自身で、あるいは背景ソース１７から背 景ビデオを合成システム２１に供給する。背景ビデオは、背景ソース１７からの ビデオまたはグラフィックスコンピュータ１５にあらかじめプログラムされたビ デオ画像に検出器システム１１からの入力に基づいてグラフィックスコンピュー タにより生成された図形を加えたものである。合成システム２１は、ビデオソー ス１３からの前景ビデオと共に、グラフィックスコンピュータによって背景画像 に重ねられた図形を含む背景画像を生成する。ここで重ねられる図形は、検出器 システムからの入力の結果として生成される。合成システム２１によって生成さ れた合成画像は合成画像モニタ２３上に表示される。また、プロンプトモニタ２ ５も図示されており、通常、前景シーンのタレントに背景に現れる次のエレメン トに関してせりふを付けるためのテキストを表示するのに用いられる。 本発明の検出器システム１１は、図２のブロック図に構成が示してある。まず 、この図２において、ビデオカメラ１３は、前景ビデオを含む通常の赤、緑及び 青（ＲＧＢ）信号を発生する。この信号は、Ｂ＋２５４トリプルチャンネル８ビ ットディジタイザからなるＡ／Ｄ変換器３３及び付随のアナログ回路によってそ のビデオＲＧＢ信号を表す３つのディジタル信号に変換される。これらのディジ タル化された信号は、バッファ１及びバッファ２の２つの部分に分けられたＶＲ ＡＭバッファ３５に記憶される。これらのバッファは、当技術分野で広く用いら れている循環動作の形で、一方のバッファがＡ／Ｄ変換器３３からのディジタル ＲＧＢ信号によって書き込まれている間に、もう一方のバッファがディジタル信 号プロセッサ３７によって読み出されるように、タイミング信号を用いて書き込 みが行われる。 カメラからのＲＧＢ信号をカメラからの輝度、クロマ、及び色相の何らかの組 合せと置換できるようにする適宜変更を行うことも可能である。あるいは、紫外 光とカメラフィルタリングの組合せを用いて所望のピーク信号が得られるように することも可能である。しかしながら、この実施形態においては、ＲＧＢ信号処 理方式を使用する。 ディジタル信号プロセッサ３７はバッファ３５中のＲＧＢ信号を読み出して処 理し、ビデオフィールド内のユーザが指定するサイズ、形状及び色を有するオブ ジェクトの位置を検出する。 次に、適切なディジタル信号プロセッサ３７によって行われる処理の疑似コー ドについて説明する。ここで、ユーザが、検出しようとするオブジェクトが含ん でいなければならない赤、青及び緑の各々のカラーバリューの範囲を指定済みで ある；形状は大きさが少なくとも３ピクセル×３ピクセルの球形である；検出し ようとする色はカメラまたは他のビデオソースを介して基準色を取り込むことに よって指定される：ものと仮定する。 この場合のバッファフォーマットは、ｘＲＧＢで、ｘ、Ｒ、Ｇ、及びＢの各々 に単一のピクセルを表す対応値を記憶するために使われるバイトが割り当てられ る。本発明のこの実施形態においては、Ｒはピクセルの赤バリューを表し、Ｇは 緑バリューを表し、Ｂは青バリューを表すものとし、ｘは使用しないが、透明度 を表したり、色空間が３つではなく４つの変数を使って色を表す場合に用いるこ とができる。 本発明は、Ａ／Ｄ変換器３３によって変換され、ＶＲＡＭバッファ３５に記憶 された２４ビットのトルーカラー形式のアナログＲＧＢ信号３１を取り込むこと によって動作する。ＶＲＡＭ３５は、カレントビデオフィールドがバッファの一 方の部分（バッファ１と命名されている部分）に記憶され、次のビデオフィール ドがバッファのもう一方の部分（バッファ２と命名されている部分）に記憶され るようにして、２つのビデオフィールドを記憶する。一つのフィールドがバッフ ァ１またはバッファ２のどちらか一方に取り込まれている間に、バッファ１また はバッファ２のもう一方の中のデータが疑似コードに従ってＤＳＰ３７により処 理され、これによってクロマ／輝度差に基づき輪郭を決定する、すなわちカレン トバッファ領域、すなわち処理中のバッファ１またはバッファ２内にあるオブジ ェクトのサイズ及び色並びに形状を定める出力が発生する。ビデオの色、最小サ イズ及び球形状がユーザによって指定された色、ユーザによって指定された最小 サイズ／球形状と比較されて、追跡すべきオブジェクトが現在調べている画像の 部分内にあるかどうかが判断される。ユーザの指定に一致するオブジェクトがあ れば、ルーチンＳｅａｒｃｈＯｂｊｅｃｔ（）がＴＲＵＥを返し、なければＦＡ ＬＳＥを返して、次のバッファ領域が処理される。現行のバッファ１またはバッ ファ２のどちらか一方のデータの処理が終了したならば、バッファ１／バッファ ２ペアの他方の中のデータについてこのプロセスが繰り返される。一方のバッフ ァがロードされている間にもう一方のバッファのデータを処理するこのプロセス が、オブジェクトを追跡する必要がある限り続けられる。データは、１秒間に３ ０フレーム、すなわち６０フィールド／秒の速度でＶＲＡＭバッファ３５にロー ドされるので、バッファ１及びバッファ２は、各々１／６０秒で処理しなければ ならない。これは、モトローラ（Ｍｏｔｏｒｏｌａ）６８０ｘ０のような多くの 市販のマイクロプロセッサの一つを用いたＤＳＰによって達成することができる 。 各ビデオフィールドが処理される際には、ＳＲＡＭ３９を用いて処理に必要な 変数及び処理によって生成される種々の変数が記憶される。これらの変数には下 記のようなものがある： ＸＳｉｚｅ：ピクセルで表したＶＲＡＭバッファ３５のｘ次元のサイズ。 ＹＳｉｚｅ：ピクセルで表したＶＲＡＭバッファ３５のｙ次元のサイズ。 ＲｅｄＭｉｎ：追跡しようとする赤成分の最小バリュー。 ＲｅｄＭａｘ：追跡しようとする赤成分の最大バリュー。 ＢｌｕｅＭｉｎ：追跡しようとするオブジェクトの青成分の最初バリュー。 ＢｌｕｅＭａｘ：追跡しようとするオブジェクトの青成分の最大バリュー。 ＧｒｅｅｎＭｉｎ：追跡しようとするオブジェクトの緑成分の最小バリュー。 ＧｒｅｅｎＭａｘ：追跡しようとするオブジェクトの緑成分の最大バリュー。 Ｐｉｘｅｌｓｉｚｅ：赤、緑、青及びｘのバリューを記憶するのに用いられるバ イト数を示す変数。 ＸＰｏｓ：ビデオフィールド内の検出オブジェクトの中心位置を示す原点からの ピクセル数で表したＸまたは横座標（通常、原点はビデオフィールドの最上部左 端ピクセルである）。 ＹＰｐｏｓ：ビデオフィールド内の検出オブジェクトの中心位置を示す原点から のピクセル数で表したＹまたは縦座標（通常、原点はビデオフィールドの最上部 左端ピクセルである）。 Ｘ：ＸＰｏｓに対応する局所変数。 Ｙ：ＹＰｏｓに対応する局所変数。 Ｒｅｄ：現在処理中のピクセルの赤バリュー。 Ｇｒｅｅｎ：現在処理中のピクセルの緑バリュー。 Ｂｌｕｅ：現在処理中のピクセルの青バリュー。 Ｘ１：反射オブジェクトの左エッジを探すために用いられる変数。 Ｙ１：反射オブジェクトの上エッジを探すために用いられる変数。 Ｘ２：反射オブジェクトの右エッジを探すために用いられる変数。 Ｙ２：反射オブジェクトの左エッジを探すために用いられる変数。 Ｗｉｄｔｈ：ＸＰｏｓ及びＹＰｏｓを中心とするオブジェクトの幅。 Ｈｅｉｇｈｔ：ＸＰｏｓ及びＹＰｏｓを中心とするオブジェクトの高さ。 ＳＲＡＭ３９は、市販のスタティックランダムアクセスメモリを用いて実装す ることができ、その詳細仕様は使用するＤＳＰによって決まる。 ユーザが追跡しようとするオブジェクトの色及びサイズをＳＲＡＭ３９への書 き込みによって設定できるようにするユーザ定義情報は、主コンピュータとの通 信によって得られる。また、コンピュータはＳＲＡＭ３９よりＸＹ位置を読み出 す。 オブジェクトが検出されたならば、その検出オブジェクトの位置（ＸＰｏｓ及 びＹＰｏｓ）は、従来技術の場合同様にこの情報を利用するバスインタフェース ４１を介してグラフィックスコンピュータ１５に送られる。バスインタフェース ４１は、ＤＳＰ３７によって用いられるグラフィックスコンピュータ１５または 他のホストからの情報を転送するためにも使用される。ホストから送られる情報 は、ユーザによって設定されたＲｅｄＭｉｎ、ＲｅｄＭａｘ、ＢｌｕｅＭｉｎ、 ＢｌｕｅＭａｘ、ＧｒｅｅｎＭｉｎ、ＧｒｅｅｎＭａｘのバリューである。バス インタフェースは、たとえばＩＳＡバスまたは他の適切なバスインタフェースを 用いて実施することができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)， ＡＭ，ＡＴ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｃ Ａ，ＣＨ，ＣＮ，ＣＺ，ＣＺ，ＤＥ，ＤＥ，ＤＫ，ＤＫ ，ＥＥ，ＥＥ，ＥＳ，ＦＩ，ＦＩ，ＧＢ，ＧＥ，ＨＵ， ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，Ｌ Ｒ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ， ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＫ，ＴＪ，ＴＭ，ＴＴ，Ｕ Ａ，ＵＧ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．ビデオ情報フィールド内の所定の色及びサイズを有する反射オブジェクの位 置を検出するためのシステムで、ビデオ情報フィールドが赤、青及び緑成分を有 するビデオソースによって与えられ、その赤、青及び緑成分が、ディジタル表現 に変換されているシステムにおいて： ａ）前記反射オブジェクトの色に対応する前記ビデオ信号の成分を定義済み の色と比較して、その比較の結果を表す第１の信号を発生する色比較手段と ｂ）ビデオフィールド内のオブジェクトのサイズ及び形状を定義済みのサイ ズ及び形状と比較して、その比較の結果を表す第２の信号を発生するサイズ・形 状比較手段と； ｃ）前記第１の及び第２の信号がオブジェクトが定義済みの色、サイズ及び 形状と一致していることを指示したとき、ビデオフィールド内の前記オブジェク トの相対位置を特定するための特定手段と； ｄ）その特定された相対位置を用いてコンピュータ生成図形画像を生成し、 表示装置に表示するグラフィックスコンピュータにその特定された相対位置を供 給するための手段と； を具備したシステム。 ２．上記色比較手段が： ａ）上記ディジタル化された赤、緑及び青成分を記憶するバッファと； ｂ）追跡しようとするオブジェクトの色を定義する所定の最小及び最大の赤 、緑及び青バリューを記憶するメモリと； ｃ）前記バッファ及びメモリに接続され、前記ディジタル化された赤、緑及 び青成分に対応するピクセルの赤、緑及び青バリューを得ると共に、そのピクセ ルの得られたバリューを所定の最小及び最大の赤、緑及び青バリューと比較して 、そのピクセルが、上記反射オブジェクトについて定義された所定の最小及び最 大の赤、緑及び青バリューの範囲内にある色と一致するかどうかを決定するプロ グラムを実行するディジタル信号プロセッサと； を具備する請求項１記載のシステム。 ３．上記サイズ・形状比較手段が： ａ）上記ディジタル化された赤、緑及び青成分を記憶するバッファと； ｂ）追跡しようとするオブジェクトの色を定義する所定の最小及び最大の赤 、緑及び青バリューを記憶するメモリと； ｃ）上記バッファ及びメモリに接続されていて、上記ディジタル化された赤 、緑及び青成分に対応するピクセルの赤、緑及び青バリューを得、そのピクセル の得られたバリューを所定の最小及び最大の赤、緑及び青バリューと比較し、上 記ビデオフィールド内の反射オブジェクトの左右及び上下の境界を計算するプロ グラムを実行するディジタル信号プロセッサと； を具備する請求項１記載のシステム。 ４．上記特定手段が： ａ）上記ディジタル化された赤、緑及び青成分を記憶するバッファと； ｂ）追跡しようとするオブジェクトの色を定義する所定の最小及び最大の赤 、緑及び青バリューを記憶するメモリと； ｃ）上記バッファ及びメモリに接続されていて、上記ディジタル化された赤 、緑及び青成分に対応するピクセルの赤、緑及び青バリューを得、そのピクセル の得られたバリューを所定の最小及び最大の赤、緑及び青バリューと比較し、上 記ビデオフィールド内の反射オブジェクトの左右及び上下の境界を計算し、反射 オブジェクトの中心を表す位置を計算するプログラムを実行するディジタル信号 プロセッサと； を具備する請求項１記載のシステム。 ５．ビデオ情報フィールド内の所定の色及びサイズを有する反射オブジェクの位 置を検出するための方法で、そのビデオ情報フィールドが赤、青及び緑成分を有 するビデオソースによって与えられ、赤、青及び緑成分が、ディジタル表現に変 換されている方法において： ａ）上記反射オブジェクトの色に対応するビデオ信号の成分を定義済みの色 と比較して、その比較の結果を表す第１の信号を発生する色比較ステップと； ｂ）ビデオフィールド内のオブジェクトのサイズ及び形状を定義済みのサイ ズ及び形状と比較して、その比較の結果を表す第２の信号を発生するサイズ・形 状比較ステップと； ｃ）上記第１の及び第２の信号がオブジェクトが定義済みの色、サイズ及び 形状と一致していることを指示したとき、蒸気ビデオフィールド内のオブジェク トの相対位置を特定する特定ステップ； ｄ）その特定された相対位置を用いてコンピュータ生成図形画像を生成し、 表示装置に表示するグラフィックスコンピュータにその特定された相対位置を供 給するステップと； を具備した方法。 ６．上記色比較ステップが： ａ）上記ディジタル化された赤、緑及び青成分をバッファに記憶するステッ プと； ｂ）追跡しようとするオブジェクトの色を定義する所定の最小及び最大の赤 、緑及び青バリューをメモリに記憶するステップと； ｃ）上記ディジタル化された赤、緑及び青成分に対応するピクセルの赤、緑 及び青バリューを得ると共に、そのピクセルの得られたバリューを所定の最小及 び最大の赤、緑及び青バリューと比較して、そのピクセルが、上記反射オブジェ クトについて定義された所定の最小及び最大の赤、緑及び青バリューの範囲内に ある色と一致するかどうかを決定するステップと； を具備する請求項５記載の方法。 ７．上記サイズ・形状比較ステップが： ａ）上記ディジタル化された赤、緑及び青成分をバッファに記憶するステッ プと； ｂ）追跡しようとするオブジェクトの色を定義する所定の最小及び最大の赤 、緑及び青バリューをメモリに記憶するステップと； ｃ）上記ディジタル化された赤、緑及び青成分に対応するピクセルの赤、緑 及び青バリューを得ると共に、そのピクセルの得られたバリューを所定の最小及 び最大の赤、緑及び青バリューと比較するステップと； ｄ）上記ビデオフィールド内の反射オブジェクトの左右及び上下の境界を計 算するステップと； を具備する請求項５記載の方法。 ８．上記特定ステップが： ａ）上記ディジタル化された赤、緑及び青成分をバッファに記憶するステッ プと； ｂ）追跡しようとするオブジェクトの色を定義する所定の最小及び最大の赤 、緑及び青バリューをメモリに記憶するステップと； ｃ）上記ディジタル化された赤、緑及び青成分に対応するピクセルの赤、緑 及び青バリューを得ると共に、そのピクセルの得られたバリューを所定の最小及 び最大の赤、緑及び青バリューと比較し、上記ビデオフィールド内の反射オブジ ェクトの左右及び上下の境界を計算し、反射オブジェクトの中心を表す位置を計 算するステップと； を具備する請求項５記載の方法。