JPH07501905A - 視聴者参加のためのビデオイメージング方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 視聴者参加のためのビデオイメージング方法及び装置′　、に　るクロスレファ レンス 本発明は１、米国特許第−一一一一一一一号となった、１９９１年１２月１０日 出願の米国特許出願第０７−８０６．０５１号（代理人の整理番号Ｍ−１８２１ ）の一部継続出願である。

ｌ匪皇１遣 九囲免鼓歪λ月 本発明は、一般にコンピュータグラフィックス及び電子的イメージ処理の技術に 関し、特に（１人または複数の）視聴者または観客のグループが１台のコンピュ ータに同時にインターフェイスするための人間−コンピュータインターフェイス 技術に関する。

灸米狭歪亘１泗 近年、人間とコンピュータとの１対１の相互作用を容易にするために多くの研究 がなされてきた。この相互作用は、人間からコンピュータへ、またコンピュータ から人間へという具合に両方向を向くものである。本発明は、人間からコンピュ ータへの作用に関する。

この目的のために一般的に入手可能とされた装置としては、コンピュータキーボ ード、マウス、ライトベン、トラックボール、マイクロフォンなどがあり、ＭＩ ＤＩ通信チャンネルを介した場合には、さまざまな楽器がある。例えば、観客が 映画のストーリーを制御するような場合など、複数の人間がコンピュータに対し て同時に通信しようとする場合には、従来技術によっては対処することがほとん ど不可能である。現在利用可能な手法としては、２つの同様な種類のものがある 。その１つは、ワイアードシート（配線された座席）であり、もう１つはラジオ 送信機である。

ワイアードシートとは、室内のいくつかのまたはすべてのシートに、さまざまな ボタン、スイッチ、ダイヤルなどからなる何らかの電子信号装置を配置したもの を措す。これらの装置は、シートに座った者が行う動作を記憶するような計算機 または記録装置に対してワイヤを介して接続されている。この方法は、議会など に於て投票結果を集計するために或いはテレビコマーシャルの試験放送に対する 視聴者の反応を記録するためにしばしば用いられる。言うまでもなく、これは室 内の構造をあらかじめ大規模に準備しておくことが必要となり、多くの場合に十 分便利であったり或いは可能であるとは限らない。

室内に於けるワイヤの配置は、無線通信を用いる第２の従来技術に基づく方法に より回避することができる。

この場合、シート或いは個々またはグループをなす人々に対して、無線送信機或 いは赤外線送信機に接続された信号装置か提供される。すべての信号を互いに分 離するために何らかのマルチプレックス装置が用いられる。無線通信方法は、同 等配線を必要としない利点があり、人々が、シート内に座ることを余儀なくされ ることなく、室内に於て自由に動き回り得る利点を有する。この方法は費用の点 に欠点があり、送信機及び受信機は、ワイヤに比較して高価であり、視聴者に対 して送信機を手渡さなければならない場合には、それらが失われるという危険性 もある。また、同時に使用可能な送信機の数には実用上の制約があり、特に低コ スト或いは低電力消費を目指す場合にはこの問題が重要となる。

＆訓卑珂ｊ 本発明の一般的な目的は、最小限のコストを必要とするような単純な装置を用い ることにより、１人または多数の人がコンピュータに対して同時に情報を通信し 得るような方法を提供することにある。

このような或いはそれ以外の目的は、本発明によれば、それぞれ１つのランプに より照明され、前記ランプに対して概ね同軸的に配置された１つのビデオカメラ により監視されるような後方反射性（ｒｅｔｒｏｆｌｅｃｔｉｖｅ）の装置を各 視聴者に備えておき、ビデオカメラからの信号をコンピュータにより分析し且つ それに対して所定の作用を及ぼすことを特徴とする方法を提供することにより達 成される。

このように、本発明によれば、各視聴者に対しては、例えば、一方の面が緑色で 、他方の面が赤色であるような反射器が手渡される。光源からの光が個々の反射 器により反射され、従来形式のビデオカメラによりその像が捕捉される。各カメ ラに対してフレームグラバ（ｆｒａｍｅ　ｇｒａｂｂｅｒ）を介して接続された コンピュータは、視聴者のマツプを形成し、個々の赤色の反射を緑色の反射から 識別する。この赤及び緑色の反射像データは、コンピュータにより処理され、例 えば、視聴者の投票を集計したり、視聴者か見ることのできるスクリーン上にイ メージを投射するために用いることができ、この場合、イメージは、コンピュー タにより集計された赤色或いは緑色反射像の数或いは位置に応じて、ある特定の パラメータを介して制御されて良い。

本発明の別の実施例によれば、視聴者には、　（懐中電灯などの）自らの電力源 を備えた照明装置が与えられ、そのビデオイメージが、上記と同様な要領を以て コンピュータにより解析される。

さらに別の実施例に於ては、各反射器或いは光源の運動の方向或いは速度が、ビ デオイメージを形成したり、情報を通信するために利用され、例えばコンピュー タスクリーン上のカーソルのグループ制御を行い得るようにする。また、各反射 器或いは光源は、コード化された情報を送り出すことにより、それ自身を識別可 能にすることもできる。

図面の簡単な説日 図１は、本発明に基づくシステムの操作ステーション及び関連する部分を示す。

図２ａ、２ｂ及び２ｃは、使用中の図１のシステムを示す。

図３は本発明に基づく光の反射を示す。

図４は本発明に基づくカメラ像を示す。

図５は、光の反射を解析するためのグリッドパターンを示す。

図６及び７は、イメージの位置を定義するための多角形を示す。

図８は本発明に基づく多角形集計システムを示す。

図９８及び９ｂは、図８の多角形集計回路を用いる２つの方法を示す。

発■の詳しい説■ 図１は、本発明に基づくオペレータ制御ステーション及び関連する部分を示す。

従来形式のパーソナルコンピュータは、モニタ１０と、キーボード１２と、ＣＰ Ｕ　（中央処理ユニット）１４と、ディスク１６と、メインメモリ１８とを有す る。従来形式のアドオンボードとしてコンピュータに備えられているのは、Ｔｒ ｕｅＶｉｓｉｏｎ、Ｉｎｃ。

からモデルＡＴ−Ｖｉｓｔａとして市販されているものなどからなる従来形式の ビデオフレームグラバ２２である。

フレームグラバ２２は、従来形式のカラーＲＧＢまたはコンポジットビデオカメ ラ２４から従来形式のビデオデータを受け取る。本発明に基づく他の出力モード としては、視聴者の制御下にある映画やマルチメディアファイルなどを再生する コンピュータ制御されたレーザビデオディスクや、ＭＩＤＩや、視聴者へのフィ ードバックを行う他の手段などがある。

コンピュータにはさらに、従来形式のグラフィックモニター２８及び従来形式の ビデオプロジェクタ３０に対してＣＰＵＩ　４により形成されたイメージを提供 するための標準的なＶＧＡアダプタカードなどのグラフィックデスプレイ制御ユ ニット２６が接続されている。

図２ａに示されるように、ビデオプロジェクタ３０は、従来から知られた要領を 以て、コンピュータＣＰＵ１４からのイメージを、スクリーン３４に投射し、ホ ール内のシート３６−１．３６−２．３６−３、・・・、３６−ｉ。

・・・、３６−ｋ　（その一部のみが図示されている）などに座っている視聴者 により見ることができるようにしである。視聴者はホールのすべて或いは一部に 位置するもので、必ずしもシートに座っていることを必要としないことを了解さ れたい。シート３６−１、・・・３６−には、視聴者の数及び位置を示すための ものに過ぎない。フラッドライトなどの光源４０が、ビデオカメラ２４に対して 同軸的に装着されており、ビデオカメラ２４は、シート３６−１、・・・３６− ｋに於ける各視聴者が保持する、図示されていない後方反射器から反射された光 を受けるように取着されている。特に、この照明光は、カメラが撮像するものに 限って照明するものであるのが好ましい。

全体的な配置は図２ａに示された通りであるが、図２ｂ及び２Ｃに示されるよう に、カメラ２４及び光源４０を図示されたように配置する点を除いて同一の構造 を用いることもできる。視聴者には後方反射器が備えられている。これらの後方 反射器の１つの例としては、　（３−ＭやＲｅｆＩｅｓｉｔｅ　Ｃｏｒｐ、によ り市販されているような）粘着層を有する後方反射テープを、小さな平坦な木片 や堅いボール紙に装着したものがある。このようなテープは、入射光源の方向に 対してのみ光を反射し、従って後方反射器が用いられたときに光とカメラとを互 いに一致させることが必要となる。ある態様に於ては、それぞれ約２ｘ３インチ の大きさを有する赤及び緑のテープを木片の一端の異なる側に配置したものから なる。好適実施例に於ては、ホールが映画館のように暗くされている。

この構造により、ホール内の各視聴者は、後方反射性テープがビデオカメラから 見えるように木片を掲げることにより信号を送ることができる。

図３は、光源４０と、各後方反射器４４とビデオカメラ２４との関係を示す。後 方反射器４４を保持する者が、単に手首を回転させるのみで、反射器４４の赤い 側がカメラ２４に向けられた状態から、反射器４４の緑色の側がカメラ２４に向 けられた状態へと変化させ、カメラ２４から見た信号値の状態を変化させるのみ でよい。

ビデオカメラ２４から見た視聴者の典型的なイメージの例が図４に示されている 。スタジアムやホールが大きい場合には、いくつかのビデオカメラ２４及び光源 ４０を組み合わせたもの（図３参照）をホール内の適所に配置し、その中の視聴 者のすべてをカバーすることができる。カメラ２４と光源４０とからなるアセン ブリの数、各反射器４４のサイズ及び周囲の光のレベルは、各反射器のイメージ をカメラ２４が満足するイメージとして捕捉し得るように適宜変更することがで きる。図４のイメージは、一般には少しずつ動く異なる数の色のついたドツト５ ０−１．５〇−２，５０−３，、、，５０−ｉ’ｔ　、　、　、　、５０−ｎか らなり、各色づけされたドツトは１つの反射器のイメージに対応する。コンピュ ータ内のソフトウェアは、この時間に依存するイメージの状態を解析し、各視聴 者の反射器の状態を判断する。ビデオカメラの斜視図的な変換マトリックスは、 室内の反射器が、ビデオイメージに於ける点５０−１、。

、、、５０−ｎにどのようにして変換されたかを表す。このマトリックスは、視 聴者に対して使用される前に、カメラ２４が配置されたときに各カメラ２４から 得られる。このプロセスを行うためのコンピュータプログラムが、この開示内容 の一部をなすマイクロフィッンユのアペンディックスに示されている。コンピュ ータプログラムはＣ言語により記述されており、適宜その動作を説明するための コメントが付されている。

プログラムに於けるマトリックスの誘導は、カメラにより捕捉された特定の位置 を占める反射器の既知の位置を、各カメラ２４のビデオイメージに於けるこれら の反射器の位置に対応させることにより、最小２乗法を用いて行うことができる 。このようにして得られた対応関係により、カメラ２４の視野内の任意の点（例 えば、各シート３６−１、。

、、　、３６−ｋ）のビデオイメージに於ける位置を予測することができる。ホ ール内のシート３６−１１．、、．３６−にのレイアウトが与えられ、対応する シートからの典型的な反射器の予想されるオフセットを考慮すれば、変換マトリ ックスにより、視聴者のビデオイメージに於ける各視聴者の反射器のピクセル位 置を計算することができる。

或いは、シートの幾何学的マトリックスに対して図５に示されるようにサンプリ ングメツシュを重ね合わせ、且つ各セル５２−１１．．．．５２−ｋがそれぞれ １つまたは複数のシートの大きさに等しいものとすることができる。

これは、視聴者が動き回るような、シートが設けられていない場合や、シートの 配置がコンピュータに知られていないような場合にも用いることができる。

幾つものカメラが用いられる大きなホール内に於ける各ビデオカメラのビデオイ メージに於ける予想されるドツト（図４参照）の正しいと考えられる位置が与え られれば、各シートは、最もそれが良く見えるようなカメラに対して割当てるこ とができる。即ち、このドツトは、そのカメラのイメージの中心に最も近いこと になる。

また、ビデオイメージに於けるドツトの正しいと考えられる位置が与えられれば 、ビデオイメージに於けるドツトを包囲する多角形、四角形その他の幾何学的形 状を定義することができる。図６（四角形）及び図７（Ｖｏｒｏｎ。

ｉ多角形タイリング）は、このような多角形５６−１〜５６−ｎの形状の例を示 す。図６は四角形からなる多角形５６−１．５６−２．５６−３．　、　、．５ ６−ｉ、、　、　、、５６−ｎを示し、図７はＶｏｒｏｎｏｉ多角形タイリング ５６−１１，９０．５６−ｎを示す。このような多角形が定義されると、コンピ ュータはイメージの各多角形５６−１内に於けるデジタル値を各色ごとに連続的 に加算をする。

得られた和は、参加視聴者により保持された反射器の予想される位置の回りの領 域から発せられる各色の相対的量を示す。この和が、所定の閾値よりも大きい場 合には、反射光の相対強度を簡単に評価することにより、参加者の反射器の色を 決定することができる。

和かすべて閾値よりも低い場合には、参加者が何ら信号を送っていないものとみ なす。参加者の反射器の状態は、コンピュータシステムの他のサブシステムにと っても利用可能な状態にされる。

別の実施例に於ては、上記した多角形５６−１１１．．５６−ｎの定義をコンピ ュータソフトウェアにより処理する代わりに、より高速の処理を可能にするよう な回路としての構成が示されている。ここで言う速い処理速度とは、反射器の状 態を高速で変化させ得ることを意味する。この回路は、図１のシステムに於ける フレームグラバ２２に代わるものである。その機能は、フレームグラバ及びデー タコンセントレータとして機能することにより入力データの量を減少させること にある。これにより、ホストコンピュータは、イメージや音楽を発生するなどの 他のタスクを自由に実行することが可能となる。図９ａ及び９ｂは、　（以下に 説明するように、）加算回路の使用方法を示している。

この回路は、約１５分の１秒以下と言った２つのビデオフレーム間の時間遅れを 伴うのみであるような反応時間を好適に提供するものである。この「多角形加算 回路」の１つの態様は、コンピュータＣＰＵに装着された従来形式のボードから なるものであってよく、或いはスタンドアローンユニットからなるものであって もよい。

多角形加算回路が図８に於てブロック図により示されている。この場合、２つの ビデオチャンネル入力「ビデ第１（ｖｉｄｅｏ　１）Ｊ、　［ビデ第２（ｖｉｄ ｅｏ　２）Ｊが設けられている。ビデ第１は、例えば、ビデオカメラにより検出 された赤色イメージのためのものであり、ビデ第２はビデオカメラにより検出さ れた緑色イメージのためのものである。これらのビデ第１及びビデ第２のイメー ジはそれぞれ１０ビツトのＡＤコンバータ６４−１．６４−２によりそれぞれデ ジタル化され、それぞれ対応するスタチックＲＡＭルックアップテーブル（ｌｕ ｔ）６６−１．６６−２により８ビツトデータに変換され、ビデオ入力信号に於 けるどのような非線形性に対しても問題がないようにし、照明光のバランスの狂 い、カメラのゲインの差、反射器の効率のばらつきなどを補償するようにしてい る。

任意の時点に於て、回路は２つのモードの何れかに於て作動する。第１のモード は連続的にデジタル化を行い、２チヤンネルのビデオイメージを記憶することか らなり、第２のモードは、２つのチャンネルのそれぞれについて、そのフレーム により定義された多角形を加算することからなる。

デジタル化モードは、以下の要領を以て行われる。同期ストリッパ８０、及びク ロフク、タイミング及び制御回路８２により定められるフレームの開始点に於て 、ＶＲＡＭ（ビデオラム）７８のアドレスが、フレームの開始点にリセットされ る。ＶＲＡＭ７８は、１０２４Ｘ５２０Ｘ１６ビツトからなる。各ビクセル及び 各走査ラインについて、制御回路８２は、以下のことを以下の順序で実行する。

ＡＤコンバータ６４−１．６４−２は所定のクロックのタイミングを以てその値 をルックアップテーブル６６−１．６６−２に送り出し、これらのテーブルはデ ジタル値を８ビツトに変換する。８ビットラッチ６８−１．６８−２がルックア ップテーブル６６−１．６６−２の出力をホールドする。１６ビツトバソフア７ ６が、両ラッチの出力をＶＲＡＭ７８のシリアルポートに接続する。

制御回路８２は、ＶＲＡＭ７８に対してアドレス及びライトストローブを提供し 、バッファ７６からのビクセルがこのＶＲＡＭ７８に記憶される。制御回路８２ はＶＲＡＭ７８のアドレスをインクリメントする。そのとき、　（すべてのメモ リに対してリードライトアクセスし得るように、ホストコンピュータインターフ ェイスを介してＶＲＡＭ７８に接続された）ホストコンピュータが、ＶＲＡＭラ ンダムアクセスポート（図示せず）を介してＶＲＡＭ７８に於けるピクセルを読 むことができる。

図８に示された回路の多角形加算モードは次のようにして行われる。同期ストリ ッパ８０及び制御回路８２により定められるフレームの開始点に於て、ＶＲＡＭ ７８のアドレスかフレームの開始点にリセットされる。各ビクセル及び各走査ラ インごとに、制御回路８２は以下の順序で次のことを引き起こす。各ＡＤコンバ ータ６４−１．６４−２はクロック信号に同期してその値を出力する。各ルック アップテーブル６６−１．６６−２は受け取ったデジタル化された値を８ビツト に変換する。各ラッチは対応するルックアップテーブルの出力をホールドする。

制御回路８２は、ＶＲＡＭ７８に対してアドレス及びリードストローブを提供し 、多角形数がＶＲＡＭ７８のシリアルポートから読み出される。

各ＳＲＡＭ　（スタチックＲＡＭ）７４−１．７４−２はそれぞれ３２ｋ１６ビ ソトワートからなる２つのバンクを記憶する。各ＳＲＡＭは、そのアドレスとし て読み出された多角形数を用いる。このアドレスに於けるＳＲＡＭ７４−１．７ ４−２のワードは、それぞれ１６ビツトラツチからなるラッチ７２−１．７２− ２に向けて読み出される。

各１６ビノト加算器７０−１．７０−２はラッチ６８−１．６８−２に於ける変 換されたピクセルは及びラッチ７２−１．７２−２に於ける部分和を計算する。

各加算器７０−１．７０−２からの和は、それが読み出されたのと同じアドレス に於けるＳＲＡＭ７４−１．７４−２にそれぞれ書き込まれる。制御回路８２は ＶＲＡＭのアドレスをインクリメントする。

各フレームの終りに於て、以下のことが次のような順序で行われる。ＳＲＡＭ７ ４−１．７４−２のバンクは制御回路８２により切替えられる。図示されないホ ストコンピュータは、各ＳＲＡＭの、先にアップディトされたバンクの内容を読 み出す。ホストコンピュータは、各ＳＲＡＭの、先にアップディトされたバンク の内容をＯにする。ＶＲＡＭ７８は、フレーム内の各ピクセルについての多角形 インデックスを含むようにあらかじめセットアツプされている。

このように、四角形（またはＶｏｒｏｎｏｉタイリング（ｔｅｓｓｅｌａｔｉｏ ｎ））は、図６及び７に示されるように、セルを定義するために容易にサポート することができる。

図８に示された回路の作動要領は次の通りである。まず、両ルックアップテーブ ル６６−１．６Ｇ−２が、１０を８ビツトに対応させる直線的なマツプを備えた 状態で、上記したデジタル化モードを以て作動する。カラー較正ターゲットか、 カメラの視野内にあり且つ視聴者について用いられるべき光により照明されるよ うに配置される。ビデオフレームか、ホストコンピュータによりデジタル化され 、読み出される。ホストコンピュータは、色応答に於けるどのようなインバラン スをも補償するために必要なルックアップテーブル６６−１．６６−２に対する 調整内容を決定する。

システムは再びデジタル化モードで作動するが、この場合には、修正されたテー ブルがルックアップテーブル６６−１．６６−２にロードされる。この際に、ビ デオフレームは、室内に配置された較正反射器により捕捉される。即ち、この較 正反射器とは、各カメラをセットアツプし、その狙いを定める際に、そのイメー ジを形成するために用いられる名目上の反射器である。ホストコンピュータは、 較正反射器のイメージを読み出し、これらの反射器により形成される色付きのド ツトに於けるイメージの位置を判定する。次にこれらの位置は、室内に配置され た対応する反射器の測定された物理的位置と照合される。これらを組み合わせる ことにより、カメラについての変換マトリックスを計算するために十分な情報を 得ることができる。このマトリックスにより、コンピュータは、カメラの視野の どの部分に、各視聴者からのドツトが見いだされるかを予測することができる。

これらのドツトの予想される位置のまわりにサンプリングセルが設けられる。各 サンプリングセルには数字が付されている。これらのセルの数字はＶＲＡＭ７８ に記憶され、ＶＲＡＭ７８に於けるピクセルは特定のセル番号に対応づけられる 。例えば、図６或いは７にこのようなセルが示されている。デジタル化されたピ クセルデータがビデオカメラからラッチ６８−１．６８−２に到達すると、対応 する情報がＶＲＡＭ７８から抽出され、特定のビクセルに割り当てられたセルの 番号が示される。このように、各セルについて固有の識別子が設けられ、各ピク セルを特定のセルと対応づけることが可能となる。

このような較正過程の終了後、上記した加算モードにより、このシステムを実際 の視聴者の参加の下に作動させる。

人力された各ピクセルごとに、対応するセルを特定する１５個のデータビットが クロックに同期して出力され、ＶＲＡＭ７８からＳＲＡＭ７４−１．７４−２に 対するアドレスとして用いられる。この例に於ては、１５ビツトによれば、３２ ．７６８人（セル）もの多数の視聴者に対応し得ることから、１５ビツトが選ば れている。ＳＲＡＭ７４−１．７４−２はそれぞれアクセスされ、ＳＲＡＭから のデータはそれぞれ対応するラッチに送られる。このように、最大３２．７６８ 個ものセルのそれぞれについてＳＲＡＭ７４−１．７４−２のリード、変更及び ライトサイクルが実行される。各ＳＲＡＭ７４−１．７４−２には２つのバンク が設けられ、各フレームはこれら２つのバンク間でスワップされる。同期ストリ ッパ８０及び制御回路８２により識別される各ビデオフレームの終端部に於て、 アクセスしたばかりの各ＳＲＡＭ７４−１．７４−２のバンクは、ホストコンピ ュータに対して他のスタチックＲＡＭバンクにスイッチするように通知する。こ のようにして、多角形セルの和が読み出され、特定のスタチックＲＡＭバンクが クリア即ちＯに書き換えられる。ＳＲＡＭ７４−１．７４−２からのデータは、 各チャンネルについて１６ビツトピクセル値として、図示されないホストインタ ーフェイスを介してコンピュータに読み出される。このようにして、各多角形に ついて２つの数字が与えられ、その一方は赤の値を示し、その他方は緑の値を示 す。合計されるべき多角形セルの数が３２．７６８よりも少ない場合には、ＳＲ ＡＭ７４−１．７４−２には未使用の領域が発生する。ホストコンピュータは、 加算されるべきアクティブなセルに対応するＳＲＡＭ７４−１．７４−２の位置 のみを読みだし且つクリアする。

視聴者の数が少なく、その割にセルの数が大きいような場合には、セルが十分多 数のビクセルを含むことができ、そのセルに於けるピクセル値の和が１６ビツト ではオーバーフローしてしまう可能性かある。この場合には、較正の際に、セル を、それぞれ２５６ピクセル以下であるような１つまたは複数のサブセルに分割 する。ホストコンピュータは、加算過程に対して、ＳＲＡＭ７４−１．７４−２ からデータを読みだした後にセルの部分和を加算する。

図９ａは、カメラ２４とコンピュータ１４との間に接続された多角形加算回路６ ０を示しており、コンピュータ１４はディスプレイカード２６を介してプロジェ クタ３０を駆動する。

ホールまたは部屋が図９ｂに示されるようにいくつかの部分に分割されている場 合、ホール全体をカバーするために複数のカメラ２４（追加のカメラは図示せず ）を用いることができ、このような複数の部分への分割は、ホストコンピュータ １４により行われ、ホストコンピュータは、対応する加算回路６０及び対応する 中間的な小さなコンピュータを備えた様々なビデオカメラ２４からのデータを組 み合わせる。小さなコンピュータ１４はすべてローカルエリアネットワークに接 続されている。この場合、複数の多角形加算回路６０が設けられ、各カメラに１ つの回路が対応している。ホストコンピュータはどのカメラが各シートを最もよ く監視し得るかを判定し、各シートに対して１つのカメラを割当て、視聴者をカ メラ間にてオーバーランプがないように分配する。各点部ちセルについての分配 過程は、カメラのイメージの中心に最も近い点にセルの投影点を有するようなカ メラを選択する。この分配過程に於て最適なＳＮ比を達成するために、各カメラ に割り当てられた部分に於ける最も明るいセルと最も暗いセルとの間のイメージ 内の明るさの違いが可及的に小さいことが望まれる。従って、カメラによりイメ ージングされた領域は、カメラからの距離が概ね一様であるのが好ましい。

ＳＲＡＭ７４−４．７４−２が十分高速であれば、制御要素８２は、フレームの 開始点に於て、対応するバンクをＯに戻すように変更し、ホストコンピュータの 仕事を軽減することか可能である。加算セルに割り当てられなかったバックグラ ウンドピクセルが存在する可能性が生じる。これらのビクセルに対応するＶＲＡ Ｍ７８の位置には、０など所定のセル番号を含み、これらの和は、ホストコンピ ュータによりＳＲＡＭ７４−１．７４−２からクリアされたり、読みだされるこ とがない。

このようにして得られた（しかしながら処理された）反射器の状態に関する情報 の１つの用途は、視聴者により見ることのできるように、各シートに対応する反 射器の状態をカラーで表示した状態で、シートのチャートのイメージをビデオプ ロジェクタ３０を用いてスクリーン３４に投影することである。このようにして 視聴者は、個々の反射器を操作すると同時にイメージを観察することにより、イ メージ中の個々の視聴者を認識することができる。

もう１つの用途は、視聴者に対して事実或いは意見に関する質問を行い、彼らの 応答を測定することにより視聴者に対するアンケート調査を行うことである。さ らに別の用途としては、視聴者を複数のグループに分け、各グループが一方のプ レーヤを演じたり、投票を行うことにより一方の役を果たすようにして複数のプ レーヤによるゲームに対する入力としてそのような状態を用いることがある。さ らに別の用途としては、視聴者を複数のグループに分け、各グループがピッチ、 音量と言った１つまたは複数の楽器のパラメータを制御することにより、音楽シ ンセサイザに対する入力として利用することが考えられる。

他の実施例は、後記するように、色ばかりではなくビデオカメライメージ内の視 聴者のドツトの状態を判定する種々の方法を利用する。

このような実施例の１つに於ては、視聴者のドツトの位置が、中立位置に対して 分析され、１人または複数の視聴者が個々に或いはグループとして２次元的入力 モードを制御し得るようにしている。これは、コンピュータシステムに於けるカ ーソルを制御するためのマウスやタブレット装置と同様の働きを行うものである 。各視聴者の入力位置は、視聴者の位置を示すドツトの現在のＸＹ座標から、中 立状態に於けるドツトのＸＹ座標を引くことにより決定することができる。カメ ラからの距離にかなりの幅がある場合には、距離を補正するために、斜視図的修 正ファクタが必要となる場合がある。場合によってはこのように修正された視聴 者の何人かまたはすべてのＸＹ人力値か加算されることにより、そのグループの 反射器の平均変位を表すようなグループとしての視聴者のＸＹ座標を与えること ができる。

各視聴者の中立位置は、各視聴者に対して反射器を楽な位置に保持するように依 頼し、コンピュータイメージングシステムが個々のドツトの位置を判定したり、 或いは反射器が他の目的で用いられている間に於ける運動の範囲を観察し、各視 聴者についての運動範囲の中心をめることにより各視聴者の中立位置を決定する ことができる。

今述べたグループカーソル制御によれば、視聴者は、コンピュータシステムのマ ウスを取り扱うのと同様の要領を以てディスプレイスクリーンに対して応答する ことが可能となる。視聴者は、スクリーン上の物体を指し示し、彼らの反射器の 色を、例えば木片を反転させることにより変化させることにより、カーソルの下 のボタンやアイコンを選択することができる。このような２次元的な人力モード によれば、例えば、飛行機を操縦したり、目標を表示したり、或いは迷路中を移 動するなどスクリーン上に於て方向を指し示すことが可能となる。

個々の視聴者のシートに割り当てられたスクリーンビクセルの数が、通常１００ 以下の小さい数であることから、各ドツトの位置をサブピクセルの精度を以て計 算することが有用である。例えば１つの方法は次のようにして行われる。左右上 下方向４つの隣接するピクセルに比較して明るいピクセルを選択する。水平及び 垂直各方向に３つの輝度の値例えば左側、中央及び右側の点を通過する放物線を 適合させる。次に、水平及び垂直方向の放物線のピーク値のサブビクセルレベル での座標を見いだす。その公式は次のようにして与えられる。

隣接するピクセルＰＯ，ＰＬ及びＰ２が、Ｐｌが両ピクセルＰＯ及びＰ２を加え たよりも明るいものとする。ピクセルＰ１は、ピクセルＰＯまたはＰ２と等しい 輝度を有し得るが、これら両ピクセルの両者と等しい輝度を有さないものとする 。サブピクセル座標は、次のような符号を有する分数をピクセルＰ１の座標に加 算することにより見いだすことかできる。

１つのフレームから次のフレームにがけての視聴者の反射器のイメージのピクセ ル位置が与えられれば、ドツトの先に占めた位置のＸＹ座標からドツトの現在の 位置のＸＹ座標を引くことにより反射器の速度及び方向を決定することかできる 。第２の方法は、各視聴者の近傍に於ける最も明るいピクセルを各視聴者につい て同時に見いだし、そのメンバーの近傍に於けるピクセルを加算することである 。

近傍は上記したように定義される。最も明るいピクセルの明るさくｂｒｉｇｈｔ ）が、その和（ｓｕｍ）に比較して比較的高い場合には、反射器の位置が不動で あることが推察される。しかしながら、最も明るいピクセルがその近傍のピクセ ルの和よりもかなり暗い場合には、反射器のイメージは運動によりかすれたと判 断することができる。この方法に於ける速度■をめる公式は により与えられる。この方法は方向を示すことができない。

またカーソルモードについて上記したように、カメラからの距離に応じて速度の 大きさを補正しなければならない。

速度は視聴者がその反射器を振る努力の尺度を与える上で有用である。視聴者の グループ全体としての速度は、例えば人や乗り物などの運動する像のスクリーン 上に於ける速度を制御するために用い、視聴者の成るグループを視聴者の他のグ ループと競争させることができる。

他の実施例に於ては、視聴者の反射器または光源の状態が時間とともに所定のパ ターンを以て変化し、信号によって情報を伝達することができる。例えば、ある 視聴者がテキストの情報を伝達するためにモールスコードやＡＳＣＩＩコードを 送信することができる。このような通信手段のために、コンピュータンステム及 びカメラは各視聴者の反射器または光源の状態を、例えば毎秒３ｏフレームと言 ったビデオフレームの速度などのかなり高い速度を以て監視する。各反射器また は光源の状態は、あたかも多数の同時にサンプルされたシリアル通信ラインのよ うに個々に取り扱われる。サンプルの流れから情報を抽出するために種々のコー チのアルゴリズムは任意のものを用いることができる。例えば、コンピュータン リアル通信チップであるＵＡＲＴに於て用いられているアルゴリズムを用いるこ とができる。この方法によれば、ゲームに於けるプレーヤを識別可能にするよう な固有の識別番号などを送信し得るスマート光源を各視聴者が用いるのを可能に する。識別番号は、ゲームが終了した時に勝者を識別するために用いることがで きる。

本発明によればさまざな変更が可能である。上記した第１の実施例は、要するに ３状態データを通信するためのものである。即ち、赤色の反射、緑色の反射及び 反応無しからなる３つの情報である。それ以外にも、反射の有る無しからなる２ つの状態のみを用いたり、多数の状態（追加の色）をとるようにすることもでき る。また色ばかりでなく、異なる偏光状態に応じて反射器の状態を識別すること もできる。反射器が１つまたは複数の色の蛍光を発し、可視光から識別する必要 をなくすこともできる。下回視光に変えて、赤外線その他の波長の光を、所要の 変更を反射器に加えた上で用いることもできる。また、反射器に代えて、各視聴 者に対して懐中電灯のような自ら光を発し得る様な光源を持たせることもできる 。

或いは、図２ａのカメラ２４及び光源に代えて、ビデオカメラに代わる１つまた は複数の可動（振動）ミラーを用いて走査を行うこともできる。この場合、シス テムは、レーザ９０と、ミラー或いは光ビーム変向装置９２と、光ディテクタ９ ４とを有する。更に、この実施例は従来形式のビームスプリッタ−９６及びビー ムストップ９８を備えている。

この開示内容は著作権の対象となるものを含むものであって、特許庁のファイル 内の材料を複製することは許可されるが、それ以外の著作権はすべて留保される ものとする。

上記した説明は単なる例示であって同等本発明を限定するものではない。当業者 であれば本開示内容及び添付のクレームに基づき様々な変更を容易に加えること ができる。

ＦＩＧ、２ｃ ＦＩＧ、　３ ＦＩＧ、４ ＦＩＧ、　５ ＦＩＧ、　６ ＦＩＧ、　８ ＦＩＧ、９ａ ＦＩＧ、　９ｂ フロントページの続き （５１）　Ｉｎｔ、　Ｃ１，６識別記号　庁内整理番号７６３１−５Ｌ （８１）指定国　ＥＰ（ＡＴ、ＢＥ、ＣＨ，ＤＥ。

ＤＫ、ＥＳ、ＦＲ，ＧＢ、ＧＲ，ＩＥ、ＩＴ、ＬＵ、ＭＣ，ＮＬ、ＰＴ、ＳＥ） 、　ＡＵ、　ＢＲ，ＣＡ、ＪＰ、　ＫＲ，ＮＺ、ＰＴ、ＲＵ Ｉ ＧＯ６Ｆ　１５／６４　Ｌ

Claims (19)

【特許請求の範囲】
1. １．少なくとも１人の人からデータを収集するための方法であって、 少なくとも２つの状態を定義可能な放射線源を各人に備えさせる過程と、 検出器により前記放射線源のすべてを走査することにより、走査された各放射線 源の状態を決定する過程と、前記したようにして決定された状態を集計してデー タとする過程とを有することを特徴とする方法。
2. ２．前記した走査を行う過程がビデオカメラを使用することを含むことを特徴と する請求項１に記載の方法。
3. ３．前記した走査を行う過程が、可動ミラーにより光を収集する過程を有するこ とを特徴とする請求項１に記載の方法。
4. ４．前記放射線源が入射光を反射するための後方反射器からなることを特徴とす る請求項１に記載の方法。
5. ５．前記反射器を照明するために前記検出器に対して概ね同軸をなすように取着 された入射光源を傭える過程を有することを特徴とする請求項４に記載の方法。
6. ６．各後方反射器が、少なくとも２つの識別可能な色を有し、これら各色がそれ ぞれ放射線源の１つの状態を定義するものであることを特徴とする請求項４に記 載の方法。
7. ７．前記入射光が偏光されており、前記放射線源が、反射された光の偏光面の異 なる回転角度により放射線源の少なくとも２つの状態を定義する偏光反射器から なることを特徴とする請求項１に記載の方法。
8. ８．前記入射光が偏光されておらず、前記放射線源が、反射された光の偏光面の 異なる回転角度により放射線源の少なくとも２つの状態を定義する偏光反射器か らなることを特徴とする請求項１に記載の方法。
9. ９．前記放射線源が少なくとも１つの色の蛍光を発するものであることを特徴と する請求項１に記載の方法。
10. １０．前記放射線が赤外線からなることを特徴とする請求項１に記載の方法。
11. １１．前記状態が各放射線源の運動により定義されることを特徴とする請求項１ に記載の方法。
12. １２．前記状態が運動の速度により定義されることを特徴とする請求項１１に記 載の方法。
13. １３．前記放射線源が、それらから発信されるコード化された情報により互いに 識別されることを特徴とする請求項１に記載の方法。
14. １４．前記放射線源の所定の一部をそれぞれ走査する複数の検出器を提供する過 程と、 それぞれ前記放射線源の１つのみを含むような複数のセルに前記所定部分を分割 する過程と、 前記セルのすべてについて、各セルに於ける前記放射線源の強度値を合計する過 程とを有することを特徴とする請求項１に記載の方法。
15. １５．少なくとも１人の人からデータを収集するための方法であって、 異なる色の反射により特徴づけられる少なくとも２つの状態を定義し得る後方反 射器を各人に提供する過程と、ビデオカメラに対して、概ね同軸的に取着された 光源を提供する過程と、 前記各人により占められる位置をビデオカメラにより走査することにより、前記 後方反射器のそれぞれにより定義づけられる状態を判定する過程と、 走査された前記後方反射器の状態を集計してデータとする過程とを有することを 特徴とする方法。
16. １６．それぞれ少なくとも２つの状態を定義し得る照明源を各々備えた少なくと も１人の人からデータを収集するためのシステムであって、 走査された照明源のそれぞれの状態を判定するために前記した少なくとも１人の 人を走査するための検出器と、前記状態を集計してデータを得るための手段とを 有することを特徴とするシステム。
17. １７．前記照明源がそれぞれ少なくとも２つの識別可能な色を反射する後方反射 器を備え、前記色がそれぞれ少なくとも１つの状態を定義し、前記検出器がビデ オカメラを有するとともに、さらに 前記ビデオカメラに対して概ね同軸的に取着された光源と、 それぞれ１つの照明源のみを含む複数の、ビデオカメラにより走査されるセルを 定義するための手段と、前記セルのすべてについて各セルに於ける照明源の強度 値を加算するための手段とを有することを特徴とする請求項１６に記載のシステ ム。
18. １８．前記加算手段が、 前記照明源の前記状態の１つに関連するビデオ信号をそれぞれ受けるようにされ た２つのビデオチャンネルと、前記各チャンネルから受けたビデオ信号をデジタ ル化するためのＡＤコンバータと、 前記各チャンネルについてデジタル化されたビデオ信号を修正するためのルック アップテーブルと、前記各チャンネルについて前記修正デジタル化ビデオ信号を 記憶するためのラッチと、 前記各チャンネルについて前記ラッチ信号を記憶するための第１のメモリと、前 記ラッチされた信号に対応するピクセルアドレスを記憶するための第２のメモリ とを有することを特徴とする請求項１７に記載のシステム。
19. １９．前記検出器が、 走査された前記照明源のそれぞれの運動を検出するための手段と、 操作された前記照明源のビデオイメージ上の隣接するピクセルよりも明るいピク セルをサブピクセルの精度を以て見いだすために、走査された前記照明源の位置 を決定するための手段とを有することを特徴とする請求項１７に記載のシステム 。