JP3821168B2 - 線対象場面発生装置 - Google Patents

線対象場面発生装置 Download PDF

Info

Publication number
JP3821168B2
JP3821168B2 JP50347996A JP50347996A JP3821168B2 JP 3821168 B2 JP3821168 B2 JP 3821168B2 JP 50347996 A JP50347996 A JP 50347996A JP 50347996 A JP50347996 A JP 50347996A JP 3821168 B2 JP3821168 B2 JP 3821168B2
Authority
JP
Japan
Prior art keywords
frame
image
camera
time
timer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP50347996A
Other languages
English (en)
Other versions
JPH11505676A (ja
Inventor
デイーンゲリス,ダグラス・ジエイ
シホラス,マイク
サイゲル,カーク
Original Assignee
リンクス・システム・デベロパーズ・インコーポレーテツド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リンクス・システム・デベロパーズ・インコーポレーテツド filed Critical リンクス・システム・デベロパーズ・インコーポレーテツド
Publication of JPH11505676A publication Critical patent/JPH11505676A/ja
Application granted granted Critical
Publication of JP3821168B2 publication Critical patent/JP3821168B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605Decision makers and devices using detection means facilitating arbitration
    • GPHYSICS
    • G04HOROLOGY
    • G04FTIME-INTERVAL MEASURING
    • G04F13/00Apparatus for measuring unknown time intervals by means not provided for in groups G04F5/00 - G04F10/00
    • G04F13/02Apparatus for measuring unknown time intervals by means not provided for in groups G04F5/00 - G04F10/00 using optical means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/22Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people in connection with sports or games
    • G07C1/24Race time-recorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Eye Examination Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Paper (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

発明の分野
この発明は、一般に、運動事象を監視記録するシステムに向けられる。さらに詳細には、発明は、科学及び技術の多数の分野において応用を有する、時系列の結像と表示の精密な管理及び制御に関する。最も詳細には、発明は、計時されたスポーツ事象を測定する際に広範囲にわたる有用性を有する全体レース管理システムを提供する。
発明また、順次走査された線対象を編集することにより、場面を発生するためのシステムと方法に関する。それ自体、発明はまた、そのような場面を管理可能なデータファイルに圧縮し、場面情報を効率よく色合わせするための装置に関する。
発明の背景
経時で運動事象を追跡記録する先行技術システムは、圧倒的に、競争事象の支持の方へ向けられる。レースの決勝線を監視する標準写真技術が、公知である。典型的に、高分解能結像を装備したカメラは、決勝線を見て、インタプリーターによる後の使用のために、高率においてピクチャーを順次に捕える。しかし、このプロセスは、扱いにくく、浪費的であり、時間がかかり、例えば、写真フィルム及び印画紙のための装置、処理薬品と画像引伸ばし機又は投射光学系を必要とする。結果として、大部分のレースは、人の判断により、極めて密接なレースにおいて「写真判定」技術に立ち戻る。Specialty Instrument Corporationは、商標AccutrackTMの下で多数の電子写真判定システムを提供する。米国特許No.3、829、869は、そのようなAccutrackTMシステムを例示する、
「写真判定」技術に関する問題のために、競争事象を監視するための多数の他のシステムが、開発された。しかし、スポーツ事象を計時するためのこれらの他の方法とシステムは、新しい困難を提示する。標準テレビジョン又はビデオフォーマットにおいてレースを記録表示するビデオシステムが、人気であるが、これらのシステムの特別の実現に拘わらず、電子像の部分は、アナログ媒体、例えば、ビデオテープ、において残留する。システムからのアナログデータは、経時での連続情報から成るために、唯一の時限に正確に割り当てることは、比較的困難である。関連システムが、スプール化フォーマットにおいて長い物理長を一般に有する記憶媒体、例えば、ビデオカセットを探索しなければならないために、記録シーケンスにおいて特定の瞬間にアクセスすることは、ずっと困難である。これは、唯一のユーザーしか、任意の一時点において記憶及び記録された情報にアクセスすることができないために、現レースを記録観察し、レース(又は前レース)の前セグメントを同時に再検討することを望むユーザーにとって制限と困難を提示する。
アナログデータにおける一層の困難は、表示される前に、ビデオ、テレビジョン又はコンピュータに対して使用可能な信号に変換しなければならないことである。例えば、完全な探索の後、選択ビデオテープセグメントは、一般に、コンピュータと、多分、補足的な複合図形ジェネレータによって処理される前に、アクティブメモリに送信される。概して、アナログフォーマットと関連処理は、レースを再検討するために必要な時間をふやし、このため、意思決定プロセスを長くする。
レースシステムが直面する別の問題は、何時間も又は各競技参加者が終わるまで続くマラソン又は自転車レースのような拡張時間事象の管理において発生する。走者又はサイクリストは群れをなして決勝線と交差する。長期間にわたって、決勝線には人がいない。決勝線における関連情報は、このようにして、散発的であり、多量の「むだ」時間を含む。アナログシステムにおいて、このむだ時間は、他の理由のために一般に無益であるとしても、システムが事象との時間同期性を保有するように記録及び記憶されるが、レースを処理し検討することのために必要な時間をふやす。
幾つかのレースシステムは、記録情報をディジタル等価物に変換することによってレース中取られたデータの管理とアクセシビリティーを改良することを試みる。しかし、これらのシステムはまた、画面にレースを表示する前に、アナログフォーマットに戻る。例として、米国特許No.4、797、751は、共通なブラウン管(CRT)において表示するために、ディジタル及びアナログ区分を有するビデオ記録システムを示す。米国特許No.5、136、283は、同様に、標準テレビジョンフォーマットにおいてレースを表示する別の部分ディジタルシステムを記載する。これらのアナログ/ディジタルシステムは、なお、すべてのアナログシステムにおいて固有の多くの問題を有する。
従って、発明の目的は、平面に交差するボデーの時系列場面を記録表示するためのシステムを提供することである。特に、システムは、外部事象のスタートに関して、決勝線に交差するボデー又は競技参加者を参照する計時されたスポーツ事象の管理記録において改良を提供する。
発明のさらに別の目的は、レースにおいて決勝線に交差する人の如く、空間における平面を通ったボデーを表現する計時情報の操作における改良を提供することである。
さらに別の目的は、一連の離散時間画像を具備する場面の改良されたアクセス、制御及び記憶を提供することである。
最も詳細には、発明の目的は、ディジタルフォーマットにおいてレースを記録表示するレース監視記録システムを提供することである。
発明のさらに別の目的は、効率的な色合わせを有するコンピュータシステムにおいてカラー場面を記憶表示することである。
これらと他の目的は、下記の説明において明らかになるであろう。
発明の要約
発明は、一つの見地において、空間における平面を横切って移動するボデーの時系列の場面を記録表示するためのシステムを特徴とする。システムは、対象平面における線対象を観察結像する少なくとも一つのディジタルカメラを含む。カメラは、検出器要素のアレイ上に結像することによって時系列的に線対象を捕え、線対象のディジタル画像又はフレームへ標本信号を変換する。各ディジタル画像フレームは、瞬時における一枚の移動場面を特異的に表現する。システムはまた、画像タイマを含み、タイマプロセッサーを有するが、カメラからの予選択ディジタル値に応答し、フレーム情報内の予選択数のバイトを用いて、ディジタル時間基準を各フレームにマークする。画像タイマはまた、内部バッファにおいてカメラからのディジタルフレームを記憶する。システムは、さらに、内部メモリ、使用者コンソールとグラフィックス表示モニタを有する主制御コンピュータを含む。コンピュータは、関連したソフトウェアポインターを介して、内部メモリに情報ブロックとして画像タイマバッファからのフレームを記憶し、モニタにおいて時系列場面として記憶フレームの部分を選択的に表示する。ユーザーは、コンピュータ制御卓において、発明によって提供された多様な機能を命令することができ、捕捉した場面を操作分析し、最も詳細には、平面を横切って移動するボデーの場面の任意の部分を表示し、任意のフレーム内の関連時間にアクセスすることができる。
このようにして要約されたシステムは、関連ビデオレース管理システムよりも50倍高速(正確)な率において、決勝線に交差する対象又は競技参加者の公式時間を記録管理する際に特に有益である。ユーザーは、対象平面、即ち、決勝線、に交差するボデーを高精度で記録表示し、同時に、記憶画像を実時間で再検討及び編集する能力を維持する。従って、各フレームに関連した時間基準が、スタートセンサでトリガーされ、外部事象、例えば、ガンスタート信号の開始と相関される。発明は、このようにして、別の見地において、一つの事象の開始に同期化され、各フレームに対してそれぞれの瞬時を記すための正確な基準をタイマプロセッサーに設けるタイマクロックを提供する。
他の見地において、ディジタルカメラは、検出器要素のアレイを形成する線走査電荷結合素子を含む。カメラはまた、好ましくは主制御コンピュータにおいて選択可能な予選択利得レベルに従い、ディジタル出力信号を、好ましくは捕捉フレームにおけるディジタル値に対応する利得レベルに調整するグレースケール利得コントローラを含む。利得コントローラは、発明の動作中カメラによって捕えられた各フレームに適用されるグレースケール利得を調整することによって、実時間式に機能する。カメラは、遠隔位置から完全にコンピュータ制御される。このコンピュータ制御は、同軸ケーブルに沿って信号を伝達することによって達成され、合焦、ズーム、パンとすべての他のカメラ機能を遠隔制御する。
さらに他の見地において、カメラによって捕えられ又は画面上に表示された場面の分解能は、ユーザーによって選択可能である。カメラに関して、時間領域、即ち、運動方向における分解能は、カメラがディジタル画像フレームを捕えるフレーム率を選択することによって調整可能である。空間領域における、即ち、線対象の長さに沿った分解能は、アレイにおける特別の検出器要素のみを活動化するカメラ濃度制御を変化させることによって調整可能である。
モニタにおいて表示された分解能に関して、ユーザーは、別の見地において、画面上で特別の場面をズームイン又はアウトすることができる。例えば、場面をズームアウトすることによって、全レースは、直ちに観察される。そして、ズームインすることによって、場面の特別の領域は、画面上で拡大され、例えば、特定走者の番号識別子を解釈するために適切である。ズーム能力は、いずれかのスクリーン次元において、即ち、時間及び空間方向において、同時に又は独立に、主制御コンピュータにおいてユーザーに利用可能である。
このようにして記載されたシステムのユーザーは、主制御コンピュータにおいて多様な制御を有する。表示場面の任意のフレームは、発明の他の見地に従い、フレームを「切り取る」ことにより、一時的又は永久に取り除かれる。切り取られたフレームのリストは、リスティングメモリへ置かれる。時間切り取り制御は、場面のつまらない部分 − 例えば、平面に交差する活動又はボデーを含まない時間期間、を切り出す又は切り取ることをユーザーに許容する一方、連続場面を集合的に表示する残存フレームに対して絶対時間基準を保存する。時間切り取り制御は、さらに、リスティングメモリからそれらを削除し、又は永久にそれらを消去することにより、切り取られたフレームを復元することができる。
別の見地において、ユーザーはまた、空間における平面を通るボデーの運動が他の方向において生ずるかのように表示場面が現れる如く、表示場面の時系列順序を選択的に逆転することもできる。さらに、ユーザーは、選択されたならば、対象識別子と、選択点を表現する唯一の時間同定を提供するために、ディスプレイにおいて特別のボデーを指摘することができる。
発明により構成されたシステムはまた、別の見地において、ハードディスクドライブのように仮想メモリサブシステムを提供する。主制御コンピュータは、仮想メモリサブシステムへ情報ブロックを記憶し、それ自体内部メモリにおける空間を解放し、前場面、例えば、前レース、に対する記憶媒体を提供する。仮想メモリサブシステムへの記憶は、選択コマンドによって開始され、もしくは内部メモリの所定の選択可能な部分が利用される時に、自動的に行われる。仮想メモリサブシステムにおける記憶配置は、別の見地において、主制御コンピュータが、仮想メモリサブシステムからの情報ブロックにアクセスし、選択的に検索し、データブロックが記憶された初期メモリロケーションからのオフセットを計算することにより、その内部メモリに記憶される如く規定される。このようにして、主制御コンピュータの内部メモリは、仮想メモリサブシステムのためのキャッシュとして機能することができ、これにより、2、3のアクティブなブロックのみを揮発性RAMにおいて記憶する。
仮想メモリサブシステムの記憶ケイパビリティを援助するために、発明は、従って、より小さいメモリ空間へ情報ブロックを圧縮する圧縮システムを提供する。圧縮システムは、或るデータの圧縮を開始し、圧縮情報の精度を調整することにおいて、選択的に制御される。
圧縮システムは、各ディジタル画像フレームが、nビット数の列を具備し、一連のディジタルフレームが、このようにしてnビット数の行のアレイを形成するということ事実を利用する。好ましい見地において、圧縮は、まず、ディジタル画像フレームのアレイをmビットグレースケール数の行のアレイに変換することにより行われる(ここで、整数mは、整数nよりも小さい)。それから、mビットディジタル画像フレームの行の変換アレイは、隣接する等しいmビット数をグループへ収集し、収集物を「カウント」と「グレースケール値」として表現することにより、行単位に再フォーマットされる。これらの行は、順次メモリストリングへ再び再フォーマットされ、これによりデータをより小さな量に圧縮する。好ましくは、「カウント」は、バイト又は3ビット数であり、そしてmビット「値」は、元の各nビット数の5ビット表現によって形成されるが、圧縮の精度は、数mを変化させることにより、ユーザーによって選択可能である。カウントが3ビット数であるならば、カウントと値は、1バイトを形成する。例えば、4ビット数は、データをさらに圧縮するために使用される。
さらに別の見地において、発明は、独立に一連のディジタル画像フレームを捕えるために、画像タイマ内に関連したバッファを有する複数のディジタルカメラを含む。このようにして、好ましくは、ほぼ同一の線対象を含むビューの多重場面が、生成され、独立にコンピュータにおいて表示される。少なくとも2つの場面が、実時間ディスプレイにおける2つの別個のカメラ又は前記録セグメントから単一のモニタにおいて同時に示される。別の見地において、一つ以上の付加コンピュータが、連結されたカメラの一つによって捕らえられたデータにアクセスし、別々に表示操作するために、仮想メモリサブシステムと通信して設置される。このようにして、第一ユーザーが現運動事象に集中する間、第二ユーザーは、前記録運動セグメントを分析する。
ディジタルカメラと画像タイマは、各々、信号線に沿った伝送の前に、選択的にデータを圧縮することができる関連処理CPUを有する。例えば、ディジタルカメラは、カメラから伝えられたディジタルデータに第1の圧縮を指令することにより、画像タイマとの間の信号線又はケーブル布線の帯域幅要求を縮小することができる。画像タイマは、同様の圧縮スキームを用いることにより、2つの間に伝送されたデータに第二の圧縮を指令することにより、主制御コンピュータとの間のケーブル布線又は信号線の帯域幅要求を縮小することができる。
好ましい見地において、単一のケーブル布線は、画像タイマとカメラの間で使用される。このケーブルは、好ましくは、単一の同軸ケーブルの形式であり、カメラにおいて多様な機能を命令する信号線、ディジタル情報を画像タイマに伝送するデータ転送線やカメラにパワーを供給する電力線として機能する。同様に、画像タイマと主制御コンピュータ又は付加コンピュータの間のケーブル布線は、同様なケイパビリティを有する。
さらに別の見地において、主制御コンピュータは、対象識別子と対象に対応する関連時間をアクセスするのをユーザーに許容し、例えば、レース管理システムにおいて使用される。例えば、レースの開始前に、カメラ視野内のレーンが、表示画像の部分に空間的に参照され、ユーザーがその部分を指摘する時に、レーン番号と関連した対象、例えば、レース競技参加者が、表示モニタにおいて利用可能になる。さらに、付加的な見地により、特別の対象の時間と名前が、ユーザーが命令したならば、表示モニタにおける結果ウィンドー内に自動的に入力される。
これらと他のアスペクトは、発明が好ましい実施態様に関連して例示された次の説明から明らかになるであろう。しかし、多様な追加、控除、及び修正が、発明の範囲に反することなく、技術における当業者によって行われることは明らかである。
【図面の簡単な説明】
発明のより完全な理解は、図面を参照して獲得される。
第1図は、平面に交差するボデーの時系列場面を記録表示するために、発明により構成されたシステムを概略的に示す。
図1Aは、第1図のシステムにおいて使用された好ましいカメラにおける適用信号処理を示す。
第2図は、発明により構成されたシステムが、離散標本された線対象から場面を順次に構成する方法を示す。
第3図は、情報ブロックを形成するディジタル画像フレームの収集を示し、この場合、各フレームは、関連時間基準でマークされる。
第3A図は、特別のフレームが一連のフレームから切り取られる発明の好ましい実施態様を示す。
第4図は、発明により構成されたシステムがレースを観察記録するレース管理システムとして作動する発明の好ましい使用を示す。
第5図は、発明により構成されたシステムによって発生された競争場面の典型的な表示を示す。
第6図は、仮想メモリサブシステムを有する発明により構成されたシステムを示す。
第7図は、発明によって提供されたディジタル画像フレームのシーケンスの圧縮において実例となる第1ステップに対応する一連のデータを示す。
第7A図は、第7図において示されたデータシーケンスの圧縮における実例となる第二ステップを示す。
第7B図は、第7A図において示されたデータシーケンスの圧縮における実例となる第三ステップを示す。
第8図は、発明により構成された第1の圧縮システムを概略的に示す。
第8A図は、発明により構成された第二の圧縮システムを概略的に示す。
第8B図は、白黒カメラの連続フレーム内で発明により生成された代表データピクセルを示す。
第8C図は、カラーカメラの連続フレーム内で発明により生成された代表データピクセルを示す。
第8D−8G図は、発明の一層の特徴による実例となる連続する圧縮動作を示す。
第9図は、仮想メモリサブシステム、多重カメラ、画像タイマ内の多重バッファを利用する、発明の好ましい実施態様を示す。
第9A図、第9B図と第9C図は、フレームにマークを付けるために、カメラにおいて同調可能なタイマを有する別の多重カメラシステムを示す。
第10図は、2つの別個のカメラによって生成された2つの場面シーケンスを図示するディスプレイ場面を示す。
第11図と第11A図は、システムの好ましい実施態様における適応カラーパレチゼーションを図示する。
発明の詳細な説明
第1図は、空間における平面に交差する一連のボデーを記録表示するために、発明により構成されたシステム10を示す。システムは、ディジタルカメラ12、画像タイマ14及び主制御コンピュータ16を含む。内部光学系15により、カメラ12は、好ましくは、線走査電荷結合素子(LS−CCD)である検出器要素20のアレイの上に線対象18を観察し結像する。カメラプロセッサー22は、検出器要素20において画像を時系列的に標本し、それぞれ、利得コントローラ24とA/Dコンバータ26において出力信号を増幅及びディジタル化する。各標本画像は、唯一の時点においてディジタル情報のフレームを表現する。
各ディジタル画像フレームは、信号線28、好ましくは、同軸ケーブルに沿って、画像タイマ14のバッファメモリ30に伝送される。タイマプロセッサー32は、フレームのディジタル情報内に時間基準を記憶することによって、好ましくはタイマクロック34によって生成された時間基準を有する画像タイマ14に入力される時、各フレームにマークを付ける。このようにして、バッファにおいて記憶された各ディジタル画像フレームは、線対象18の記憶ディジタル表現とそれに関連した唯一の時間を記憶する。好ましい実施態様において、各フレームの時間基準は、外部事象の開始に関して、カメラ12が画像を捕えた時間を指示する。
バッファ30は、「ブロック」と呼ばれる予選択メモリ割り当てに集積されるまで、カメラ12から生成されたフレームを記憶し、その後に、主制御コンピュータ16は、信号線38を経由してその内部メモリ36にブロックを転送する。
主制御コンピュータ16は、内部メモリ36内に記憶された情報ブロックを処理する中央処理装置40を有し、その結果、一連のディジタル画像フレームの場面及び時間内容が、表示モニター42において表示される。中央処理装置40はまた、システム10の自動動作と記憶管理を制御し、キーボード44とマウス45における入力に応答し、その結果、ユーザーは、実時間表示又は前記録セグメントを含むシステム10によって捕らえられた場面の表示を選択的に命令することができる。さらに詳細には、ユーザーは、場面の任意の部分と関連した唯一の時間にアクセスすることができる。
好ましい実施態様において、タイマ14と主制御コンピュータ16からディジタルカメラ12へのコマンドは、単一の同軸ケーブルである信号線28内で伝送される。同軸ケーブル28は、カメラ12が遠隔電源なしに作動することができる如く、カメラ12にエネルギーを供給するパワー制御線としてさらに作用する。
第1図の一層の参照と説明により、三次元配向チャート50は、発明の動作のよりよい理解を容易にするために提供される。システム10は、離散的な瞬時においてカメラ12によって見られた如く、線対象18の像を順次に捕えることにより作動する。線対象18は、典型的に、表示モニタ42において人によって観察された、「場面」の部分である。即ち、カメラ12によって捕えられた各線対象18は、カメラ12の視野(FOV)により、移動するボデーの大きなピクチャー又は「場面」の一部を順次に形成する。検出器アレイ20とその共役線対象18が、実際に一次元であるために、このFOVは、本質的に、チャート50の軸52と54によって表現可能な空間における平面である。線対象18は、チャート50の軸52に沿った長寸法と第1図のページに垂直な軸56に沿った短寸法(不図示)を有する。カメラ12は、カメラから対象18へ軸56に沿って指向された距離において、線対象28に焦点を合わせる。
このようにして、例えば、第2図は、チャート50の90°回転であるチャート50’の軸56に沿って運動する対象60を示す。カメラ(不図示)は、軸52と54の平面において実質的にFOVを有する対象60に焦点を合わせる。各フレームが捕えられる時、対象60の部分、即ち、線対象、はディジタル画像フレームとして一意的に空間表現される。第2図において、システムによって捕らえられた連続する線対象は、連続する矩形62として対象60において例証される。各線対象62に対して、ディジタルカメラ12は、相応して、アレイ20内の検出器要素の数に応じて、線対象の画像を標本することにより、フレームを生成する。即ち、各線対象62は、検出器アレイ20における標本により、ディジタル画像フレームへ長さに沿って(即ち、軸52に沿って)ディジタル的に区分化され、画像タイマ14に瞬時に伝送される。実時間の見地において、線対象64は、最も最近捕えられたフレームを表現し、そして線対象64の左側の対象60の残部は、なお、システムによって捕えられなければならない。コンピュータ16において表示された対象の場合又は複合画像は、カメラ12のFOVを通過する実対象と全く同様に見える。
前述の如く、第1図のシステム10によって捕らえられた各ディジタル画像フレームは、カメラからの特別の時間基準を記され、コンピュータ16における情報ブロックへ記憶される。カメラは、タイマがフレームの開始/終了として認識する特殊なディジタル値をタイマに送信する。タイマは、それから、受信フレームに関連時間基準を記す。
第3図は、これらの動作をさらに十分に示す。システム10によって捕らえられた各ディジタル画像フレーム70は、アレイ20の活性化要素によって検出された信号に対応するディジタルバイトのアレイを含む。フレームが画像タイマ14に入力される時、タイマプロセッサーは、最後の4バイト72においてそのフレームと関連した時間を記憶する。これにより、各フレームを唯一の時間と永久的に関連させる。第3図において、時間は、矢印74方向に増大する。このようにして、第3図の左側のフレームは、右側におけるものよりも、時間的に遅い。
第3図はまた、主制御コンピュータ16によって利用される情報ブロック76を形成するフレームの収集を示す。好ましい実施態様により、フレームは、16kバイト大の情報ブロックへ編成される。ブロック76を構成するフレームの数は、このため、以下に議論された発明の一層の特徴により可変な、各フレーム内の情報の量に従属する。
第3A図は、第3図の各フレームと関連した唯一の時間基準のために、使用可能にされる発明の特定の特徴を示す。特に、好ましい実施態様により、ユーザーは、第1図の表示モニタ42において、他のフレームにおいて利用可能な情報を壊すことなく、表示場面から選択フレーム73を選択し、切り取ることができる。切り取られた部分73は、第3A図に示された如く、ブロック76内、又はその部分(不図示)にある。切り取られたフレームのアドレスは、永久的に消去される(「セーブ」動作によって発生する)か、又は切り取られたシーケンス内に再挿入されるまでアドレスを保持するリスティングメモリ(メモリ関連リスティングテーブル)へ初期的に送られる。これは、貴重なメモリを単に浪費するつまらないセグメントを有す場面又はレースにおいて特に有益である。それはまた、モニタから見た場面の全体長が減少し、表示場面の深度アスペクトが改良されるために、表示場面の解釈において役立つ。例えば、第1走者が第2走者よりも数秒前方にいたならば、走者の間の記録シーケンスが切り取られ、そして画面上に表示は、走者の間にあまり大きな時間が存在しないかのように現われる。もちろん、走者の時間関係は、正確であり、ユーザーが走者と関連した時間にアクセスする時、両者の間の時間不連続性が、明らかになる。
前述の如く、発明により構成されたシステムに対する最も明白な使用は、レース管理の方へ向けられる。第4図は、レースの決勝線に交差するボデーの運動を捕えるために適切な構成におけるシステム10を図示する。システム10は、レースコース80に隣接して例示的に示され、ディジタルカメラ12が、決勝線を表現する平面を見るように配置される。画像タイマ14は、システム10内で選択可能なフレーム率においてカメラ12からディジタル画像フレームを受信し、その関連時間基準を各フレームに記す。主制御コンピュータ16は、情報ブロックとして画像タイマ14からフレームを検索記憶し、表示モニタ42において記録場面を表示する。コンピュータ16はまた、例示の実施態様において、キーボード44とコンピュータマウス45により、下記の発明の特徴を制御することをユーザーに許容する。
また、第4図において、外部事象のスタート、例えば、レースが始まったことを知らせるスタートガンに応答し、画像タイマ14にこの時間を知らせるスタートセンサ84が示される。第1図のタイマクロック34は、このスタート信号に較正され、そしてタイマプロセッサー32は、検出スタート時間に関する時間基準をタイマ14に入る各フレームに記す。
プリンター86は、選択場面と記録事象についての情報を印刷するために、システム10に設置される。
第5図は、を図示する場面はを生成し、4人の参加者を含むレースのシステム10によって生成された場面を示し、モニタ42(第1図と第4図)とプリンター86(第4図)において利用可能な典型的なディスプレイを例示する。第5図において、矢印90は、時間次元であり、増大する時間を指す。矢印92は、ディジタル画像フレーム内の空間情報に対応する空間次元に言及する。この画像は、コンピュータ16を操作するユーザーによって、モニタ42においてズームイン又はアウトされる(以下に詳細に記載される)。好ましい実施態様において、システム10のユーザーは、3つの別個のパラメータの任意を調整することにより、システム10によって生成された場面の分解能又は画像品質を選択することができる。まず、フレーム率、即ち、カメラが場面において各線対象を捕える率を調整することにより、軸90に沿って利用可能な分解能情報の量が変化する。第二に、カメラ密度を調整する、即ち、検出器アレイ20に沿って要素を選択的に活性又は非活性にすることによって、軸92に沿って利用可能な分解能情報が変化する。第三に、表示モニタにおいてズームイン又はアウトすることにより、表示分解能量が、軸90と92のいずれか又は両方において変化する。一般に、最良の表示詳細又は分解能は、ユーザーが高いフレーム率においてシステム10によって記録されたあらゆるフレームを表示する時に発生し、あらゆるピクセルは、検出器アレイ20において活性化される。
しかし、これらの3つのパラメータを調整する時、他の考慮が、為されなければならない。最初に、システムによって利用可能な高いフレーム率はすべての場合において好ましいことは、直観的にみえる。しかし、フレーム率が高すぎるならば、対象は、ズームアウトされないならば、モニタ42において「太った」ように見える。例えば、レースが約20mphにおいて走行する走者から成るならば、おおよそ500フレーム/秒が、ズーミングなしに、ディスプレイ42において競技参加者を正常に見せる。競技参加者が、代わりに、遅速であったならば、ずっと低速のフレーム率が好ましい(例えば、1/100だけ低速であるならば、5Hzのフレーム率が理想である)。フレーム率によって影響される別の因子は、カメラ内の検出器に利用可能なエネルギーである。フレーム率がまた高速すぎるならば、検出器が線対象から利用可能な光エネルギーを統合する十分な時間を有さないために、画像は薄暗く見える。これは、もちろん、検出器の感度とカメラによって利用されたスペクトルに依存する。好ましい実施態様において、第1図の検出器アレイ20は、可視光エネルギーに応答し、このため、薄やみ又は薄明時間において特別の画像を捕えるより多くの時間を必要とする。これに反して、アレイ20が、例えばHgCdTe材料で、赤外エネルギーに応答するように構成されたならば、フレーム率は、対象の温度と速度により調整される。
発明は、このようにして、対象の場面から光エネルギーの種々のレベルを能動的に補償するために、自動利得制御(AGC)機構を提供する。第1図のカメラプロセッサー22と利得コントローラ24は、カメラから画像タイマに実時間で伝送されたディジタル画像フレームを適用された利得をプログラマブルに調整する。カメラプロセッサー22は、主制御コンピュータからコマンドに応答し、A/Dコンバータ26から出力されたディジタル画像フレーム内のディジタル値を量子化し、カメラの感度を修正することにより、利得コントローラ24に結合して利得を上下させる。
例えば、一連の画像フレームにおける平均ディジタル値が、低すぎるならば、コンピュータにおける場面は薄暗く見える。利得を増大させるために主制御コンピュータにおけるユーザーによるコマンドは、表示画像コントラストを適切に改良する。ユーザーはまた、利得制御の帯域幅調整することによって、カメラのAGC制御がどのように高速に作動するかを選択することもできる。ユーザーは、アクティブな利得をセットする際に使用された平均ディジタル値を量子化するために、カメラ12が費やす時間の量を選択することにより、AGC帯域幅を有効に変更する。レースのように大部分の運動事象にとって一般に実際的でないが、利得は、理論上、AGC帯域幅を最大設定に増大させることによって、カメラによって生成されたあらゆるフレームに対して変化する。
発明のこの見地の好ましい実施態様において、カメラ12は、新規な信号コンディショニング回路24a、24(第1A図)を使用し、ラインセンサ20によって生成されたピクセルデータを改良する。示された如く、センサ出力20は、上記の如くカメラ操作者又はシステム操作者コマンドに基づいて多数の可能な利得レベルLiのひとつを一般に選択する利得コントローラ24により、及び/又は現点灯条件、場面光レベルなどに基づいたプログラム化マイクロプロセッサ制御により、又はプログラム制御と操作者選択の組合せにより、増幅される。利得制御24は、初期前置増幅器24iを使用して、各ピクセルのセンサ出力レベルをオフセット電圧と比較する。先行技術において、これは、一般に、センサ特性に基づいて工場において設定された一定のしきい電圧であった。しかし、本発明のこの見地により、プリセットしきい値よりも、前置増幅器24iは、CCDセンサアレイの雑音又は暗電流出力の可変関数であるオフセット電圧入力を(一般に24aで指定された)回路から受信する。オフセット電圧は、前置増幅器によってセンサのビデオ出力から控除される。ビデオ信号は、その後、前述の如く、幾つかの選択可能な利得回路の一つによって増幅され、そしてアナログ対ディジタルコンバータ26は、増幅ビデオ信号を8ビット値へ変換する。
第1A図に示された如く、CCDセンサ20は、検出ピクセルのラインを有し、そしてまた、一つの又は幾つかの「暗ピクセル」を有する。これらは、活性受光ピクセルと同様に作製された構造を集積し、増幅又はゲート制御する責任を有するアレイの領域であるが、それらは、光が達しない如くマスクされる。それらの出力は、このようにして、例えば、透過又は非可視の放射線、熱、ショット雑音などによる背景雑音レベルを表現し、こうして、各活性検出ピクセルの出力信号において現われる雑音成分を表現するために採用される。
CCDタイミングモジュール24jは、初期前置増幅器24iにセンサ責任データを送信するためのクロック信号を供給し、そしてまた、センサ20の暗ピクセルからの出力がデータストリームにおいて現れる時間中、判定回路24kにライン24lにおいて暗ピクセルフラグを設ける。判定回路24kは、8ビットディジタルピクセル値のストリームを受信し、所望の暗レベルと比較されるフラグの付いた暗ピクセルデータを保持する。判定モジュール24kは、それから、UP又はDOWN信号を電圧積算器24mに送信し、そのアナログ出力は、前置増幅器24iにオフセット電圧を提供する。電圧積算器は、UPとDOWN信号によって小増分において上下に調整される電圧値を記憶する。オフセット電圧が暗ピクセル値を所望のレベルに到達させる時、電圧積算器は、UP又はDOWN信号が判定モジュール24kから受信されないならば、オフセット電圧を一定に保持する。暗電流オフセットモジュール24aは、こうして、利得制御24に対して、A/Dコンバータ26の出力ピクセルデータストリームの雑音成分からの閉ループフィードバックとして役立ち、そして利得制御24の高利得ビデオ信号増幅の前に、雑音寄付をゼロにするために作業する。これは、ずっと大きい温度範囲で画像品質を高め、前置増幅器しきい値レベルが、ドリフト又は成分エージングにかかわらず有効であることを保証する。顕著なことに、判定モジュール24kは、デジタル化された増幅暗電流ピクセル値に作用し、このようにして、現作動条件に対して高精度な補正を提供する。
回路は、ビデオ捕獲中さえ、すべてのフレームに作用する。選択された利得が変更されるならば、必要なオフセット電圧もまた変化する。回路は、これに反応し、次の数フレームにわたってオフセット電圧を補正する。
第1A図において示された如く、ライン26aにおいて利得レベルLl..又はLnを有する増幅ビデオ信号のほかに、A/Dコンバータ26はまた、D/Aコンバータ24nからライン26bにおいて微制御調整信号を受信する。これは、増幅ビデオをディジタル化するために使用されたA/Dコンバータ26の範囲を設定する8ビット制御語から変換されたアナログ電圧である。D/Aコンバータ24nに提供された8ビット制御語の値が、ライン26bにおいて電圧を低下させて減少される時、A/Dコンバータはより小さい範囲を用いる。このようにして、ライン26bにおけるより小さな入力は、範囲のより大きく部分を表現し、そして画像値は、より大きくなる。このようにして、ライン26bにおいてD/A電圧を低下させると、見かけ利得を増大させる。
プロトタイプの実施態様において、粗い利得範囲は、3の因子により、.5、1.5、4.5と13.5の相対利得と関係付けられ、そして利得レベルの間の切り替えは、大きさの変化を避けるために、ライン26aにおいて制御語における対応する変化と調和される。一方の利得Liから別の利得Li+1に切り替える時に、ライン26bにおけるD/A信号の3の因子による対応する変化は、ほぼ同一の像を生ずる。例えば、1.5の粗利得と85(即ち、255/3)の微利得は、4.5の利粗野と255の微利得に対応する。このようにして、微利得の変化は、利得セレクターの動作と調和され、粗利得レベルL1、L2の間の遷移をなめらかにする。即ち、モジュールが、光レベル又は操作者コマンドが利得レベルにおいて飛越しを必要とすることを決定する時、微細制御語は、利得レベルの切り替えにより遷移がなめらかに現れる如く、減少(利得の上昇)又は増加(利得の降下)される。
前述の如く、分解能は、検出器アレイ20において検出器要素を選択的に活性化するカメラ濃度を変化させることにより、第5図の空間次元92において修正される。こうして、2又は4因子のカメラ濃度を減少させることによって、合成空間分解能は、同様に、それぞれ半分又は四分の一に減少される。より多くの検出器が、カメラ濃度を減少させることにより非活性にされる時、第5図の軸92に沿って記録された詳細の量は、減少する。これは、システム10によって記憶された情報量をかなり縮小するために、高細部が特別の場面のために必要でないならば望ましい特徴である。
さらに詳細には、カメラ濃度は、信号をカメラプロセッサー22に伝送する第1図のコンピュータ16においてユーザーによってプログラマブル式に調整可能である。プロセッサー22は、その後、アレイ20内の特別の検出器要素を活性化する指令されたカメラ濃度に対応する画像タイマ14に送信するための適切なデータを選択する。
表示分解能に関して、ユーザーは、ズーム操作によって表示画像品質を敏速に調整する。システムによって記憶された各フレームは唯一の時間基準を含むために、ズーミングのプロセスは、場面内の臨界時間関係を妥協することなし、場面においてフレームをスキップ又は複写することによって容易に達せられる。第1図と第4図のマウス45は、ユーザーが場面において特別の対象を指し、マウスをクリックすることによりズームイン又はアウトし、これにより、画像の詳細を見ることを可能にする。それは、前述の時間切り取り制御に関連して使用された時、特に役立ち、これにより、ユーザーは、記憶ファイル長を短縮するために、長いレース内の「むだ」時間の幾つかのシーケンスをズームアウト又は切り取ることができる。ズーム動作は、表示場面の両方向に沿って利用可能である。即ち、空間及び時間次元内のズームは、同時又は独立に行われる。多重ズームは、対象の選択点に従い、ディスプレイにおいて中心に据えられる。しかし、ズーム動作中利用可能な情報は、ディジタルカメラのフレーム率と密度設定により捕えられた情報の量に制約される。それは、新情報を生成しない。表示分解能が利用可能な捕捉された分解能を超えるならば、表示画像は、適切な補間スキームによってなめらかにされる。
システム10によって捕えられた情報の量は、それ自体、重要な数量である。第1図のLS−CCD検出器要素アレイ20は、好ましくは、市販されている1024要素長である。一旦、検出器アレイが標本され、デジタル化されたならば、活性化された各検出器要素は、特別のフレームと関連した8ビット又は「バイト」情報を有する。この構成において、各フレームは、最高カメラ濃度において1024バイトの情報を有する。好ましい実施態様において、情報ブロックは、16kバイトのメモリを含み、このため、LS−CCDアレイにおけるあらゆる検出器が活性化されたならば、16のフレームが、一つの情報ブロックを形成する。
しかし、ユーザーが、アレイ20に沿って一つおきのピクセルを活性化することによってカメラ濃度を減少させるならば、一フレーム内のデータ量は、半減され、即ち、512バイトに縮小され、そして情報ブロック内のフレーム数は、32に増大する。これは、大部分のコンピュータが処理速度と記憶によって制限されるために、重要な特徴である。長い事象が永久的に記録されるならば、ある点において、記憶量は超過される。発明の好ましい実施態様において以下に記載された如く、仮想メモリサブシステム又はハードディスクドライブは、システムに対して利用可能な記憶の量を大きく増やす。それにもかかわらず、カメラ濃度とフレーム率を低下させ、また、下記の如く、賢明な切り取りとデータ圧縮により、各フレームを表現するディジタル情報の量と、データがカメラと画像タイマの間に転送される率は、大いに縮小される。
システム10によって処理されるデータ率は、典型的に、10メガビット毎秒を超過しない(例えば、1000フレーム/秒と要素当たり8ビットを有する1024の活性検出器要素に対応する)。このようにして、システム10は、一般に、雑音問題、時間遅延と処理制約を受けず、その結果、第1図と第4図のカメラ12とタイマ14の間の距離は、少なくとも1000フィート長になる。
それにもかかわらず、記憶及び記録された情報の量は、所与の事象又一連の事象に対して大きい。例えば、10メガビット毎秒において、一つの事象のあらゆる秒は、おおよそ1メガバイトの記憶を必要とする。システム10の好ましい実施態様において、仮想メモリサブシステムが、データの記憶を収容するために含まれる。第6図は、仮想メモリサブシステム又はハードディスクドライブ102を含む、ここでの教示により構成されたシステム100をを示す。
システム100は、主制御コンピュータ16の内部メモリ36内に記憶されたブロックが所定のメモリしきい値を超過する時に、仮想メモリサブシステム102へ情報ブロックを記憶する。ユーザーは、しきい値を選択し、若しくは、例えば、少なくとも125情報ブロックを保持することができる2メガバイトの内部メモリのデフォルト設定による。機能的に、主制御コンピュータは、ブロックが仮想メモリサブシステムに転送される時ゼロ値を有する関連したソフトウェアポインターによって内部メモリにおける各ブロックにアクセスする。
従って、仮想メモリサブシステムは、本質的にユーザーに透明に、システム100の完全な構成部分として作動する。情報ブロックが主制御コンピュータ16による処理のために必要とされた時、ブロックは、内部メモリ36に転送され、そして不必要なブロックは、仮想メモリサブシステム102に転送される。このようにして、システム100は、内部メモリ36においてRAMの量を大きく超える情報の場面を保持する。実際的に、主内部メモリ36は、ハードディスク仮想メモリ102のためのキャッシュとして作動する。
関連記憶メモリからフレームをアクセスするための意味論は、直接的である。確定数のフレームは情報ブロックの各々を具備するために、フレーム番号をブロック当りのフレーム数によって割算した値は、正しいブロックアドレスを与え、そして残部は、選択ブロック内の正しいフレームアドレスを与える。切り取りが含まれるならば、メモリは、単に、フレームアドレスの対応する再分配により、フレームの新ブロックへ再編成される。
サブシステム102内の非常に大きいメモリ容量でさえ、それはまた、一列における幾つかの運動事象が処理記憶され、又は長い事象が計時された時、超過される。発明は、このようにして、情報ブロックにおいて必要とされた情報の量を縮小するための圧縮システムを提供する。圧縮システムは、好ましくは、圧縮データの保管所として都合よく作用する仮想メモリサブシステム102を利用して、発明により構成されたシステムによる使用のために利用可能である。データ圧縮は、自動であるか、若しくは、例えば、特別の運動事象の記録の後、ユーザーによって選択される。
圧縮システムは、場面内の各フレームがその中に同一の背景情報を有するという事実による。即ち、カメラのFOV内に運動活動がないならば、システムは絶えず単一の定置した線対象を捕えるために、各フレームは、実際に、その中に同一の情報を有する。それは、対象の場面を生成するFOV平面に交差するボデーの運動である。このようにして、所与の場面又は運動事象に対して記憶された多数のフレームは、冗長な情報を有する。
さらに詳細には、第1図のカメラ12は、8ビットグレースケール数、即ち、あらゆるフレームにおけるあらゆる活性検出器要素に対して、最大256のグレー陰影を有する動的範囲の数、を生成する。これは、所与のフレームに対して、検出器において捕えられた線対象の画像内の光エネルギーの量に対応する。一連のフレームが冗長な情報を含む時に、連続するフレームの間の8ビット数はおおよそ等しい。
好ましい実施態様において、圧縮システムによって取られた第1のステップは、ディジタル画像フレームの選択シーケンスにおけるあらゆる8ビット数を、範囲0−31中の5ビット数へ変換することである。このようにして、値248−255の間の8ビット数は、31に変換される。そして240−247の間の8ビット数は、30に変換される、等である。この圧縮プロセスは、ピクチャー内で利用可能なグレースケールの数を犠牲にする(即ち、物体における特別の点が、256個の数の代わりに、32個の数によって表現される)が、大量のメモリを節約する。共通VOAモニタはわずかに16個のグレー陰影しか利用できないために、これは顕著な損失ではないことに注目することは価値がある。
第7図は、「A」又は「B」の可能なディジタル値を有する7つの5ビット数を含む一連のフレーム112と、フレームの最後の4つのバイトにおける関連時間基準114を例証する(実際には、このシーケンスにおいて32個の異なる値があるが、「A」と「B」が、論証の容易さのために使用される)。このようにして、第7図は、8ビット数から5ビット数への圧縮システムによる初期変換の後の一連のフレームを示す。(第7A図と第7B図を含む)第7図において、各正方形は、バイトを表現する。見られる如く、冗長な5ビット数は、非常に明白であり、不必要にメモリ空間を浪費する。
第7A図は、圧縮システムの次のステップを示し、この場合、5ビット数の各行は、行内の等値の数を集積し、それから、「カウント」と「値」としてこれらの集積値を表現することによって再フォーマットされる。カウントは、一連の等価5ビット数の数に対応し、そして「値」は、実際の5ビットディジタル数に対応する。このようにして、例えば、16個の5ビット数「A」の第1の行は、カウント「16」と値「A」によって表現される。第2行は、カウント「2」値「A」、カウント「7」値「B」、及びカウント「7」値「A」を有する。このプロセスは、図7Aが図示する如く、5ビット数のあらゆる行内の情報が「カウント」と「値」の数列を含むまで、継続する。「カウント」が「7」以下であるならば、それは3ビット数によって表現可能であることに注目することは価値がある(数「8」は、カウントが別個のバイトによって表現されるという指示のために確保される)。こうして、第7A図の第二行において、「カウントと値」の各々は、一つの8ビット数の空間を占める。しかし、カウントが7を超えるならば、「カウントと値」数は、各々、別個のバイトによって表現される。
圧縮システムの最後のステップは、第7B図において示される。第7A図の大きく刈り込まれた行は、互いに付加され、ディジタル画像フレームの元のシーケンスの最後の圧縮表現を形成し、メモリのかなり小さい量を占める。しかし、時間基準情報114は、不変に保たれる。この圧縮スキームにおいて、mがnよりも小さいとするならば、ファイルは、元のメモリサイズを超過することができないことに注意せよ。
第8図は、発明により構成された圧縮システム120を示す。特に、第8図は、第7図、第7A図と第7B図において記載された動作のステップを実行する3プロセスアクチュエータ121、122と123を示す。一連のディジタル画像フレームは、第1データポート124においてシステム120に入力される。プロセスアクチュエータ121は、代表mビット数としてシーケンス内の各nビット数を変換し、例えば、第7図において示されたアレイを形成する。プロセスアクチュエータ122は、例えば、第7A図において示された如く、mビット数の行のアレイを、代表「カウントと値」へ再フォーマットする。プロセスアクチュエータ123は、再び、第7B図において示された如く、時間基準情報を添付して、データを順次リストに再フォーマットする。このようにして圧縮されたデータは、第二データポート126から圧縮システムを出て、記憶メモリ、例えば、仮想メモリサブシステムに伝送される。
フレームが主制御コンピュータによる処理のために必要とされる時、圧縮情報は、システムのユーザーによって表示と操作のために処理される前に、情報のブロックへ同様に展開される。しかし、展開により、元の256ではなく、わずかに32のグレースケール数しか利用可能にならない。
注記された如く、コンピュータ、ディスク、又は通信システムがデータを取り扱うことができる率には限界がある。典型的に、例えば、発明は、このデータ率を超える視覚場面情報を生成することができる。これは、場面情報がカラー情報を含むならば、特に正しい。このため、例えば、第1図の主制御コンピュータ16等のコンピュータによって記憶される前に、場面情報を圧縮することが必要である。
従って、発明は、第8A図の別の圧縮システム120aを提供し、例えば第1図のカメラ12等のカメラによって生成された可変データ率と、コンピュータによって取り扱われる受容可能なデータ率よりも高い画像品質を達成する。システム120aは、3プロセスアクチュエータ121a、122aと123aを有し、第8B−8G図に関して以下に記載された圧縮及び量子化操作のステップを実行する。
第8B図は、白黒カメラからの代表データピクセル140を示し、この場合、各図示ピクセルは、関連した8ビット数値、0−255を有し、そのピクチャーの取得中、そのピクセルによって受光された光量(光度)を表現する。第8C図は、これに反して、カラーカメラからの代表データピクセル142を示し、この場合、各ピクセルは、それぞれ、赤、緑、や青光強度に割り当てられた3つの数値142a、142bと142cによって表現される。
第8B図と第8C図において、ピクセルは、第2図と第3図に関連して記載された如く、時間軸144に沿って水平に、空間分離軸146に沿って垂直に変位される。データピクセルの各垂直アレイは、場面の一フレーム148において取得されたデータを表現する。
第8B図又は第8C図において情報を圧縮するために、システム120aは、データにおいて一連の圧縮ステップを実行する。まず、システム120aのアクチュエータ121aは、第8D図において示された如く、前フレームにおける同一空間位置において生成されたデータピクセルから、一フレームにおけるピクセルを減じる。従って、値が変化するピクセルのみが、非ゼロ値を有する。アクチュエータ120aの差分演算は、ピクセル値の相対分布を変化させる。多数のデータピクセルはゼロ又はほぼゼロになり、それらのデータピクセルは、下記の如く、効率的な方法においてコード化される。
第8D図に示された圧縮動作は、第8E図に示された如く、各カラー形式を単一の白黒画像として取り扱うことによって、カラー像において同様に行われる。この圧縮において、システム120aのアクチュエータ121aは、各フレームの赤値を、隣接フレーム内の同一の空間位置における赤値から減じる。同様に、アクチュエータ121aは、緑値を隣接フレームにおける緑値から、青値を隣接フレームにおける青値からそれぞれ減じる。この時、各合成カラーピクセルのコード値は、3つの差分から成る。
上記の減算演算は、「予測器」機能と考えられる。即ち、時間における次のピクセルは、前フレームと同一であると予測される。このため、アクチュエータ121aは、情報を表現するために必要なデータ量を縮小するための「予測器」を生成する。所与の予測が不正である時のみ、例えば、B−Aピクセルエントリの少なくとも一つが、非ゼロである時のみ、多くの情報を記憶又は伝送することが必要である。
この差分予測器は、隣接フレームにおけるピクセル値をより良く予測するために、さらに高められる。例えば、第8F図は、発明による二重差分予測器技術を図示する。アクチュエータ122aは、二重差分を計算することによってこの予測器を生成し、これにより、予測ピクセル対の差分が、現ピクセルをさらに正確に予測するために使用される。
さらに詳細には、第8F図は、4つの隣接フレームにおける逐次ピクセルである4つの代表ピクセルA−Dを示す。この例において、ピクセルDは、アクチュエータ122aによって圧縮されるピクセルである。Dの予測器値、即ち、Dpredictorは次の如く計算される。
predictor=C+(B−A)
この値は、A、BとCのすでに取得された値から、カメラにおける圧縮器と、記憶から又は通信回線に沿って受信された時減圧器によって生成される。
その後、予測器誤りは、
predictor=D−Dpredicor
としてアクチュエータ122aによってコード化される。
単純な差分圧縮により、非ゼロであるならば、この予測誤りコードを送信することが必要である。
第8F図の二重差分予測器は、第8B図と第8C図において記載されたものと同様に、ピクセルの各カラー部分を別々に取り扱うことによって、カラー像のために容易に拡張される。即ち、アクチュエータ122aは、ピクセルの3つのカラー成分の各々に対して上記の3つの同様の演算を行う。
システム120aのアクチュエータ123aは、その後、8ビット変換プロセスを用いて、画像フレームをディジタル化し、0〜255の範囲において画像ピクセル値を生成する。これらのピクセル値は、好ましくは、情報を観察者に表示する前に、数ビット例えば5ビットを有する数に8ビット数を変換することによって、アクチュエータ123aによって量子化される。データを量子化する一つの方法は、第8G図において示された如く、ピクセル値を切り詰め、低次ビットを無視するものである。
発明はまた、雑音値を表現し、量子化導出ステップとして役立つ量Tよりも大きな量だけ、予測器とは異なるピクセル値のみを検出することにより、より精巧な量子化プロセスを提供する。量子化ステップを横切って振動するピクセルは、雑音を表現する。このため、発明の一実施態様により、アクチュエータ123aは、同一の5ビット打切り値、即ち、ゼロ差分ピクセルとして、雑音によって影響されたピクセルを生成する。高度量子化プロセスの例は、第8H図において示される。上側量子化ステップT1と下側量子化ステップT2が、示されるが、単一ステップTもまた使用されることに注意せよ。
一旦、画像データピクセルが雑音帯量子化器と上記の予測器差分プロセスによって処理されると、ピクセルの合成セットは、ピクセル差分を表現する。量子化器しきい値Tを適用した後に、非常に多数の差分値は、ゼロ又はほぼゼロになるために、データは、その元のサイズから圧縮される。差分ピクセルは、さらに、標準コーディング機構、又は第6図と第7図に関連して記載された圧縮システムにより、コード化される、即ち、圧縮される。
カラーシステムにおいて、単一記号として3つのカラー差分をコード化することが可能である。そのようなコード化は、カラーの相関作用を利用する。
第8A図の圧縮システム120aは、付加又は補足的な圧縮ステップを実行するために、適切に、第8図のプロセスアクチュエータ121、122と123の構造を増加又は補足される。このようにして、第8図の圧縮システム120における如く、第1データポート124aにおいてシステム120aに入る一連のディジタル画像フレームは、nビット数からmビット数にプロセスアクチュエータ121aによって変換され、例えば、第7図において示されたアレイを形成する。プロセスアクチュエータ122aは、その後、例えば第7A図において示された如く、mビット数の行のアレイを代表「カウントと値」へ再フォーマットする。プロセスアクチュエータ123aは、再び、第7B図において示された如く、時間基準情報を添付して、データを順位リストに再フォーマットする。このようにして圧縮されたデータは、第二データポート126aから圧縮システムを出て、記憶メモリ、例えば、仮想メモリサブシステムに伝送される。
前述の圧縮システム120aの一つの重要な特徴又は利点は、その実時間同調可能な圧縮能力である。単一結線圧縮回路は、システムに画像品質における中間点を選び取らせ、これにより、帯域幅が画像ストリームに対して適していたとしても、画像品質を低下させる。あるいは、画像品質が重要性ではない場合に、速度をさらに制限する。同調可能な圧縮は、発明の好ましい見地により、必要に応じて、実時間においてこのトレードオフを行う。
これは、次の如く達成される。バッファは、入力ライン画像データストリーム124aを受信するために、カメラ又は圧縮モジュール120aにおいて設けられ、そしてバッファモニタは、バッファの充填度、例えば、10パーセント、50パーセント、80パーセント等を指示する。それから、モジュール120aにおいて履行された圧縮の形式が、バッファにおける非圧縮画像データの積滞に基づいて、選択される。一方に極端において、圧縮はなく、若しくは、損失がない又はほとんど損失のない最初に述べた方法による圧縮がある。他方の極端において、量子化器において大きな「雑音余裕」を許容し、画像品質を犠牲にして、データストリームの帯域幅を非常に縮小する圧縮方法がある。この雑音余裕は、圧縮モジュールにおいて即座に設定されるために、画像品質は、所与のデータ率に対して最大化される如く、調整される。例えば、500キロバイトを移動させることができるプロトタイプシステムの元のワイヤインターフェースを用いて、生16ビット/ピクセル画像データは、1000ピクセルラインに対して250ライン/秒の率において送られる。これよりも速くラインを送信するために、実時間において画像データを圧縮しなければならない。どれだけの圧縮を使用するかは、必要なライン率と、データの固有「圧縮」による(例えば、あまり変化しない場面は、フレーム単位の差異が非常に小さいためにずっと圧縮される)。バッファのサイズは、システムが、データの圧縮において一時的に立ち遅れ、バッファが遅れ続けるならば、より強烈な圧縮に切り替わる如く選択される。
システムは、場面における変化によって生じたデータ率の小さいスパイクに過度に反応するよりも、予測連続データ率に基づいて同調可能なパラメータを設定する。これを達成する一つのやり方は、データがバッファの10%を充填するまで圧縮を使用しないという判定規則をシステムが履行するものである。その点において、少量の圧縮が、付加される。バッファがある臨界状態に達する時(例えば、75%充填)、システムは、一つおきにフレーム又はピクセルを落とす如く、激烈な方策に訴える。
レースの決勝線における如く、事象記録システムとして使用された時、本発明の線走査カメラシステムは、1000分の1秒の動作を記録し、分解するように動作される。しかし、そのような設定において、画像の全区分を失わないことは、最大に重要である。目標は、画像をできる限り高い品質に保ちながら、ワイヤの500KB/s帯域幅を常に完全に利用することである。500KB/sは、カメラに対するワイヤインターフェースの帯域幅を表現するだけでなく、最新ディスクドライブの最良の性能に非常に近い。このようにして、画像をディスクに直接に捕えるためにさえも、このデータ率は、維持されるべきである。カメラにおいて圧縮モジュール120aを配置することにより、システムコンピュータ16の処理パワーは全く、圧縮プロセスに転換されない。
前述の「同調可能な」圧縮の適応方法は、出願者のライン画像に対して高度に有効であり、画像の縁の品質のために領域の品質を犠牲にすることにおいて、多数の他のビデオ応用において使用された圧縮とは異なる。コントラストにより、大部分のビデオ又は画像圧縮アルゴリズム(Discrete Cosine Transform(DCT)又はJPEGを含む)は、領域のために、縁を平滑にする傾向がある。出願者の事象カメラ応用において、どの対象がどれよりも前方にあるかを一般に判定するのは、縁である。このようにして、圧縮は、高いデータ率においてフレーム単位の縁弁別を保存又は向上させる。5の理論的な圧縮上限を有するこのアルゴリズムの簡単なプロトタイプ実現での経験により、よく点灯された場面において、画像品質において殆んど人目を引く効果なしに、3.5〜4.5の範囲において実時間データ圧縮比が一般に得られることが確立された。
本発明の好ましい実施態様のさらに別の見地により、上記の如くカラー線走査事象カメラ又は、より好ましくは、監視地点における操作者制御コンピュータ16は、各15ビットRGBピクセル値がパレットにおいてわずかに256色のひとつによって表現される如く、フレームのシ−ケンスにおいてピクセルの色値に適合する小さいカラーパレットを生成する。発明のこの見地により、プリセットパレット、若しくは、あらゆるフレームにおけるすべてのピクセルデータ色が、検討され、色範囲を最も正確に表現するパレットが選択される2パス手順を用いるよりも、パレット合成が適応され、そのエントリは、フレームデータが処理されている時、選択される。
発明のこの見地は、本発明の特異な時間検出環境におけるカラーディスプレイの困難を扱う。一般に、カメラからの圧縮ビデオデータは、刻時情報とともに記憶され、その結果、それは、ネットワーク通信、記憶装置アクセス、一般に、減圧処理により、固有の待ち時間を法としてアクセス可能である。これらの遅延を二走査パレチゼーションプロセスと順次にすること、あるいは検索遅延された抄録を小さな固定パレットで表示することさえも、制限されている。本発明により、カメラから直接に又は記憶装置から検索されたビデオデータは、「進行中」にカラー割り当てテーブルを生成することによって、256色ディスプレイに対してパレット化される。パレチゼーションプロセスは、観察可能な遅延を導入せず、そして各フレームシーケンスは、ほとんど完全な色忠実度で始まる。それから、後のフレームは、初期フレームから適応可能に導出された小さいカラーパレットに適合するようにされる。
第11図は、発明のこの見地を示す。カラーカメラによって生成された各ライン又は「フレーム」F1..Fmは、nピクセルを赤、緑及び青成分の各々に対して5ビット語によって指定し、15個のソースビットは、215=32Kの可能な色を作成する。このデータは、32K色の同時表示が可能なビデオカードのいわゆる高「カラーモード」において動作するビデオディスプレイにおいて直接に使用される。しかし、画像の対話型検査のために有益であるために、例えば、操作者が画像を呼び出し、ディスプレイにおいて資材を観察しながら、フレームと時間マークを点検するために、生データが、少数のビット/ピクセルを含む目的画像に写像されることが、一般に好ましい。多数のラップトップと他のPCは、例えば、256色モードにおいて動作する。
原画像色は、目的画像色の小さいパレットで形成された画像に類似して見えることが望ましい。しかし、そのような写像に対する通常のプロセスは、色範囲を識別し、十分に密接した代表色の縮小セットを選び取るために、全原画像を通った時間を消費するランか、又は所定の固定パレットにすべての色を写像することを含む。後者の場合に、目的画像のカラーフォーマットへの変換は迅速であるが、色は、実際の光景とは極めて異なるように見え、外観の誤解又は動揺につながる。
この問題は、パレタイザー210によって本発明の色パレチゼーションの見地により解決され、例えば、端子16(第1図)においてソフトウェアで実現され、原画像データのフレームFiを受信し、RGB値ピクセルPiを、目的画像フレームF’iにおいて色値Ciの小セットを有するピクセル値P’iに変換する。値Ciは、適応的に判定され、変換がが進行する時、色テーブル220へ組み入れられる。
第11A図は、このピクセル色処理を図示する。パレタイザー210は、操作者が、一般にすべての画像に索引付けるタイミングマーカによって典型的に指定された一連のフレームを呼び出す時に活性化される。色索引テーブル220は、初期的に空である。パレタイザー210は、第1フレームF1のピクセル値P1、P2..Pnを点検し、初期的に、P1の値を第1色C1として選び、テーブル220に追加し、目的フレームの対応するピクセルP’iに割り当てる。次に、フレームの第二ピクセルP2の値が、同一色によって表現するためにC1に十分に近いかどうかの判定が行われる。密接性は、例えば、RGB値の差分の合計や差分の平方の合計の如く、15ビットRGB座標において作用する距離関数によって規定される。
人の色知覚において「密接性」の認識判断を反映することが経験的に見いだされた他の「距離」関数も使用され、例えば、低強度の純粋な青が、低強度の赤に決して写像されないことを保証する。
第11A図の説明を継続すると、P2がP1に近いならば、色値P’2はまた、C1に設定される。そうでなければ、新色C2が、テーブル220に入力され、目的画像フレームにおけるP’2の値は、C2に等しく設定される。その後、各ピクセル値Piは、ある値k0<iに対してすでに割り当てられた色Ci−k0のひとつに近くかを判定するために点検され、そうならば、Piが、テーブル色Ci−k0に写像される。そうでなければ、Piがいずれの色にも近くないならば、テーブル220がまだ満たされていない場合に、ピクセルPiの値が、テーブルにおいて次の色エントリCとして使用され、目的フレームにおいてピクセルP’iに割り当てられる。そうでなければ、テーブル220が充填しているが、PiはいずれのCiに近く(例えば、δ内に)ないならば、異なる写像が、使用される。ピクセルPiは、テーブルの他の色よりも密接な値Cjを簡単に割り当てられる。この処理段階において、パレタイザーは、一連のピクセルに作用し、次のフレームに移動する。
このようにして、最大256色のセットが、色写像パレットにおいて使用され、この場合、パレットは、初期的に、原始色に非常に密接に一致する。多数のフレームが処理され、テーブル220が充填された後、続いて現われる色は、現パレットへ押し込められ、画像色はより忠実性を失う。しかし、固定視野線走査カメラの文脈において、レース決勝線の軌道と風景背景のような画像の或る部分は、すべてのフレームを通して不変であり、適応色パレットにおいて初期エントリとしてコード化された正確な色で現れる。さらに、色写像が、数秒の持続時間の線走査画像データを呼び出し、検査するために使用される時、256色は、すべてのフレームを完全に正確に表現するために十分である。
パレチゼーションステップは、テーブルからの色値語の小セットに対して入りディジタル語ピクセル値における単純な「密接性」の尺度を含み、極めて高速であり、パレチゼーションは、フレームが観察される時、実時間で進行する。
第9図を参照して、発明により構成されたシステム101はまた、付加コンピュータ104と、画像タイマ110内の付加バッファ106と108を示す。これらの付加は、仮想メモリサブシステム102又は上記の他の構成部分の動作のために全く必要ではないが、発明の一層の特徴において役に立つ。
特に、コンピュータ104は、さらに他のユーザーが、ハードディスク102上に記憶された前記録セグメント部分にアクセスし、分析することを可能にする。第1図の主制御コンピュータ16と同様に、情報ブロックは、情報を処理表示する前に、内部メモリ116へロードされる。主制御コンピュータ16において利用可能なすべての特徴は、付加コンピュータ104においても利用可能であり、これにより、一連の運動事象中、例えばすでに記録されたレース中処理されたデータの他の管理のための便利なフォーラムを提供する。もちろん、主制御コンピュータ16はまた、現運動事象の活動中さえ、先行の運動事象の前記録セグメントを再検討するように動作し、あるいは、実時間モードで動作し、カメラ12によって捕えられた現運動事象を表示する。
他のユーザーがハードディスクに記憶されたデータに同時にアクセスする意志があるならば、コンピュータ104のように、複数のコンピュータが、同様に、仮想メモリサブシステムに取り付けられる。記載されたシステム内での使用のために適切なコンピュータは、共通なIBMパーソナルコンピュータ、若しくは8086プロセッサー、VGAビデオアダプタや640KのRAMを備えたコンパチブルである。
第9図の画像タイマ110内のバッファ106と108は、発明の別の重要な特徴、即ち、第1図のシステム10への複数のディジタルカメラの追加を図示する。いくつかの情況において、二つ以上の有利な点から空間における平面に交差するボデーの運動を見ることが、望ましい。例えば、レースにおいて、一人のレース参加者が、別のレース参加者に関して単一のカメラの視界を妨害することは、接戦においてあり得る。この潜在的な問題を訂正するために、第1のもののように、一つ以上の付加ディジタルカメラが、対象の線対象のディジタル画像フレームの付加シーケンスを生成する。好ましくは、各付加カメラは、空間において実質的に同一平面を見る、例えばレース軌道の両側の2つのカメラが、例示的に使用される。
あらゆるカメラに対するバッファは、画像タイマ内にあるために、単一クロック112が、タイマに入るすべてのフレームに対して時間基準を提供する。タイマプロセッサー114は、このようにして、各フレームに較正時間基準を記し、これにより、各カメラを非同期に作動させる。即ち、複数のカメラは、選択フレーム率又は濃度を有し、そして画像タイマは、入力される時、各フレームに正確にマークを付け続ける。
好ましいシステムにおいて、複数の異なるカメラからフレームを受信し、マークを付けるためにマルチバッファー保持モジュールを設計するよりも、システムは、記憶装置又は中央処理装置に送信する前に、各フレームに正確な時間を記すために十分に精密に維持される同調可能なタイマを有するカメラを使用する。同調可能なタイマは、それら自体は、あまり正確ではなく、局所クロックを形成するために、簡単な発振器回路と割り算器を実現される。しかし、各同調可能なカメラは、精密タイマと周期的に通信し、初期的に同期時間を確立した後、同期性を維持するために、周期的にそのクロック率を再同調する。このようにして、そのようなカメラを使用するシステムにおいて、カメラによって発生された各フレームは、「絶対」時間マークを記される。
そのようなシステム200の一実施態様が、第9A図と第9B図において例示される。システムは、複数の線走査カメラを含み、それらの一つは、一次カメラC1であり、残りは、二次又はスレーブカメラCjである。一次カメラC1は、精密時間源T1と、線走査センサアセンブリと実質的に上記の如く関連ビデオ成分から成る結像部分V1とを含む。各スレーブカメラCjは、下記の如く、同調可能な時間源T2を含み、結像部分V1は、第1のカメラのものと同一である。すべてのカメラは、二次カメラがカメラC1の精密時間源と直接に又は中央制御コンピュータを経由して通信する如く、ケーブル布線で結合される。下記の議論において、C1は、各スレーブカメラが参照する精密時間源を含むとして示されたが、システムはまた、完全にスレーブカメラから成ることが理解される。その事象において、カメラC1は、単に、別のスレーブカメラであり、そして第1図の画像タイマ14の如く、分離した精密時間源が、設けられ、すべてのスレーブカメラは周期的にそれらのクロックに同期化される。同期化のプロセスは、原始タイマT1を参照するケーブル布線に沿って時間チェックメッセージを送受信する際の遅延(即ち、伝導遅延、切り替え遅延、ネットワークメッセージ取り扱い遅延)を補償するために、分散範囲又は時間記録システムに対して技術において公知の方法で、各カメラCに対する時間オフセットを指定することを含み、従って、この初期オフセット補正は、以下の議論において仮定される。
各スレーブカメラの局所タイマT2は、第9B図において示され、一つ以上の中間周波数段S1、S2、S3とクロック合成又はカウンタ段S4とともに、局部発振器LOから成る。中間周波数段は、典型的に、簡単なn除算回路、例えば特別の論理アレイによって形成されるが、クロック合成段は、IF信号の選択されたものを用いてタイマを構成する一つ以上の加算器、カウンタなどの回路を具備する。局部発振器LOは、16MHzクロックのカメラのマイクロプロセッサ制御器、分離タイミングチップ又は同等物の如く、局所的に利用可能な周波数源である。IF割り算器段は、局部発振器周波数を単純に分割するために、合成局所タイマは、正確であり、発振器の公差に対応する公差内にある。
第9B図に示された如く、中間周波数クロック段、例証としてS1、は、ここで「プリスケーラ」段として言及され、密接に関連された除数mとm+kを有する2つの割り算器回路を含み、ここで、kは、1又は2のような小さい数であり、その結果、どの割り算器が使用されたかにより、それは、周波数f/m又はf/(m+k)のクロックパルス列を出力し、fは局部発振器周波数である。除数mとm+kは、一つの周波数f/mが、実際よりも高速な時間クロック率になるが、他のf/(m+k)が、実際よりも低速なクロック動作になる如く選択される。
線走査事象タイミングカメラにおける使用のために、タイマは、おおよそ一ミリ秒以上の分解能で結像された事象を分解することが、好ましい。そのような分解能を有する一つの代表的な実施態様は、16MHz局部発振器、単一分周器又はプリスケーラ段S1、及び32ビットカウンタを用いて実現される。正常なクロック動作に対するプリスケーラは、発振器周波数を数nで割り算し、おおよそ正確なクロックを達成する。本発明により、上記の数mとkは、それぞれ、n−1と2に選択され、その結果、プリスケーラは、(n−1)割り算及び(n+1)割り算回路を含む。これらの一方(n−1)回路は、高速IFクロック「F」を生ずるが、他方の回路(n+1)は、低速のIFクロック「S」を生産する。セレクターは、カメラ処理回路によって制御された率において動作し、タイミング情報を精密時間源と交換し、クロック時間が現在早いか又は遅いかにより、一方又は他方の除数を選択する。これらの特殊サイクルの率とタイミングエラーの方向は、任意の瞬時において局部発振器の見かけ速度を決定し、一旦、同期性が確立されたならば、プリセット限界内に絶対タイミングエラーを維持する。
例えば、16MHz発振器は、名目的に、125によって割り算され、128KHzクロック値を形成する。プリスケーラが、毎ミリ秒に124分割サイクルを使用するならば、名目上の128KHzクロック率は128.0079125KHzに増大し、61ppmの増大となる。同様に、プリスケーラが、毎ミリ秒に126分割サイクルを使用するならば、クロック率は、61ppmだけ減少する。このようにして、N+1又はN−1サイクルプリスケール化がプリスケーラによって行われる時間の量を変化させることにより、クロックは、毎分数ミリ秒だけ進まされ、又は遅らされ、すっと短い間隔において再同調することにより、クロック時間は、必要な精度で維持される。
3つの除数124、125と126を用いることにより、クロックは、低速、標準又は高速率において走らされる。この場合、標準の除数125は、クロックを加速する又は遅らせるのが必要であることを比較器が判定するまで、デフォルトにより使用される。第9C図は、精密源の位相同期追跡に対して3つの離散タイミング率を有する局所クロックを示す。
この能力により、タイマーは、基準タイマのクロックに一致するまで、そのクロックを調整することができる。一旦、カメラが、そのクロックを十分によく調整したならば、それは、画像フレームにおいて時間を記すために、それ自体の局所タイマ値を使用することができる。周期的に、カメラは、実時間をチェックし、同期性を保つために局所クロックを加速し又は遅らせるようにプリスケーラタイミングを設定する。
このようにして、各二次カメラにおける非精密局部発振器は、1パーセントの十分の一だけ明白に加速又は減速するが、誤りの方向に頻繁に変更し、常に、1ミリ秒又は十分の一ミリ秒内で精密タイマを追跡する連続同調局所クロックを提供する。
第10図は、軌道の対向側に2つの別個のカメラを有するレースの典型的な表示を示す。少なくとも2つのカメラが、発明により構成されたシステムに統合されるならば、この画像は、付加コンピュータ104を含むここで議論されたコンピュータのいずれにも利用可能である。
好ましい実施態様において、場面を形成するディジタル画像フレームの表示シーケンスの方向は、フレームのシーケンスを再順序付けすることにより、可逆性である。このようにして、例えば、第10図内に表示された両場面は、コンピュータのユーザーによって優先的に選択されたならば、逆転される。このため、マウスの動作により、2つの場面内の同一の参加者の別個の図は、同一方向において運動を有するように見える。
ここで記載されたシステムは、任意の連結コンピュータにおいてユーザーに利用可能な他の特徴を有する。運動事象を記録する前に、例えば、表示場面の選択可能な部分は、対象識別子と一意的に関連される。このようにして、画面の空間(垂直)領域に沿って、レースコースにおける一つ以上のレーンと、特にその中のランナは、画面の特別の部分と関連される。ユーザーは、例えば、その部分を指し、競技参加者の名前のように、そのレーンに関する情報を取得する。さらに、画面上に表示されたあらゆる部分は、唯一の時間基準と関連しているために、ユーザーは、同様に、画面上の選択された部分に関連した時間にアクセスし、表示し、その結果を表示する。動作において、例えば、ユーザーは、レースにおいて勝利者のレーンを選択して、人の名前を調べ、さらに詳細には、ユーザーは、決勝線に交差する勝利者の身体の第1部分を選択し、関連した勝利時間を表示することができる。好ましい実施態様において、ディスプレイにおける場面の任意の部分と関連した対象識別子と時間の両方が、ユーザーによって選択されたならば、結果テーブルに自動的に入力される。
場面、レース結果、又はユーザーによって選択可能な他の情報を示す表示が、そのコンピュータにおいて選択された適切な印刷コマンドによって任意の時点において印刷される。
ここで使用された如く、用語「グレースケール」は、古典的グレースケール値だけでなく、また、等価的な色表現を含む(例えば、単一の値又はいろいろな色を表現する一連の値)。
付録Iは、ここで記載された多くの機能を実行するために、プログラムの目的コードリストである。このプログラムは、MS−DOSの下でIntelX86ベースパーソナルコンピュータシステムにおいて実行可能である。
従って、上記の説明において含まれた、又は添付の図面に示されたすべての事項は、限定的であるよりも、例示として解釈されることが意図される。
また、次のクレームは、記載された発明のすべての特定及び一般的特徴、及び発明の範囲のすべての陳述を請求することを意図することが理解される。

Claims (1)

  1. 視野を結像するための光学手段と、
    結像された視野の固定線部分を、該視野の画像のピクセルの一本の線を表現する電気信号に変換するためのラインセンサーであり、ピクセルの線は、各連続するフレームが連続する時間における別のピクセル線であるように、瞬時において該固定部分を表現するフレームであり、該フレームが関連する時間基準を含むラインセンサーと、
    高走査率におけるフレームのシーケンスのディジタル化ピクセル値を含むディジタル出力ストリームを形成するために該電気信号を処理するための、カメラ内の回路手段と、
    伝送の前に該ディジタル出力ストリームを記憶するためのバッファと、
    バッファがピクセルの線の該シーケンスを表現する圧縮データを含む如く、伝送される前に、その帯域幅を縮小するために、該バッファにおけるデータのフレーム単位の圧縮を行うための圧縮手段とを具備する事象記録ビデオカメラ。
JP50347996A 1994-06-28 1995-06-28 線対象場面発生装置 Expired - Lifetime JP3821168B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/265,063 1994-06-28
US08/265,063 US5552824A (en) 1993-02-18 1994-06-28 Line object scene generation apparatus
PCT/US1995/008359 WO1996001022A1 (en) 1994-06-28 1995-06-28 Line object scene generation apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006127660A Division JP4164100B2 (ja) 1994-06-28 2006-05-01 圧縮システム

Publications (2)

Publication Number Publication Date
JPH11505676A JPH11505676A (ja) 1999-05-21
JP3821168B2 true JP3821168B2 (ja) 2006-09-13

Family

ID=23008803

Family Applications (2)

Application Number Title Priority Date Filing Date
JP50347996A Expired - Lifetime JP3821168B2 (ja) 1994-06-28 1995-06-28 線対象場面発生装置
JP2006127660A Expired - Lifetime JP4164100B2 (ja) 1994-06-28 2006-05-01 圧縮システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006127660A Expired - Lifetime JP4164100B2 (ja) 1994-06-28 2006-05-01 圧縮システム

Country Status (10)

Country Link
US (1) US5552824A (ja)
EP (1) EP0768005B1 (ja)
JP (2) JP3821168B2 (ja)
AT (1) ATE265785T1 (ja)
AU (1) AU698672B2 (ja)
CA (1) CA2193740C (ja)
DE (1) DE69532956T2 (ja)
ES (1) ES2220934T3 (ja)
NZ (1) NZ290014A (ja)
WO (1) WO1996001022A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542183B1 (en) 1995-06-28 2003-04-01 Lynx Systems Developers, Inc. Event recording apparatus
US6404930B2 (en) * 1995-04-07 2002-06-11 Hitachi, Ltd. Signal processing equipment
JP2888186B2 (ja) * 1996-02-19 1999-05-10 富士ゼロックス株式会社 画像符号化装置および画像復号装置
IT1286924B1 (it) * 1996-09-18 1998-07-17 Raffaele Conte Apparecchiatura per la registrazione di eventi casuali relativi a mezzi mobili
JP3791635B2 (ja) * 1996-10-22 2006-06-28 富士写真フイルム株式会社 画像再生方法、画像再生装置、画像処理方法および画像処理装置
JPH10228365A (ja) * 1997-02-14 1998-08-25 Canon Inc 印刷装置、印刷システム、及び、印刷方法
US6195090B1 (en) 1997-02-28 2001-02-27 Riggins, Iii A. Stephen Interactive sporting-event monitoring system
US6335742B1 (en) * 1997-07-24 2002-01-01 Ricoh Company, Ltd. Apparatus for file management and manipulation using graphical displays and textual descriptions
GB9716343D0 (en) * 1997-08-02 1997-10-08 Rotacon Plc Novel action replay binoculars
US6331412B1 (en) 1998-01-29 2001-12-18 University Of Ottawa Methods and compounds for modulating male fertility
EP0981246A4 (en) * 1998-03-16 2001-05-30 Seiko Epson Corp MACHINE AND SYSTEM FOR PRINTING PHOTOGRAPHIC IMAGES, COMPUTER READABLE MEMORY MEDIUM WITH STORED PRINTING PROGRAM FOR PHOTOGRAPHIC IMAGES
US6545705B1 (en) 1998-04-10 2003-04-08 Lynx System Developers, Inc. Camera with object recognition/data output
US6456745B1 (en) * 1998-09-16 2002-09-24 Push Entertaiment Inc. Method and apparatus for re-sizing and zooming images by operating directly on their digital transforms
US6452610B1 (en) * 1998-12-16 2002-09-17 Intel Corporation Method and apparatus for displaying graphics based on frame selection indicators
JP3433125B2 (ja) * 1999-01-27 2003-08-04 三洋電機株式会社 動画像再生装置
US8212893B2 (en) 1999-06-08 2012-07-03 Verisign, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
US7372485B1 (en) 1999-06-08 2008-05-13 Lightsurf Technologies, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
US7369161B2 (en) * 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
US7103357B2 (en) * 1999-11-05 2006-09-05 Lightsurf Technologies, Inc. Media spooler system and methodology providing efficient transmission of media content from wireless devices
US6985875B1 (en) * 1999-11-05 2006-01-10 Wolf Peter H Process for providing event photographs for inspection, selection and distribution via a computer network
US7847833B2 (en) * 2001-02-07 2010-12-07 Verisign, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
AU2001234601A1 (en) 2000-01-26 2001-08-07 New York University Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data
GB0029880D0 (en) 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
JP3787498B2 (ja) * 2001-02-13 2006-06-21 キヤノン株式会社 撮像装置及び撮像システム
JP2002271797A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 画像符号化装置、及び画像符号化方法,フレームレート変換装置
US6710061B2 (en) 2001-03-09 2004-03-23 Ortho-Mcneil Pharamceutical, Inc. Aminopyrrolidine sulfonamides as serine protease inhibitors
US7305354B2 (en) 2001-03-20 2007-12-04 Lightsurf,Technologies, Inc. Media asset management system
US7724281B2 (en) 2002-02-04 2010-05-25 Syniverse Icx Corporation Device facilitating efficient transfer of digital content from media capture device
US7051040B2 (en) 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
JP4224996B2 (ja) * 2002-07-25 2009-02-18 パナソニック株式会社 撮像装置
US20040036778A1 (en) * 2002-08-22 2004-02-26 Frederic Vernier Slit camera system for generating artistic images of moving objects
DE10336447A1 (de) * 2003-08-06 2005-03-10 Gerd Hansen Verfahren und Vorrichtung zum Erfassen und Verarbeiten von Daten eines Sportereignisses
WO2005027068A1 (en) * 2003-09-12 2005-03-24 Canon Kabushiki Kaisha Streaming non-continuous video data
US7233393B2 (en) * 2004-08-05 2007-06-19 Applera Corporation Signal noise reduction for imaging in biological analysis
DE10360851A1 (de) * 2003-12-21 2005-09-01 ASTRA Gesellschaft für Asset Management mbH & Co. KG Brieftaubenkonstatiersystem
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
EP1689192A3 (en) * 2005-02-04 2011-10-26 Thomson Licensing Method and device for scanning in a data frame
DE102009007639B4 (de) * 2009-02-05 2011-05-26 Kurt Wallerstorfer Vorrichtung zur Bildaufzeichnung eines Sportlers auf einer Rennstrecke

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3829869A (en) * 1972-12-29 1974-08-13 Specialty Instr Corp Photo finish record system
JPS5244512A (en) * 1975-10-06 1977-04-07 Nippon Telegr & Teleph Corp <Ntt> Between-frame coding equipment
US4179710A (en) * 1976-02-23 1979-12-18 Nippon Electric Co., Ltd. Predictive encoder with a non-linear quantizing characteristic
FR2351457A1 (fr) * 1976-05-12 1977-12-09 Suisse Horlogerie Installation de chronometrage sportif
JPS61107818A (ja) * 1984-10-30 1986-05-26 Nec Corp エントロピ−符号化方式とその装置
DE3670940D1 (de) * 1985-06-19 1990-06-07 Yamaguchi Cinema Kk Aufnahme- und wiedergabegeraet fuer videosignale.
JPS62140033A (ja) * 1985-12-13 1987-06-23 Canon Inc 測光装置
US4754342A (en) * 1986-04-11 1988-06-28 Cmx Corporation Video editing system having virtual memory
US4799053A (en) * 1986-04-28 1989-01-17 Texas Instruments Incorporated Color palette having multiplexed color look up table loading
US4825390A (en) * 1986-04-28 1989-04-25 Texas Instruments, Inc. Color palette having repeat color data
US4679094A (en) * 1986-10-14 1987-07-07 The Associated Press Method for compression and transmission of video information
US4742971A (en) * 1986-11-24 1988-05-10 Hub Winch, Inc. Attachment winch for vehicle wheels
DE3716987C1 (de) * 1987-05-21 1988-04-28 Augustin Imhof Verfahren und Vorrichtung zur Bestimmung der Zeit zwischen Start und Ziel von Wettkaempfern od.dgl.
US4920429A (en) * 1989-01-24 1990-04-24 International Business Machines Exposure compensation for a line scan camera
US5008739A (en) * 1989-02-13 1991-04-16 Eastman Kodak Company Real-time digital processor for producing full resolution color signals from a multi-color image sensor
US5016107A (en) * 1989-05-09 1991-05-14 Eastman Kodak Company Electronic still camera utilizing image compression and digital storage
FR2648594B1 (fr) * 1989-06-15 1993-03-05 Omega Electronics Sa Appareil pour le chronometrage de courses
DE3937977C1 (ja) * 1989-11-15 1990-12-20 Augustin 7619 Steinach De Imhof
US5144425A (en) * 1991-08-26 1992-09-01 General Electric Company Apparatus for hierarchically dividing video signals

Also Published As

Publication number Publication date
JP2006311576A (ja) 2006-11-09
EP0768005A1 (en) 1997-04-16
JPH11505676A (ja) 1999-05-21
AU3002295A (en) 1996-01-25
US5552824A (en) 1996-09-03
DE69532956D1 (de) 2004-06-03
ATE265785T1 (de) 2004-05-15
AU698672B2 (en) 1998-11-05
NZ290014A (en) 1998-11-25
DE69532956T2 (de) 2005-06-23
EP0768005A4 (en) 2000-03-15
JP4164100B2 (ja) 2008-10-08
CA2193740C (en) 2000-02-01
CA2193740A1 (en) 1996-01-11
EP0768005B1 (en) 2004-04-28
WO1996001022A1 (en) 1996-01-11
ES2220934T3 (es) 2004-12-16

Similar Documents

Publication Publication Date Title
JP3821168B2 (ja) 線対象場面発生装置
US6542183B1 (en) Event recording apparatus
US5657077A (en) Event recording system with digital line camera
US7327890B2 (en) Imaging method and system for determining an area of importance in an archival image
US8848097B2 (en) Image processing apparatus, and method, for providing special effect
JP3741656B2 (ja) デジタルカメラ
US6859609B1 (en) Portable digital recorder
CN102906746B (zh) 排序具有视频帧的时间序列的数字视频的关键视频帧的方法和装置
US20120047459A1 (en) Information processing apparatus
US20060017835A1 (en) Image compression region of interest selection based on focus information
US20110085056A1 (en) Image compression apparatus and method, image regeneration apparatus, camera and camera system
US20020057294A1 (en) Information processing apparatus
KR20000029141A (ko) 전자 카메라
CN104584526B (zh) 图像文件生成装置及显示装置
CN101151896B (zh) 显示装置和显示方法
AU712182B2 (en) Event recording camera system
CA2279586C (en) Line object scene generation apparatus
JP2000299800A (ja) 撮像方法及び装置並びに記憶媒体
JP4571111B2 (ja) 情報処理装置および記録媒体
JP3082925B2 (ja) 画像記録装置

Legal Events

Date Code Title Description
A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060201

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130630

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term