JPH06121210A - マルチセンサとカメラを電子的に一体化したシステム - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】広角の場面や「ウインド」の高解像画像、ウイ
ンドのパラメータの高速変化、低価格の光検出アレイの
使用、解像度から独立した画像速度、可動部品がなく剛
性のある構造、電子モジュールの付加による複数ウイン
ドを可能にする。 【構成】アパチャの角度が１８０度以上の多重光学的セ
ンサ／カメラ１〜Ｎと、場面の２つのビデオ画像または
デジタル画像を出力する電子的インターフェース装置を
開示し、上記の場面の寸法と位置は通信ポートを介して
対話によって命令することができる。ウインドのサイズ
と位置は各フレームで変更することができる（一般的に
毎秒各１／３０）。ウインドの視野は幾くつかの隣接す
るセンサの視野をカバーすることが可能であり、その結
果得られる画像は連続して歪んでいない。インターフェ
ース装置に電子モジュールを付け加えることにより、独
自の光学的センサによって任意の数のウインドを得るこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、場面の高解像度の画像
を与える装置と方法に関し、この場面の特定の領域
（「ウインド」）のいずれも高い解像度を有する広角画
像とズーム画像を同時に得る可能性に関する。

【０００２】

【従来の技術】同様の目的のために今日使用されている
従来のシステムには、次のものがある。 １）機械的な方位決定システムに取り付けたビデオ・カ
メラ ２）カメラの見た画像の部分のみを表示する電子的イン
ターフェース・システムを有するビデオ・カメラ

【０００３】

【発明が解決しようとする課題】これらのシステムに
は、それぞれ下記の不都合がある。 １）方向を決定する速度が遅く、環境で監視できない、
すなわち、指摘された領域しか見えない。また、機械的
なシステムは、電子システムよりも競争力が劣る。

【０００４】２）部分的に見た場合の解像度が低い。高
い解像度の画像を得るために大型のＣ．Ｃ．Ｄ．アレイ
を使用することができるが、これらのアレイの価格は解
像度と共に非常に急速に上昇し、これらのアレイを読み
とるのに必要な時間は画像の解像度の２乗で長くなり、
従って画像の速度が遅くなる、更に、画像の球形の表面
は平坦なセンサの表面に適合しないため、広角の被写体
像には焦点を合わせる問題と画像が歪む問題がある。

【０００５】幾くつかのセンサを利用する関連分野には
下記の特許がある。幾くつかのビデオ信号を１つに組み
合わせてこれらの信号の１つを表示する可能性を与える
もの（４、７７７、５２６−４、８１４、８６９）。 −多数のカメラからの被写体像を選択して各々を特定の
方法で処理するもの（４、７７９、１３４−４、８３
１、４３８−４、４６２、０４５−４、５５7、３４４−
４、６３０、１１０−４、９４３、８６４）。

【０００６】−２台のカメラ（またはボリュームの検
出）を使用して３次元的な被写体像を作るもの（４、７
３９、４００−４、３９５、７３１−４、５５９、５５
５−４、７０９、２６５）。 −１台のカメラから関心のある領域を選択するもの
（４、７１３、６８５）。 −旧式のビジコンの電子手段で見た領域を移動させるも
の（４、７４０、８３９）。

【０００７】−ビデオ信号の幾くつかの必要なデータを
付加するもの（４、９２２、３３９）。 −１つの球面に３６０度の視野を投射し、１つの回転セ
ンサを使用してこれを検討するもの（３、５８８、５１
７）。 −４台のカメラの被写体像を処理し、その結果、４台の
隣接するモニタに表示すること、これらが１つのより大
きな被写体像を与えるもの（４、７７７、９４２）。

【０００８】これらのアイデアのいずれもここで説明す
るシステムの特徴のいずれも含んでいない。すなわち、
このシステムの特徴は以下の通りである。 −特定の構成を使用して、多数のセンサ上の所定の視野
の全てのピクセル・データを集める。これらをグローバ
ルでトータルな場面の一部としてビデオ速度（一般的に
１０Ｍｈｚ）で取り扱う。特許４、７７７、９４２で
は、１つのグローバルな画像が４台の異なったセンサか
ら構築されるが、これを行うには、全てのセンサの全て
のピクセルを１つのビデオ画像の部分として取り扱う代
わりに、並置したモニタが使用され、その結果、統合は
事実上観察者の目によって行われる。

【０００９】−異なったセンサから「興味のある領域」
（ウインド、モニタ）のピクセルをビデオ速度で選択
し、高解像度の連続画像を与えるようにこれらを構成す
る。 −新しいフレーム毎（一般的に毎秒１／３０）にウイン
ドのパラメータ（位置、長さ、幅）を変更する。 −電子インターフェースに必要数のモジュラ電子カード
を加えることによって、無制限の数のウインドを形成す
る。従って、本発明の目的は、広角場面の２つのビデオ
（またはデジタル）画像を出力する光学的センサと電子
的インターフェースである。最初のビデオ出力によっ
て、場面全体の画像が与えられ、可能なアパチャの角度
は１８０度またはこれ以上（３６０度全体）である。第
２のビデオ出力によって、場面（ウインド）の特定の長
方形の領域の画像が与えられる。ウインドの位置とサイ
ズは、標準の通信ポートによってシステムに伝達され、
新しいフレーム毎に、一般的には毎秒３０回変更するこ
とができる。

【００１０】本発明の主要な利点は、次の通りである。 １）非常に広角の場面の高解像画像。 ２）「ウインド」の高解像画像。 ３）ウインドのパラメータ（サイズと位置）の高速変
化。 ４）標準の価格の低い光検出アレイの使用（例えば、５
１２ｘ５１２のＣ．Ｃ．Ｄ．）。

【００１１】５）画像の解像度から独立した画像速度。 ６）可動部品がなく、剛性のある構造が可能になる。 ７）電子部品のモジュールを付け加えることによって、
幾くつかのウインドを開けることが可能になる。

【００１２】

【課題を解決するための手段】本発明の装置は、下記の
２つの主要な部分によって構成される。 １）光学的モジュール ２）電子的インターフェース 光学的モジュールは、半球状の表面上に配設されたＮ個
の光検出アレイ（すなわち、Ｃ．Ｃ．Ｄ．アレイ）によ
って構成され、各アレイはそれ自身のレンズ・システム
を有している。各センサ要素は全体の視野を部分的にカ
バーし、その結果、視野全体はセンサ要素全体によって
カバーされ、これらのセンサは若干の必要なオーバラッ
プを行っている。全てのセンサは、電子的インターフェ
ースに接続されている。

【００１３】電子的インターフェースは全てのセンサ要
素から全てのデータを受信し、これらを統合する。全て
のセンサからのデータは同期走査によって並列的に集め
られてデジタル化され次に、走査の各段階で、いずれの
データが検討中のビデオ（デジタル）画像の現在のピク
セルに関係しているかを選択することによって、統合を
行う。このような方法によって、センサ要素に含まれて
いる情報全体を記憶する必要がなくなり、低コストによ
る実行が可能になる。

【００１４】−下記の２つのビデオ（デジタル）画像を
発生する。 １）「モニタ画像」：この画像によって、視野全体の連
続的な表示が行われる。基本的な視野の形状は球形であ
るが、「モニタ画像」は面で表されるので、幾くつかの
モデルの表示が可能である。例えば、視野１８０度のア
パチャの角度を有していれば、極表示を選択することが
できる。

【００１５】２）「ウインド画像」：この画像によっ
て、視野の一部の連続的な表示が行われる。この部分は
多数のセンサをカバーすることができるが、１つのセン
サから隣接するセンサへの遷移は、「ウインド画像」上
では気付かれない。その「ウインド」のサイズと位置
（ウインド・パラメータ）は、ジョイステッィクまたは
ホスト・コンピュータのようなホスト装置から専用の標
準通信ポートを介してシステムに転送される。各々の新
しい画像のフレーム毎に、一般的には毎秒３０回新しい
組のウインド・パラメータをダウン・ロードすることが
できる。

【００１６】必要な数の電子モジュールを並列に加える
ことにより、ユニークな光学的モジュールを使用して幾
くつかのウインド画像を発生することができる。

【００１７】

【実施例】図１に示すように、システムは、２つの部
分、光学的モジュールと電子的インターフェースに分か
れる。光学的モジュール自身は、半球状の支持表面上ま
たはその一部上に配設されたＮ個の光検出アレイによっ
て構成される。図２と３は２つの好適な実施例を示す
が、センサ要素とレンズの配置は特定の用途に適合する
ように行われている。各センサ要素はケーブルによって
電子的インターフェースに接続される。視野の各点が１
つのセンサ上で少なくとも１つの画像点を有するよう
に、レンズの焦点距離を決定する。

【００１８】電子的インターフェースの概略ブロック図
を図４に示す。下記は、全てのモジュールの詳細な説明
である。 掃引アドレス発生器 この回路は、全てのセンサをサンプリングする信号をビ
デオ速度で発生する。この信号をまた使用して走査アド
レスを発生し、この走査アドレスはＥＰＲＯＭメモリの
テーブルのエントリとして使用する。 Ａ／Ｄ変換器とマルチプレクサ センサのデータはＮ個のＡ／Ｄ変換器（１個のセンサに
１個）によってディジタル化され、２個のＮ対１のマル
チプレクサに入る。この変換は、標準のビデオ速度で行
われる（「フラッシュ」Ａ／Ｄ変換器）。 ＥＰＲＯＭ システムは２個のＥＰＲＯＭを有する。

【００１９】第１ＥＰＲＯＭは、良好な「モニタ」の画
像を与えるために予め決められたセンサの選択番号と座
標のサンプリング・セットを有する。各々の走査された
アドレスで、ＥＰＲＯＭは、「選択されたセンサ」の番
号と「モニタ・フレーム・バッファ」を出力し、前者は
そのセンサ要素から今データが取り出されるべきである
ことを示し、後者はモニタの画像内のその場所にデータ
が記憶されていることを示す。ＥＰＲＯＭのテーブルが
構築され、その結果、もしＮ個のセンサ要素が存在すれ
ば、所定のセンサのＮピクセル毎に１つが取り出され、
モニタの画像は要素が１つの場合と同じ解像度を有す
る。

【００２０】第２ＥＰＲＯＭは、センサの第１行と第１
列に沿って単位ベクトルを有する平面座標システム内の
ピクセルの座標のテーブルを有する（更に、「局部座
標」と呼ぶ）。掃引アドレス発生器によってアドレスさ
れた定数は、次にプレプロセッサ・モジュールに転送さ
れる。このＥＰＲＯＭが独自のものであるためには、全
てのセンサ要素とレンズは同一のものでなければならな
い（好適な実施例の場合）。そうでなければ、１つのセ
ンサに１つのレンズが必要である。ＥＰＲＯＭの定数
は、光学システムの歪を補償するのに必要な補正をまた
有している。 ウインド座標回転プロセッサ このモジュールには、標準の通信ポートを介してウイン
ドのパラメータが入力として与えられ、このウインドに
対する候補のセンサ要素を決定し、各候補のセンサ要素
に１つのプレプロセッサを割り当てる。これは、次に各
候補のセンサ要素の局部座標システムのウインドの第１
行と第１列によって形成される２つのベクトルの局部座
標を計算し、これらを全ての割り当てられたプレプロセ
ッサに転送する。これは、ウインド毎に１回（フレーム
毎に１回）行われる。全てのセンサ要素とレンズが同一
であれば、この手順によって、全てのプレプロセッサが
１つのＥＰＲＯＭモジュールからデータを得ることが可
能になる。もし幾くつかのウインドが１つの光学的セン
サを有することを意図するならば、モジュールの処理能
力によって、別のウインド座標回転プロセッサが必要に
なる。 プレプロセッサ Ｐ個のプレプロセッサが使用され、Ｐは１つのウインド
でピクセルを有するセンサ要素の最大数として定義され
る。この数は、センサ要素の配列とウインドに許されて
いる最大寸法によって決定される。ここで説明する好適
な実施例の場合、もしウインドの最大のアパチャ角度が
１つのセンサ要素のアパチャ角度の２倍であれば、図２
のセンサの構成の場合Ｐ＝６、図３のセンサの構成の場
合Ｐ＝３である。各プレプロセッサの役割は、ＥＰＲＯ
から受け取ったピクセルの座標を検討し、ウインド座標
回転プロセッサから受け取ったウインドの局部パラメー
タとこれらを比較することによって、このピクセルがそ
のウインドに属するかどうかを決定することである。
「イン・ウインド」のピクセルを検出する第１プレプロ
セッサは、センサ要素の番号とウインドの局部座標（す
なわち、ウインドの第１行と第１列によって形成された
ベクトルの局部座標）をウインド・プロセッサに転送
し、他のプレプロセッサからデータを禁止する。これは
ビデオ速度で行わなければならないが、行うべ作業は比
較とデータの転送のみである。

【００２１】もし幾くつかのウインドが必要であれば、
各ウインド専用のＰ個のプレプロセッサがなければなら
ない。 ウインド表示プロセッサ このモジュールは、センサ要素の識別、「イン・ウイン
ド」ピクセルの局部座標、およびウインドの第１行と第
１列によって形成される２つのベクトルの局部座標を入
力として得る。次に、これは、ウインドに対するピクセ
ルの座標の計算を実行し、これをウインドのピンポン・
フレーム・バッファに転送する。これは、また「イン・
ウインド」ピクセルのセンサ番号を第２のＮ対１マルチ
プレクサに転送する。この計算は、またビデオ速度で行
わなければならない。これは、ベクトルのスカラー量の
乗算とスケーリング（scaling)によって構成される。
「モニタ」と「ウインド」のフレーム・バッファこれら
の２つのモジュールは、モニタの画像とウインドの画像
のデータをピンポン・モードでバッファする。各フレー
ムのバッファは、２つの同じセクションに分割される。
一方のセクションは前の画像を表示するのに使用され、
他方のセクションは次の画像のデータを集める。掃引ア
ドレスと同じ順序でデータが入力されないため、この動
作モードが必要になる。 ステップ・バイ・ステップによる信号の伝播の記述 センサのサンプリングとＥＰＲＯＭのアドレシング 掃引アドレス発生器は、２つの異なった信号を発生す
る。

【００２２】第１信号は、Ｎ個のセンサに対する掃引信
号であり、全てのセンサを通常の行対行で同期走査する
のに必要なフォーマットを有している。第２信号は、Ｅ
ＰＲＯＭモジュールに転送される。これは、全てのセン
サの現在サンプリングされているピクセルの行と列の値
によって構成される２ワードの並列信号である。

【００２３】その結果得られる各センサのアナログ出力
はデジタル・データに変換さて２個のＮ対１のマルチプ
レクサに転送され、これらのマルチ・プレクサの１つは
モニタ・ビュー（view）に使用され、１つはウインド・
ビューに使用される。 モニタ・ビュー用の信号の伝播 掃引アドレス発生器によってアドレスされたＥＰＲＯＭ
１は、２つのワードに分割されるデータを出力し、第１
ワードは、現在の掃引アドレスで予め選択されているセ
ンサの識別番号を有し、マルチプレクサ命令レジスタに
転送される。第２ワードはモニタ・ビューでサンプリン
グされたピクセルの行と列を有する。

【００２４】行と列のデータは次にピンポン・フレーム
・バッファに転送され、一方対応するデータはマルチプ
レクサ１の出力から受け取られる。フレーム全体がセン
サからサンプリングされると、現在充填されているピン
ポン・フレーム・バッファの半分の部分は表示のために
残され、次のフレーム・データが他の半分に記憶され
る。ピンポン・フレーム・バッファのビデオ発生器の部
分は以前に書き込まれた半分の部分を走査し、モニタの
画像を与えるビデオ出力を発生する。 ウインド・ビュー用の信号の伝播 掃引アドレス発生器によってアドレスされたＥＰＲＯＭ
２は、センサの第１行と第１列に沿った軸を有する局部
座標システムにおいて、全てのセンサでサンプリングさ
れたピクセルの座標である２つのワードによって構成さ
れるアドレスを出力する。この「局部アドレス」は全て
のプレプロセッサに転送される。

【００２５】一方、ウインド座標回転プロセッサは、各
候補のセンサ（すなわち、ウインドの第１行と第１列に
よって形成されたベクトルの局部座標）に対するウイン
ドの局部座標とパラメータを計算し、これらをプレプロ
セッサに転送し、これらは次のフレームで使用するため
にここに記憶される。プレプロセッサは、ＥＰＲＯＭ２
からのデータを前のフレームの間に受け取ったウインド
のデータと比較する。もし比較の結果、「イン・ウイン
ド」であると判定されれば、これによって、ＥＰＲＯＭ
１とウインド回転プロセッサからの全ての入力は、セン
サの番号を付けてウインド・プロセッサに転送される。
センサの間には若干のオーバラップがあるので、幾くつ
かのプレプロセッサが共に応答する可能性がある。従っ
て、プレプロセッサの間で優先順位を設定する仲裁シス
テムを設けなければならない。

【００２６】ウインド・プロセッサは、以下の２つのス
カラー量の乗算を行う。（１）ウインドの第１行の局部
座標を有するピクセルの局部座標、及び（２）ウインド
の第１列の局部座標を有するピクセルの局部座標。これ
らの２つのスカラー量によって、ウインドの行と列の番
号が与えられる。同時に、センサの番号がマルチプレク
サ２に転送される。

【００２７】ウインドのピンポン・フレーム・バッファ
は、従ってウインド・プロセッサから行と列のアドレス
を取得し、マルチプレクサ２からデータを取得し、モニ
タ・フレーム・バッファと同様に機能し、ウインドのビ
デオ信号を出力する。

【図面の簡単な説明】

【図１】システムの部品と接続の概略図である。

【図２】１８０度のアパチャ角度の視野を与える１５個
のセンサとレンズの好適な構成である。

【図３】例えば、車両の遠隔誘導に適用可能な±１５
度、３６０度の全視野を得ることのできる８個のセンサ
とレンズの好適な構成である。

【図４】電子的インターフェースの一般的ブロック図で
ある。

【符号の説明】

電子的インターフェース ビデオ出力１ ビデオ出力２ カーソル ウインド センサ１ センサ２ センサＮ レンズ 掃引アドレス発生器 センサ１ センサ２ センサＮ ＥＰＲＯＭ１ ＥＰＲＯＭ２ マルチプレクサ１ マルチプレクサ２ ピンポン・フレーム・バッファ１ ピンポン・フレーム・バッファ２ ウインド・プロセッサ プレプロセッサ１ プレプロセッサ２ プレプロセッサＰ モニタ・ビュー ウインド・ビュー Ａ／Ｄ変換器

───────────────────────────────────────────────────── フロントページの続き (72)発明者 イムバル ネタ イスラエル キロン ハチャヴァトゼレッ ト ストリート 21 (72)発明者 マイケル ネタ イスラエル キロン ハチャヴァトゼレッ ト ストリート 21 (72)発明者 イヴ ヴィラーレット イスラエル ハデラ ハシガリット スト リート 16

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ａ）任意の数Ｎ個の光学的センサ（光検
   出アレイまたはカメラ）からの入力を受信するステップ
   であって、各１個のセンサは場面の画像の一部を走査
   し、Ｎ個のセンサは若干のオーバラップの可能性を残し
   て場面全体をカバーする上記のステップ； ｂ）適当な電子的インターフェースを介して１組の数字
   による入力を受信するステップであって、これらの数字
   は、場面の画像の任意の番号の任意の部分（「ウイン
   ド」）の位置の形式と寸法を表す上記のステップ； ｃ）各組のＮ個のデータをＮ個のセンサから受信した
   後、 −場面全体（「モニタ・ビュー・フレーム」）を表すこ
   とを意図するイメージ・フレームの１つのピクセルを表
   す第１アドレス番号（ＡＯ）； −各々がｂ）で述べた１組の数字によって定義される場
   面（「ウインド・ビュー・フレーム」）の１部を表すよ
   うに意図されたイメージ・フレームの１つのピクセルの
   位置を表す任意の数のアドレス番号（Ａｐ）； −第１アドレス番号（ＡＯ）によって与えられる位置に
   おける場面（「モニタ・ビュー」）の画像の点の光の強
   度を表すデータを取り出すセンサを設計する第１選択番
   号（ＳＯ）； −Ａｐアドレス番号によって与えられる位置における場
   面（「ウインド・ビュー」）の画像の上で定義した部分
   の１つの点の光の強度を表すデータを取り出すセンサを
   設計する任意の数の選択番号（Ｓｐ）； を出力するステップ；によって構成されることを特徴と
   するシステム。
2. 【請求項２】 上記のシステムに接続される接続手段
   は、 Ｎ個のセンサ／カメラを接続する手段；ホスト・コンピ
   ュータ、ジョイスティックまたは場面（「ウインド」）
   の画像の一部のサイズ、フォーム及び位置の数字による
   説明を出力することのできる全ての装置のような外部の
   電子装置に接続する手段；ＳＯおよびＳｐ出力によって
   選択されたセンサ／カメラを１つは「モニタ・ビュー」
   用、１つは「ウインド・ビュー」用の専用バッファに切
   り替え及び接続する手段：および場面全体（「モニタ・
   ビュー」）および場面の部分（「ウインド」）の画像を
   与える外部表示装置に接続する手段；によって構成され
   ることを特徴とする請求項１記載のシステム。