JP4543147B2 - パノラマビジョンシステム及び方法 - Google Patents

Description

本発明は視覚システムに関し、特に画像歪み補正付きのパノラマ視覚システムに関する。

サーベイランスシステム、テレビ会議視覚システム、及び車両視覚システムを含む多くの用途にとって改善された状況認識はますます必要とされている。このような用途に必須なのが、広い操作領域を監視し、異なるユーザモードで容易に理解するために複合画像を形成するニーズである。カメラの台数と費用を最小限に抑えるために、パノラマレンズ付きのカメラが広い視野を可能にするが、固有の幾何学形状及び光学的な非線形性のために歪みを有するであろう。監視用途では、複数台のパノラマカメラが建物の外部及び内部領域全体をカバーしてよく、システムは該領域の連続ビューを提供し、手動でまたは自動で該領域を通して被写体を追跡調査することができる。

車両視覚システムでは、複数のパノラマカメラが領域の完全３６０°の、及び邪魔をするオブジェクトのビューを提供できる。このようなシステムは、状況の認識を改善するために方向転換、逆進、及び車線変更等の特定のオペレータモードに表示ビューを適応させることができる。車両視覚システムの追加の優位点は、サイドミラーによって引き起こされる空気抵抗と雑音を削減することと、このような突出型のミラーを排除することにより車両のワイドスパンを縮小することである。これらのシステムは運動中のオブジェクトを検出し、近いオブジェクトの警告を出し、複数の表示ゾーンを通してこのようなオブジェクトを追跡調査する機能を有することができる。視覚システムは、赤外線装置、レーダ装置、及び感光装置等の多様な技術を通して暗視も大幅に強化できるであろう。

視覚システムは一台または複数台の可視表示装置に結合される一台または複数台の画像獲得装置からなる。画像獲得装置は平面的、パノラマ式、魚眼、及び環状等の異なる焦点距離及び焦点深度のさまざまなレンズを組み込むことができる。魚眼及び環状のようなレンズは幅広い視野と大きな焦点深度を有する。それらは広い視野と深い視野を捕捉できる。しかしながら、それらは画像、特に端縁を変形させる傾向がある。結果として生じる画像は不釣合いに見える。任意のタイプのレンズでは、接線方向の、及び半径方向のレンズ不完全度、レンズ偏位、レンズの焦点距離、及びレンズの外側部分近くでの光の減少により引き起こされる光学的歪みもある。視覚システムでは、輝度の変動及び色収差により引き起こされるさらに他のタイプの画像歪みがある。これらの歪みは画像の質及び鮮明さに影響を及ぼす。

従来の技術のパノラマ視覚システムは、複数の画像を正確に混合する一方で画像歪みを取り除かない。このような一つのパノラマシステム、つまり車両用のバックミラー視覚システムが特許文献１に開示されている。このシステムは画像キャプチャ装置と、画像シンセサイザと、表示システムからなる。本書中も、そこに参照されるものにおいても、幾何学的、光学的、色収差、及び輝度画像歪みがないか補正する電子画像処理システムがある。特許文献２では、車両視覚システムは校正前ベースの輝度補正だけではなく、他の光学的な補正及び幾何学的な補正も含む。完全な輝度及びクロミナンスの補正は、入力光幾何学パラメータと出力光幾何学パラメータに基づき、変化する周囲環境に適応する必要がある。

歪められた画像、及び複数の画像間の切れ目がオペレータの視覚的な認識、このようにして彼女の／彼の状況認識を減速し、潜在的なエラーを生じさせる。これは効率的なパノラマ視覚システムを起動する上で最も重要な障害の一つである。したがって、パノラマ視覚システムに、幾何学的、光学的、色収差、輝度及び他の画像歪みを取り除き、複数のビューの複合画像を提供することを介して状況のビューの正確な表現を提供することが望ましい。このような補正は視覚化と認識を支援し、視覚画像品質を改善する。
米国特許第６，４９８，６２０Ｂ２号明細書 米国特許出願公開第２００３／０１０３１４１Ａ１号明細書 米国特許第５，９４９，３３１号明細書 ジョージ・ウォルバーグ（Ｇｅｏｒｇｅ Ｗｏｌｂｅｒｇ）、「デジタル・イメージ・ワーピング（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｗａｒｐｉｎｇ）」、ＩＥＥＥコンピュータ・ソサエティ・プレス（ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ）、ＩＥＥＥコンピュータ学会出版、１９８８年

本発明は、関連付けられたカメラ、ディスプレイ光学部品、及び幾何学的な特性を有するパノラマ視覚システムを提供する。

一態様における本発明は関連付けられたカメラ、ディスプレイ光学部品、及び幾何学的な特性を有するパノラマ視覚システムを提供し、前記システムは、
（ａ）場面から画像フレームデータを捕捉し、画像センサ入力を生成するための複数の画像獲得装置であって、前記画像フレームデータが集合的に最大３６０°の視野をカバーし、幾何学的歪みパラメータ及び光学的歪みパラメータを有する複数の画像獲得装置と、
（ｂ）画像フレームデータと画像センサ入力をサンプリングし、デジタル画像データに変換するために該複数の画像獲得装置に結合されるデジタイザと、
（ｃ）（ｉ）デジタル画像データを受信し、画像輝度ヒストグラム及びデジタル画像データと関連付けられた周辺光源レベルを測定するための画像測定装置と、
（ｉｉ）カメラ、ディスプレイ光学部品及び幾何学的な特性、画像照明ヒストグラム及び周辺光源レベルととともにデジタル画像データを受信し、輝度不均一性を補正し、デジタル画像データ内で選択された領域の輝度範囲を最適化するように画像測定装置に結合される輝度補正モジュールと、
（ｉｉｉ）画像センサ入力、カメラ、ディスプレイ光学部品及び畳み込まれた歪みパラメータを形成するためにその中で関連付けられる、幾何学特性と不完全度を含む幾何学的歪みパラメータ及び光学的歪みパラメータを結合するために輝度補正モジュールに結合される畳み込み段と、
（ｉｖ）畳み込まれた歪みパラメータに基づいて歪み補正変換を生成し、デジタル画像データに適用し、補正されたデジタル画像データを生成するために畳み込み段に結合される歪み補正モジュールと、
（ｖ）補正されたデジタル画像データから複合画像を合成するために歪み補正モジュールに結合されるディスプレイコントローラと、
を備えるデジタイザに結合される画像プロセッサと、
（ｄ）表示するための表示面上に複合画像を表示するために前記画像プロセッサに結合され、前記複合画像が視覚的に歪みがない表示システムと、
を備える。

別の態様では、本発明は、最高３６０°つまり４πステラジアンをカバーする複合画像を生成するために、カメラ、ディスプレイ光学部品、及び幾何学的歪みパラメータ及び光学的歪みパラメータだけではなく幾何学特性も有するパノラマ視覚システムを使用してパノラマ視覚を提供するための方法を提供し、前記方法は、
（ａ）場面から画像フレームデータを獲得し、前記画像フレームデータが最高３６０°つまり４πステラジアンの視野を集合的にカバーし、画像センサ入力を生成することと、
（ｂ）画像フレームデータと画像センサ入力をデジタル画像データに変換し、前記デジタル画像データが画像輝度ヒストグラムと周辺光源レベルと関連付けられることと、
（ｃ）カメラ、ディスプレイ光学部品と幾何学特性、画像輝度ヒストグラム及び周辺光源レベルを取得し、デジタル画像データの中の選択された領域の輝度範囲を最適化するために輝度不均一性を補正することと、
（ｄ）画像センサ入力、カメラ、ディスプレイ光学部品、及びそこで関連付けられる幾何学特性と不完全性を含む幾何学的歪みパラメータ及び光学的歪みパラメータを畳み込み、畳み込まれた歪みパラメータを形成することと、
（ｅ）歪み補正変換を生成し、デジタル画像データに適用し、前記歪み補正変換が、補正されたデジタル画像データを生成するために畳み込まれた幾何学的歪みパラメータ及び光学的歪みパラメータに基づいていることと、
（ｆ）補正されたデジタル画像データから複合画像を合成することと、
（ｇ）表示のための表示面に該複合画像を表示し、前期複合画像が視覚的に歪みがないことと、
を備える。
別の態様では、本発明は、幾何学的歪みパラメータ及び光学的歪みパラメータだけではなく、関連付けられたカメラ、ディスプレイ光学部品、及び幾何学特性も有するパノラマ視覚システムで使用するための画像プロセッサを提供し、前記パノラマ視覚システムは場面から画像フレームを捕捉するために、及びデジタル画像データと画像センサ入力を生成するために複数の画像獲得装置と、デジタル画像データと画像センサ入力をデジタル画像データに変換するためにデジタイザとを使用し、前記画像プロセッサは、
（ａ）デジタル画像データを受信するため、及び画像輝度ヒストグラムとデジタル画像データに関連付けられた周辺光源レベルを測定するための画像測定装置と、
（ｂ）カメラ、ディスプレイ光学部品及び幾何学特性、画像輝度ヒストグラム、及び周辺光源レベルとともにデジタル画像データを受信するために、及び輝度不均一性を補正するために、及びデジタル画像データの中の選択された領域の輝度範囲を最適化するために画像測定装置に結合される輝度補正モジュールと、
（ｃ）画像センサ入力、カメラ、ディスプレイ光学部品、及び畳み込まれた歪みパラメータを形成するためにそこで関連付けられる幾何学特性と不完全度を含む、幾何学的歪みパラメータ及び光学的歪みパラメータとを結合するために輝度補正モジュールに結合される畳み込み段と、
（ｄ）補正されたデジタル画像データを生成するために、畳み込まれた歪みパラメータに基づいて、歪み補正変換を生成し、デジタル画像データに適用する畳み込み段に結合される歪み補正モジュールと、
（ｅ）補正されたデジタル画像データから複合画像を合成するために歪み補正モジュールに結合されるディスプレイコントローラと、
を備える。

本発明はその第一の実施形態において、リアビュー、サイドビュー、及びコーナービューを強調し、最大３６０°の水平視野と最高１８０°の垂直視野カバレージをカバーする車両視覚システムを提供する。状況のディスプレイ画像は車両ステータスまたはナビゲーションデータ等の他の車両情報データと統合できる。画像は、好ましくは運転者の視界に隣接するフロントパネルに表示される。追加のビューは、ミラーに代わり、外部要素への露出及び空気抵抗を排除する内装ダッシュボードコーナディスプレイ等のカバレージと柔軟性を改善するために表示できる。システムは、ディスプレイを再構成し、一つのビューが他より重大になると制御入力に基づいてビューの間でトグルするように適応される。

例えば、ディスプレイは、車両がバックしているときに車両の後部下部のワイドビューを示す、あるいは右回り信号がオンにされ、車両がさらに高速で走行するときに右側ビューを示す、あるいは右回り信号がアクティブであり、車両が停止されるまたは低速度で走行するときに右コーナービューを示すために再構成する。好適実施形態では、システムは駐車支援、または車線交差警告のような機能を、距離決定だけではなく、カーブ、車線及びオブジェクトのパターン認識を介して提供する。

別の実施形態では、本発明は最高３６０°水平、つまり建物、橋等の構造物の外部及び／または内部の４πステラジアンの視野をカバーするサーベイランスシステムを提供する。システムは複数の歪み補正済みビューを提供し、連続ストリップまたは走査スキャニングパノラマビューを生成するために複数の歪み補正済みビューを提供できる。システムは、監視領域での運動検出及びオブジェクト追跡調査を、及び人、車両等を解読するために実行できる。

さらに別の実施形態では、本発明は、最高１８０°のワイドビューまたは最高３６０°の円形ビューを生じさせるテレビ会議視覚システムを提供する。この実施形態は、本発明は会議または集まりの参加者を表示することを容易にし、単一カメラの付いたスピーカでズームインする能力を提供する。

本発明の実施形態の異なる態様及び優位点のさらなる詳細は、添付図面に沿った以下の説明で明らかにされる。

本発明に従って構築され、図１は視覚システム１００の全体的な構造を示している。それは画像フレームを捕捉するためのカメラ１１０、画像フレームデータをデジタル画像データに変換するためのデジタイザ１１８、輝度を調整し、画像の歪みを補正し、デジタル画像データと制御パラメータから複合画像を形成するための画像プロセッサ２００、ユーザパラメータとセンサパラメータを画像プロセッサ２００に中継するためのコントローラ１０１、表示面１６０で表示するために作られた画像を表示するためのディスプレイ装置１２０のような複数の画像獲得装置を備える。本発明で最終的に作られた画像は複数の特定の関心のある領域を含む最大３６０°をカバーし、大幅に歪みがない。それは状況の認識をかなり強化する。

図１のカメラ１１０は画像光学部品１１２、センサアレイ１１４及び画像キャプチャ制御機構１１６を備えている。広い領域のカバレージを必要とする用途の場合、画像光学部品１１２は必要とされるカメラの台数を最小限に抑えるために広角レンズを使用してよい。広角レンズはより広い焦点深度も有し、焦点調整及びそのコスト実現のニーズを削減する。このようなレンズは通常１００°を超える視野と、数フィートから無限までの焦点深度を有する。これらの特性の両方ともパノラマ視覚システムにとってこのようなレンズを所望されるものとする。広角レンズは光学的に補正するのが困難であり、高価であるさらに大きな光学歪みを有する。本発明では、電子的な補正は、光学部品または投射経路の他の非線形性と不完全度だけではなく光学的な歪みと幾何学的な歪みを補償するために使用される。

本発明では、カメラレンズは完全である、あるいは完全な画像を生じさせる必要はない。レンズ幾何学形状または不完全度によって引き起こされる画像歪みを含むすべての画像歪みは、数学的に形に表され、電子的に補正される。この特長の重要性は、それにより焦点深度が拡大された安価な広角レンズを使用できるようになるという事実にある。このようなレンズの欠点は、それらが引き起こす画像歪み及び輝度不均一性である。それらは特に場面の端縁近くで被写体を引き伸ばす傾向がある。この効果は、例えば魚眼レンズまたは環状レンズについて周知である。それらは被写体を不均衡に見えさせる。これらの歪みを補償するために使用できるバルク光学部品解決策がある。しかしながら、バルク光学部品を追加すると、このような装置は大型化し、より重厚になり、より高価になるであろう。バルク光学部品構成部品のコストは、研磨、位置合わせ等の機能のための労務費により固定される。しかしながら、電子構成部品は絶えず安くなり、効率化している。バルク光学部品が特定の歪みを完全に取り除くことが絶対にできないことも周知である。

バルク光学部品解決策の別の欠点は調整に対する感度及び衝撃時に機能不全になることである。したがって、視覚システムを堅牢且つ相対的に経済的にする一方で、それに真の設定を表現させる電子画像補正に対する重大なニーズがある。これは、視覚システムにおいては、電子構成部品は他のタスクを達成するためにいずれにせよ必要とされる可能性が高いという事実により立証される。これらのタスクは、パノラマ変換とディスプレイ制御を含む。本項で後述される画像プロセッサ２００はこれらの本質的な機能を提供する。

画像センサアレイ１１４はカメラ１１０の中に描かれている。センサアレイはカメラシステムを通して場面の光度の極端な変動を加減するように適応されている。視覚システムが異なる照明状態で効率的に動作するためには、大きな動的範囲に対するニーズがある。この動的範囲要件は、夜間の入射光源からの幅広い変動だけではなく、周辺光度の日中と夜間の変動に端を発する。カメラセンサは基本的には、それぞれが場面の一部から光に露出されるセグメントのモザイクであり、出力電圧として光の光度を登録する。画像キャプチャ制御機構１１６は、画像フレーム輝度情報を送信し、これらのデータに基づいてそれは統合最適化、レンズ絞り制御、及びホワイトバランス制御のためのコマンドを画像プロセッサ２００から受信する。

デジタイザ１１８は画像キャプチャ制御機構１１６から画像データを受信し、これらのデータをデジタル画像データに変換する。代替例では、デジタイザ１１８の機能は画像センサ１１４または画像プロセッサ２００で統合されてよい。既存の音声データ獲得のケースでは、デジタイザ１１８は音声装置アレイ１１７からこれらのデータを受信する。次に、それはデジタル音声データを生成し、これらのデータをデジタル画像データと結合する。デジタル画像データは次に画像プロセッサ２００に送信される。

図２Ａは画像プロセッサ２００を詳しく示している。画像プロセッサの機能はデジタル画像データを受信し、画像統計を測定し、画質を改善し、輝度不均一性を補償し、これらのデータの中の多様な歪みを補正し、最終的に、かなり歪みがない一つまたは複数の複合画像を生成することである。それは、制御データインタフェース２０２、画像測定モジュール２１０、輝度補正モジュール２０２、歪み畳み込み段２５０、歪み補正モジュール２６０及びディスプレイコントローラ２８０だけではなく、カメラ光学部品データ、投影光学部品データ、及び投影幾何学形状データを備える光学部品幾何学形状データインタフェース２３６も備える。画像プロセッサ２００の機能を理解するためには、これらの歪みの性質と原因を簡略に説明することが重要である。

周辺光とスポット照明は、輝度レベルで極端な変動を生じさせ、その結果画質不良、及び画像要素認識の困難を生じさせることがある。本発明では、画像プロセッサ２００は完全画像領域と選択画像領域を測定し、関心のある領域における最高の画質のために露光を制御するためにそれらを分析する。ヘッドライトとスポットライトのような高い光源レベルソースが輝度で実質的に削減され、低レベルのオブジェクトは要素認識を支援するために詳しく改善される。

画像センサは任意のタイプ及び解像度であってよいが、本発明で特定される用途について、高解像度ソリッドステートＣＣＤまたはＣＭＯＳ画像センサが、サイズ、コスト、統合、及び柔軟性という点で適切になるであろう。典型的な用途は、絞り制御及び統合時間において幅広く変化する周辺光源レベルに調整することを含む。絞り制御及び統合時間制御に加えて、輝度補正モジュール２２０が関心のある領域のヒストグラム分析を実行し、低光領域でのコントラストを拡大し、画像要素認識の強化を実現するために高い光領域のコントラストを削減する。

輝度不均一性は、画像全体での望ましくない輝度変動である。輝度不均一性の主要な物理的な理由は、光学システムのさまざまな部分を通過する光線が異なる距離、及び領域密度を移動するという事実である。光線の輝度は、それが移動する距離の事情に応じて減少する。この純粋に物理的な原因に加えて、光学システムの不完全度も輝度の不均一性を引き起こす。このような不完全度の例は映写レンズビネットと側面方向の変動、及び生成される映写光の不均一性である。三つの異なる色成分について明るさの変動が異なる場合、それらはクロミナンス不均一性と呼ばれる。

別のタイプの光学歪みは色収差である。それは、レンズのような光学部品が異なる波長には異なる屈折率を有するという事実に起因する。光学部品を通って伝播する光線はさまざまな波長で異なる角度で屈折する。この結果、画像の中の色の側面方向のシフトが生じる。側面方向の収差によりポイントオブジェクトの異なる色成分は分離し、分岐する。表示面上で、ポイントは縁があるように見えるであろう。別のタイプの色収差は本来軸に沿っており、レンズが異なる光波長に異なる焦点を有するという事実により引き起こされる。この種の色収差は電子的に補正できないであろう。

種々の他の歪みが視覚システムに存在する可能性がある。接線方向または半径方向のレンズの不完全度、レンズの偏位、プロジェクタの不完全度、及び軸から外れた投射からのキーストーン歪みは共通した歪みのいくつかである。

言及された歪みに加えて、画像プロセッサ２００は、形状、サイズ、及びアスペクト比等の特定の特性のある表示面に捕捉された場面をマップする。例えば、画像は捕捉された場面のさまざまな部分から形成され、車のフロントガラスの一部の上に投影され、そのケースではそれは表示面の特定のサイズだけではなく、平坦ではない形状のために歪みに苦しむ。本発明における画像プロセッサは、後述されるようなこれらのすべての歪みを補正する。

ここで図２Ａの画像プロセッサ２００の詳細を参照すると、デジタル画像データは、関心のある領域内の画像コントラストと明るさのヒストグラムが測定される画像測定モジュール２１０によって受信される。これらのヒストグラムは、センサ露光を制御するために、及びデジタル画像データを調整し、視覚化および検出のために画像コンテンツを改善するために輝度補正モジュール２２０によって分析される。いくつかの調整はハイライト圧縮、コントラスト拡大、詳細強化及び雑音削減を含む。

この測定情報とともに、輝度補正モジュール２２０はカメラ及び投影光学部品データを、光学部品幾何学形状データインタフェース２３６から受信する。これらのデータは正確な光伝播計算及び光学部品の校正から決定される。これらのデータは、投影システムだけではなくカメラも通る異なる光線の光路距離を提供するので、輝度補正にとって重大である。別々のまたは組み合わされたカメラと投影補正マップは、ピクセルごとに補正を計算するために生成される。

補正マップはオフラインで取得できる、あるいはそれは環境に従って動的に計算できるであろう。したがって、輝度補正モジュール２２０の機能はデジタル画像データを受信し、輝度が調整されたデジタル画像データを生成することである。クロミナンス不均一性の場合、輝度補正モジュール２２０は好ましくは輝度補正を三つの異なる色成分に別々に適用する。輝度補正モジュール２２０の物理的なインプリメンテーションは、ソフトウェアプログラムあるいはデジタル信号プロセッサ、または集積回路の中の計算論理等の専用処理回路網によるであろう。

輝度が調整された画像データは幾何学的な歪み、光学的な歪み、及び他の空間歪みについて補正される必要がある。これらの歪みは「ワープ」補正と呼ばれ、このような補正技法は文献中「イメージワーピング」と呼ばれている。イメージワーピングの説明は、参照することによりこれに組み込まれている非特許文献１に掲載されている。

基本的には、イメージワーピングは座標変換の効率的なパラメータ化であり、出力ピクセルを入力ピクセルにマップする。理想的には、グリッドデータセットが入力ピクセルへのあらゆる出力ピクセルのマッピングを表す。しかしながら、グリッドデータ表現は、ルックアップテーブルのシヤーサイズ（ｓｈｅａｒ ｓｉｚｅ）のためにハードウェアインプリメンテーションという点できわめて厳しい。本発明におけるイメージワーピングは、数個のパラメータを介してピクセルグリッドデータセットを表現する効率的な方法を提供する。一例では、このパラメータ化は度数ｎの多項式により実行され、ｎは結合された歪みの複雑度によって決定される。

本発明の別の例の出力空間のさまざまな領域は、多項式の度数を削減するために固有の幾何学的な特性のあるパッチに分割される。原則としては、パッチ数が多く、パッチあたりの適合多項式の度数が高いほど、グリッドデータセットのパラメータ化はさらに正確になる。しかしながら、これはリアルタイムアプリケーションのための処理力と均衡されなければならない。したがって、このようなワープマップは出力ピクセルの入力ピクセルへのマッピングを表し、カメラ光学部品、ディスプレイ光学部品、及び最終的な複合画像指定の性質及び表示面の形状を含むディスプレイ幾何学形状を現す。さらにユーザ入力パラメータを含む任意の制御パラメータは、前記パラメータと結合され、単一変換で表現される。

座標変換に加えて、多くの場合サンプリングまたはフィルタリング機能が必要とされる。一旦出力画像ピクセルが入力ピクセル上にマップされると、この入力ピクセルの周辺の領域はフィルタリングのために指定される。この領域がフィルタ設置面積と呼ばれる。フィルタリングは、基本的には加重平均化関数であり、設置面積内部のすべてのピクセルに基づいた出力ピクセルの構成色の輝度を生じさせる。特定の例では、光学画質のために異方性の楕円形の設置面積が使用される。設置面積のサイズが大きいほど、出力画像の質が高くなることは公知である。本発明における画像処理２００は、同時座標変換とともに画像フィルタリングを実行する。

画像歪みを補正するためには、前述されたすべての幾何学的歪みパラメータ及び光学的歪みパラメータが、異なる色成分について歪み畳み込み段２５０において連結される。これらのパラメータは、光学部品幾何学形状インタフェース２３６を介してカメラ光学部品データ、投影光学部品データ、投影幾何学形状データを含み、制御インタフェース２０２を介して入力を制御する。連結された光学的歪みパラメータ及び幾何学的歪みパラメータは次に歪み補正モジュール２６０によって取得される。このモジュールの機能は、場面の各要素の位置、形状及び色の輝度をディスプレイピクセルに変換することである。表示面１６０の形状は投影幾何学形状データ２３４において考慮に入れられる。この表面は必ずしも平坦ではなく、表面マップが取得され、他の歪みパラメータと連結される限り任意の一般的な形状であるであろう。ディスプレイ面マップは歪みデータの残りと畳み込まれる。

歪み補正モジュール２６０は、本発明の一例では、歪みパラメータの空間全体をカバーするワープマップを取得する。プロセスは、参照することにより本書に組み込まれている同時係属米国特許出願番号第２００３／００２０７３２−Ａ１号と第２００３／００４３３０３−Ａ１号に詳細に説明されている。歪みパラメータの集合ごとに、画像がカメラ光学部品を通って、ディスプレイ光学部品を通って表示面１６０の特定な形状の上に伝播するときに被る歪みを補償するために変換が計算される。歪みパラメータセット及び変換計算の形成はオフラインで実行でき、インタフェースを介して画像プロセッサ２００によってアクセスされるためにメモリに記憶できるであろう。それらは変化するパラメータの場合、少なくとも部分的に動的にも実行できるであろう。

ディスプレイ画像は、独立したビューまたは連結ビューである場合があるビューウィンドウから構成できる。ビューウィンドウごとに、歪み補正モジュール２６０は、ワープ面方程式から空間変換及びフィルタリングパラメータを補間し、計算し、ディスプレイ画像のための画像変換を実行する。

画像フレームごとに、歪み補正モジュール２６０が、最初に歪みパラメータ空間内の最も近いグリッドデータポイントを見つける。次に、それはパラメータのそのセットに対応する既存の変換を補間し、実際の歪みパラメータと適合する。補正モジュール２６０は次に変換をデジタル画像データに適用し、すべての歪みを補償する。各カメラの各フレームからのデジタル画像データは結合され、表示面及びその下部構造に適合する複合画像を形成する。対応するデジタルデータは、画像が表示面で形成されると、明白に歪みがなく、それが表示面上の最適化された表示領域に適合するように補正される。歪み補正モジュール２６０の物理的なインプリメンテーションは、汎用デジタル信号プロセッサ上のソフトウェアプログラムによって、あるいは特定用途向け集積回路等の専用処理回路網によってであろう。画像プロセッサ２００の実際の例はシリコンオプティックス社（Ｓｉｌｉｃｏｎ Ｏｐｔｉｘ Ｉｎｃ．）ｓｘＷ１及びＲＥＯＮチップに組み込まれている。

図２Ｂは、本発明の一例における画像プロセッサ２００のフロー論理を示す。このチャートのデジタルデータフローが太線によって示されているのに対し、計算されたデータフローは薄線を介して描かれている。この図で見られるように、明るさヒストグラムとコントラストヒストグラムがステップ（１０）でデジタルデータから測定される。ディスプレイ光学部品とディスプレイ幾何学形状パラメータとともにカメラ光学部品はステップ（１４）と（１６）で取得される。これらのデータは次に、画像輝度不均一性が調整されるステップ（２０）で明るさヒストグラムとコントラストヒストグラムとともに取得される。ステップ（２６）で取得される制御パラメータだけではなく、ステップ（１４）と（１６）からの光学部品と幾何学形状データも次にステップ（３０）で収集される。このステップで、すべての歪みパラメータが連結される。歪みの影響を逆転する変換が次にステップ（４０）で計算される。この補償変換は次に、ステップ（２０）から取得される輝度が調整されたデジタル画像データに適用される。

前記に説明されたように、ピクセルデータはさらに高い画質のためにこのステップでフィルタリングされる。したがって、ステップ（５０）は同時座標変換と画像処理を構成する。ステップ（５０）では、歪みが補償されたデジタル画像データが、表示のために複合画像を生成するために使用される。

一旦フレームのためのデジタル画像データが処理され、作られると、ディスプレイコントローラ２８０はこれらのデータから画像を生成する。本発明の例では、画像は、直接ビューディスプレイまたは投影ディスプレイ装置であるであろうディスプレイ装置１２０上で形成される。一例では、投影ディスプレイ装置１２０からの画像はディスプレイ工学部品１２２を通して表示面１６０の上に投影される。ディスプレイ光学部品１２２は、表示面１６０の上に投影された光形式ディスプレイ装置１２０を向けるためのバルク光学部品構成要素である。特定のディスプレイシステムは、補正される必要のある追加の光学歪みと幾何学歪みを有する。この例では、画像プロセッサ２００はこれらの歪みを連結し、結合された歪みを補正する。

本発明は、ディスプレイシステムの特定の選択に制限されないことが注記されなければならない。ディスプレイ装置は液晶、発光ダイオード、陰極線管、エレクトロルミネセント、プラズマ、または任意の他の実行可能なディスプレイ選択肢として提供できるであろう。ディスプレイ装置は直接的に表示可能であろう、あるいはそれは統合されたコンパートメント上にディスプレイ光学部品を通して投影され、表示画面として働くことができるであろう。好ましくは、ディスプレイシステムの明るさは周辺光センサ、独立信号及びユーザディマースイッチを介して調整される。表示面のサイズも好ましくはオペレータの目からの距離に従ってユーザによって調整可能である。

コントローラ１０１は、画像プロセッサ２００と接続する。それは、センサ１９４からの入力とともにユーザインタフェース１５０からユーザパラメータを獲得し、ディスプレイ制御のためにそれらを画像プロセッサ２００に送信する。ユーザパラメータは、本発明のさまざまな実施形態に対応する出願に特定である。センサ１９４は好ましくは周辺光センサ及び直接グレアセンサを含む。これらのセンサからのデータは、表示調整のために使用される。制御パラメータは所望される画像を提供するために他のパラメータと畳み込まれる。

本発明のいくつかの用途のために、データストリームを記録する、あるいはネットワーク上で異なるクライアントにそれを送信することが望ましい。両方のケースでは、ビデオデータストリームを最初に圧縮し、記憶及び帯域幅の制限を達成することが望ましく、必要である。圧縮段１３２は、一例では、画像プロセッサ２００からビデオストリームを受信し、デジタルビデオデータを圧縮する。圧縮されたデータは将来の使用のために記憶装置１４２に記憶される。別の実施形態では、データは暗号化段１３４で符号化され、ネットワークインタフェース１４４を介してネットワーク上で送信される。

本発明の一般的な特長を詳細に説明してきたが、視覚システム１００の多くの例のインプリメンテーションが個々で説明される。一実施形態では、本発明は車両視覚システムを提供する。図３Ａは、右ビュー９０２、左ビュー９０４、及び後方ビュー９０６をカバーする二つのサイドミラー及び一つの車内ミラー付きの従来の自走車両９００を示している。従来のミラー位置及び視界により盲点が生じ、広い視覚に起因する歪みを有する可能性があることが周知である。三つのミラーによって提供される画像から完全な状況の認識を得ることは難しい。

図３Ｂに図解されている本発明の一例では、車両９００’は、運転席の前方にカメラ１１０’とカメラ１１１’を装備している。これらの位置が運転者の直接前方視野と重複することによりカバレージを拡大する。この例のカメラ１１３’は車両の後部に、あるいはそのルーフの真中後部に配置される。異なるビューの特定の領域は重複しない連続画像を提供するために選択される。これにより運転者の混乱が妨げられる。

図３Ｃに図解されている別の例では、車両９００”は車両のフロントコーナーにカメラ１１０”とカメラ１１１”、及び中心後部にカメラ１１３”を有している。この例では、ユーザ入力によってまたは制御パラメータによって調整可能なビューに重点が置かれている。例えば方向転換サイドビュー９０３”は、方向転換信号が活動中であるときに使用できるようにされる。このビューのカバレージがユーザ入力の関数であり、原則としては破線の間の領域全体をカバーすることが注意されなければならない。同様に運転側ビュー９０５”は標準運転モードで使用され、それは破線の間の領域全体をカバーするために拡大できる。この例の後部ビューは、制御パラメータに応じて二つのモードを有する。車両が逆であるとき、逆後部ビュー９０７”が表示のために使用される。このビューが、舗装道路上のオブジェクトを含む車両の後部の完全なカバレージを生じさせる。これは、安全な後退を保証し、縦列駐車を大幅に容易にする。ただし、車両が運転モードにあるときには、さらに狭い運転者後部ビュー９０６”が使用される。これらの位置と角度が、運転者により車両の外部の便利なビューを確実にする。この例は縦列駐車及び車線変更等の機能を大幅に容易にする。

図４Ａは、運転者によって見られるように表示面１６０の例を示している。右ビュー１６２と左ビュー１６４がそれぞれ表示面１６０の右上と左上にある一方、後部ビュー１６６は表示面の下部にある。図５Ａは、より幅広いディスプレイが使用され、側面ディスプレイは後部ビュー１６６’の二つの側面にある表示面１６０’の例を示している。画像プロセッサ２００は、この特定のディスプレイを作るためにパノラマ変換及び画像ステッチ機能を有する。図４Ｂ及び図５Ｂは、それぞれ車両が右に曲がるとき、または逆になっているときに図４Ａと図５Ａの再構成されたディスプレイの例を示す。

図６Ａは、車両が車線を変更し、右側車線に入るときの表示面１６０の再構成されたディスプレイの例の図である。この例では、車両の右前部と後部は完全に視認可能であり、車両の右側のすべてに関して状況認識を生じさせる。図６Ｂは、右方向転換信号が活動中であるときに右に曲がるために構成されるディスプレイの例の図である。図３Ｃのサイドを変更するビュー９０３”はいまサイド変更ビュー１６３”としてディスプレイの真中上部分に表示されている。後部ビュー１６６”と右ビュー１６６”はディスプレイの下部にある。

図７は表示面１６０の別の例を示す。ディスプレイのこの特定の構成は、視覚システム１００と統合された超音波センサとレーダセンサからの距離決定だけではなく、画像獲得装置からの視覚情報を収集することによって達成可能である。この図解されている例では、太線と灰色の陰影のある車両は視覚システム１００を備え、周囲セッティング、つまり他の車両に関して示されている。本発明のこの例のインプリメンテーションは状況の認識を大幅に高め、車両の運転を容易にする。各オブジェクトの寸法の内の二つがカメラによって直接的に捕捉される。これらの車両とオブジェクトの形状とサイズは、車線とカーブのサイズと形状に従ってカメラのビューを外挿することによって再構築される。運転場面のより正確な視覚アカウントがパターン認識及びデータベース中の特定のオブジェクトのためのルックアップテーブルによって再構築できるであろう。

本発明がこれらの図解されている例に限定されないことが注記されなければならない。表示面の再構成だけではなくカメラの数と位置に関する変動も本発明の範囲内である。投影幾何学形状データ、投影光学部品データ、及びカメラ光学部品データは画像プロセッサ２００のこれらすべての代替インプリメンテーションをカバーする。

好ましくは、ディスプレイ明るさは、周辺光センサを介して、車両ヘッドライトからの信号を介して、あるいは手動ディマースイッチを介して調整可能である。加えて、好ましくはディスプレイ面のサイズもドライバを介して調整可能である。参照することにより本書に組み込まれている特許文献３に説明されているように、表示されている画像の焦点距離はかなり運転者の焦点の視野内にあることも好ましい。ただし、画像がつねに運転者の焦点深度内で形成することを確実にするためにディスプレイシステムの焦点距離が車両の速度に応じて調整されることも好ましい。さらに高速では、運転者は自然とさらに長い距離に焦点を合わせる。このような調整はスピードメータ信号１５６または伝送信号１５４を介して達成される。

図６は、車両視覚システムにおけるユーザ入力１５０の例を示す。信号インタフェース１５１は異なる構成要素から信号を受信し、コントローラ１０１と接続する。右に曲がっている間に活動中である例えば方向転換信号１５２は、信号インタフェース１５１に、及びコントローラ１０１の上に、そして最終的には画像プロセッサ２００に信号を中継する。一旦画像プロセッサ２００がこの信号を受信すると、それは表示面１６０で右ディスプレイ１６２を強調するようにディスプレイを構成する。図４Ｂはこのような条件下の表示画面１６０を示す。右ビューディスプレイは表示面１６０の半分を占有し、他の半分は後部ビューディスプレイ１６６専用である。図５Ｂは、広い表示面実施形態での同じ状況を示している。他の信号が他の機能を呼び出す。

例えば、車両を駐車している間に、トランスミッションは好ましくは後部ビューを強調するための信号を発生させる。他の信号は、ステアリングホイールが事前に設定された限度より多く一方の側に方向を変えられるときに活動中であるステアリング信号と、ブレーキペダルが押されているときに活動中であるブレーキ信号と、移動速度と方向についての情報を伝達するトランスミッション信号と、さまざまな信号を入力するために多様な設定速度で計測されるスピードメータ信号を含む。ディスプレイシステムは、本発明では、これらの制御パラメータのどれかに応じて異なる状況に調整し、重大な画像を使用可能とするために自動的に再構成する。種々の制御信号は画像プロセッサ２００と組み込まれ、ここでは数個の例に言及したに過ぎない。

ロードマップ、沿道情報、ＧＰＳ情報、及び局地天気予報を含む種々の有効な情報が表示面１６０に表示できるであろう。視覚システム１００はダウンロードされたファイルを通して、または運転者の要求で無線通信を通してのどちらかでこれらのデータにアクセスする。それは、次に画像フレームデータ上にこれらのデータを重畳し、ディスプレイシステム用の画像を作る。好ましくは重要な警告システムも視覚システムにより受信され、表示され、ディスプレイシステムインタフェース及び音声信号インタフェースを介して一斉送信される。視覚システム１００は画像データ情報を交換することを介してインテリジェント高速道路駆動システムと統合することもできるであろう。また、それは参照することにより本書に組み込まれている特許文献１に従って距離限定器及びオブジェクト識別器と統合される。

一例のインプリメンテーションでは、車両視覚システム１００は、カメラと音声装置によって検出されるようにイベントの連続記録を行うために、圧縮段１３２と記録装置１４２を備える。これらの特長は事故、自動車の乗っ取り及び交通違反のような不幸な出来事の後に見直される運転者により意図される事象に加えて過去の衝撃の前に特定のセグメントを保存する機能を組み込む。このような情報は、法執行機関、司法当局、及び保険会社が使用できるであろう。

別の実施形態では、本発明は、既定の設定に応じて最高１８０°または３６０°をカバーするテレビ会議視覚システムを提供する。この実施形態では、ビデオ信号とともに音声信号も必要とされる。視覚システム１００の図解されている図１の例では、音声装置アレイ１１７がカメラからのビデオ入力に加えて音声入力を提供する。音声信号データはデジタイザ１１８を介してデジタルデータに変換され、デジタル画像フレームデータに重畳される。パン機能は個々のスピーカまたは質問者にパンするために音声信号の三角測量に基づいて提供される。パン機能とズーム機能は、画像プロセッサ２００によってデジタルで提供される。光学ズームがない場合、デジタルズームが提供される。

図７Ａはテレビ会議システムの例に関する。それは会議テーブルの中心でのカメラ１１０のビューを示す。この特定の例では、カメラ１１０は半球形のレンズ系を有し、テーブル面上及びテーブル面を含むすべてを捕捉する。未処理画像はさかさまで、引き伸ばされ、不均衡である。しかしながら、表示面１６０上に表示されている画像には歪みはなく、パノラマ的に変換されている。

図７Ｂは、スピーカの画像が拡大され、会議の残りが同じ面上で直線形状で可視である表示面１６０を示している。

さらに別の実施形態では、本発明は運動検出及びオブジェクト認識付きのサーベイランスシステムを提供する。図２Ａはサーベイランスシステムで使用される画像プロセッサ２００の例を示す。運動検出器２７０は、検出された運動及び信号警報の事前設定レベルに基づいて連続入力画像フレームを評価し、歪み畳み込み段２５０に運動領域座標を送信する。入力画像フレームはカレントビューウィンドウの外部の領域を監視するために使用される。追跡座標は、検出されたオブジェクトの補正された表示のためのビューウィンドウを計算するために歪み畳み込み段２５０によって使用される。歪み補正されたオブジェクト画像は、オブジェクトの保証された運動及び時間的な補間によって解像度強化できる。オブジェクトの認識及び分類も実行できる。

図８は、サーベイランスシステムの図解されている例を示している。カメラ１１０と１１１は、それらが壁に取り付けられている通路内にある。これら二つのカメラは、通路を通る交通量を監視する。本実施形態での画像プロセッサ２００は、被写体が通路を通過するにつれて被写体の運動を追跡調査するために運動検出器及び追跡装置２７０を使用する。この例の表示画面１６０は、特定のときに図９Ａに、後に図９Ｂに図示される。被写体の通過は、彼が一方のカメラの視界から他方に移動するにつれて全面的に捕捉される。視覚システムは、被写体の詳細及び認識を改善するために時間的な抽出により解像度強化も実行でき、図９Ａと図９Ｂの両方の上部にそれを表示する。この図の上部は完全解像度で、あるいは移動する被写体をデジタルでズームすることによって提供される。オブジェクトの認識及び追跡調査はあるフレームからの運動中のオブジェクトを次のフレームと比較することを介して達成される。外形が、認識を容易にするために追跡されるオブジェクトを強調表示する。

本発明に従って構築される、視覚システム及びその構成要素の全体図を表す。 視覚システムの一部として図１の画像プロセッサの構造を表す。 図１の画像プロセッサの流れ論理を表す。 側部視野と後部視野のために使用されるミラー付きの従来の車両を表す。 視覚システムの車両例でカメラとそのビューの例の設定値を表す。 視野システムの車両例でカメラのための選択された図を表す。 車両視覚システム例での視覚システムディスプレイの視覚表面を表す。 車両視覚システム例で、右方向転換信号が活動中である図４Ａと同じ表示面を表す。 車両視覚システム例で視覚システムディスプレイの表示面の幅広い代替策を表す。 車両が逆に走っているときに図５Ａの再構成される表示面を表す。 車両が車線を変更しているときの再構成されたディスプレイを表す。 車両が右に曲がり、運転者のビューが見えなくされるときの再構成されたディスプレイを表す。 車両と隣接するオブジェクトを示す上部ビューディスプレイを表す。 車両視覚システム内の制御入力の例を表す。 テレビ会議視覚システム例で会議用のテーブルの中心にセットされる半球状の１８０°（２πステラジアン）のビューカメラを表す。 テレビ会議視覚システム例のディスプレイを表す。 サーベイランスシステムの例の一部として壁の上に取り付けられている二台のカメラのある通路または建物壁を表す。 本発明のサーベイランスシステム例のディスプレイを表す。 後の時刻における図９Ａと同じディスプレイを表す。

Claims (41)

1. 関連付けられたカメラ、ディスプレイ光学部品及び幾何学特性を有するパノラマ視覚システムであって、
   （ａ）場面から画像フレームデータを捕捉するため、及び画像センサ入力を生成するための複数の画像獲得装置であって、前記画像フレームデータが最高３６０°の視野を集合的にカバーし、幾何学的歪みパラメータ及び光学歪みパラメータを有する前記画像獲得装置と、
   （ｂ）該画像フレームデータ及び該画像センサ入力をサンプリングし、デジタル画像データに変換するための該複数の画像獲得装置に結合されるデジタイザと、
   （ｃ）（ｉ）該デジタル画像データを受信し、該画像輝度ヒストグラムと、該デジタル画像データと関連付けられた該周辺光源レベルとを受信するための画像測定装置と、
   （ｉｉ）該カメラ、ディスプレイ光学部品と幾何学特性、該画像輝度ヒストグラム、及び該周辺光源レベルとともに該デジタル画像データを受信するため、及び輝度不均一性を補正するため、及び該デジタル画像データ内の選択された領域の該輝度範囲を最適化するために該画像測定装置に結合される輝度補正モジュールと、
   （ｉｉｉ）該画像センサ入力、該カメラ、ディスプレイ光学部品及び畳み込まれた（ｃｏｎｖｏｌｕｔｅｄ）歪みパラメータを形成するためのその中で関連付けられた幾何学特性と不完全度とを含む、該幾何学的歪みパラメータ及び光学的歪みパラメータを結合するために該輝度補正モジュールに結合される畳み込み段と、
   （ｉｖ）歪み補正変換を生成し、該畳み込まれた歪みパラメータに基づいて該デジタル画像データに適用し、補正されたデジタル画像データを生成するために該畳み込み段に結合される歪み補正モジュールと、
   （ｖ）補正されたデジタル画像データから複合画像を合成するために歪み補正モジュールに結合されるディスプレイコントローラと、
   （ｄ）表示のために表示面で視覚的に歪みのない該複合画像を表示するために前記画像プロセッサに結合されるディスプレイシステムと、
   を備える該デジタイザに結合される画像プロセッサと、
   を備えるシステム。
2. 前記複数の画像獲得装置及び該デジタイザが複数のデジタルカメラによって実現される請求項１に記載のパノラマ視覚システム。
3. 該ディスプレイシステムが光投影システムであり、該幾何学的歪みパラメータ及び光学的歪みパラメータが、関連付けられた幾何学歪みと光学歪みを事前に補正するために連結される請求項１に記載のパノラマ視覚システム。
4. 少なくとも一つの周辺光センサと、少なくとも一つの照明信号と、及び少なくとも一つのユーザディマースイッチとをさらに備え、該ディスプレイシステムの明るさが前記周辺光センサ、別個の照明信号、及びユーザディマースイッチの内の少なくとも一つに従って調整される請求項１に記載のパノラマ視覚システム。
5. コントローラをさらに備え、
   前記コントローラが、選択される表示機能及び優先順位のセットに基づいて、ユーザパラメータを歪みパラメータに連結するために、ユーザパラメータを該パノラマ視覚システムに中継するように適応される請求項１に記載のパノラマ視覚システム。
6. ユーザ入力と制御パラメータを受信し、中継するように適応される該画像プロセッサに結合される制御インタフェースをさらに備える請求項１に記載のパノラマ視覚システム。
7. 前記画像プロセッサが、絞り及び露光時間の制御のために該画像獲得装置に露光制御コマンドを送信するようにさらに適応される請求項１に記載のパノラマ視覚システム。
8. 表示面をさらに備え、該表示面上の該複合画像の該位置とサイズがユーザ入力のセットに従って調整可能である請求項１に記載のパノラマ視覚システム。
9. 車両視覚システムとして提供される請求項１に記載のパノラマ視覚システム。
10. 該複合画像の焦点が該車両内に位置する運転者と関連付けられた前方焦点視野の中に入る請求項９に記載の車両視覚システム。
11. 該ディスプレイシステムの焦点が実質的には無限である請求項９に記載の車両視覚システム。
12. 該車両視覚システムが、方向転換信号、移動速度と方向についての情報、ブレーキシステム、ステアリングシステム及びスピードメータのいずれかからの入力のいずれかに従って異なる構成の中で再構成する請求項９に記載の車両視覚システム。
13. 該ディスプレイシステムが、該車両方向転換信号が右に曲がるように設定されるときに該車両から右ビューを改善し、該車両方向転換信号が左に曲がるように設定されるときに左ビューを改善するように適応される請求項１２に記載の車両視覚システム。
14. 該ディスプレイシステムが、車両ステアリングホイールが事前設定角度により右に向かって方向を変えられるときに該車両から右ビューを改善し、該車両ステアリングホイールが事前設定角度により左に向かって方向を変えられるときに該車両から左ビューを改善するように適応される請求項１２に記載の車両視覚システム。
15. 該ディスプレイシステムが、該車両が逆に動作中に該車両から後部ビューを改善するように適応される請求項１２に記載の車両視覚システム。
16. 該視覚システムが、直接的なビューが隣接するオブジェクトによって見えなくされる場合に、該車両から前部コーナーサイドビュー及び後部コーナーサイドビューの少なくとも一つを改善するように適応される請求項１２に記載の車両視覚システム。
17. レーザ及びレーダセンサの内の少なくとも一つをさらに備え、該画像プロセッサが該車両の外装とオブジェクトの間の距離を検出するためにセンサを使用し、該車両の該外装と該オブジェクトの間の該距離が該車両の速度により定められる範囲内になるときに音声警告と視覚警告を提供するようにさらに適応される請求項１６に記載の車両視覚システム。
18. 該ディスプレイシステムが、カメラを介して二次元を捕捉し、車線パターンとカーブパターン及びオブジェクトルックアップデータベースに従って三次元で外挿することによって上部から見られるように車両とその取り囲む環境を示すように構成される請求項１７に記載の車両視覚システム。
19. 該画像プロセッサが、指定領域の位置を検出し、該指定領域への車両の移動を誘導するために該ディスプレイシステム上に方向インジケータを提供するようにさらに適応される請求項１６に記載の車両視覚システム。
20. 周辺光センサ、近づいてくるヘッドライトセンサ、及び運転者ディマースイッチからなるグループの内の少なくとも一つをさらに備え、該ディスプレイシステムと関連付けられた明るさとコントラストが該周辺光センサ、近付いてくるヘッドライトセンサ、及び運転者ディマースイッチの内の少なくとも一つの読取値に従って調整される請求項９に記載の車両視覚システム。
21. ロードマップと沿道情報を該ディスプレイシステム上に表示できるようにする統合ＧＰＳナビゲーション装置をさらに備える請求項９に記載の車両視覚システム。
22. 複数のサーベイランスセンサを備え、前記システムがサーベイランス視覚システムとして設けられる請求項１に記載のパノラマ視覚システム。
23. 該画像プロセッサが、該サーベイランスセンサを使用して運動検出及びオブジェクト追跡調査を実行するようにさらに適応される請求項２２に記載のサーベイランス視覚システム。
24. 該画像プロセッサが、運動がサーベイランスセンサにより検出されると視覚信号と音声信号のセットを提供するように適応される請求項２２に記載のサーベイランス視覚システム。
25. 該画像プロセッサが、指定された保護領域のセットを画定し、複数のオブジェクトを追跡調査し、このようなオブジェクトが指定保護領域に入ると音声警告と視覚警告を生成するようにさらに適応され、該ディスプレイシステムがこのようなオブジェクトが該指定保護領域に入ると前記オブジェクトを強調表示するように再構成される請求項９に記載のサーベイランス視覚システム。
26. 音声センサのセットをさらに含み、該デジタイザが該音声センサ入力をデジタル音声データに変換するようにさらに適応され、前記システムがテレビ会議視覚システムとして提供される請求項１に記載のパノラマ視覚システム。
27. 該画像プロセッサ及び該ディスプレイシステムが、テレビ会議ユーザによって発生される音声信号の強度と方向に従ってテレビ会議ユーザのズームされた画像を生成し、表示するようにさらに適応される請求項２６に記載のテレビ会議視覚システム。
28. 最大３６０°つまり４πステラジアンをカバーする複合画像を生成するために、カメラ、ディスプレイ光学部品及び幾何学的歪みパラメータ及び光学的歪みパラメータだけではなく幾何学特性を有するパノラマ視覚システムを使用してパノラマ視覚を提供するための方法であって、
    （ａ）場面から画像フレームデータを獲得し、前記画像フレームデータが最大３６０°つまり４πステラジアンの視野を集合的にカバーし、画像センサ入力のセットを生成することと、
    （ｂ）該画像フレームデータと該画像センサ入力をデジタル画像データに変換し、前記デジタル画像データが画像輝度ヒストグラムと周辺光源レベルと関連付けられることと、
    （ｃ）該カメラ、ディスプレイ光学部品、及び幾何学特性、該画像輝度ヒストグラム及び該周辺光源レベルを取得し、該デジタル画像データの中の選択された領域の該輝度範囲を最適化するために輝度の不均一性を補正することと、
    （ｄ）該画像センサ入力、該カメラ、ディスプレイ光学部品、及び畳み込まれた歪みパラメータを形成するためにその中で関連付けられる幾何学特性と不完全度を含む該幾何学的歪みパラメータ及び光学的歪みパラメータを畳み込むことと、
    （ｅ）該歪み補正変換を生成し、該デジタル画像データに適用し、前記歪み補正変換が補正されたデジタル画像データを生成するために該畳み込まれた幾何学的歪みパラメータ及び光学的歪みパラメータに基づいていることと、
    （ｆ）該補正されたデジタル画像データから複合画像を合成することと、
    （ｇ）表示のために表示面に該複合画像を表示し、前記複合画像が視覚的に歪みがないことと、
    を備える前記方法。
29. 露光制御コマンドをさらに生成し、複数の画像獲得装置に中継する請求項２８に記載の方法。
30. 歪みパラメータと畳み込むために制御パラメータとユーザパラメータとを受信することをさらに含む請求項２８に記載の方法。
31. 運動検出及び追跡調査をさらに含む請求項２８に記載の方法。
32. センサ及びユーザ入力に従って該複合画像の明るさ、コントラスト、及びサイズを調整することをさらに含む請求項３０に記載の方法。
33. 制御入力の集合に従って該ディスプレイシステムをさらに再構成する請求項３０に記載の方法。
34. 制御パラメータのセットに従って該複合画像の該焦点距離をさらに調整する請求項３０に記載の方法。
35. デジタル画像を受信し、輝度不均一性および画像歪みを補正し、該デジタル画像データから複合画像を形成し、関連付けられたカメラ、ディスプレイ光学部品、及び幾何学的歪みパラメータ及び光学的歪みパラメータだけではなく幾何学特性も有するパノラマ視覚システムにおけるパラメータを制御する画像プロセッサであって、前記パノラマ視覚システムが場面から画像フレームを捕捉するため、及びデジタル画像データ及び画像センサ入力を生成するための複数の画像獲得装置、及び該デジタル画像データと該画像センサ入力をデジタル画像データに変換するためのデジタイザとを使用し、
    （ａ）該デジタル画像データを受信するため、及び該画像輝度ヒストグラムと該デジタル画像データと関連付けられた該周辺光源レベルを測定するための画像測定装置と、
    （ｂ）該カメラ、ディスプレイ光学部品及び幾何学特性、画像輝度ヒストグラム、及び該周辺光源レベルとともに該デジタル画像データを受信するため、輝度不均一性を補正するため、及び該デジタル画像データの中の選択された領域の該輝度範囲を最適化するために該画像測定装置に結合される輝度補正モジュールと、
    （ｃ）該画像センサ入力、該カメラ、該ディスプレイ光学部品及び畳み込まれた歪みパラメータを形成するためにその中で関連付けられる幾何学特性と不完全度を含む該幾何学的歪みパラメータ及び光学的歪みパラメータを結合するために該輝度補正モジュールに結合される畳み込み段と、
    （ｄ）補正されたデジタル画像データを生成するために、歪み補正変換を生成し、該畳み込まれた歪みパラメータに基づいて歪み補正変換を該デジタル画像データに適用するために、該畳み込み段に結合される歪み補正モジュールと、
    （ｅ）該補正されたデジタル画像データから複合画像を合成するために該歪み補正モジュールに結合されるディスプレイコントローラと、
    を備える画像プロセッサ。
36. 露光制御コマンドを生成し、画像獲得装置に中継するようにさらに適応される請求項３５に記載の画像プロセッサ。
37. 歪みパラメータで畳み込むために、制御パラメータとユーザパラメータを受信するようにさらに適応される請求項３５に記載の画像プロセッサ。
38. 運動検出構成要素と追跡調査構成要素のためにさらに適応される請求項３５に記載の画像プロセッサ。
39. 複数のセンサ及びユーザ入力のセットに従って合成された画像の明るさ、コントラスト、及びサイズを調整するためにさらに適応される請求項３５に記載の画像プロセッサ。
40. 制御入力のセットに従って該ディスプレイシステムを再構成するようにさらに適応される請求項３７に記載の画像プロセッサ。
41. 制御パラメータのセットに従って該複合画像の焦点距離を調整するようにさらに適応される請求項３７に記載の画像プロセッサ。

Images