JP3103008B2 - 半球状視野の電子結像及び処理のためのシステム及び方法 - Google Patents

半球状視野の電子結像及び処理のためのシステム及び方法

Info

Publication number
JP3103008B2
JP3103008B2 JP07122200A JP12220095A JP3103008B2 JP 3103008 B2 JP3103008 B2 JP 3103008B2 JP 07122200 A JP07122200 A JP 07122200A JP 12220095 A JP12220095 A JP 12220095A JP 3103008 B2 JP3103008 B2 JP 3103008B2
Authority
JP
Japan
Prior art keywords
image
output
hemispherical
optical
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP07122200A
Other languages
English (en)
Other versions
JPH0855215A (ja
Inventor
ロバート・グローバー・ベイカー
ケビン・ケトラー
ガスタボ・アーマンド・シュアレッツ
ケネス・アレン・アップリンガー
キャンデイス・ジョイ・フラッテリィ・フリーデンバーグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH0855215A publication Critical patent/JPH0855215A/ja
Application granted granted Critical
Publication of JP3103008B2 publication Critical patent/JP3103008B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0087Simple or compound lenses with index gradient
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は一般にビジュアル結像系
(imaging system)に関し、特に、広角の半球状場面の
有用な電子処理を提供するビジュアル結像系及び技術に
関する。
【0002】
【従来の技術】広い領域のビジュアル情報の収集、記憶
及び表示は、厳密に達成するには高価であり困難な処理
である。最近のマルチメディア・アプリケーションに対
する積極的な対応により、ビジュアル・データを管理す
る様々な方法及び装置が開発された。マルチメディア・
データのセットの特定のクラスに、半球状ビジュアル・
データがある。既知のマルチメディア方法及び装置は、
写真フィルム、コンピュータ・ディスケット、コンパク
ト・ディスク(CD)及び対話式CDなどの記憶媒体を
使用し、静止イメージ及び動画(またはビデオ)などの
様々なマルチメディア・イメージング・データを音声内
容と結合しようとする。これらは娯楽及び教育などの様
々な分野の従来のマルチメディア・アプリケーションに
おいて使用される。半球状ビジュアル・データを使用す
る非マルチメディア・アプリケーションも、防犯、監
視、無人探査及び消防及び警察状況などの分野において
存在する。しかしながら後述のように、既知の方法及び
装置は、半球状場面の貴重な情報を迅速(例えば実時
間)且つコスト有効に捕獲及び処理することに関し、特
定の制限を有する。
【0003】既知のマルチメディア技術の1つはテーマ
・パーク(theme park)において使用され、ここでは場
面からのビジュアル情報が、ほぼ360度の視野をカバ
ーする画面上または集合画面上に表示される。しかしな
がら、こうした技術は複数のカメラから収集された大量
のフィルムを消費し、場面の撮影中にカメラを支持して
運搬する特殊設計されたキャリッジを必要とし、更に捕
獲及び表示の間にショットの同期を必要とする。この技
術はまた、ビジュアル・イメージが単一のカメラによっ
て獲得されず、更に初期捕捉後に例えばパン(pan)、
チルト(tilt)、ズーム(zoom)などの表示処理ができ
ない点でも制限される。従って、この技術は娯楽には対
応できるものの、多くの機能的アプリケーションの厳密
な技術的要求を満足することができない。
【0004】広い視野(FOV:field of view)に関
するビジュアル情報を捕獲及び記憶する他の既知の技術
が、米国特許番号第4125862号、同第44424
53号、及び同第5185667号に述べられている。
上記米国特許番号第4125862号では、場面からの
信号情報をデジタル形式に変換し、デジタル化場面デー
タをシリアルに2次元形式に記憶し、データが記憶され
た方向と直交する方向の繰返し走査により、データを読
出すシステムが開示される。上記米国特許番号第444
2453号では、風景が撮影され、フィルム上に記憶さ
れるシステムを開示する。フィルムは次に現像され、電
気光学的センサにより"ほぼ実時間"レートで走査されて
表示される。しかしながら、これらの技術は即時ビジュ
アル・イメージ表示を提供せず、所望のアプリケーショ
ンにおいて要求される視野(半球面または180度の視
野)をカバーせず、本発明の技術により提供される形式
のビジュアル・データを生成せず、また例えばパン、チ
ルトなどの更に別の表示処理が容易でない。
【0005】上記米国特許番号第5185667号で開
示される技術は、ほぼ半球状の視野を捕獲し、通常のイ
メージを形成する高速回路を用いてイメージを補正し、
実時間レートでイメージを電子的に処理及び表示できる
点で、上記指摘の幾つかの欠点を克服する。
【0006】しかしながら、多くの半球状ビジュアル・
アプリケーションにおいて、上記米国特許番号第518
5667号により述べられるタイプのシステムは、厳密
且つ有用な詳細に関する十分な情報を獲得することにお
いて、制限を有する。これは特に、カメラが捕捉半球の
境界を成す面に垂直なレンズの中心軸に向けられる場合
に当てはまる(すなわちレンズが直上を指す)。こうし
たアプリケーションでは、画面内の厳密な詳細の大部分
が、水平面(horizon)に沿う視野領域内に含まれ、レ
ンズ軸に近い中央視野領域には、ほとんど或いは全く有
用な詳細が含まれない(水平面は結像面またはカメラ面
に平行で、結像系の光学軸に垂直な面として定義され
る)。例えば監視では、結像系が上方に向けられ、場面
の厳密な詳細の大部分は人間、建物、木などを含み、こ
れらのほとんどが水平面に沿って数度以内に配置される
(すなわちこれは周辺内容である)。またこの例では、
空は映像(view)の広い中央領域を形成するが、高い相
対解像度を要求する有用な情報をほとんどまたは全く含
まない。
【0007】画面内の厳密な対象の十分な詳細を獲得す
るためには、重要度の高い領域を高い解像度で提供する
ために、水平面に沿う関連ビジュアル情報と、画面内の
残りのビジュアル情報とを区別できなければならない。
上記米国特許番号第5185667号で述べられるシス
テムは、水平面に沿って含まれるこの関連ビジュアル情
報と、この場面内の残りのビジュアル情報とを区別しな
い。従って、このシステムは、企画されたアプリケーシ
ョンにとって厳密な詳細を提供する十分な品質表現を提
供しない。
【0008】或いは上述の技術は、場面内の全ビジュア
ル情報の1部が不要であったり、有用でない場合にも、
この全情報を獲得、記憶及び表示することに専念する。
ほぼ半球状のビジュアル情報を獲得するために、こうし
た技術は、視野内のイメージ情報を結像面にマップする
ための特定のレンズ・タイプを要求する(写真フィルム
または電子検出器もしくはイメージャが配置される)。
上記米国特許番号第5185667号及び上記米国特許
番号第4442453号の既知の例は、それぞれ魚眼レ
ンズ及び一般の広角レンズを使用する。これらのレンズ
は、中央領域及び周辺領域を区別することなく、広い視
野の情報をマップするので、周辺からの情報が、中央捕
捉領域からの情報よりも不完全に結像面内に表現され
る。
【0009】米国特許番号第4170400号は、イメ
ージング端において異なる幾何形状を有する光ファイバ
束を使用する広角光学系について述べている。これはイ
メージ・データを収集し再配置するためにはそれ自身有
用であるが、光の屈曲は光ファイバの当然の特徴であ
り、この特許に限られるものではない。更に上記特許番
号第4170400号は、光学情報を収集するために球
面ミラーの1部を使用し、最終的なイメージ結果におい
て、周辺が非常に劣化されたサブセットを提供する。こ
の構成は本発明で述べられる多要素レンズの組合わせと
は多大に異なる。
【0010】任意の視野のイメージ表現における障害
は、元来、レンズなどの球状ガラス(またはプラスチッ
ク)媒体によりイメージを生成する性質に起因する。こ
れらの不完全性の度合いは、光学結像系に垂直な軸から
視野内のポイントまでの距離に比例して増大する。光学
軸と視野内のポイントとの間の角度が増加すると、対応
するイメージの収差がこの角度の3乗に比例して増加す
る。従って、収差は半球状イメージの中央領域に対し
て、周辺領域においてより増長される。
【0011】上記レンズ・タイプは広い視野を達成する
が、潜像品質(解像度)マッピングにおいて、周辺領域
からの貴重な内容が欠如する。なぜなら、イメージング
素子及びシステムが、これらの領域と重要度の低い詳細
を含む中央領域とを区別しないからである。しばしば、
これら2つの領域間の結像能力の差が、レンズの中央部
分だけを使用して場面を捕獲することにより補正される
("レンズ低下を停止する")。これは両方の領域のイメ
ージ品質の差を低減するために有効に機能する。すなわ
ち、誤差は中央領域が解像されるときの最小面積の僅か
な割合に過ぎない。同時に、この補正技術はレンズに入
射する光量を制限することにより、レンズの性能を低下
させ、従ってイメージの全体的な彩度(intensity)を
低下させる。
【0012】より一般的には、従来のレンズにより撮影
される周辺内容は、中央領域と比較して大きく劣化する
ので、レンズは周辺の最小領域だけがフィルムまたは電
子イメージャにより記録されることを可能にする。広い
視野に固有のこれらの"軸づれ(off-axis)"収差の結
果、場面内の水平面の関連情報が十分に利用できなくな
ったり、ひどい場合には失われたりする。
【0013】上記米国特許番号第5185667号の別
の制限は、既に修正された映像だけを記録する構成にあ
る。この方法論の性質は、記録処理以前に興味対象の特
定の映像が選択され、変換されなければならないことで
ある。その結果、記憶処理後は映像の追加選択が不可能
となり、ユーザの側から見てシステムの柔軟性が低下す
る。
【0014】
【発明が解決しようとする課題】従って、特に周辺内容
を含む半球状視野内の貴重なビジュアル情報を効率的に
捕獲、記憶及び表示し、更に歪曲作用を最小化しなが
ら、イメージ捕捉後の電子処理及び選択的表示を可能に
する単一カメラ結像系が業界において強く望まれる。
【0015】
【課題を解決するための手段】本発明は、単一のカメラ
を使用し、半球状視野の周辺内容を強調する新しく且つ
有用なビジュアル結像系を提供する。従来の化学処理フ
ィルムまたは電子データ記憶技術を用いて、捕獲ビジュ
アル情報が単一のイメージとして記憶される。本発明
は、半球状場面のユーザ選択部分が電子的に処理され、
記憶ビジュアル・データベースから実時間且つコスト有
効に表示されることを可能にする。
【0016】本発明のビジュアル結像系は、周辺内容の
結像能力が強調されたレンズを有する静止イメージ・カ
メラもしくは動画カメラ、または電子装置などを含む。
レンズはイメージ装置の最小解像画素に対する、場面の
周辺に含まれる最小の詳細サイズの比率を増加するよう
に、視野を結像面に投影することにより、場面の周辺に
含まれる貴重な情報が強調された映像を提供する。これ
を達成するために、周辺内容は所与のイメージ検出器領
域の大きな割合にマップされなければならず、同時に、
場面の中央領域のマッピング・イメージは、結像面内の
広い環形を現在カバーする周辺内容に干渉しないよう
に、レンズにより最小化されなければならない。結像面
内の情報は次にイメージャ装置(写真フィルムもしくは
電子イメージャまたはビデオ検出器アレイ)により検出
される。完全な半球状場面の検出情報が、次に単一のイ
メージとして、従来の方法によりメモリに記憶される。
【0017】場面の1部が表示されるとき、場面の関連
部分に関するイメージ情報が即時メモリから取り出され
る。あたかも画面の特定の部分が従来のカメラにより投
影されるかのように、変換プロセッサ・サブシステムが
表示画面を、従来のモニタまたはTVなどの表示装置上
における観察用補正(perspective-correct)イメージ
として電子的に処理する。変換プロセッサ・サブシステ
ムは、場面の選択部分を標準の映像形式に導く適切な補
正基準を適用することにより、レンズに起因する場面の
中央領域と周辺領域との間の歪曲または倍率の差を補正
する。変換プロセッサ・サブシステムは更に、強調され
た周辺イメージの収差を完全に補正する。こうした収差
は、イメージ装置が広い部分をカバーするときのイメー
ジの改善された解像度に起因する(周辺イメージ内の最
小の詳細を検出及び測定するために使用される画素数が
増加する)。画素数が増加すれば測定データも増加し、
より正確なデータ収集が可能になる。
【0018】記憶イメージもまた変換プロセッサ・サブ
システムにより処理され、イメージのオペレータ選択部
分がパン、ズーム、アップ/ダウン、チルト、回転など
の特定の移動を通じて表示される。
【0019】場面の周辺内容を強調することにより、ビ
ジュアル結像系は、単一のカメラの使用により、水平面
に沿って存在する全景視野内の関連ビジュアル情報を捕
獲することができ、従来通りに場面または場面の1部を
実時間で記憶し、容易に表示することができる。単一の
光学系及びカメラを使用することは、コスト有効なだけ
でなく、全ての半球状ビジュアル・データを自動的に時
間同期させる。
【0020】本発明の1つの利点は、固有のビジュアル
結像系レンズが、半球状視野の周辺部分を強調すること
により、半球状場面から情報を捕獲し、それにより既存
のイメージング素子により、場面内の関連ビジュアル情
報に対する高解像力を提供できることである。例えば、
通常の魚眼レンズが、水平面から上方の最低15度を目
標面に位置するイメージャの10%に結像する場合と、
周辺強調(peripheral-enhancing)レンズが同じ15度
をイメージャの50%に結像する場合とでは、同一のイ
メージング素子により5倍の解像度が得られる。応用例
及びレンズ方程式の正確な公式に依存して、このレンズ
とイメージャの組合わせにより、解像力における少なく
とも5倍の増加が得られる。
【0021】本発明の別の利点は、強調された周辺内容
を有する捕獲場面情報が、従来の記憶技術を用いて単一
のイメージとして記憶されることである。但し、これは
標準の形式によってのみ記憶される必要はない。
【0022】更に本発明の別の利点は、イメージが記憶
装置から読出され、捕捉後の任意の時に電子的に処理さ
れて、所望の特定の映像の捕捉後の選択を可能にし、表
示オプションの柔軟性を提供することである。
【0023】本システムの別の利点は、静止イメージの
低減セットから、補間及び画面間歪み(inter-scene wa
rping)により、動画ビデオを生成することである。
【0024】
【実施例】本発明は、イメージ検出器が水平面に平行な
多くの技術的半球状視野アプリケーションにおいて、場
面内の関連ビジュアル情報(例えば木、山、人間など)
の多くが、水平面に対する小さな角度内に見い出される
と言う認識にもとづくものである。関連情報を含む水平
面からの弧の長さは、特定のアプリケーションに依存し
て変化するが、本発明者は、多くの状況において、ほと
んど全ての関連ビジュアル情報が水平面に対して、約1
0度乃至45度の範囲内に含まれると判断した。
【0025】半球状場面のこの部分に配置される関連ビ
ジュアル情報の分析及び表示のために、データ収集及び
解像力を最大化するために、有効なイメージ検出領域を
この周辺視野部分に当てる割合を最大化することが望ま
れる。これを許容するために、場面の"中央"部分(水平
面に対して45度乃至90度)が、周辺からの光を妨げ
ないように、イメージャ面の残りの領域だけをカバーす
ることが必要となる。
【0026】多くの場合、"中央"領域は、固体透明シー
リング(solid white ceiling)もしくは青空または多
少雲った空などの詳細性に欠ける情報を含むので、"中
央"領域を表現するイメージャ装置部分をほとんどなく
すことにより、有効なイメージ検出領域を周辺視野部分
に完全に当てるように最大化することが可能になる。勿
論、特定の例では、この詳細性に欠ける情報を分析する
ものの、こうしたビジュアル情報の多大な劣化を生じな
い程度に、この場面部分を最小化することが望ましい。
より詳細に後述されるように、本発明は多くの重要なア
プリケーションにおいて、場面内の厳密なビジュアル情
報を捕獲、記憶及び選択的に表示する2つの態様(例1
及び例2)を提供する。
【0027】システム構成及びコンポーネント:図1を
参照すると、本発明のビジュアル結像系は、半球状場面
の周辺内容を捕獲及び強調するように設計されたレンズ
14を有する静止イメージまたは動画カメラ10を含
む。捕獲場面は媒体各種、例えば写真フィルム16、電
子記憶18、または他の従来の記憶手段に記憶される。
しかしながら、電子処理の容易性により、電子記憶18
が好適である。更に写真フィルム16は、電子処理の実
行以前に、イメージを電子形式に変更するイメージ・ス
キャナ20または他の捕/獲変換方法を要求する。
【0028】記憶された電子イメージ・データは、次に
変換プロセッサ22により選択的にアクセスされ、例え
ばパン、アップ/ダウン、ズームなどのユーザ定義基準
に従い、電子的に処理される。変換プロセッサ22は、
従来の表示装置28上への通常のビューア形式表示また
はヘッド・マウンテッド・ディスプレイ30上への表示
に対応してイメージを修正する。その際、ユーザ制御を
処理及び定義するために、例えば着用アイ・フォーカス
(wearer eye focus)機能または頭位置検出機能などを
有する統合方位センシング装置が使用される。
【0029】I.イメージ捕捉 a.カメラ ビジュアル結像系のカメラ10は、レンズから結像イメ
ージを受取り、そのイメージを電子信号または写真フィ
ルムなどのハード・コピー記憶に変換することができる
光学装置である。広角撮影用の様々なタイプのカメラが
当業者には知られており、例えば35mmカメラ、8m
mカメラ、NTSC、RS170及びHDTVタイプの
カメラなどが存在する。本発明はほとんどの市販の2次
元カメラ及びレンズ幾何の倍率が使用可能なように設計
される。更に3次元カメラにも適用可能な技術的能力を
有する。カメラは従来式に実装され、支持される。
【0030】b.周辺内容強調レンズ 周辺内容強調レンズの基本原理は、周辺の選択倍率とそ
の内容の目標面への結像である。これはイメージング素
子及びフィルムの解像度に関する現状の制限を認識する
ものである。目標面上に結像される周辺内容が増加する
と、イメージング素子または材料の任意の密度により解
像されるデータ・ポイントが増加する。従って、この新
たなクラスの選択倍率レンズでは、レンズが1度乃至1
0度の周辺強調で設計されようと、1度乃至45度の周
辺強調で設計されようと、周辺内容のために確保される
結像面の面積が中央領域に比較して大きく、概略このク
ラスの全てのレンズにおいて類似である。しかしなが
ら、1度乃至10度の強調レンズは1度乃至45度の強
調レンズよりも、同一対象に対して優れた解像力を有す
る。
【0031】カメラ10のレンズ14は、所与の視野の
周辺部分のデジタル処理向上のためのデータ収集を提供
する。レンズはイメージャ装置のより広い有効領域を捕
獲場面の中央領域ではなく、周辺領域に充当することに
より、これを達成する。
【0032】本発明の目的を達成するために好適な周辺
強調光学系は、クリティカルな収差の有害な値に冒され
ない視野のイメージを提供する。2つの例または態様が
好適である。図5乃至図7に示される例1は、好適には
広角多要素光学レンズ及び光ファイバ・イメージ装置を
含む複数媒体系である。図8乃至図9に示される例2
は、複数屈折光学素子から成る結合系であり、それらの
1つは半球形状を有する屈折率勾配材料(gradient ind
ex material)である。本発明者は、2元光学系(binar
y optics)に頼る他の構成も、類似の結果を達成するた
めに使用可能であることを明示する。
【0033】例1の系は、中央領域に含まれる最小情報
の捕獲が重要でないアプリケーションに最適である。多
要素広視野レンズにより提供される広視野イメージの周
辺リングを捕獲するために、当業者には既知の方法によ
り慎重に整列され組立てられた硬質のまたは柔軟な整合
ファイバ束アレイ40が使用される。多要素広視野レン
ズ42は従って、標準の広視野レンズと同一の視野をカ
バーするが、視野全体のより大きなイメージを提供する
ように要求される。これは当業者により、所望のイメー
ジ・サイズに達するまで、標準レンズの焦点距離を伸長
することにより達成される。(MiyamotaによるJournal
of the Optical Society of America、1964年、Len
s Designs;Smith、W.J.によるModern Lens Design、
Ch.5.4"Scaling a Design"、McGraw-Hill、Inc.19
92年を参照。更に別の広視野レンズについては、M.H
orimotoによる米国特許番号第4256373号を参
照。)
【0034】機械的に特定的に構成されたファイバが、
周辺イメージ領域からの幾何的に環状の情報を矩形また
は円形の特定のイメージング素子に導く。所望の周辺範
囲(最大10度乃至45度)に対応して、特定の構成が
考案され、要求されるイメージ検出器面形状に適合化さ
れる。(Sect.13、Fiber Optics、Handbook of Optic
s、McGraw-Hill Inc.、1978年を参照。)図5を参
照すると、所望の角度θに対して、標準広視野レンズ設
計では、カメラのイメージング素子の最小ピックアップ
領域(2r')が叶うry'を提供するように焦点距離"
f"を決定する。図の"カメラ/イメージャ界面"部分で
は、ファイバ束半径r'の式はイメージャに関連して次
のようになる。
【数1】イメージャ領域=πry' 2−πrx' 2=π(ry'
2−rx' 2) イメージャ長=2r'、ここでr'=√(ry' 2−rx' 2
【0035】例1の形態の構成は、視野の周辺部分(水
平軸に対して0度乃至45度)が、好適にはイメージャ
装置の有効面積全体の約90%乃至100%を包含する
イメージを達成する。それに対して、市販の広角魚眼レ
ンズまたは他の従来のレンズでは、通常、35%以下で
ある。例2の形態の構成は、周辺部分が好適にはイメー
ジング素子面の有効面積の50%乃至70%を包含す
る。
【0036】例2の系は、視野内に含まれる異なる角度
の全ての情報が関係するアプリケーションに最適であ
る。例2の結合系は、半球状レンズ52またはレンズの
組合わせが対象をイメージに拡大するブラベ系(Bravai
s System)の原理を基本とし、対象及びイメージが同一
面内に存在する。この場合、半球状レンズ52は屈折率
勾配材料から成り、結像面に入射するポイントが通過す
る屈折率及び半球曲線部分またはレンズ部分に依存し
て、異なる拡大率を生じる。この概念は、広視野を捕獲
し、更に半球状レンズの挿入により生じる色収差を補正
するように設計される多要素屈折レンズ54との組合わ
せにおいて使用される。この色補正は当業者により、コ
ンピュータ最適化ルーチンを用いて設計される(M.Hor
imotoによる上記米国特許番号第4256373号を参
照)。半球状屈折率勾配ユニットと広視野多要素レンズ
との使用により周辺に当てられるカメラ部分が増加し、
それによりイメージング素子のセンシング素子により検
出される情報の相対解像度が増加する。屈折率勾配半球
により、インデックス値は中央から次のように減少す
る。
【数2】n1<n2<n3<n4
【0037】光学系の動作が図2、図3及び図8、図9
に示される。図2では、弧Xはレンズ系の"中央"の視野
を表し、弧Yは"周辺"視野の実際に有効な部分を表す。
図3のX'及びY'は、イメージャの目標面上に形成され
るイメージの焦点位置を表す。弧Z及び領域Z'は、レ
ンズの通常の結像範囲外の領域を表す。(実際の使用で
はこうした境界線は存在せず、これらは単に説明の都合
上示したものである。)
【0038】図2は典型的な広角タイプのレンズ32を
表し、図8は本発明の原理に従い構成されたレンズを表
す。図2と図8とを比較すると明らかなように、典型的
な広角タイプ・レンズでは、像平面のかなり大きな割合
がレンズの中央視野に充当するが、本発明により構成さ
れたレンズでは、目標面のかなり大きな割合が周辺視野
に充当し、結果的に中央視野に充当する面積が減少す
る。
【0039】場面の周辺部分に対応して使用される像平
面の1部は、(場面の中央部分との関係において、)所
与のアプリケーションにおいて関心項目を捕獲するため
に選択される指定のレンズの特定の規定に依存して変化
する。例えば、結像系が郊外の場面の全景を捕獲するた
めに使用される場合、関連ビジュアル情報は水平面から
10度以内に含まれる。そこで本発明のレンズは、水平
面に対して10度以内の視野だけを強調するように設計
される。一方、結像系が建物の内部の部屋の場面を捕獲
するために使用される場合には、関連ビジュアル情報は
壁上の対象を含みうることになり、これらは水平面から
約45度以内に含まれる。周辺強調レンズはこのよう
に、水平面から最高45度までの視野を強調するように
も設計される。勿論、視野の強調部分は特定のアプリケ
ーションのニーズに依存し、強調部分は好適にはこれら
2つの極値の間に収まることになる。いずれの場合に
も、本発明の原理は、後述のイメージ変換プロセッサに
よる適切な補正により、これらの状況に対して成功裡に
適用することができる。
【0040】図5に示されるように、例1の形態の光学
系の好適な形態は、標準の広視野レンズ42及び整合さ
れたファイバ・アレイ40を含む。広視野レンズの焦点
距離は、所望の周辺視野に一致するように調整される。
整合されたファイバ・アレイは、標準の広視野レンズか
ら投影されたイメージを収集する環状入力面44を含
む。ファイバ束アレイは次に内部全反射により、周辺映
像からの情報をその出力端に再指向する。環状領域をカ
バーする3μm精度のファイバが、対応するイメージン
グ素子の形状に依存して、それらの出力において矩形ま
たは円形に整合される。出力のサイズもまた、使用され
るカメラのイメージング素子に適合される。
【0041】勿論、これらのシステム構成及びパラメー
タは単なる1例に過ぎず、当業者には理解されるよう
に、周辺結像能力を強調するために、本発明の他の構成
及びパラメータも使用することができる。
【0042】c.イメージャ装置 汎用に使用される電子カメラ10は、目標面におけるレ
ンズからの光学イメージを記録するイメージャ装置を含
む。写真プロセスにおいては、結像媒体はフィルムであ
るが、電子プロセスでは、結像媒体はCCD(電荷結合
素子)またはCID(電荷注入素子)などの電子素子で
ある。上述のように、電子的処理の容易性により、通常
は写真プロセスよりも電子プロセスの方が好適である。
しかしながら、特定の状況では写真プロセスが好適の場
合もある。受光面に渡り一様な解像を提供する、当業者
には既知の様々な型及びモデルの電子結像素子が存在す
る。
【0043】イメージャ装置が本発明の原理に従い構成
されるレンズと共に使用されると、イメージャ装置は、
半球状場面の中央領域からよりも、水平面に沿ってより
多くの情報を収集する。フィルム・エマルジョンまたは
CCD画素密度の制限された所与の解像度により、レン
ズは有用な情報を目標面に結像する。従って、変換後の
イメージにおいて、場面の周辺部分が中央領域よりも高
い相対解像度を有することになる。これにより水平面に
沿う任意の対象の詳細が強調される。更にレンズの周辺
領域において発生する歪(例えば球面収差)が、より大
きな面積に結像され、容易に且つ完全に補正される。イ
メージャ装置上にマップされるイメージは、図10に示
されるように一連の同心円により描かれる。例えばイメ
ージャ装置上の各円a、b、c、dなどは、例えば2、
5、9、14などの任意の単位の半径によりそれぞれ描
かれる。円の半径は半球の異なる領域の倍率に依存し、
外側の円のセクションは、周辺領域の倍率が増すとより
大きな領域を有する。例えば、任意に選択された図示の
例では、各同心円は水平面から18度の視野を表し、最
も外側の円の外周は水平面のレベルに相当する。本発明
者は、2つの外側の円(すなわち水平面から36度)に
対する弧が、多くのアプリケーションにおける多くの半
球状場面の関連情報を含みうるものと決定した(但し、
この値は特定のアプリケーションに依存して変更するこ
とができる)。
【0044】イメージ・サークル全体の総面積の計算か
ら、1257(=202・π)平方単位が求まる。3つ
の内部の円の面積は254(=92・π)平方単位であ
る。従って、2つの外側の円はイメージング素子の有効
面積の約80%を含む。すなわち、水平面に対応するイ
メージ・ブロックは、イメージャ装置上において、イメ
ージの中央領域のイメージ・ブロックよりもより広い領
域を占めることになる。このように、イメージャ装置の
イメージ・ブロックは、関心となる領域に相当する水平
線に沿う対象により支配される。これは場面の周辺領域
の解像度の向上に相関する。
【0045】特定の理由により、例1の円形出力光学系
が正方形または長方形のイメージング素子により構成さ
れる場合、イメージング素子のコーナ領域は写真目的に
は有用でない。しかしながら、これらの領域は、イメー
ジャが電子メモリを用いて半径方向に1:1でマップさ
れる場合には、デジタル化音声内容または場面からの他
の2次的文書などの他の情報を記憶するために使用する
ことができる。
【0046】II.イメージ記憶 イメージャ装置に受光されたイメージは、システム・コ
ンポーネントに渡されて記憶される。写真プロセスで
は、記憶装置はフィルムに相当するが、電子プロセスで
は、記憶装置はランダム・アクセス・メモリ、従来のデ
ィスケットもしくはハード・ファイル、またはビデオ記
録テープの形態の電子記憶装置に相当する。場面の表示
全体が、記憶装置上の単一のイメージとして記憶され
る。
【0047】イメージは歪んだ形(warped)で記憶され
る。歪んだイメージは、レンズの広角の性質(すなわ
ち"キーストーン"(keystoning)効果、換言すると"根
本原理"")だけに起因する訳ではなく、レンズの強調さ
れた周辺視野(すなわち周辺に沿う倍率)にも起因す
る。基本となる概念は、場面の細分化部分が人間の視覚
系にとって適切な縦横比で(すなわち観察用に補正され
た映像として)再生されることである。
【0048】図11を参照すると、記憶イメージがパー
ソナル・コンピュータまたは制御装置などのホスト・シ
ステムに電子形式で記憶される場合、ソース・イメージ
・バッファ62にロードされる。或いはイメージが記憶
されることなく、処理のために直接導かれてもよい。1
オプションとして、ビデオ・カメラからのアナログ信号
がNTSC−デジタル変換器60に接続される。この変
換器はアナログ情報からのイメージをデジタル・ビット
・マップ(すなわち"画素"(pixel))に変換する。ソ
ース・イメージが次にソース・イメージ・フレーム・バ
ッファ62にロードされる。しかしながら、上述のよう
に、バッファ62への電子入力を提供するために、任意
のタイプのカメラが使用されうる。バッファは好適には
実時間映像が可能なように、十分に高速に動作する。
【0049】III.イメージ検索/表示 記憶イメージは表示のために選択的にアクセスされ、変
換される。記憶装置が写真フィルムの場合、記憶イメー
ジはイメージ・スキャナにより、続く処理のために電子
形式に変換される。観察用に補正された映像として、場
面の適切な表示を2次元で再生するために、変換プロセ
ッサ・エンジン22が使用される。変換プロセッサは小
規模、中規模、大規模または超大規模集積回路(VLS
I)の集合から成り、こうした例に、Raytheon Semicon
ductors社(以前のTRW LSI Product、Inc.、LaJolla、
CA)から市販されるTMC2301及びTMC2302
などのイメージ再サンプリング・シーケンサがある。
【0050】図11では、再サンプリング・シーケンサ
が乗算/累算ユニット64を通じて、ソース・イメージ
・バッファ62内の画素のアドレス・シーケンスを制御
し、そこから画素を取り出し、ワープド(warped)・イ
メージ・バッファ66に記憶する。シーケンサは2次元
イメージを、各セクタ(e1、d1など)内で定義され
るデカルト座標(x、y)のセットから、新たに変換さ
れた座標(u、v)のセットにフィルタリングまたは再
マッピングする。上記米国特許番号第5185667号
で述べられる魚眼タイプの変換は、一定でない2次導関
数にもとづく。本発明の周辺強調構成に関連する変換に
おいて、異なるセットの2次導関数が使用される。シー
ケンサはまた3次元イメージに関しても、それらをデカ
ルト座標(x、y、z)から、新たな変換セット(u、
v、w)に再サンプルすることにより処理する。通常、
これらのシーケンサは、最隣接(nearest-neighbor)、
双線形補間または畳み込み再サンプリングをサポート
し、実時間動作を可能にする速度で動作する。
【0051】ビット・マップ内の複数画素の再マッピン
グ画素ロケーション(すなわち補間"カーネル")は、外
部補間係数ルックアップ・テーブル68及び乗算/累算
ユニット64を要求する。テーブル・"ウォーク(wal
k)"が通常、各ソース画素に対して実行され、オリジナ
ル・レンズ・イメージ・データと適切な補間係数との積
を合計することにより、より滑らかなイメージを提供す
る。ワープ・エンジン(warp engine)は、半球状レン
ズ・イメージ・データをソース・イメージ・バッファ6
2に捕獲することにより、逆キーストーン効果の場合同
様に、観察用補正を実行するようにプログラムされる。
画素ロケーションの再マッピングは、使用される特定の
周辺強調レンズの特異の倍率に適合化される。
【0052】補間アルゴリズムの動的変更を可能にする
ために、補間係数ルックアップ・テーブル68及び変換
パラメータへの直接アクセスが好適である。そこで、静
止イメージ及び動画の実時間変換を可能にするために、
可変変換パラメータを更新するための局所補間係数バッ
ファ70が含まれる。
【0053】変換プロセッサ22の行及び列ワープ・エ
ンジン72a、72bは、アドレスをソース・イメージ
・バッファ62に提供する。アドレスは、選択された補
間アルゴリズムにより決定される。乗算/累算ユニット
64は、ワープ・エンジン制御の下で、ソース・イメー
ジ・バッファ62により提供される画素を受取り、組合
わせ論理を一緒に用いて、画素をアルゴリズムに依存す
る重み係数と乗算する。収差(例えば球面収差)の補正
もこの時点で実行される。最後に、構成された補間画素
がワープド・イメージ・バッファ66に送られる。ワー
プド・イメージ・バッファ内のアドレス・ロケーション
が、再度ワープ・エンジンにより決定される。ルックア
ップ・テーブル68からのアルゴリズム・パラメータ
が、補間係数バッファ70と同様、行及び列ワープ・エ
ンジン72a、72bのレジスタに入力される。
【0054】メモリ制御装置/クロック回路74は、ソ
ース・イメージ・バッファ62及びワープド・イメージ
・バッファ66に対するリフレッシュ制御を提供する。
更に、全てのクロック源がこの回路を通じて同期され
る。バス・インタフェース及び制御回路76は、ホスト
・システム・バス(例えばMCA、ISAなど)及び再
マッピング回路とのインタフェースを提供する。このイ
ンタフェース論理は、制御情報を再マッピング回路にロ
ードしたり、ワープド・イメージをシステム表示バッフ
ァ(図示されないホスト・システムの1部)に転送する
ためのパスを提供したり、或いはワープ以前にシステム
・バスを介して、イメージをディスクに記憶する役割を
する。オプションのランダム・アクセス・メモリ・デジ
タル−アナログ変換器(RAMDAC)78は、要求に
応じて局所表示接続をサポートする。
【0055】変換プロセッサの1つの特徴は、変換プロ
セッサ・エンジン内の有効ソース・アドレス・フラグで
ある。これはユーザがエッジ干渉の危険に遭遇すること
なく、(x、y)平面内で隣接サブイメージを構成する
ことを可能にする。従って、図10の円形イメージの外
側の未使用領域のエッジ検出が、システムにこれらの値
を無視するように警告する。
【0056】イメージ捕獲機能は、静止ビデオもしくは
動画ビデオ装置により、または事前記録デジタル・デー
タとして実行される。全てのタイプのイメージ・データ
が所望の処理のために、ソース・イメージ・バッファ6
2に入力される。静止イメージ捕獲の好適なモードは、
局所ホスト・バス・インタフェース76を介して入力さ
れる以前に捕獲されたイメージに由来するが、例えばN
TSCデジタイザ60は、外部ビデオ・カメラからの実
時間データを提供することができる。イメージをソース
・イメージ・バッファへの入力に適したデジタル形式に
変換する任意の類似の装置が、デジタイザ60の代わり
に代用されうる。同様に、電子静止カメラ、ライン・ス
キャナまたはテーブル・スキャナなどの電子静止イメー
ジャが、処理のための静止イメージ・データを提供する
こともできる。以前に記録されたイメージ・データの動
的処理を実施するために、本発明の光学系を通じて生成
される事前記録歪曲イメージが、追加の変換装置を介し
て入力されてもよい。
【0057】捕獲デジタル化イメージに対して実行され
る変更半球状座標から、表示用の平面座標へのイメージ
変換は、複数の可能なイメージ変換の1つであり、任意
の変換が滑らかな併合効果のために実時間で呼出されう
る。これらの変換にはパン、アップ/ダウン、ズーム、
チルト、回転、スケーリング、クロッピング(croppin
g)及びイメージ切断(image shear)などが含まれ、こ
れらは人間またはコンピュータ入力により制御される。
イメージ・フィルタリングはエッジ検出と同様に、処理
の途中で関連プロセスにおいて実行される。これらのサ
ービスは、ソース・イメージ・バッファにロードされる
任意のシステム・イメージに対して適用され、半球状レ
ンズ及び表示システムの単純なアプリケーションに勝る
追加の機能をホストに提供する。
【0058】イメージ変換論理の利点は、特定のアプリ
ケーションについて述べると明らかになろう。防犯カメ
ラ・アプリケーションでは、防犯モニタがフル・モーシ
ョン・レート・イメージ(full-motion rate image)を
実時間で表示するように、全景が映し出される。静止イ
メージのソース・イメージ座標もまた順序化され、フレ
ームがメモリから引き出されるときに、単に新たなソー
ス・イメージをワープ・エンジンに再ロードすることに
より、動画感覚またはフル・モーションの描写を可能に
する。レンズにより捕獲されたイメージ内で、水平面を
フル・モーションでパンするために、他の記憶イメージ
からの詳細を使用することも可能である。
【0059】本発明の別の特徴は、通常、要求されるフ
ル・モーション・フレームの数に比較して、少ない静止
フレームのセットにより、動画ビデオ表現を生成する能
力である。例えば、建物の正面のセットが、従来の映画
撮影カメラにより、移動するトラックの後部から撮影さ
れる場合、各フレームは従来のレンズに入射するイメー
ジの時間ベースの内容を含み、特定の制限された視野だ
けがある瞬間において使用可能となる。それに対して本
発明のシステムでは、その格別に広いアングルにより、
広い視野の捕獲データが、既に次のフレーム及び以前の
フレームからのピクチャ内容を含んでいるので、モーシ
ョンが多大に低減されたフレームのサブセットから再構
成されうる。ホスト・コンピュータ・プログラム内のピ
クチャ内容を分析することにより、フル・モーション・
データを完成させるのに十分な中間フレーム相当が構成
され、ソース・イメージ・バッファに順次供給されて処
理される。或いは、実時間レートで動作する別の回路が
中間値を補間し、モーション・シーケンスに同期するよ
うに十分高速に、既存の静止イメージに対する変換パラ
メータの変更を提供してもよい。こうした技術の選択
は、特定のアプリケーション要求及び他の開発または市
場状況に依存する。
【0060】最後に、変換プロセッサ・サブシステム
は、個々に記憶されたまたは現在変換中のイメージか
ら、複数の異なる出力を同時に生成することができる。
図12に示される単純化された単一のイメージ処理サブ
システム80に統合された主変換プロセッサ回路では、
複数の出力が、各場面に対する所望の効果を有する単一
の静止イメージ源または動画源から生成され、複数の場
面を異なる表示装置上または単一の表示装置の複数のウ
ィンドウ上に表示することができる。これは図13に示
されるように、複数のイメージ処理サブシステム80を
全体システム内に組込むことにより達成される。
【0061】全ての場合において、場面の周辺イメージ
のより優れた解像力を有することにより、水平面に沿う
任意の対象の詳細が強調される。更に、レンズの周辺回
りで生じる収差(すなわち球面収差)が、イメージャ装
置上のより広い領域に及んで広がることから、こうした
収差がより完全に補正される。
【0062】以上、本発明の原理、態様及びオペレーシ
ョン・モードについて述べてきた。しかしながら、本発
明は上述の特定の実施例に限るものではなく、当業者に
は理解されるように、本発明の精神及び範囲から逸脱す
ることなく、その形態及び詳細における様々な変更が可
能である。
【0063】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0064】(1)半球状視野の電子結像及び処理のた
めのシステムであって、半球状視野の光学イメージを受
光し、出力信号を生成するか、光学イメージに対応する
写真フィルム・ベースの材料に作用するカメラと、上記
カメラに関連して、上記カメラへの光学路に対応する上
記半球状視野全体に渡る光学イメージを生成する光学イ
メージング素子であって、上記光学系が上記半球状視野
の周辺領域のイメージを捕獲及び強調するように適応化
された構成を有する、上記光学イメージング素子と、上
記カメラ及び上記光学結像系に関連してレンズから光学
イメージを受光し、該受光光学イメージのデジタル化出
力信号を提供する、イメージ処理(イメージャ)装置
と、上記イメージャ装置から上記デジタル化出力信号を
受信し、該デジタル化出力信号を記憶する入力イメージ
・メモリと、ユーザ定義基準に従い、上記入力イメージ
・メモリから上記デジタル化出力信号を選択的にアクセ
スして処理するイメージ変換処理回路(プロセッサ)
と、上記イメージ変換プロセッサから上記処理信号を受
信する出力イメージ・メモリと、上記出力イメージ・メ
モリに接続され、該出力イメージ・メモリ内の上記信号
を記録する出力表示または記録装置と、を含む、システ
ム。 (2)上記光学系が上記半球状視野の捕獲イメージの水
平面から約10度乃至45度の範囲内の視野部分を拡大
する、上記(1)記載のシステム。 (3)上記光学系が上記半球状場面の周辺部分を上記イ
メージング素子の少なくとも50%の結像領域に結像す
る構成を有する、上記(2)記載のシステム。 (4)上記光学系がイメージを光伝送ファイバ・アレイ
に導くように配置される広視野多要素レンズを含む、上
記(3)記載のシステム。 (5)上記ファイバ・アレイが環状の入力端及び矩形の
出力端を有するように幾何学的に構成される、上記
(4)記載のシステム。 (6)上記ファイバ・アレイが環状の入力端及び円形の
出力端を有するように幾何学的に構成される、上記
(4)記載のシステム。 (7)上記ファイバ・アレイの上記ファイバが3μmの
オーダの結像精度を有する、上記(4)記載のシステ
ム。 (8)上記広視野レンズの焦点距離が上記周辺視野の所
望の倍率に合致するように基準化される、上記(4)記
載のシステム。 (9)上記光学結像系が色収差を有する多要素広視野レ
ンズと屈折率勾配半球状レンズとの組合わせを含む、上
記(1)記載のシステム。 (10)上記イメージ処理装置が電子イメージャであ
る、上記(1)記載のシステム。 (11)上記イメージ処理装置が電荷結合素子である、
上記(10)記載のシステム。 (12)上記イメージ処理装置が写真フィルムである、
上記(3)記載のシステム。 (13)上記写真フィルム上の上記光学イメージを、上
記入力イメージ・メモリへの入力となるデジタル出力信
号に変換する捕獲及び変換装置を含む、上記(12)記
載のシステム。 (14)上記捕獲及び変換装置がNTSC−デジタル変
換器である、上記(13)記載のシステム。 (15)上記捕獲及び変換装置からのデータが、ソース
・イメージ・フレーム・バッファに入力される、上記
(13)記載のシステム。 (16)上記イメージ変換処理回路がイメージ再サンプ
リング・シーケンサを含む、上記(15)記載のシステ
ム。 (17)上記イメージ再サンプリング・シーケンサが、
上記ソース・イメージ・フレーム・バッファ内の画素の
アドレス・シーケンスを制御する、上記(16)記載の
システム。 (18)上記イメージ変換処理回路が行及び列ワープ・
エンジンを含む、上記(17)記載のシステム。 (19)上記イメージ変換処理回路が、上記ワープ・エ
ンジンに接続され、上記ソース・イメージ・フレーム・
バッファの出力が入力されるワープド・イメージ・バッ
ファを含む、上記(18)記載のシステム。 (20)上記イメージ変換処理回路が、上記半球状視野
イメージを観察用に補正する変換パラメータを含むルッ
クアップ・テーブルを含む、上記(19)記載のシステ
ム。 (21)上記イメージ変換処理回路が、上記ルックアッ
プ・テーブルに接続されて上記変換パラメータを更新
し、乗算/累算ユニットに接続される補間係数バッファ
をを含む、上記(19)記載のシステム。 (22)結像される周囲に対するビューアの方位が電子
的に伝達され、ユーザ制御として解釈されるように、上
記出力表示装置が観察者の頭に着用または取り付けられ
る、上記(1)記載のシステム。 (23)半球状視野を結像し処理するシステムであっ
て、 i)半球状視野の光学イメージを生成する光学系であっ
て、上記半球状視野の中心軸に共軸のレンズ中心軸と、
上記半球状視野の周辺内容を特異倍率により強調する構
成とを有し、上記光学イメージが結像面上に投影される
ときに、定義された有効な結像領域を有する、上記光学
系と、 ii)上記光学系に光学的に結合されて、上記半球状視
野の光学イメージを受光し、上記光学イメージに対応す
る出力を生成するカメラと、 iii)上記カメラに結合されて、該カメラからの出力
を受信及び記憶する入力イメージ・メモリと、 iv)上記入力イメージ・メモリに結合され、該入力イ
メージ・メモリを選択的にアクセスし、上記カメラから
の出力を処理するプロセッサであって、ユーザ定義基準
に従い、上記カメラからの上記出力を上記光学系の上記
周辺イメージ内容とは異なる強調された該内容を有する
プロセッサ出力に変換する、上記プロセッサと、 v)上記プロセッサに結合され、上記プロセッサ出力を
受信及び記憶する出力イメージ・メモリと、 vi)上記出力イメージ・メモリに接続され、上記記憶
プロセッサ出力を上記ユーザ定義基準に従い、上記光学
イメージから変換されたビジュアル・イメージに描写す
る出力装置と、を含む、システム。 (24)上記光学系が、上記半球状場面の周辺部分を光
学イメージ有効結像領域の少なくとも約50%を占める
上記光学イメージ有効結像領域の1部に結像する構成を
有する、上記(23)記載のシステム。 (25)上記光学系が、上記半球状場面の周辺部分を上
記光学イメージ有効結像領域の約50%乃至90%を占
める上記光学イメージ有効結像領域の1部に結像する構
成を有する、上記(24)記載のシステム。 (26)上記光学系が、上記半球状視野のベース面と上
記レンズ中心軸に対して定義される直円錐との間に横た
わる上記半球状視野の内容の少なくとも1部を、特異の
倍率により強調する構成を有し、上記円錐が上記レンズ
中心軸と上記円錐を生成するラインとの間で45度の夾
角を成し、上記ラインが上記レンズ中心軸と上記ベース
面との交点を通過する、上記(24)記載のシステム。 (27)上記光学系が、上記半球状場面の周辺部分を、
上記光学イメージ有効結像領域の約90%以下を占める
上記光学イメージ有効結像領域の1部に結像する構成を
有する、上記(23)記載のシステム。 (28)上記光学系が、広視野多要素レンズと、環状入
力端及び矩形出力端を有するように幾何学的に構成され
る整合されたファイバ・アレイと、を含む、上記(2
3)記載のシステム。 (29)上記光学系が、広視野多要素レンズと、環状入
力端及び環状出力端を有するように幾何的に構成される
整合されたファイバ・アレイと、を含む、上記(23)
記載のシステム。 (30)上記光学系が、色収差を有する広視野レンズ
と、屈折率勾配半球状レンズと、を含む、上記(23)
記載のシステム。 (31)上記カメラと上記入力イメージ・メモリとの間
に配置され、上記カメラから上記出力を受信し、デジタ
ル化出力を生成するイメージャ装置を含み、上記入力イ
メージ・メモリ、上記プロセッサ及び上記出力イメージ
・メモリが、上記デジタル化出力を受信、記憶及び処理
する、上記(23)記載のシステム。 (32)上記カメラが光感応電子イメージ捕獲素子を含
み、上記イメージャ装置が電子デジタイザ回路を含む、
上記(31)記載のシステム。 (33)上記カメラから上記出力を写真により捕獲する
写真フィルムを含み、上記イメージャ装置が上記カメラ
から写真により捕獲された出力を上記デジタル化出力に
変換する捕獲及び変換装置を含む、上記(31)記載の
システム。 (34)上記プロセッサが、上記カメラからの上記出力
をユーザ定義基準に従い、上記光学系の上記周辺内容と
は異なる強調された該内容を有するプロセッサ出力に変
換するイメージ処理及びワープ回路を含む、上記(2
3)記載のシステム。 (35)上記イメージ処理及びワープ回路が算術論理演
算ユニット(ALU)を含み、上記プロセッサが上記A
LUに結合され、該ALUによりサービスされる機能を
決定する制御プログラムを受信及び記憶する記憶メモリ
装置を含み、上記記憶メモリ装置に記憶され、上記AL
Uによってアクセスされる上記制御プログラムが、上記
カメラからの上記出力をユーザ定義基準に従い、上記光
学系の上記周辺及び中央内容とは異なる強調された該内
容を有するプロセッサ出力に変換するように、上記AL
Uのオペレーションを制御する、上記(34)記載のシ
ステム。 (36)上記プロセッサが上記半球状視野の選択部分を
表現するプロセッサ出力を生成する、上記(34)記載
のシステム。 (37)上記出力装置が、ビジュアル・イメージを観察
者の目の間近で表示するビジュアル表示装置を含む、上
記(23)記載のシステム。 (38)上記プロセッサが上記半球状視野の選択部分を
表現するプロセッサ出力を生成し、上記システムが、観
察者の頭または目の方位を検出するセンサと、上記プロ
セッサ出力の生成を、上記観察者の頭または目の検出方
位の関数として変更するための、上記センサと上記プロ
セッサ間のリンクと、を含む、上記(37)記載のシス
テム。 (39)半球状視野を電子的に捕獲、記憶及び処理する
方法であって、上記視野の周辺部分を強調する構成を有
する光学系を提供するステップと、上記周辺強調光学系
により半球状視野を捕獲し、上記視野を上記周辺視野を
強調してイメージャ装置上に結像するステップと、上記
捕獲イメージを単一のイメージとして記憶するステップ
と、ユーザ定義基準に従い、上記記憶イメージの1部を
選択的にアクセスするステップと、上記記憶イメージが
観察用に補正されたイメージとして表示されるように、
上記記憶イメージを変換するステップと、ユーザ定義形
式の上記観察用補正イメージを表示するステップと、を
含む、方法。 (40)上記変換ステップが上記周辺強調イメージを上
記観察用補正イメージに処理するステップを含む、上記
(39)記載の方法。 (41)上記周辺強調光学系が、上記半球状視野内の水
平面から10度乃至45度の間の弧内のビジュアル内容
を選択的に拡大する、上記(39)記載の方法。 (42)上記記憶ステップが、上記捕獲イメージを写真
フィルム上に結像するステップを含み、上記アクセス・
ステップが、上記写真フィルムからの上記イメージをデ
ジタル出力形式に変換するステップを含む、上記(3
9)記載の方法。 (43)上記記憶ステップが上記捕獲イメージを電子記
憶装置に記憶するステップを含む、上記(39)記載の
方法。 (44)写真フィルム上のイメージとして記憶される強
調された周辺視野を有する半球状場面を電子的に処理す
る方法であって、上記写真フィルム上の上記イメージを
電子出力信号に変換するステップと、ユーザ定義基準に
従い、上記出力信号の1部を選択的にアクセスするステ
ップと、上記記憶イメージが観察用に補正されたイメー
ジとして表示されるように、上記周辺強調視野を処理す
ることにより、上記出力信号の上記アクセス部分を変換
するステップと、上記ユーザ定義形式の上記観察用補正
イメージを表示するステップと、を含む、方法。 (45)少ない数の周辺強調半球状イメージのセットか
ら、物理的距離を隔てたイメージ・シーケンスを生成す
る方法であって、中間イメージが隣接する上記半球状イ
メージの組合わせから補間されるものにおいて、動画ビ
デオまたはフィルム・ベースの映画撮影カメラのシミュ
レーションを満足するために必要な中間イメージ数を定
義するステップと、必要とされる上記中間イメージを隣
接半球状イメージの組合わせから補間するステップと、
上記補間イメージを識別または電子的にタグ付けし、次
に後のイメージ処理サブシステムへの導入に備え、上記
補間イメージを記憶または記録するステップと、オリジ
ナル・イメージと上記補間イメージのデータ・セット
を、実時間動画ビデオをシミュレートするために十分な
レートで、上記イメージ処理サブシステムに適切な順序
でロードするステップと、ユーザ定義形式の観察用補正
イメージを表示するステップと、を含む、方法。 (46)半球状場面の電子処理システムであって、半球
状視野を結像するカメラ結像系と、上記カメラ結像系と
関連して、上記カメラ結像系への光学路に対応する視野
全体に渡り光学イメージを生成する光学系と、上記カメ
ラに関連してレンズから光学イメージを受光し、デジタ
ル化出力信号を提供するイメージャ装置と、上記イメー
ジャ装置から上記デジタル化出力信号を受信し、該デジ
タル化出力信号を記憶する入力イメージ・メモリと、ユ
ーザ定義基準に従い、上記入力イメージ・メモリから上
記デジタル化出力信号を選択的にアクセスして処理する
イメージ変換プロセッサ回路と、上記イメージ変換プロ
セッサ手段から上記処理信号を受信する出力イメージ・
メモリと、上記出力イメージ・メモリに接続され、ユー
ザ定義基準に従い、該出力イメージ・メモリ内の上記信
号を表示または記録する出力表示装置または電子記録装
置と、を含み、上記イメージャ装置が上記半球状視野の
周辺部分の拡大光学イメージを受光するように、上記光
学系が上記半球状場面の上記視野の周辺内容を中央内容
に比較して強調する構成を有する、上記システム。
【0065】
【発明の効果】以上説明したように、本発明によれば、
特に水平面に沿って存在する強調された半球状視野のビ
ジュアル情報を効率的に捕獲、記憶及び表示し、更に捕
捉及び記憶の後にも、そうした情報の電子処理及び選択
的表示を、歪曲を最小化して可能にするビジュアル結像
系を提供することができる。
【図面の簡単な説明】
【図1】本発明のビジュアル結像系の様々なコンポーネ
ント及び構成を示す図である。
【図2】従来の広角レンズ系の断面図である。
【図3】視野入出力光線、及び従来のレンズがイメージ
ャ装置による検出結像面内に通常提供する結果の関連視
野範囲を示す図である。
【図4】視野に対するアンギュラ・キーを示す従来のレ
ンズ系の断面図である。
【図5】本発明の周辺イメージ強調レンズ系の1実施例
の断面図である。
【図6】図5のレンズ系のファイバ・アレイ束部分の環
状視野入力を示す図である。
【図7】図5のレンズ系のファイバ・アレイ束のイメー
ジャ界面出力を示す図である。
【図8】本発明の周辺イメージ強調レンズ系の別の実施
例の断面図である。
【図9】図8のレンズ系の視野入出力光線、及び結果の
視野範囲
【図10】本発明のレンズ系のイメージング素子上にお
けるマッピング位置を示す図である。
【図11】変換プロセッサ・サブシステムを含む本発明
のイメージ処理回路のブロック図である。
【図12】図11のイメージ処理回路の1部の更に集積
化を含むブロック図である。
【図13】図12の集積化回路素子を組込む本発明のイ
メージ処理回路の別の実施例を示す図である。
【符号の説明】
10 動画カメラ 14、32 レンズ 16 写真フィルム 18 電子記録 20 イメージ・スキャナ 22 変換プロセッサ 28 表示装置 30 ヘッド・マウンテッド・ディスプレイ 40 整合ファイバ束アレイ 42 多要素広視野レンズ 52 半球状レンズ 54 多要素屈折レンズ 60 NTSCデジタル変換記 62 ソース・イメージ・フレーム・バッファ 64 乗算/累算ユニット 66 ワープド・イメージ・バッファ 68 外部補間係数ルックアップ・デーブル 70 局所補間係数バッファ 72a 行ワープ・エンジン 72b 列ワープ・エンジン 74 メモリ制御装置/クロック回路 76 局所ホスト・バス・インタフェース 80 イメージ処理サブシステム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ケビン・ケトラー アメリカ合衆国15217、ペンシルバニア 州ピッツバーグ、モントクレア・ストリ ート 611 (72)発明者 ガスタボ・アーマンド・シュアレッツ アメリカ合衆国33428、フロリダ州ボ カ・ラトン、ウッドチャック・レーン 21482 (72)発明者 ケネス・アレン・アップリンガー アメリカ合衆国78750、テキサス州オー スティン、ロックレベン・コーブ 10202 (72)発明者 キャンデイス・ジョイ・フラッテリィ・ フリーデンバーグ アメリカ合衆国12603、ニューヨーク州 ポキプシ、ウォーラル・アベニュー 63 (56)参考文献 特開 平5−346950(JP,A) 特開 平5−228855(JP,A) 特開 平2−127877(JP,A) 特表 平6−501585(JP,A) 米国特許4832472(US,A) 国際公開89/3076(WO,A1) 欧州特許出願公開574325(EP,A 1) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 440 H04N 5/232 H04N 7/18

Claims (14)

    (57)【特許請求の範囲】
  1. 【請求項1】 半球状視野を結像し処理するシステムであ
    って、 i)半球状視野の光学イメージを生成する光学系であっ
    て、上記半球状視野の中心軸に共軸のレンズ中心軸と、
    上記半球状視野の周辺内容を特異倍率により強調する構
    成とを有し、上記光学イメージが結像面上に投影される
    ときに、定義された有効な結像領域を有する、上記光学
    系と、 ii)上記光学系に光学的に結合されて、上記半球状視
    野の光学イメージを受光し、上記光学イメージに対応す
    る出力を生成するカメラと、 iii)上記カメラに結合されて、該カメラからの出力
    を受信及び記憶する入力イメージ・メモリと、 iv)上記入力イメージ・メモリに結合され、該入力イ
    メージ・メモリを選択的にアクセスし、上記カメラから
    の出力を処理するプロセッサであって、ユーザ定義基準
    に従い、上記カメラからの上記出力を上記光学系の上記
    周辺イメージ内容とは異なる強調された該内容を有する
    プロセッサ出力に変換する、上記プロセッサと、 v)上記プロセッサに結合され、上記プロセッサ出力を
    受信及び記憶する出力イメージ・メモリと、 vi)上記出力イメージ・メモリに接続され、上記記憶
    プロセッサ出力を上記ユーザ定義基準に従い、上記光学
    イメージから変換されたビジュアル・イメージに描写す
    る出力装置と、 を含む、システム。
  2. 【請求項2】 上記光学系が、上記半球状場面の周辺部分
    を光学イメージ有効結像領域の少なくとも約50%を占
    める上記光学イメージ有効結像領域の1部に結像する構
    成を有する、請求項1記載のシステム。
  3. 【請求項3】 上記光学系が、上記半球状場面の周辺部分
    を上記光学イメージ有効結像領域の約50%乃至90%
    を占める上記光学イメージ有効結像領域の1部に結像す
    る構成を有する、請求項2記載のシステム。
  4. 【請求項4】 上記光学系が、上記半球状視野のベース面
    と上記レンズ中心軸に対して定義される直円錐との間に
    横たわる上記半球状視野の内容の少なくとも1部を、特
    異の倍率により強調する構成を有し、上記円錐が上記レ
    ンズ中心軸と上記円錐を生成するラインとの間で45度
    の夾角を成し、上記ラインが上記レンズ中心軸と上記ベ
    ース面との交点を通過する、請求項2記載のシステム。
  5. 【請求項5】 上記光学系が、上記半球状場面の周辺部分
    を、上記光学イメージ有効結像領域の約90%以下を占
    める上記光学イメージ有効結像領域の1部に結像する構
    成を有する、請求項1記載のシステム。
  6. 【請求項6】 上記光学系が、 広視野多要素レンズと、 環状入力端及び矩形出力端を有するように幾何学的に構
    成される整合されたファイバ・アレイと、 を含む、請求項1記載のシステム。
  7. 【請求項7】 上記光学系が、 広視野多要素レンズと、 環状入力端及び環状出力端を有するように幾何的に構成
    される整合されたファイバ・アレイと、 を含む、請求項1記載のシステム。
  8. 【請求項8】 上記光学系が、 色収差を有する広視野レンズと、 屈折率勾配半球状レンズと、 を含む、請求項1記載のシステム。
  9. 【請求項9】 上記カメラと上記入力イメージ・メモリと
    の間に配置され、上記カメラから上記出力を受信し、デ
    ジタル化出力を生成するイメージャ装置を含み、上記入
    力イメージ・メモリ、上記プロセッサ及び上記出力イメ
    ージ・メモリが、上記デジタル化出力を受信、記憶及び
    処理する、請求項1記載のシステム。
  10. 【請求項10】 上記プロセッサが、上記カメラからの上
    記出力をユーザ定義基準に従い、上記光学系の上記周辺
    内容とは異なる強調された該内容を有するプロセッサ出
    力に変換するイメージ処理及びワープ回路を含む、請求
    項1記載のシステム。
  11. 【請求項11】 上記出力装置が、ビジュアル・イメージ
    を観察者の目の間近で表示するビジュアル表示装置を含
    む、請求項1記載のシステム。
  12. 【請求項12】 写真フィルム上のイメージとして記憶さ
    れる強調された周辺視野を有する半球状場面を電子的に
    処理する方法であって、 上記写真フィルム上の上記イメージを電子出力信号に変
    換するステップと、 ユーザ定義基準に従い、上記出力信号の1部を選択的に
    アクセスするステップと、 上記記憶イメージが観察用に補正されたイメージとして
    表示されるように、上記周辺強調視野を処理することに
    より、上記出力信号の上記アクセス部分を変換するステ
    ップと、 上記ユーザ定義形式の上記観察用補正イメージを表示す
    るステップと、 を含む、方法。
  13. 【請求項13】 少ない数の周辺強調半球状イメージのセ
    ットから、物理的距離を隔てたイメージ・シーケンスを
    生成する方法であって、中間イメージが隣接する上記半
    球状イメージの組合わせから補間されるものにおいて、 動画ビデオまたはフィルム・ベースの映画撮影カメラの
    シミュレーションを満足するために必要な中間イメージ
    数を定義するステップと、 必要とされる上記中間イメージを隣接半球状イメージの
    組合わせから補間するステップと、 上記補間イメージを識別または電子的にタグ付けし、次
    に後のイメージ処理サブシステムへの導入に備え、上記
    補間イメージを記憶または記録するステップと、 オリジナル・イメージと上記補間イメージのデータ・セ
    ットを、実時間動画ビデオをシミュレートするために十
    分なレートで、上記イメージ処理サブシステムに適切な
    順序でロードするステップと、 ユーザ定義形式の観察用補正イメージを表示するステッ
    プと、 を含む、方法。
  14. 【請求項14】 半球状場面の電子処理システムであっ
    て、 半球状視野を結像するカメラ結像系と、 上記カメラ結像系と関連して、上記カメラ結像系への光
    学路に対応する視野全体に渡り光学イメージを生成する
    光学系と、 上記カメラに関連してレンズから光学イメージを受光
    し、デジタル化出力信号を提供するイメージャ装置と、 上記イメージャ装置から上記デジタル化出力信号を受信
    し、該デジタル化出力信号を記憶する入力イメージ・メ
    モリと、 ユーザ定義基準に従い、上記入力イメージ・メモリから
    上記デジタル化出力信号を選択的にアクセスして処理す
    るイメージ変換プロセッサ回路と、 上記イメージ変換プロセッサ手段から上記処理信号を受
    信する出力イメージ・メモリと、 上記出力イメージ・メモリに接続され、ユーザ定義基準
    に従い、該出力イメージ・メモリ内の上記信号を表示ま
    たは記録する出力表示装置または電子記録装置と、 を含み、 上記イメージャ装置が上記半球状視野の周辺部分の拡大
    光学イメージを受光するように、上記光学系が上記半球
    状場面の上記視野の周辺内容を中央内容に比較して強調
    する構成を有する、上記システム。
JP07122200A 1994-07-27 1995-05-22 半球状視野の電子結像及び処理のためのシステム及び方法 Expired - Lifetime JP3103008B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/281,331 US5508734A (en) 1994-07-27 1994-07-27 Method and apparatus for hemispheric imaging which emphasizes peripheral content
US281331 1994-07-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000220238A Division JP3485261B2 (ja) 1994-07-27 2000-07-21 半球状視野の電子結像及び処理のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JPH0855215A JPH0855215A (ja) 1996-02-27
JP3103008B2 true JP3103008B2 (ja) 2000-10-23

Family

ID=23076831

Family Applications (2)

Application Number Title Priority Date Filing Date
JP07122200A Expired - Lifetime JP3103008B2 (ja) 1994-07-27 1995-05-22 半球状視野の電子結像及び処理のためのシステム及び方法
JP2000220238A Expired - Lifetime JP3485261B2 (ja) 1994-07-27 2000-07-21 半球状視野の電子結像及び処理のためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2000220238A Expired - Lifetime JP3485261B2 (ja) 1994-07-27 2000-07-21 半球状視野の電子結像及び処理のためのシステム及び方法

Country Status (6)

Country Link
US (2) US5508734A (ja)
EP (1) EP0695085B1 (ja)
JP (2) JP3103008B2 (ja)
BR (1) BR9502919A (ja)
CA (1) CA2152314C (ja)
DE (1) DE69515087T2 (ja)

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5764276A (en) * 1991-05-13 1998-06-09 Interactive Pictures Corporation Method and apparatus for providing perceived video viewing experiences using still images
US6301447B1 (en) * 1991-05-13 2001-10-09 Interactive Pictures Corporation Method and system for creation and interactive viewing of totally immersive stereoscopic images
JP3904244B2 (ja) * 1993-09-17 2007-04-11 株式会社ルネサステクノロジ シングル・チップ・データ処理装置
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
JPH08160343A (ja) * 1994-12-05 1996-06-21 Olympus Optical Co Ltd 画像表示装置
US6493031B1 (en) * 1995-03-31 2002-12-10 Canon Kabushiki Kaisha Visual information processing method and apparatus for extracting feature quantities from a two-dimensional image signal
AR003043A1 (es) * 1995-07-27 1998-05-27 Sensormatic Electronics Corp Un dispositivo formador y procesador de imagen para ser usado con una video camara
US6731334B1 (en) * 1995-07-31 2004-05-04 Forgent Networks, Inc. Automatic voice tracking camera system and method of operation
US5757424A (en) * 1995-12-19 1998-05-26 Xerox Corporation High-resolution video conferencing system
JPH09289631A (ja) * 1996-02-20 1997-11-04 Canon Inc 撮像制御方法及び装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
US5959667A (en) * 1996-05-09 1999-09-28 Vtel Corporation Voice activated camera preset selection system and method of operation
US5828838A (en) * 1996-06-20 1998-10-27 Intel Corporation Method and apparatus for conducting multi-point electronic conferences
EP1178352A1 (en) * 1996-06-24 2002-02-06 Behere Corporation Method of and apparatus for presenting panoramic images at a local receiver, and a corresponding computer program
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6381367B1 (en) * 1997-05-29 2002-04-30 Macrovision Corp. Method and apparatus for compression compatible video fingerprinting
FR2770072B1 (fr) * 1997-08-19 2000-07-28 Serge Dulin Camera virtuelle
US6281931B1 (en) * 1997-11-04 2001-08-28 Tien Ren Tsao Method and apparatus for determining and correcting geometric distortions in electronic imaging systems
US6034716A (en) * 1997-12-18 2000-03-07 Whiting; Joshua B. Panoramic digital camera system
US7280134B1 (en) * 1998-01-26 2007-10-09 Thales Avionics, Inc. Landscape camera system with electronic field of view switching
JP3157769B2 (ja) * 1998-03-02 2001-04-16 静岡日本電気株式会社 Tv音声制御装置
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
CN1298607A (zh) 1998-04-02 2001-06-06 凯瓦津格公司 采用摄像机阵列的可巡视远程出席方法及系统
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6570606B1 (en) * 1998-05-29 2003-05-27 3Com Corporation Method and apparatus for controlling transmission of media signals over a data network in response to triggering events at participating stations
FR2782877B1 (fr) * 1998-08-31 2000-10-13 France Telecom Systeme automatique de prise de son et d'images
US6130704A (en) * 1998-10-22 2000-10-10 Sensormatics Electronics Corporation Controlling movement of video surveillance cameras
JP4467802B2 (ja) * 1998-11-11 2010-05-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 改善された信号定位装置
DE19854373B4 (de) * 1998-11-25 2005-02-24 Robert Bosch Gmbh Verfahren zur Steuerung der Empfindlichkeit eines Mikrofons
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6128145A (en) * 1998-11-25 2000-10-03 Fit Corporation Image pick-up device, image display device and information recording medium comprising a fisheye lens
US7057636B1 (en) 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
US6185152B1 (en) 1998-12-23 2001-02-06 Intel Corporation Spatial sound steering system
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6686955B1 (en) 1999-01-29 2004-02-03 International Business Machines Corporation Lightweight image manipulation for maximizing the capacity of digital photo storage media
JP3126955B2 (ja) * 1999-02-12 2001-01-22 株式会社アドバネット 画像変換用演算装置
US7117157B1 (en) 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
GB2351628B (en) * 1999-04-14 2003-10-01 Canon Kk Image and sound processing apparatus
GB9908545D0 (en) 1999-04-14 1999-06-09 Canon Kk Image processing apparatus
EP1047264B1 (fr) 1999-04-22 2007-05-09 Leo Vision Procédé et dispositif de traitement et de restitution d'images, à rééchantillonnage
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7299405B1 (en) 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
US7653925B2 (en) 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
US6976032B1 (en) * 1999-11-17 2005-12-13 Ricoh Company, Ltd. Networked peripheral for visitor greeting, identification, biographical lookup and tracking
US6917693B1 (en) * 1999-12-20 2005-07-12 Ford Global Technologies, Llc Vehicle data acquisition and display assembly
US20020075295A1 (en) * 2000-02-07 2002-06-20 Stentz Anthony Joseph Telepresence using panoramic imaging and directional sound
JP2003532343A (ja) * 2000-04-25 2003-10-28 モックラー・ライナー デジタルカメラ又はデジタルビデオカメラ及び画像記録方法
US6766035B1 (en) 2000-05-03 2004-07-20 Koninklijke Philips Electronics N.V. Method and apparatus for adaptive position determination video conferencing and other applications
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
US6897892B2 (en) 2000-10-13 2005-05-24 Alexander L. Kormos System and method for forming images for display in a vehicle
US6577333B2 (en) * 2000-12-12 2003-06-10 Intel Corporation Automatic multi-camera video composition
DE50107083D1 (de) * 2001-03-05 2005-09-15 Siemens Ag Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
JP2002290843A (ja) * 2001-03-26 2002-10-04 Olympus Optical Co Ltd 画像入力装置
US20020140804A1 (en) * 2001-03-30 2002-10-03 Koninklijke Philips Electronics N.V. Method and apparatus for audio/image speaker detection and locator
US20020147991A1 (en) * 2001-04-10 2002-10-10 Furlan John L. W. Transmission of panoramic video via existing video infrastructure
US20020149672A1 (en) * 2001-04-13 2002-10-17 Clapp Craig S.K. Modular video conferencing system
US6621518B2 (en) 2001-04-25 2003-09-16 Denis R. Lietgeb Video surveillance system
FR2826221B1 (fr) * 2001-05-11 2003-12-05 Immervision Internat Pte Ltd Procede d'obtention et d'affichage d'une image panoramique numerique a resolution variable
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
EP1425909A4 (en) * 2001-08-07 2006-10-18 Polycom Inc SYSTEM AND METHOD FOR HIGH RESOLUTION VIDEOCONFERENCE
US6959095B2 (en) * 2001-08-10 2005-10-25 International Business Machines Corporation Method and apparatus for providing multiple output channels in a microphone
US7668907B1 (en) 2001-08-16 2010-02-23 Microsoft Corporation Method and system for selectively viewing participants of a multimedia network conference
US7139440B2 (en) 2001-08-25 2006-11-21 Eyesee360, Inc. Method and apparatus for encoding photographic images
FR2830128A1 (fr) * 2001-09-26 2003-03-28 Egg Solution Sa Capteur photoelectrique avec des elements de capture de pixels disposes en cercles concentriques et dispositif d'acquisition d'images panoramiques comprenant ce capteur
US6980485B2 (en) * 2001-10-25 2005-12-27 Polycom, Inc. Automatic camera tracking using beamforming
US7747655B2 (en) 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US7861169B2 (en) 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US6812956B2 (en) 2001-12-21 2004-11-02 Applied Minds, Inc. Method and apparatus for selection of signals in a teleconference
US6789901B1 (en) 2002-01-04 2004-09-14 Raytheon Company System and method for providing images for an operator of a vehicle
US20040021764A1 (en) * 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20040001091A1 (en) * 2002-05-23 2004-01-01 International Business Machines Corporation Method and apparatus for video conferencing system with 360 degree view
US20030220971A1 (en) * 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US6808274B2 (en) * 2002-06-04 2004-10-26 Raytheon Company Method and system for deploying a mirror assembly from a recessed position
US6815680B2 (en) * 2002-06-05 2004-11-09 Raytheon Company Method and system for displaying an image
US7146014B2 (en) 2002-06-11 2006-12-05 Intel Corporation MEMS directional sensor system
US7058237B2 (en) * 2002-06-28 2006-06-06 Microsoft Corporation Real-time wide-angle image correction system and method for computer image viewing
US7184590B2 (en) * 2002-07-17 2007-02-27 Lockheed Martin Corporation Algorithm selector
FI118247B (fi) * 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
US7703002B2 (en) 2003-03-31 2010-04-20 Ricoh Company, Ltd. Method and apparatus for composing multimedia documents
US7536638B2 (en) 2003-03-31 2009-05-19 Ricoh Co., Ltd. Action stickers for identifying and processing stored documents
US7739583B2 (en) 2003-03-31 2010-06-15 Ricoh Company, Ltd. Multimedia document sharing method and apparatus
US7509569B2 (en) 2003-03-31 2009-03-24 Ricoh Co., Ltd. Action stickers for nested collections
US7552381B2 (en) * 2003-03-31 2009-06-23 Ricoh Co., Ltd. Check boxes for identifying and processing stored documents
US7757162B2 (en) 2003-03-31 2010-07-13 Ricoh Co. Ltd. Document collection manipulation
US20070050696A1 (en) * 2003-03-31 2007-03-01 Piersol Kurt W Physical key for accessing a securely stored digital document
JP2005027194A (ja) * 2003-07-04 2005-01-27 Sony Corp 撮像装置及び撮像方法、並びにファイバーアレイイメージ変換データ測定方法
US7275159B2 (en) 2003-08-11 2007-09-25 Ricoh Company, Ltd. Multimedia output device having embedded encryption functionality
JP2005086365A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置、会議装置および撮像条件調整方法
US7590941B2 (en) * 2003-10-09 2009-09-15 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
FR2861525B1 (fr) * 2003-10-24 2006-04-28 Winlight System Finance Procede et dispositif de capture d'une image grand champ et d'une region d'interet de celle-ci
US7689712B2 (en) 2003-11-26 2010-03-30 Ricoh Company, Ltd. Techniques for integrating note-taking and multimedia information
US7746373B2 (en) 2003-12-23 2010-06-29 Telecom Italia S.P.A. Device for viewing images, such as for videoconference facilities, related system, network and method of use
GB0405455D0 (en) * 2004-03-11 2004-04-21 Mitel Networks Corp High precision beamsteerer based on fixed beamforming approach beampatterns
US20050221852A1 (en) * 2004-04-05 2005-10-06 D Avello Robert F Methods for controlling processing of inputs to a vehicle wireless communication interface
US8233052B2 (en) * 2004-06-15 2012-07-31 Quantum Semiconductor Llc Imaging devices operable with multiple aspect ratios
US7623156B2 (en) * 2004-07-16 2009-11-24 Polycom, Inc. Natural pan tilt zoom camera motion to preset camera positions
US8730322B2 (en) 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
US7500795B2 (en) * 2004-09-09 2009-03-10 Paul Sandhu Apparatuses, systems and methods for enhancing telemedicine, video-conferencing, and video-based sales
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4729927B2 (ja) * 2005-01-11 2011-07-20 ソニー株式会社 音声検出装置、自動撮像装置、および音声検出方法
US7524119B2 (en) * 2005-02-03 2009-04-28 Paul Sandhu Apparatus and method for viewing radiographs
US8386909B2 (en) * 2005-04-07 2013-02-26 Hewlett-Packard Development Company, L.P. Capturing and presenting interactions with image-based media
US8457614B2 (en) * 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
US8805929B2 (en) 2005-06-20 2014-08-12 Ricoh Company, Ltd. Event-driven annotation techniques
US7554576B2 (en) 2005-06-20 2009-06-30 Ricoh Company, Ltd. Information capture and recording system for controlling capture devices
JP4356663B2 (ja) * 2005-08-17 2009-11-04 ソニー株式会社 カメラ制御装置および電子会議システム
US8036402B2 (en) 2005-12-15 2011-10-11 Harman International Industries, Incorporated Distortion compensation
US8160394B2 (en) * 2006-05-11 2012-04-17 Intergraph Software Technologies, Company Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US7924310B1 (en) * 2006-05-31 2011-04-12 Hewlett-Packard Development Company, L.P. Image data processing methods, image data processing systems, and articles of manufacture
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
US20080255840A1 (en) * 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
CN100505837C (zh) * 2007-05-10 2009-06-24 华为技术有限公司 一种控制图像采集装置进行目标定位的系统及方法
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8330787B2 (en) * 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
JP4458128B2 (ja) * 2007-07-31 2010-04-28 ソニー株式会社 方向検出装置、方向検出方法および方向検出プログラム、ならびに、方向制御装置、方向制御方法および方向制御プログラム
US10904658B2 (en) 2008-07-31 2021-01-26 Nokia Technologies Oy Electronic device directional audio-video capture
US9445193B2 (en) * 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
JP2011530258A (ja) * 2008-08-04 2011-12-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺観測手段を備えた通信装置
JP5317630B2 (ja) * 2008-11-07 2013-10-16 キヤノン株式会社 画像配信装置、方法及びプログラム
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US8380866B2 (en) 2009-03-20 2013-02-19 Ricoh Company, Ltd. Techniques for facilitating annotations
US8831681B1 (en) * 2010-01-04 2014-09-09 Marvell International Ltd. Image guided audio processing
US8872887B2 (en) 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US8508652B2 (en) 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックIpマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
US8698872B2 (en) * 2011-03-02 2014-04-15 At&T Intellectual Property I, Lp System and method for notification of events of interest during a video conference
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US20130201272A1 (en) * 2012-02-07 2013-08-08 Niklas Enbom Two mode agc for single and multiple speakers
US9323912B2 (en) * 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
WO2013175484A2 (en) 2012-03-26 2013-11-28 Tata Consultancy Services Limited A multimodal system and method facilitating gesture creation through scalar and vector data
US9591418B2 (en) 2012-04-13 2017-03-07 Nokia Technologies Oy Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input
US8928730B2 (en) 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
US9779093B2 (en) * 2012-12-19 2017-10-03 Nokia Technologies Oy Spatial seeking in media files
US8849064B2 (en) 2013-02-14 2014-09-30 Fotonation Limited Method and apparatus for viewing images
US9860439B2 (en) * 2013-02-15 2018-01-02 Panasonic Intellectual Property Management Co., Ltd. Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method
CN105144768B (zh) * 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
DE102013010233B4 (de) 2013-06-18 2018-08-30 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
US9753119B1 (en) * 2014-01-29 2017-09-05 Amazon Technologies, Inc. Audio and depth based sound source localization
US10586114B2 (en) * 2015-01-13 2020-03-10 Vivint, Inc. Enhanced doorbell camera interactions
WO2017141102A1 (en) 2016-02-16 2017-08-24 6115187 Canada, d/b/a ImmerVision, Inc. Image distortion transformation method and apparatus
US10531187B2 (en) 2016-12-21 2020-01-07 Nortek Security & Control Llc Systems and methods for audio detection using audio beams
US10560636B1 (en) * 2017-03-24 2020-02-11 Cisco Technology, Inc. Crop synchronized auto focus and exposure
JP7292853B2 (ja) 2017-12-26 2023-06-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2019117375A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11102395B2 (en) * 2019-08-16 2021-08-24 Sony Corporation Generation of media content having multi-focus video and multi-directional audio

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4070098A (en) * 1976-04-28 1978-01-24 The University Of Arizona Foundation Fisheye projection lens system for 35mm motion pictures
US4125862A (en) * 1977-03-31 1978-11-14 The United States Of America As Represented By The Secretary Of The Navy Aspect ratio and scan converter system
US4170400A (en) * 1977-07-05 1979-10-09 Bert Bach Wide angle view optical system
US4264928A (en) * 1979-11-05 1981-04-28 Schober Gary W Conference video system
US4322726A (en) * 1979-12-19 1982-03-30 The Singer Company Apparatus for providing a simulated view to hand held binoculars
US4442453A (en) 1982-02-09 1984-04-10 The United States Of America As Represented By The Secretary Of The Air Force Photo-reconnaissance system
US4559555A (en) * 1982-02-24 1985-12-17 Arnold Schoolman Stereoscopic remote viewing system
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
US4747675A (en) * 1987-06-01 1988-05-31 Albert Nagler Ultra wide-angle eyepiece
US4832472A (en) * 1987-07-17 1989-05-23 Lockheed Missiles & Space Company, Inc. Mapping lens
GB8722403D0 (en) * 1987-09-23 1987-10-28 Secretary Trade Ind Brit Automatic vehicle guidance systems
JPH0771279B2 (ja) * 1988-08-17 1995-07-31 富士通株式会社 テレビ会議用画像処理装置
US5040055A (en) * 1988-12-14 1991-08-13 Horizonscan Inc. Panoramic interactive system
GB8829135D0 (en) * 1988-12-14 1989-01-25 Smith Graham T Panoramic interactive system
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5097325A (en) * 1990-12-17 1992-03-17 Eol3 Company, Inc. Circular scanning system for an integrated camera and panoramic catadioptric display
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
JPH05346950A (ja) * 1991-12-19 1993-12-27 Eastman Kodak Co 三次元シーンを感知するための方法及び装置
FR2692375B1 (fr) * 1992-06-12 1994-12-23 Thomson Csf Dispositif de veille omnidirectionnel à objectif grand angulaire couvrant tout l'espace environnement.
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
JPH1163079A (ja) * 1997-08-19 1999-03-05 Showa:Kk フロントフォーク

Also Published As

Publication number Publication date
JPH0855215A (ja) 1996-02-27
CA2152314C (en) 2000-02-29
DE69515087T2 (de) 2000-09-14
CA2152314A1 (en) 1996-01-28
BR9502919A (pt) 1996-03-05
EP0695085A1 (en) 1996-01-31
JP3485261B2 (ja) 2004-01-13
US5686957A (en) 1997-11-11
DE69515087D1 (de) 2000-03-23
EP0695085B1 (en) 2000-02-16
US5508734A (en) 1996-04-16
JP2001091825A (ja) 2001-04-06

Similar Documents

Publication Publication Date Title
JP3103008B2 (ja) 半球状視野の電子結像及び処理のためのシステム及び方法
US7336299B2 (en) Panoramic video system with real-time distortion-free imaging
US6424377B1 (en) Panoramic camera
JP3290993B2 (ja) 球形画像を作成する方法および装置
JP4023827B2 (ja) 全方向性撮像装置
US6118474A (en) Omnidirectional imaging apparatus
JP4247113B2 (ja) 長方形の画像センサによりパノラマ画像を撮像する方法
EP1178352A1 (en) Method of and apparatus for presenting panoramic images at a local receiver, and a corresponding computer program
TWI270289B (en) Image pickup apparatus and image pickup and synthesis method thereof
WO1996008105A1 (en) Method for creating image data
CA2324802C (en) Panoramic imaging apparatus and method
JP2003512783A (ja) 周辺視覚を伴うカメラ
KR100482727B1 (ko) 전방향성결상장치및방법
JP2002354302A (ja) 撮像装置及び撮像システム
JP2002218296A (ja) 撮像装置
JPH09233408A (ja) ビデオプロジェクタ
JPH09261523A (ja) 画像入力装置及び画像記録再生装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070825

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080825

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090825

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090825

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100825

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110825

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110825

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120825

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120825

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130825

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term