JPH0879622A - 広角画像における歪み解除の方法および装置 - Google Patents

広角画像における歪み解除の方法および装置

Info

Publication number
JPH0879622A
JPH0879622A JP7092224A JP9222495A JPH0879622A JP H0879622 A JPH0879622 A JP H0879622A JP 7092224 A JP7092224 A JP 7092224A JP 9222495 A JP9222495 A JP 9222495A JP H0879622 A JPH0879622 A JP H0879622A
Authority
JP
Japan
Prior art keywords
wide
video
region
angle
control points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7092224A
Other languages
English (en)
Inventor
Eric Gullichsen
グリックセン エリック
Susan Wyshynski
ワイシェンスキー スーザン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WAAPU Ltd
Warp Ltd
Original Assignee
WAAPU Ltd
Warp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WAAPU Ltd, Warp Ltd filed Critical WAAPU Ltd
Publication of JPH0879622A publication Critical patent/JPH0879622A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 （修正有） 【目的】広角ビデオを透視修正されたビューイング・ゾ
ーンに変換する方法および装置で、単一のユーザまたは
複数のユーザが選択、方位づけ、拡大できるもの。 【構成】最初に広角ディジタルビデオ入力を任意の適切
な手段で捉える。次に、捉えた画像は適切なメモリ手段
４０に記憶され、画像の一部が後に選択できるようにす
る。記憶されたビデオの一部が見るために選択された場
合、三次元的空間における複数の分離したビューイング
・ベクトルがビデオ入力で選ばれ、二次元的平面または
他の適切な表面における複数の制御点に変換される。次
に、もとの広角画像捕獲からまだ歪んだままのこれらの
点の間の領域は、透視修正されたビューに変換される６
０。次に、この透視修正されたビューは、モニタや頭部
装着型ディスプレイ８０などの適切な表示装置に表示さ
れる。

Description

【発明の詳細な説明】
【０００１】
【発明の分野】本発明は広角ビデオ源からの透視修正さ
れた視野を表示する方法および装置に関する。さらに詳
しくは、方位検知手段をもつユーザが、記憶された、ま
たは広角ソースから実時間でビデオ符号化された選択部
分を見ることができ、その部分を透視修正された視野に
変更することができる方法および装置に関する。
【０００２】
【発明の背景】「バーチャル・リアリティ」と「テレプ
レゼンス」は、リサーチ、工業、娯楽分野のアプリケー
ションで非常に人気が高い。「バーチャル・リアリテ
ィ」（以下ＶＲ）では、ユーザは、選ばれた環境のコン
ピュータ生成によるグラフィカル表現を鑑賞することが
できる。ＶＲ環境を生成するために使用するハードとソ
フトの機能に応じ、ユーザはシミュレーション環境の三
次元的光景を見ることができる。「テレプレゼンス」で
は、ユーザは実世界、または三次元的に録画された環境
を見ることができる。
【０００３】さらに、ハイエンドのシステムでは、ユー
ザは一つの角度またはそれ以上の角度に自由に頭を移動
させたり方位を変更することのみで、ＶＲおよびテレプ
レゼンスの異なる部分を見ることができる。これによ
り、ユーザはコンピュータ生成による環境、または実世
界の環境に入り込んだ感覚を受ける。ハイエンドの装置
は、ユーザによるパン、ロール、ティルトの動きを検知
し、それに対応して環境も変化するようになる。パン／
ロール／ティルトの動きは、ジョイスティック、ボタ
ン、ヘッド・オリエンテーション・センサ（頭部装着型
ディスプレイに接続が可能）など、色々なタイプの入力
装置で入力することができる。
【０００４】ＶＲアプリケーションでは、ユーザが購入
できる程度の価格で、ユーザが望む質とスピードの３Ｄ
環境をどのように製作するかが現存の問題点である。３
Ｄビデオゲームのような、リアルな環境を製作するため
には、多数の多角形を描く必要がある。この描画には、
非常に高価なハードウェアが必要であり、そのようなシ
ステムの商業的価値は限定されてしまう。
【０００５】テレプレゼンス・アプリケーションにおい
て、従来の技術での問題であり今も継続する問題は、十
分なデータをどのように符号化し、視野以外を見ずに、
テレプレゼンス環境内でビュアーが任意に見る方向を変
更できるようにするかという点である。テレプレゼンス
環境が実際の三次元環境を利用している場合での比較例
容易な解決法として、ヘッド・オリエンテーション・セ
ンサを用い、ビュアーの方位をカメラが追跡できるよう
にするものがある。但し、これは１回に１人のビュアー
しかテレプレゼンス環境を利用できず（カメラは１人の
ビュアーのみを追跡し、コントロールしているビュアー
の頭の動きを他のビュアーが追いかけることは困難であ
る）、また事前に録画されたデータを使用することはで
きない。さらに、ユーザが見る方向の変更と、対応する
カメラが方位を合わせることにかかる時間との間に固有
の遅延がある。これらの制限は、このようなシステムの
価値を大きく制限するものである。
【０００６】これらの制限を解決する方法の一つとし
て、実時間または事前録画のいずれかにおいて、ビュア
ーの視覚的動きの全範囲とほぼ同等の視覚（つまり、す
べての許容可能な範囲内全体で許される方位にビュアー
の頭が動いた場合、そのビュアーが見るもの）を符号化
するというものがある。例えば、視覚情報の半球全体を
符号化することにより、複数のビュアーに、テレプレゼ
ンス環境内での方位の範囲で、インタラクティブに見る
ある程度の自由が与えられる。
【０００７】このアプローチの問題点は、そのような情
報を符号化するほとんどの手段によって視覚データが歪
むため、それをビュアーが容易に吸収できるようにする
には情報を修正（歪み解除）する必要がある。例えば、
情報の半球全体を符号化する一般的アプローチとして、
魚眼レンズを利用する方法がある。魚眼レンズは、その
特性により、視野の周辺部分でのデータを圧縮すること
によって三次元の景色を二次元の表現に変換する。ＶＲ
環境でビュアーが自然に見れるようにするには、視覚デ
ータが圧縮解除（歪み解除）され、二次元表現として通
常の透視で提示される必要がある。
【０００８】歪み問題解決法の一つは、Steven Zimmerm
anによる米国特許5,185,667 に提案されている。この特
許６６７は、装置に動く部品がないが、パン、ティル
ト、回転、ズームなどのカメラ・コントロールができる
装置について記載している。魚眼レンズと三角法技術を
用いると、ビデオ画像の歪みを部分的に解除することが
できるが、特許６６７に提案された解決法はレンズの論
理的特性と実際の特性の差による数学的エラーを起こす
ため実用的とは言えない。これは論理的には完璧な半球
魚眼レンズ以外のレンズを使用できるような柔軟性が足
らないためである。また、この解決法は三角法を複雑に
し、変換を遅らせ、実用は非常に高価になってしまう。
この解決法は、複雑な三角法マッピング式を介して個別
の画素をさらにマッピングするため、一つの整合システ
ムからもう一つのシステムへの変換速度をさらに低下す
ることになる。
【０００９】その結果、十分なスピードと精度でビュア
ーがＶＲまたはテレプレゼンス環境に包み込まれ、環境
を見回すことができ、同時に他のビュアーも同じ放送信
号で同じ活動を個別に行うことができるような符号化さ
れた広角視覚データの歪み解除ができる方法と装置が強
く求められてきた。また、汎用の高速コンピュータで、
そのような歪み解除を提供できる方法と装置も求められ
てきた。
【００１０】
【発明のまとめ】本発明は、従来の技術における制限を
解消するものである。さらに詳しくは、本発明は、広角
三次元ビデオの選択された部分内での複数のビューイン
グ・ベクトルを二次元制御点に入力し、比較的簡単な方
法を用いて制御点間の画像を変換し、透視修正された視
野を作成するものである。
【００１１】さらに詳しくは、本発明は、実況、事前録
画、またはシミュレーションでの広角環境の透視修正さ
れた視野を提供する方法および装置である。まず本発明
は、高解像ビデオカメラ、半球の魚眼レンズ、実時間の
ディジタル画像捕獲ボードの組み合わせなどのような適
切な手段によって広角ディジタル・ビデオ入力を捕獲す
る。次に、捕獲された画像は、適切なメモリ手段に記憶
され、画像は後で部分的に選択できるようにする。
【００１２】記憶されたビデオのある部分が選択された
とき、三次元空間における分離した複数のビューイング
・ベクトルが選択され、二次元面での対応する複数の制
御点に変換される。元の広角画像捕獲から歪んだままの
制御点間での領域は、二次多項式マッピング技術を介し
て透視修正された視野に変換される。次に、透視修正さ
れた視野は、モニタや頭部装着型ディスプレイなどの適
切な表示装置に表示される。さらに本発明は、変換のた
めの記憶されたビデオの新しい部分の入力された選択、
方位、拡大を検知する能力を有する。
【００１３】従来の技術と比べて本発明は、広角の三次
元画像の歪みを解除するための高信頼性、低コスト、高
速、シンプルな解決法を提供するものである。また本発
明によれば、複数のビュアーに対し広角ビデオを同時に
変換することができ、ビデオ入力の同じまたは異なる部
分へのアクセス・操作する能力を各ユーザに提供する。
ＶＲアプリケーションでは、本発明は、コンピュータ生
成の三次元多角形をあらかじめ描くことができるため、
ユーザは高価な描画ハードウェアなしで、どの方位でも
すばやく環境を見ることができる。
【００１４】従って本発明の目的の一つは、表示のでき
る透視修正された視野の歪みを解除する方法と装置を提
供することにある。本発明のもう一つの目的は、異なる
ユーザの間で広角入力の同じまたは異なる部分を同時に
変換する方法と装置を提供することにある。本発明のも
う一つの目的は、そのビデオ入力のいずれの部分であっ
ても選択および方位づけを可能とする方法と装置を提供
することにある。
【００１５】本発明のもう一つの目的は、そのビデオ入
力拡大のための方法と装置を提供することにある。本発
明のもう一つの目的は、動作する部品がなく、上述すべ
ての目的を達成できる方法と装置を提供することにあ
る。本発明のこれら、およびこれら以外の目的は、添付
の図面を参照しながら下記に示した発明の詳細な説明で
より良く理解できるものと思われる。
【００１６】 〔発明の詳細な説明〕
【００１７】図１を参照すると、広角バイオサイド情報
を実時間で処理する本発明の実施例が示されている。半
球魚眼レンズなどの広角レンズ２０を有する高解像ビデ
オカメラ１０は、実世界の光景２２に向けられている。
カメラ１０の出力２４は、実時間画像ディジタル化ボー
ド３０（一般的に「フレーム・グラバー」と呼ばれる）
に備えられ、概略的に示された従来の高速コンピュータ
１５０に位置する、または動作的に接続されている。カ
メラ１０は、広角レンズを使用することができ、適切な
解像度を提供できるものならばどんなカメラでもよい。
ほとんどの場合、カメラはビデオカメラであるが、静止
画像カメラが望ましいような場合もある。適切な魚眼レ
ンズとしてニッコール・オート１：1.８ｆ＝８mm魚眼レ
ンズがあるが、これはニコンＦＷ−ＥngＴＭＷ−Ｂ１コ
ンバータを用いれば標準高解像放送用ビデオカメラに使
用することができる。コンピュータ１５０は、ビデオ情
報を許容できる程度の速度で受信・処理できるものであ
ればどんなコンピュータでもよく、例えば８０４８６ベ
ースやＰentiumTMベースのシステム、あるいは Silicon
Graphics, Sun Micro Systems, Apple Computerや同様
のコンピュータ製造企業によって作られた他のコンピュ
ータ・プラットフォームなどが利用できる。
【００１８】魚眼レンズ２０は、カメラ１０からのビデ
オ出力信号２４を非線形的に光学的に歪ませる。画像が
ユーザによって無理なく見られる前に、透視修正の処理
を行わなければならない。従って、ビデオ信号２４は、
ディジタル化ボード３０（一般的には毎秒３０コマで動
作するが、必ずしもそうである必要はない）を介して、
コンピュータ１５０のメモリ４０に転送され、ビデオ画
像の位置がマイクロプロセッサ５０により、またコンピ
ュータ１５０内において、いつでもランダムにアクセス
できるようにする。
【００１９】歪み解除ソフトウェアもメモリ４０に記憶
され、マイクロプロセッサ５０によってビデオ信号２４
に適用される。次に記憶されたビデオ信号は、メモリ４
０から、テクスチャ歪みと補間のための四次またはそれ
以上の位数の多項式変換が可能な特殊目的のＡＳＩＣ６
０に送信される。また、テクスチャ歪みＡＳＩＣ６０は
除くことも可能で、その機能はソフトウェアで実施でき
る。ＡＳＩＣ６０のオプションの特性を示すために仮想
線で描かれている。透視修正されたビデオ信号は次に、
標準ＶＧＡカードのようなビデオ出力段階７０に送信さ
れ、そこから頭部装着型ディスプレイまたは同様の装置
８０などの適切なモニタに表示される。ジョイスティッ
クやヘッドトラッカー（頭部装着型ディスプレイをつけ
るユーザの頭の動きを検知するもの）などの入力装置９
０は、標準的なシリアル、パラレル、またはゲーム・ポ
ートなどのような適切な入力ポート１００を介して、マ
イクロプロセッサ５０に位置する情報を送信し、選択さ
れ、歪み解除され、表示された記憶済みビデオの一部を
制御する。また入力装置９０は、ロール／縦揺れ／横揺
れの情報をマイクロプロセッサ５０に送信し、ユーザが
歪み解除されたビデオ信号の方位を制御できるようにす
る。さらに、熟練した技術者であれば、拡大オプション
を入力装置９０に追加し、ユーザがビデオ信号の選択さ
れた部分を拡大することができることを理解できるはず
である。この拡大は、カメラ１０の解像度によってのみ
限定されるものである。
【００２０】図２は、広角レンズ２０によって像がつく
られた実世界の三次元環境２００を示している。この環
境は、Ｘ、Ｙ、Ｚのカルテシアン座標システムによって
定義され、ビューポイントは座標システムの原点と定義
される。入力装置９０によって定義されるユーザが見る
方向は、Ｘ−Ｙ−Ｚ座標システムのビューイング・ベク
トルとして示されている。歪んだ広角画像を含む画像面
２１０は、ＵとＶの二次元的座標システムによって定義
され、この座標システムの原点はＸ−Ｙ−Ｚ座標システ
ムの原点と一致している。レンズ２０の視野が十分であ
り、レンズがビューイング軸の回りに回転対称である場
合は、ディジタル化された歪み画像はＵ−Ｖ面でほぼ円
形になる。
【００２１】三次元グラフィックにおける低コストのテ
クスチャ・マッピングのために開発されたＡＳＩＣの第
１世代により、図３（ａ）に示されたような双線形技術
を介して、ビデオ画像をマッピングした。これらのチッ
プは、線形補間をＸとＹの両方向におけるテクスチャ画
素に適用し、よって長方形のソース・テクスチャをどの
ような二次元的四辺形にでも引き伸ばすことができる。
この種のチップの一例としては、Ａrtist Ｇraphics ３
ＧＡチップがある。しかし、これらの双線形チップは、
大量の透視をもつ頂点を有する多角形のテクスチャ・エ
ラーを起こすことがあり、さらに十分に高い位数のテク
スチャ歪み、つまる半球魚眼レンズのような極度に広角
の視野を十分平面にすることができない。
【００２２】図３（ｂ）は、現在市販されるようになっ
た四次的技術の一例である。本発明の実施例は、少なく
とも多項式第２位数のテクスチャ歪み技術を使用するＡ
ＳＩＣチップを使用する。本発明は、Silicon Gralphic
s のIndigoTMコンピュータやPentium TMベースのコンピ
ュータなどのような汎用高速コンピュータでのソフトで
この技術が実行できるほど十分にシンプルである。
【００２３】図２に示したＵ−Ｖ面の歪んだ画像は、UO
RIGIN およびVORIGIN における原点をもつRADIUS画素と
同等の半径２２０を有する。回転対称レンズでは、レン
ズの歪み作用は単一レンズの式ｒ＝（ｆ）で表すことが
できる（式中、関数ｆ（θ）は、図４に示したように、
ビューイング軸からの角度θをもつ入射光線を、Ｕ−Ｖ
面の中央からｒ画素における半径の変位位置にマッピン
グする）。
【００２４】三次元Ｘ−Ｙ−Ｚ空間の特定のビューイン
グ方向では、下記のようになる：
【００２５】
【数１】
【００２６】理想的な半球魚眼レンズにおいては、ｆ
（θ）＝（RADIUS) (sin (θ))となり、生じるレンズの
方程式は下記のようになる：
【００２７】
【数２】
【００２８】方程式（１）は入力されたＸ−Ｙ−Ｚの三
次元ビューイング・ベクトルをＵ−Ｖ面での対応する制
御点に変換する。特定のビューイング方向（ｘ，ｙ，
ｚ）の広角ビデオ入力の長方形部分の歪みを解除するた
めには、主にビューイング・ベクトルを取り巻く他の８
つのビューイング・ベクトルが、主要ビューイング・ベ
クトルからの視野の角度 fov h および fov v で計算
される。次に、これらの９つのベクトルは、三次元的Ｘ
−Ｙ−Ｚ空間から二次元的Ｕ−Ｖ面に方程式（１）によ
って投射される。その結果は、制御点の３×３のグリッ
ドとなり、グリッドの端は広角レンズの歪み作用で起こ
った湾曲と一致するよう数学的に湾曲する。
【００２９】次に、下記の大域二変数多項式変換は、
【００３０】
【数３】
【００３１】Ｕ−Ｖ面における歪んだ３×３グリッド内
の領域を透視修正された視野に変換するために必要な幾
何学的修正を説明することが分かる。第２位数多角形が
ほとんどのレンズの歪み特性を十分正確に表すことがで
き、また生ずる四次変換を実行するハードウェアが存在
するという理由で、四次多項式変換（上記の方程式では
Ｎ＝２）が選ばれた。しかし、熟練した技術者であれ
ば、高次数の他の多項式変換が変換の精度を高めるため
に使用できることが理解できるはずである。 上記方程式（３）の拡大：
【００３２】
【数４】
【００３３】ｖおよびｂijの値も同様に見つけられる。
マトリックスの形では、拡大された方程式（４）は下記
のように記載することができる。
【００３４】
【数５】 Ｕ＝ＷＡ Ｖ＝ＷＢ （５） 本発明の方法に従ってａijとｂijを発見するため、疑似
転位法を使用した。しかし、熟練した技術者であれば、
疑似転位法以外にも方程式（５）を解く方法、つまり最
小自乗法があることが分かるだろう。上記方程式（５）
におけるＡとＢの疑似転位解決法は下記のとおりであ
る。
【００３５】
【数６】 Ａ＝（ＷTＷ）-1ＷTＵ Ａ＝（ＷTＷ）-1ＷTＶ （６） ゆえに、特定の画素解像度Ｎ×Ｍのターゲット・ディス
プレイでは、Ｗとその疑似転位（ＷT Ｗ）-1ＷT は演繹
的に計算することができる。
【００３６】次に、ａijとｂijの値は、上記の方程式
（６）を使用して制御点を含む３×３グリッドにおいて
Ｕ−Ｖ面にその点をマッピングすることによって分か
る。次に、制御点間の領域を変換するために、方程式
（３）の二次多項式変換を使用する。この実施例では、
Ｕ−Ｖ面における各画素の座標決定は合計１３回の乗算
および１０回の追加的動作が必要である。さらに、画素
あたりに必要な乗算動作の３回は、歪んだ宛先画像にあ
る各ｘｙ座標のペアのｘｙ、ｘ2 、ｙ2 値の表を記憶す
ることによって取り除くことができる。もう一つの実施
例において、“ｙ”値が変わっても変化しない“ｘ”値
（つまり、a1 * x+a4 * x2およびb1 * x+b4 * x2)は、事前
に計算し記憶することができる。同様に、“ｘ”値が変
わっても変化しない“ｙ”値も、事前に計算し記憶する
ことができる。これらの最適化によって、Ｕ−Ｖ面にお
ける各画素の座標を決定することに必要な動作を乗算２
回と追加的動作４回に減少させることができる。
【００３７】技術的熟練者であれば、変換されたビュー
イング・ベクトル数が増加するにつれて歪み解除変換の
精度が向上することが分かるはずである。つまり、制御
点の４×４グリッドは、制御点の３×３グリッドよりも
精度の高い変換を行うことができる。しかし、精度向上
の量は、制御点が増加するに従ってすぐに漸近線に近く
なる。ゆえに技術的熟練者であれば、ビューイング・ベ
クトル数を、表示された領域での画素総数の半分以上に
増加することはあまり意味がないことが分かるだろう。
【００３８】技術的熟練者であれば、ビデオ入力の長方
形の選択は、他の形に変更しても本発明の範囲内にある
ことがさらに分かるだろう。さらに、制御点の数は、変
換精度の向上・低下に対応して、増加・減少させること
ができる。さらに、本発明から逸脱することなく、逆テ
クスチャ・マッピング中に画像フィルタリング段階も利
用することもできる。
【００３９】図９は、本発明の一実施例の主要構成要素
を示した機能フローチャートである。まず、固定した歪
み画像パラメータ（ステップ４００）は、入力画像サイ
ズ、入力画像半径、および入力画像センターのような、
一般的に画素で測定されるＵ−Ｖ座標において定義され
る。次のステップ４１０は、歪み画像のサイズ、縦方向
・横方向の視野（一般的に度で示される）、および制御
点のレイアウトと数などの歪み画像の可変パラメータを
イニシャライズする。＋Ｚ軸上に、この実施例の中心に
ある変換されていないビュー・コーンも作成される。一
般的に、次のステップは、事前計算されたインナールー
プ・マトリックス値をロードし、また、変換ができるだ
け早く効果的に行えるよう、ステップ４２０に示したよ
うに、“ｘｙ”の積をロードする。ステップ４３０にお
いて、ビデオ信号は、適切な形のシステム、つまり、実
況または事前録画の実時間ディジタル化ビデオ、あるい
はコンピュータで合成されたビデオ環境などに入力され
る。次に、このシステムにより、ユーザは、変換される
ビデオの部分を決定するビューイング・ベクトル（ステ
ップ４４０）の選択が可能になる。次に、制御点は選択
されたビューイング・ベクトル（ステップ４５０）から
変換され、この制御点によって定義された領域の歪みが
解除される（ステップ４６０）。次に、信号はビデオ・
バッファと適当なビューイング装置に送られる（ステッ
プ４７０）。ステップ４７０からステップ４３０まの帰
納的ループは、実況ビデオで必要に応じて、ビデオ信号
をリフレッシュさせる。またこのループによって、入っ
てくるビデオの別の部分を即座に選択することが可能と
なる。
【００４０】前述の説明は、四次出力（Ｘ−Ｙ）を入力
（Ｕ−Ｖ）にマッピングする逆テクスチャ・マッピング
技術を説明している。順方向テクスチャ・マッピングＡ
ＳＩＣが使用されている場合、Ｘ−Ｙにおける宛先制御
点の座標が与えられ、直線ソース・テクスチャ領域がＵ
−Ｖ面から（上記の逆テクスチャ・マッピング・ソフト
ウェアでの解決法のように）Ｘ−Ｙ面にマッピングされ
るようにしなければならない。順方向テクスチャ・マッ
ピングＡＳＩＣに一例としては、Ｎ−Ｖida Ｃorporati
onが販売するＮＶ−１チップがある。図６は、順方向マ
ッピング解決段階２４０で制御画素座標を受け入れるＡ
ＳＩＣチップ２３０のもう一つの例を示している。双線
形マッピングの場合には４つの画素座標が使用され、二
次マッピングの場合は９つ、立方マッピングの場合は１
６の画素座標が使用される。これの制御画素は、下記の
方程式（７）に従ってホストＣＰＵで作成される。図７
に示したように、長方形の境界をなすボックスの座標
が、を決定し、Ｕ−Ｖ面において制御点ｕi ｖi を含む
典型的な３×３グリッドを取り囲むことを決定する。境
界をなすボックスの角の位置はμi νi 極値から分か
る。方程式（３）で説明したものと同じ方法を利用し
て、Ｎ＝２のａijおよびｂijは、歪む領域を表示スクリ
ーンの角まで取り囲む方程式（７）で解くことができ
る。
【００４１】
【数７】
【００４２】ゆえに、Ｕ−Ｖ面の同じ制御点は、Ｘ−Ｙ
面での表示スクリーンの角にマッピングされる。境界を
なすボックス外部の歪んだ領域は、ハードウェアかソフ
トウェアで切り取り、表示スクリーンでは見えないよう
にする。ソフトＣＰＵから出されるソース画素座標は、
再び方程式（７）と数学的に同等のものを用いて、順方
向マッピング解決段階２４０において、順方向マッピン
グのａijとｂij座標に変換される。さらに一連の命令が
ホストＣＰＵからチップ２３０に送られ、制御ユニット
２６０で受信される。制御ユニット２６０は、チップ２
６０内で他の機能段階の動作を順に配列し制御する。ま
たホストＣＰＵは、歪んだソース画素の線形シーケンス
を、チップ２３０内の補間サンプラ段階に向ける。オプ
ションとして、チップへの送信の前に、これらに低域空
間フィルタリングを行い、歪みプロセス中のサンプリン
グ・エラーを低下させることもできる。ゆえに、チップ
２３０内で、ソース画素およびａijとｂij座標は、両方
とも補間サンプラ２５０に送られる。各入力画素では、
１つまたはそれ以上の宛先画素とそれに対応するＸ−Ｙ
宛先座標がつくられる。次に、これらの歪んだ画素は、
ＡＳＩＣチップ２３０外に位置するビデオフレームバッ
ファ２８０に送られる。オプションとして、チップ内の
アンチ・エイリアス回路２９０は、隣接する画素サンプ
ル間の双線形補間のような出力画素値に補間を行い、出
力空間量子化エラーの作用を低下させることもできる。
技術的熟練者であれば、上述のハードウェアによる解決
法が単に例のみであり、これ以外にも使用できる解決法
は多数あり、それらはなお本発明の範囲内に入るもので
ある。
【００４３】また本書に説明した技術は、合成の画像に
も適用できる。そのような画像はすべてをコンピュータ
環境の中で作成することができ、技術的熟練者によって
一般的に知られているコンピュータ・グラフィック描画
技術によって作成できるオブジェクトの三次元的幾何学
的描写からなる。一般的に合成画素は、線形透視投射に
よって作成される。これは視野の狭いレンズを用いて、
平面フィルム上に画像作成の物理的プロセスをエミュレ
ートし、コーンまたは三次元的角錐台を通して見た合成
環境のビューをつくりだすものである。平面画像グリッ
ド上の各画素の色彩、輝度、明度、その他の擬態物理的
特性もまた、容易に決定することができる。合成環境で
は、Ｘ−Ｙ−Ｚ空間におけるビューイング・ベクトル
は、Ｕ−Ｖ面の歪んだ制御点座標として再度書き込まれ
る。
【００４４】
【数８】
【００４５】ゆえにＸ−Ｙ−Ｚ空間の方向ベクトルは、
合成広角画像におけるＵ−Ｖ面の各画素ごとに生成する
ことができる。完璧な半球魚眼では、生成されたベクト
ルは、作成された半球内ではすべての方向に向いてお
り、このベクトルは、Ｕ−Ｖ画像の解像度の限界まで配
置される。このような方法で、魚眼、または三次元的合
成環境の他の広角画像を作成することができる。この技
術は、三次元的モデリングを施したアニメや家庭用のイ
ンタラクティブ・ゲームなどの製作などに利用すること
ができる。
【００４６】技術的熟練者であれば、本発明が、実況、
あるいはアナログまたはディジタル記憶メディアに録画
された形で、時間に従って変化する広角画像のシーケン
スに適用できることが分かるだろう。画像を録画する素
材としては、ＣＣＤチップのような二次元的電子画像セ
ンサ、または画像を化学的に記録し、続いてディジタル
形にする写真フィルムなどが使用できる。
【００４７】また技術的熟練者であれば、本発明が広角
ビデオを平面（Ｕ−Ｖ）に変換することに限定されるこ
とはなく、ユーザにビデオを表示するためのいずれの適
切な表面上であっても、広角ビデオを変換することが本
発明の範囲に入ることを理解できるはずである。さら
に、実世界の２つの広角レンズは、互いに反対側に配置
させ、ほぼ３６０度で環境をすべて捉えることを可能と
する。継ぎ目のなく環境の全方向を捉えることが要求さ
れる場合は、図８に示したように、三次元軸の各方向に
沿って６つの広角レンズを配置することで可能となる。
この配置はビデオ・スイッチング機構と合わせると、選
択されたビューとビデオ入力の方位づけにおいてどの信
号を歪ませるかを選ぶことができるようになる。
【００４８】さらに、同じビデオ信号は、対話型ケーブ
ルテレビの鑑賞やオンライン対話型ビデオゲームをプレ
イする場合など、ビデオ信号の同一または異なる部分を
同時に歪み解除できる能力を持っている多任意数のビュ
アーに送信することができる。以上本発明の実施例を詳
しく説明したが、通常の技術を有するものであれば、上
記の発明から逸脱することなく、これ以外にも同等のも
のが数多く存在することは明白である。従って、本発明
は前述の説明に限定されるものではなく、添付の特許請
求の範囲によってのみ規定される。
【図面の簡単な説明】
【図１】本発明の実施例の一つを示す機能的ブロック
図。
【図２】三次元（Ｘ−Ｙ−Ｚ）空間での幾何学的構造と
それに対応する二次元（Ｕ−Ｖ）面を示す図。
【図３】歪んだ画像の双線形マッピング（ａ）及び歪ん
だ画像の四次マッピング（ｂ）を示す図。
【図４】二次元（Ｕ−Ｖ）面で見たときの三次元（Ｘ−
Ｙ−Ｚ）広角レンズからのビューイング・ベクトルの側
面を示す図。
【図５】三次元的視野、および本発明に従った複数のビ
ューイング・ベクトルを示す図。
【図６】本発明に従った順方向テクスチャ・マッピング
ＡＳＩＣの構成要素を示すブロック図。
【図７】本発明に従ってＸ−Ｙ面宛先テクスチャに変換
されたＵ−Ｖソース・テクスチャの一例を示す図。
【図８】本発明に従った、６つの半球魚眼レンズを利用
して３６０度の光景を得る方法の一実施例。
【図９】本発明の一実施例の機能的フローチャート。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 3/00 Ｈ０４Ｎ 5/232 Ｚ Ｇ０６Ｆ 15/66 ３６５ (72)発明者 スーザン ワイシェンスキー アメリカ合衆国 カリフォルニア州 94965 ソーサリート ヴァーダ ランデ ィング エス エス ヴァレイホ （番地 なし)

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 実況、事前録画、またはシミュレーショ
    ンの環境の透視修正されたビューを広角ビデオ信号から
    提供する方法で、下記の方法を含むもの：広角ビデオ入
    力を捕獲すること；捕獲したビデオ信号を記憶するこ
    と；ビデオ入力の部分において複数のビューイング・ベ
    クトルを複数の制御点に変換すること；複数の制御点の
    間を透視修正された視野に変換すること；透視修正され
    た視野を表示すること；入力された情報を検知するこ
    と；および入力された情報を介して透視修正された視野
    の変換と表示を制御すること。
  2. 【請求項２】 実況、事前録画、またはコンピュータ・
    シミュレーションの環境からの広角ビデオ信号を透視修
    正されたビデオ信号に変換する装置で、下記のものを含
    むもの：広角ビデオ入力を捉えるビデオ捕獲手段；ビデ
    オ入力を記憶するためにビデオ捕獲手段に電気的に結合
    されたメモリ手段；ビデオ入力の一部分で複数のビュー
    イング・ベクトルを複数の制御点に変換するメモリ手段
    に電気的に結合した処理手段で、その処理手段は複数の
    制御点の間の領域を透視の修正された視野にさらに変換
    するもの。
  3. 【請求項３】 広角ビデオデータの透視を修正する方法
    で、下記のステップを含むもの：光景の広角ビューを含
    むビデオ情報を受信すること；ビュアーが広角ビュー内
    で興味のある領域を選択できること；広角ビューの少な
    くとも一部をディジタル化すること；ビュアーによって
    選ばれた興味のある領域を複数の制御点と関連づけるこ
    と；複数の制御点と関連のある領域を透視修正された視
    野に変換すること；および表示のための透視修正された
    視野を提供すること。
  4. 【請求項４】 請求項３記載の方法で、興味のある領域
    が変換される領域と同じであるもの。
  5. 【請求項５】 請求項３記載の方法で、制御点の数が出
    力画像における画素数の5.５倍であるもの。
  6. 【請求項６】 請求項３記載の方法で、制御点の数が９
    つであるもの。
  7. 【請求項７】 請求項３記載の方法で、ビデオ情報が、
    実況ビデオ、記憶されたビデオ、またはコンピュータ生
    成ビデオの少なくとも１つから取られるもの。
  8. 【請求項８】 請求項３記載の方法で、変換が逆テクス
    チャ・マッピングで行われるもの。
  9. 【請求項９】 請求項３記載の方法で、変換が順方向テ
    クスチャ・マッピングで行われるもの。
  10. 【請求項１０】 請求項３記載の方法で、変換が四次テ
    クスチャ・マッピングで行われるもの。
  11. 【請求項１１】 請求項３記載の方法で、変換がバイキ
    ュービック・テクスチャ・マッピングで行われるもの。
  12. 【請求項１２】 三次元的領域からのデータを平面の境
    界をなす領域にマッピングする方法で、下記のステップ
    からなるもの：四次方程式によって定義される領域をも
    つデータ一組の少なくとも一部分を受信すること；マッ
    ピングのために興味の第１領域を定義し、その第１領域
    は少なくともデータの組の一部分であるもの；定義され
    た第１領域を複数の制御点と関連させること；および複
    数の制御点と関連させた第２領域を、平面ディスプレイ
    に変換すること。
  13. 【請求項１３】 広角ビデオの透視を修正する装置で、
    下記のものを含むもの：光景の広角ビューを含むビデオ
    情報を受信する手段；広角ビュー内で興味の領域をビュ
    アーに選ばせる手段；広角ビューの少なくとも一部分を
    ディジタル化する手段；ビュアーが選んだ興味の領域を
    複数の制御点と関連させる手段；複数の制御点と関連す
    る領域を透視修正された視野に変換する手段；およびデ
    ィスプレイのために透視修正された視野を提供する手
    段。
  14. 【請求項１４】 広角ビデオデータの透視を修正する装
    置で、下記のものからなるもの：広角ビデオを表すビデ
    オ情報を受信・記憶する手段；ビデオ情報の中で興味の
    第１領域を選ぶための入力手段；興味の領域を事前決定
    された数の制御点と関連させるための入力手段に反応す
    る制御手段；および広角ビューからの制御点と関連する
    第２領域を、事前決定された第２視野に変換するための
    制御手段に反応するテクスチャ・マッピング手段。
  15. 【請求項１５】 請求項１２記載の方法で、第１領域と
    第２領域が実質的に一致するもの。
  16. 【請求項１６】 請求項１４記載の方法で、第１領域と
    第２領域が実質的に一致するもの。
JP7092224A 1994-05-27 1995-04-18 広角画像における歪み解除の方法および装置 Pending JPH0879622A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/250,594 US5796426A (en) 1994-05-27 1994-05-27 Wide-angle image dewarping method and apparatus
US08/250594 1994-05-27

Publications (1)

Publication Number Publication Date
JPH0879622A true JPH0879622A (ja) 1996-03-22

Family

ID=22948390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7092224A Pending JPH0879622A (ja) 1994-05-27 1995-04-18 広角画像における歪み解除の方法および装置

Country Status (3)

Country Link
US (4) US5796426A (ja)
JP (1) JPH0879622A (ja)
GB (1) GB2289820B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152719A (ja) * 2000-08-29 2002-05-24 Usc Corp 曲面像を利用したモニタ方法及びモニタ装置
JP2008543071A (ja) * 2005-05-30 2008-11-27 トウシバ エレクトロニクス ヨーロッパ ゲゼルシャフト ミット ベシュレンクテル ハフツング ワーピング演算ユニットを有する集積回路
JP2009165106A (ja) * 2007-12-17 2009-07-23 Nvidia Corp 画像の歪み補正
JP2010032260A (ja) * 2008-07-25 2010-02-12 Jfe Steel Corp 光学系歪補正方法および光学系歪補正装置
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US9414052B2 (en) 2009-04-16 2016-08-09 Nvidia Corporation Method of calibrating an image signal processor to overcome lens effects
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image

Families Citing this family (260)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US7382399B1 (en) * 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US7714936B1 (en) 1991-05-13 2010-05-11 Sony Corporation Omniview motionless camera orientation system
USRE43490E1 (en) 1994-05-27 2012-06-26 B.H. Image Co. Llc Wide-angle dewarping method and apparatus
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
JPH11506575A (ja) 1995-03-07 1999-06-08 インターバル リサーチ コーポレイション 情報の選択記憶システム及び方法
US5818438A (en) 1995-04-25 1998-10-06 Bellsouth Corporation System and method for providing television services
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US20090273574A1 (en) 1995-06-29 2009-11-05 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
ES2114819B1 (es) * 1996-05-30 1999-02-16 Market Sp 94 S L Metodo para la visualizacion a distancia de paneles publicitarios y similares desde una camara para la captacion de imagenes.
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
DE19630009A1 (de) * 1996-07-25 1998-01-29 Sel Alcatel Ag Teilnehmergerät für Bildfernsprechen
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
JPH10164326A (ja) * 1996-11-28 1998-06-19 Minolta Co Ltd 画像取り込み装置
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6263507B1 (en) 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US6147709A (en) * 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6101288A (en) * 1997-07-28 2000-08-08 Digital Equipment Corporation Method for recovering radial distortion parameters from a single camera image
US6783285B1 (en) * 1997-08-18 2004-08-31 Igor Alexeff Image viewing device
US6028969A (en) * 1997-10-28 2000-02-22 Sharp Laboratories Of America, Inc. System and method of additive interpolation for affine transformations
US6281931B1 (en) * 1997-11-04 2001-08-28 Tien Ren Tsao Method and apparatus for determining and correcting geometric distortions in electronic imaging systems
US6930709B1 (en) 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
US6097434A (en) * 1998-03-25 2000-08-01 Intel Corporation System and method for correcting pixel data in an electronic device
US6130704A (en) * 1998-10-22 2000-10-10 Sensormatics Electronics Corporation Controlling movement of video surveillance cameras
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6825875B1 (en) 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device
US6934461B1 (en) * 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
JP3126955B2 (ja) * 1999-02-12 2001-01-22 株式会社アドバネット 画像変換用演算装置
WO2000049563A1 (en) * 1999-02-17 2000-08-24 The Research Foundation Of State University Of New York Geometric motion analysis
US6118595A (en) * 1999-02-24 2000-09-12 Miller; James E. Mounted immersive view
WO2000060868A1 (en) * 1999-04-05 2000-10-12 Bechtel Bwxt Idaho, Llc Systems and methods for improved telepresence
WO2000060857A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Virtual theater
US6778211B1 (en) 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
US6433840B1 (en) * 1999-07-22 2002-08-13 Evans & Sutherland Computer Corporation Method and apparatus for multi-level image alignment
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US8482535B2 (en) 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
WO2001037028A1 (en) * 1999-11-15 2001-05-25 Equal Reverse Thoughts Limited Method of improved image depth perception
US6687387B1 (en) 1999-12-27 2004-02-03 Internet Pictures Corporation Velocity-dependent dewarping of images
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
US7259760B1 (en) 2000-02-16 2007-08-21 Be Here Corporation Polygonal curvature mapping to increase texture efficiency
US6897858B1 (en) 2000-02-16 2005-05-24 Enroute, Inc. Partial image decompression of a tiled image
US6559853B1 (en) 2000-02-16 2003-05-06 Enroute, Inc. Environment map creation using texture projections with polygonal curved surfaces
US6816632B1 (en) 2000-02-17 2004-11-09 Wake Forest University Health Sciences Geometric motion analysis
JP4286420B2 (ja) * 2000-02-18 2009-07-01 Ｈｏｙａ株式会社 インターネットカメラ
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
JP2001238199A (ja) * 2000-02-25 2001-08-31 Asahi Optical Co Ltd インターネットカメラシステム
JP4262384B2 (ja) * 2000-02-28 2009-05-13 Ｈｏｙａ株式会社 インターネットカメラ
US6807286B1 (en) * 2000-04-13 2004-10-19 Microsoft Corporation Object recognition using binary image quantization and hough kernels
US6870563B1 (en) * 2000-06-12 2005-03-22 Microsoft Corporation Self-calibration for a catadioptric camera
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US7149549B1 (en) 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7812856B2 (en) * 2000-10-26 2010-10-12 Front Row Technologies, Llc Providing multiple perspectives of a venue activity to electronic wireless hand held devices
US7796162B2 (en) 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US8583027B2 (en) 2000-10-26 2013-11-12 Front Row Technologies, Llc Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user
US7630721B2 (en) 2000-06-27 2009-12-08 Ortiz & Associates Consulting, Llc Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices
JP2002203254A (ja) * 2000-08-30 2002-07-19 Usc Corp 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP3650578B2 (ja) 2000-09-28 2005-05-18 株式会社立山アールアンドディ 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
US20020111969A1 (en) * 2000-09-28 2002-08-15 Halstead Robert H. System and method for processing graphical objects for layout using an elastic difference operation
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US7562380B2 (en) * 2000-10-27 2009-07-14 Hoya Corporation Internet camera system
CA2341965A1 (en) 2000-12-19 2002-06-19 Advanced Numerical Methods Ltd. A method and system for inversion of detail-in-context presentations
CA2328795A1 (en) 2000-12-19 2002-06-19 Advanced Numerical Methods Ltd. Applications and performance enhancements for detail-in-context viewing technology
WO2002069619A2 (en) * 2001-02-24 2002-09-06 Eyesee360, Inc. Method and apparatus for processing photographic images
US20020147773A1 (en) * 2001-02-24 2002-10-10 Herman Herman Method and system for panoramic image generation using client-server architecture
EP1368970B1 (de) * 2001-03-05 2005-08-10 Siemens Aktiengesellschaft Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
WO2002080521A2 (en) * 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US20020141657A1 (en) * 2001-03-30 2002-10-03 Robert Novak System and method for a software steerable web Camera
US8416266B2 (en) 2001-05-03 2013-04-09 Noregin Assetts N.V., L.L.C. Interacting with detail-in-context presentations
CA2345803A1 (en) 2001-05-03 2002-11-03 Idelix Software Inc. User interface elements for pliable display technology implementations
WO2002101534A1 (en) 2001-06-12 2002-12-19 Idelix Software Inc. Graphical user interface with zoom for detail-in-context presentations
US7084886B2 (en) 2002-07-16 2006-08-01 Idelix Software Inc. Using detail-in-context lenses for accurate digital image cropping and measurement
US9760235B2 (en) 2001-06-12 2017-09-12 Callahan Cellular L.L.C. Lens-defined adjustment of displays
US7349005B2 (en) * 2001-06-14 2008-03-25 Microsoft Corporation Automated video production system and method using expert video production rules for online publishing of lectures
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
CA2361341A1 (en) 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
US20030095131A1 (en) * 2001-11-08 2003-05-22 Michael Rondinelli Method and apparatus for processing photographic images
US6833843B2 (en) 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
KR100450836B1 (ko) * 2001-12-11 2004-10-01 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법
DE10163351C1 (de) * 2001-12-14 2003-06-26 Heimann Biometric Systems Gmbh Verfahren und Anordnung zur verzerrungsarmen Aufnahme von an einer Kontaktfläche durch gestörte Totalreflexion entstehenden Intensitätsmustern
CA2370752A1 (en) 2002-02-05 2003-08-05 Idelix Software Inc. Fast rendering of pyramid lens distorted raster images
US20100073468A1 (en) * 2002-02-12 2010-03-25 Ben Kutner Simulation of attendance at a live event
CA2371501A1 (en) * 2002-02-12 2003-08-12 Ben Kutner Simulation of attendance at a live event
US7113630B2 (en) * 2002-02-19 2006-09-26 Credence Systems Corporation PICA system detector calibration
DE10213931C1 (de) * 2002-03-28 2003-03-27 Hunger Ibak H Gmbh & Co Kg Verfahren zum Inspizieren von Kanalrohren
US20030193562A1 (en) * 2002-04-15 2003-10-16 Corzillus Brian S. Natural vision-based video surveillance system
CA2386702A1 (en) * 2002-05-17 2003-11-17 Idelix Software Inc. Computing the inverse of a pdt distortion
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US20050046703A1 (en) * 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US7058237B2 (en) * 2002-06-28 2006-06-06 Microsoft Corporation Real-time wide-angle image correction system and method for computer image viewing
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US8120624B2 (en) 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
CA2393887A1 (en) 2002-07-17 2004-01-17 Idelix Software Inc. Enhancements to user interface for detail-in-context data presentation
US7042508B2 (en) * 2002-07-26 2006-05-09 Appro Technology Inc. Method for presenting fisheye-camera images
US7301568B2 (en) * 2002-08-07 2007-11-27 Smith Craig M Cameras, other imaging devices, and methods having non-uniform image remapping using a small data-set of distortion vectors
US7358963B2 (en) 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
CA2406131A1 (en) 2002-09-30 2004-03-30 Idelix Software Inc. A graphical user interface using detail-in-context folding
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
CA2449888A1 (en) 2003-11-17 2005-05-17 Idelix Software Inc. Navigating large images using detail-in-context fisheye rendering techniques
CA2411898A1 (en) 2002-11-15 2004-05-15 Idelix Software Inc. A method and system for controlling access to detail-in-context presentations
US20040114785A1 (en) * 2002-12-06 2004-06-17 Cross Match Technologies, Inc. Methods for obtaining print and other hand characteristic information using a non-planar prism
US7574263B2 (en) * 2003-01-31 2009-08-11 Second Sight Medical Products, Inc. Pixel re-mapping for visual prosthesis
US20100002070A1 (en) 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US7528881B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Multiple object processing in wide-angle video camera
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US7525928B2 (en) * 2003-06-16 2009-04-28 Microsoft Corporation System and process for discovery of network-connected devices at remote sites using audio-based discovery techniques
US7443807B2 (en) * 2003-06-16 2008-10-28 Microsoft Corporation System and process for discovery of network-connected devices
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US8635643B2 (en) 2003-06-30 2014-01-21 At&T Intellectual Property I, L.P. System and method for providing interactive media content over a network
US20040268385A1 (en) * 2003-06-30 2004-12-30 Gray James Harold User originated content notification
US7813585B2 (en) * 2003-07-28 2010-10-12 Olympus Corporation Image processing apparatus, image processing method, and distortion correcting method
US20050058360A1 (en) * 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
US7081951B2 (en) * 2003-10-09 2006-07-25 Cross Match Technologies, Inc. Palm print scanner and methods
US8286203B2 (en) 2003-12-19 2012-10-09 At&T Intellectual Property I, L.P. System and method for enhanced hot key delivery
TWI276044B (en) * 2003-12-26 2007-03-11 Ind Tech Res Inst Real-time image warping method for curve screen
US7486302B2 (en) 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
US7355623B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques
US7355622B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using delta frames
US7362350B2 (en) * 2004-04-30 2008-04-22 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
US8106927B2 (en) 2004-05-28 2012-01-31 Noregin Assets N.V., L.L.C. Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
US9317945B2 (en) 2004-06-23 2016-04-19 Callahan Cellular L.L.C. Detail-in-context lenses for navigation
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US8601089B2 (en) * 2004-08-05 2013-12-03 Mlb Advanced Media, L.P. Media play of selected portions of an event
US7714859B2 (en) 2004-09-03 2010-05-11 Shoemaker Garth B D Occlusion reduction and magnification for multidimensional data presentations
US7995078B2 (en) 2004-09-29 2011-08-09 Noregin Assets, N.V., L.L.C. Compound lenses for multi-source data presentation
US7990412B2 (en) * 2004-11-01 2011-08-02 Hewlett-Packard Development Company, L.P. Systems and methods for correcting image perspective
US9141615B1 (en) 2004-11-12 2015-09-22 Grandeye, Ltd. Interactive media server
US7580036B2 (en) 2005-04-13 2009-08-25 Catherine Montagnese Detail-in-context terrain displacement algorithm with optimizations
US8031206B2 (en) 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
US8571346B2 (en) * 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) * 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
WO2007060497A2 (en) * 2005-11-23 2007-05-31 Grandeye, Ltd. Interactive wide-angle video server
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8317618B2 (en) * 2005-12-15 2012-11-27 At&T Intellectual Property I, Lp System, method and computer program for enabling an interactive game
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US8161412B2 (en) * 2006-01-13 2012-04-17 At&T Intellectual Property I, L.P. Systems, methods, and computer program products for providing interactive content
US8402503B2 (en) 2006-02-08 2013-03-19 At& T Intellectual Property I, L.P. Interactive program manager and methods for presenting program content
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US8065710B2 (en) 2006-03-02 2011-11-22 At& T Intellectual Property I, L.P. Apparatuses and methods for interactive communication concerning multimedia content
US7983473B2 (en) 2006-04-11 2011-07-19 Noregin Assets, N.V., L.L.C. Transparency adjustment of a presentation
US8160394B2 (en) * 2006-05-11 2012-04-17 Intergraph Software Technologies, Company Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
US7621647B1 (en) 2006-06-23 2009-11-24 The Elumenati, Llc Optical projection system and method of use
US20070299710A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Full collaboration breakout rooms for conferencing
US7653705B2 (en) * 2006-06-26 2010-01-26 Microsoft Corp. Interactive recording and playback for network conferencing
US8572183B2 (en) * 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US20070300165A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation, Corporation In The State Of Washington User interface for sub-conferencing
GB2440993C (en) * 2006-07-25 2014-03-19 Sony Comp Entertainment Europe Apparatus and method of interaction with a data processor
JP4947351B2 (ja) * 2006-07-28 2012-06-06 富士ゼロックス株式会社 画像処理装置、及び、プログラム
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
WO2008039371A2 (en) * 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
US20080088527A1 (en) * 2006-10-17 2008-04-17 Keitaro Fujimori Heads Up Display System
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
US20080088528A1 (en) * 2006-10-17 2008-04-17 Takashi Shindo Warp Image Circuit
US7873233B2 (en) * 2006-10-17 2011-01-18 Seiko Epson Corporation Method and apparatus for rendering an image impinging upon a non-planar surface
US20080101711A1 (en) * 2006-10-26 2008-05-01 Antonius Kalker Rendering engine for forming an unwarped reproduction of stored content from warped content
US10908421B2 (en) 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
EP2078229A2 (en) * 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
CN101617354A (zh) 2006-12-12 2009-12-30 埃文斯和萨瑟兰计算机公司 用于校准单个调制器投影仪中的rgb光的系统和方法
US8224122B2 (en) * 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
JP2008225522A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8723969B2 (en) * 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8724895B2 (en) * 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US9026938B2 (en) 2007-07-26 2015-05-05 Noregin Assets N.V., L.L.C. Dynamic detail-in-context user interface for application access and content access on electronic displays
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US7961980B2 (en) * 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode
US8570634B2 (en) * 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US7925116B2 (en) * 2007-10-25 2011-04-12 Motorola Mobility, Inc. Method and apparatus to facilitate forming a compensated image of a wide-angle image
JP4975592B2 (ja) * 2007-11-19 2012-07-11 アルプス電気株式会社 撮像装置
GB2455498A (en) * 2007-11-30 2009-06-17 Dooworks Fz Co Method and system for processing of images
US8780128B2 (en) * 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
DE102007061273A1 (de) * 2007-12-19 2009-06-25 Technische Universität Darmstadt Verfahren zur Darstellung von Fluginformationen und Anzeigeinstrument
US8698908B2 (en) * 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US8358317B2 (en) 2008-05-23 2013-01-22 Evans & Sutherland Computer Corporation System and method for displaying a planar image on a curved surface
US8702248B1 (en) 2008-06-11 2014-04-22 Evans & Sutherland Computer Corporation Projection method for reducing interpixel gaps on a viewing surface
GB2461912A (en) * 2008-07-17 2010-01-20 Micron Technology Inc Method and apparatus for dewarping and/or perspective correction of an image
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
US8326077B2 (en) * 2008-10-31 2012-12-04 General Instrument Corporation Method and apparatus for transforming a non-linear lens-distorted image
US8077378B1 (en) 2008-11-12 2011-12-13 Evans & Sutherland Computer Corporation Calibration system and method for light modulation device
US8373718B2 (en) * 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8547423B2 (en) * 2009-09-24 2013-10-01 Alex Ning Imaging system and device
US8698918B2 (en) * 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
CN101726855B (zh) * 2009-11-13 2011-05-11 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
US20110141321A1 (en) * 2009-12-16 2011-06-16 General Instrument Corporation Method and apparatus for transforming a lens-distorted image to a perspective image in bayer space
US8803951B2 (en) * 2010-01-04 2014-08-12 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
US9762795B2 (en) * 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
US8872887B2 (en) * 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5544277B2 (ja) * 2010-10-29 2014-07-09 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
US8982180B2 (en) * 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8860816B2 (en) * 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8917322B2 (en) * 2011-04-01 2014-12-23 Lockheed Martin Corporation Method and apparatus for digital video latency reduction by real-time warping
US9007430B2 (en) 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US9288468B2 (en) 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US9296336B2 (en) * 2011-09-29 2016-03-29 Toyota Jidosha Kabushiki Kaisha Image display device and image display method
CN103843326A (zh) * 2011-09-29 2014-06-04 丰田自动车株式会社 图像显示装置及图像显示方法
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
WO2013091132A1 (en) * 2011-12-20 2013-06-27 Intel Corporation Automatic adjustment of display image using face detection
US10457209B2 (en) * 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
GB2511668A (en) * 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9117382B2 (en) * 2012-09-28 2015-08-25 Intel Corporation Device and method for automatic viewing perspective correction
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
US9915857B2 (en) * 2013-12-09 2018-03-13 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration
CN104902139B (zh) * 2015-04-30 2018-10-26 北京小鸟看看科技有限公司 一种头戴显示器和头戴显示器的视频数据处理方法
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US20170045935A1 (en) 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
US9992413B2 (en) * 2015-09-18 2018-06-05 Raytheon Company Method and system for creating a display with a distributed aperture system
CN105279372B (zh) * 2015-09-29 2018-12-14 百度在线网络技术（北京）有限公司 一种确定建筑物高度的方法和装置
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
KR20170124814A (ko) * 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
KR102474745B1 (ko) * 2016-06-02 2022-12-05 한화테크윈 주식회사 모니터링 장치 및 모니터링 시스템
US9547883B1 (en) 2016-08-19 2017-01-17 Intelligent Security Systems Corporation Systems and methods for dewarping images
US9609197B1 (en) 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
KR102505951B1 (ko) * 2016-08-24 2023-03-03 한화테크윈 주식회사 이미지 제공 장치, 방법 및 컴퓨터 프로그램
TWI610571B (zh) * 2016-10-26 2018-01-01 緯創資通股份有限公司 顯示方法及其系統與電腦可讀取記錄媒體
US10621707B2 (en) * 2017-06-16 2020-04-14 Tilt Fire, Inc Table reprojection for post render latency compensation
CN107705267B (zh) * 2017-10-18 2020-06-26 中国科学院电子学研究所 基于控制矢量的光学卫星影像几何校正方法
TWI646506B (zh) * 2017-10-24 2019-01-01 華晶科技股份有限公司 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
JP7268603B2 (ja) * 2017-12-22 2023-05-08 ソニーグループ株式会社 画像表示装置及び表示装置
JP2019168967A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US10937217B2 (en) * 2018-12-28 2021-03-02 Canon Kabushiki Kaisha Electronic device and control method thereof for generating edited VR content
US11734789B2 (en) * 2020-06-02 2023-08-22 Immersive Tech, Inc. Systems and methods for image distortion correction

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3953111A (en) * 1974-11-04 1976-04-27 Mcdonnell Douglas Corporation Non-linear lens
JPS60186967A (ja) * 1984-03-05 1985-09-24 Fanuc Ltd 画像表示方法
GB2177871B (en) * 1985-07-09 1989-02-08 Sony Corp Methods of and circuits for video signal processing
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
US4728839A (en) * 1987-02-24 1988-03-01 Remote Technology Corporation Motorized pan/tilt head for remote control
FR2620544B1 (fr) * 1987-09-16 1994-02-11 Commissariat A Energie Atomique Procede d'interpolation
JP3138264B2 (ja) * 1988-06-21 2001-02-26 ソニー株式会社 画像処理方法及び装置
US5067019A (en) * 1989-03-31 1991-11-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable remapper for image processing
US5175808A (en) * 1989-09-12 1992-12-29 Pixar Method and apparatus for non-affine image warping
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5173948A (en) * 1991-03-29 1992-12-22 The Grass Valley Group, Inc. Video image mapping system
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
JP2719056B2 (ja) * 1991-08-20 1998-02-25 富士通株式会社 三次元物体描画装置
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152719A (ja) * 2000-08-29 2002-05-24 Usc Corp 曲面像を利用したモニタ方法及びモニタ装置
JP2008543071A (ja) * 2005-05-30 2008-11-27 トウシバ エレクトロニクス ヨーロッパ ゲゼルシャフト ミット ベシュレンクテル ハフツング ワーピング演算ユニットを有する集積回路
JP2009165106A (ja) * 2007-12-17 2009-07-23 Nvidia Corp 画像の歪み補正
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
JP2010032260A (ja) * 2008-07-25 2010-02-12 Jfe Steel Corp 光学系歪補正方法および光学系歪補正装置
US9414052B2 (en) 2009-04-16 2016-08-09 Nvidia Corporation Method of calibrating an image signal processor to overcome lens effects
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image

Also Published As

Publication number Publication date
GB2289820A (en) 1995-11-29
US5796426A (en) 1998-08-18
GB9510568D0 (en) 1995-07-19
US20020063802A1 (en) 2002-05-30
US6005611A (en) 1999-12-21
US6346967B1 (en) 2002-02-12
GB2289820B (en) 1998-12-16
US7042497B2 (en) 2006-05-09

Similar Documents

Publication Publication Date Title
JPH0879622A (ja) 広角画像における歪み解除の方法および装置
USRE43490E1 (en) Wide-angle dewarping method and apparatus
CA3019163C (en) Generating intermediate views using optical flow
CN100437639C (zh) 图像处理装置和图像处理方法
US8855441B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
Peleg et al. Mosaicing on adaptive manifolds
CN100380403C (zh) 非平面图像的图像处理装置及图像处理方法
US7656403B2 (en) Image processing and display
CN109891465B (zh) 用于处理虚拟现实图像的方法和装置
JP6764995B2 (ja) パノラマ画像圧縮方法および装置
CN107146274B (zh) 图像数据处理系统、纹理贴图压缩和产生全景视频的方法
CA2995665C (en) Image generating apparatus and image display control apparatus for a panoramic image
US20130107013A1 (en) Stereo image capture and processing
IL172886A (en) Panoramic video system with real-time distortion-free imaging
Nielsen Surround video: a multihead camera approach
KR102551713B1 (ko) 전자 장치 및 그 이미지 처리 방법
JP4403421B2 (ja) 画像処理装置及び画像処理方法
EP3857499A1 (en) Panoramic light field capture, processing and display
JPH0896165A (ja) 画像生成方法及び画像生成装置
WO2009068942A1 (en) Method and system for processing of images
WO2018234817A1 (en) APPARATUS AND METHOD FOR ASSEMBLING MULTIPLE IMAGES
CN111476716B (zh) 一种实时视频拼接方法和装置
Da Silveira et al. Visual computing in 360: Foundations, challenges, and applications
WO1997031484A1 (fr) Systeme de reconnaissance optique large champ
Nielsen High resolution full spherical videos