JP3862895B2 - パノラマ画像形成器 - Google Patents

パノラマ画像形成器 Download PDF

Info

Publication number
JP3862895B2
JP3862895B2 JP24068099A JP24068099A JP3862895B2 JP 3862895 B2 JP3862895 B2 JP 3862895B2 JP 24068099 A JP24068099 A JP 24068099A JP 24068099 A JP24068099 A JP 24068099A JP 3862895 B2 JP3862895 B2 JP 3862895B2
Authority
JP
Japan
Prior art keywords
image forming
view
point
camera
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24068099A
Other languages
English (en)
Other versions
JP2000092521A (ja
Inventor
シング ナルワ ヴィシュヴジット
Original Assignee
ルーセント テクノロジーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルーセント テクノロジーズ インコーポレーテッド filed Critical ルーセント テクノロジーズ インコーポレーテッド
Publication of JP2000092521A publication Critical patent/JP2000092521A/ja
Application granted granted Critical
Publication of JP3862895B2 publication Critical patent/JP3862895B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Illuminated Signs And Luminous Advertising (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画面表示システムに関し、特にパノラマ画面表示システムに関する。
【0002】
【従来の技術、及び、発明が解決しようとする課題】
<関連発明への相互参照>
本出願は、下記の共通に譲渡された米国特許出願に関する。すなわち、米国特許5,745,305となった、「パノラマ画像形成器」という名称の特許出願第08/431,356号;特許出願番号が08/431,354である、1995年4月28日付けの「パノラマ画像形成器およびシステム」;米国特許5,793,527となった、特許出願番号が08/497673の「高解像度画面表示システム」;米国特許5,539,483となった、特許出願番号が08/497341の「パノラマ映写装置」;特許出願番号が08/565501の、1995年11月30日付けの「球形画面表示/映写装置」;特許出願番号が08/946443の、1997年10月7日付けの「オフセット仮想光学的中心を持つパノラマ画面表示システム」;「コンパクト形高解像度パノラマ画面表示システム」という名称の共通に譲渡された共存出願の米国特許出願;「支持スタンドを含むパノラマ画面表示システム」という名称の共通に譲渡された共存出願の米国特許出願に関する。
【0003】
もっと効率的に動作させるためには、テレプレゼンスにより、いくつかのタスクを実行することが望ましい。テレプレゼンスという用語は、遠隔地からユーザに、ユーザがあたかもその遠隔地にいるかのような感じを与える、視覚的またはその他のタイプの感覚的情報を供給することを意味する。例えば、現在、多くの企業は、テレプレゼンスを利用して会議を行っている。テレプレゼンスは、また遠隔地にいて学習したり、コンサートおよびスポーツ・イベントのようなイベントを遠隔地にいながら見たりする場合にも役に立つ。ユーザがいろいろな画面を切り換えることができるようにし、それにより例えば、会議室をぐるりと見回したりするような感じを与えれば、ユーザはもっと現実的なテレプレゼンスを体験する。
【0004】
従来は、ユーザにいくつかの画面を見せるために、異なる光学的中心を持つ数台のカメラが使用された。図1はそのような状況を示す。図1は、光学的中心を、それぞれ、10、12、14および16に持つ、カメラ2、4、6および8を示す。ユーザが画面を変えたいと思った場合、そのユーザは、単にカメラを切り換えるだけでよい。もっと複雑なシステムの場合には、ユーザが画面を切り換えたいと思った場合、そのユーザは、光学的中心10、12、14または16からばかりではなく、別の光学的中心18、20、22、24または26からも画面を入手することができた。18、20、22、24および26のような光学的中心に関連する場面は、選択した光学的中心に最も近い二つのカメラからの画面を使用して入手することができる。例えば、光学的中心18からの画面は、カメラ2および4からの画面を使用し、光学的中心18からの画面をシミューレートするために、上記二つの画面の間で補間を行うことにより入手された。このような手順を使用した場合には、画面が不均一になった。その上、このような補間画面を形成するには、大量の計算能力と時間が必要になり、そのため、この技術はコストが高いし、ユーザのコマンドに対する応答も遅かった。このような計算上の間接費がかさむので、そのシステムを同時に使用することができるユーザの数は制限された。
【0005】
【課題を解決するための手段】
本発明の一実施形態は、その内部において、数台のカメラが、共通の光学的中心を効果的に持つ、全方向、すなわち、パノラマ画像形成器を提供する。この場合、上記カメラの中の少なくとも一台の視野の方向は、平面ミラーにより変えられる。各カメラの視野は、全体として、360度の連続した一つの視野を構成するように配置される。ユーザは360度の視野をぐるりと見渡すことができる。その場合、従来の技術で使用した補間の計算上の諸経費を使わなくても、単に一台のカメラ、一台以上のカメラ、または複数のカメラの組合せの出力を使用するだけで、各視野は、同じか殆ど同じ光学的中心を持つ。上記配置は、一人の参加者が、より自然な形で、会議室を見ることができるようにすることにより、仮想の会議室の使用状態を改善するのに使用することができる。この自然な形は、ある特定の時間に、画面を変えるために単に自分の頭の向きを変える実際の会議室に座っている参加者に密接に対応する。
【0006】
本発明の他の実施形態の場合には、複数のカメラは、各カメラが、中空でないか、中空の角錐のような、中空でないか、中空の多面体の異なる反射面の方を向くように位置されている。そのため、各カメラは、角錐内に位置する仮想の光学的中心を持つことになる。上記複数のカメラは、その仮想の光学的中心が相互に変位するように位置している。上記の変位により、角錐の反射面の縁部から受ける画像の歪を除去する狭いブラインド領域が形成される。
【0007】
本発明のさらに他の実施形態の場合には、複数の仮想の光学的中心を使用することにより、立体パノラマ画面が形成される。角錘のような一つの反射多面体素子は、角錐内の第一の位置に、ほぼ同じ位置の仮想の光学的中心の一つのグループを形成するために、第一の組の複数のカメラの各カメラの視野の方向を変える。角錘は、また、角錐内の第二の位置に、ほぼ同じ位置の仮想の光学的中心の一つのグループを形成するために、第二の組の複数のカメラの各カメラの視野の方向を変える。一方のパノラマ画像が、ユーザの左目に映り、他方のパノラマ画像が、ユーザの右目に映った場合、上記第一および第二の仮想の光学的中心からのパノラマ画像は、立体パノラマ画像を形成する。
【0008】
本発明のさらに他の実施形態の場合には、反射面を持つ角錐のような多面体は、コンパクトなパノラマ画像形成器を形成するために、相互に底面を接するように、すなわち、入れ子状に積み重ねられる。同じまたはほぼ同じ仮想の光学的中心を持つ多くのカメラを使用することができるような方法で、複数の反射多面体が使用される。多くのカメラを使用すると、大きな画面が多くのより小さい領域に分割される。この場合、個々のカメラは、それぞれのより小さな領域を写す。各カメラは、より小さい領域を映すので、ユーザは、解像度が改善された画面を見ることになる。
【0009】
本発明のさらに他の実施形態の場合には、角錐のような反射多面体は、角錐の頂点を通過するポストにより支持される。その後、複数のカメラが上記ポストに装着され、装着用構造体と、個々のカメラを支持するための構造体を持つパノラマ画像形成器が形成される。
【0010】
本発明のさらに他の実施形態の場合には、上記パノラマ画像形成器の共通の仮想の光学的中心にカメラを設置することにより、ユーザは、ほぼ球形の画面を見ることができる。球形の画面を改善するために、共通の仮想の光学的中心のところのカメラを広角レンズとして使用することができる。
【0011】
本発明のさらに他の実施形態の場合には、画像形成器は、任意のタイプの画像形成装置を含むことができる。上記画像形成装置が、カメラまたは他のタイプの画像捕捉装置である場合には、ユーザに対してパノラマ画像が捕捉され、画像形成装置が、プロジェクタまたは他のタイプの画像形成装置である場合には、ユーザはパノラマ画像を見ることになる。
【0012】
【発明の実施の形態】
図2は、ユーザに対して360度の画面を供給するための、四台のカメラ・システムである。この場合、上記カメラは、それぞれ、共通または殆ど共通の仮想光学的中心を持つ。角錐40は、反射面42、44、46および48を持ち、中空であっても、中空でなくてもよいし、または角錐台であってもよい。好適な実施形態の場合には、各反射面は、底面50に平行な平面に対して45度の角度を持ち、錐40の頂点を通る。カメラ52、54、56および58は、角錐の反射面48、42、44および46にそれぞれ関連する。上記カメラとしては、光学的スキャナのような画像収集装置を使用することができる。その結果、カメラ52は、面48からの反射を感知して、矢印60の方向に対象物を見ることができる。カメラ54は、面42からの反射を感知して、矢印62の方向に対象物を見る。カメラ56は、面44からの反射を感知して、矢印64の方向に対象物を見る。また、カメラ58は、面46からの反射を感知して、矢印66の方向に対象物を見る。各カメラは、90度の視野を持つ。しかし、もっと広い視野を使用することができ、重畳している画面に関連するピクセルを削除または組合せることにより、画像の重畳する部分を除去することができる。角錐40上のその関連する反射面からの反射を感知する四台のカメラの組合せにより、角錐40の周囲に360度の画面領域が形成される。ミラーが角錐の底面に対して45度の角度を持っている場合には、各カメラの光学的中心を、底面50に平行で、角錐40の頂点70と交差する平面上に位置させることが望ましい。各カメラの光学的中心は、また頂点70を通るラインの上に位置していなければならないし、またカメラに関連する反射面のベースラインに垂直でなければならない。例えば、カメラ54の光学的中心は、ライン72上に位置する。ライン72は、反射面42のベースライン74に垂直である。ライン72は、頂点70を通る平面に含まれていて、底面50に平行である。同様に、カメラ56の光学的中心は、ベースライン82に垂直なライン80上に位置していて、カメラ52の光学的中心は、ベースライン86に垂直なベースライン84上に位置している。
【0013】
各カメラの光学的中心は、頂点70から距離Xのところの上記ラインの一つの上に位置していて、各カメラは、底面50へ垂直な方向を指している光学軸、または視線の方向を持つ。(上記距離Xは、反射面が、上記カメラの視野の分だけを反射するような長さでなければならない。しかし、カメラが移動して反射面に接近すると、反射面の欠陥がよりハッキリと見えるようになる。)光学的中心をこのような位置に設置すると、各カメラは、位置90のところ、またはほぼこの位置に位置する仮想光学的中心を共有することになる。仮想の光学的中心90は、頂点70を通るライン上の頂点70から距離Xのところに位置していて、ベース50に垂直である。
【0014】
この実施形態の場合、角錐の構成について説明してきたが、カメラがほぼ同じ位置にある仮想の光学的中心を持つように視野の方向を曲げるために、異なる形状の平面ミラーの幾何学的配置を使用することができる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、底面および頂点は物理的に存在していなくてもよいし、底平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。
【0015】
図3は、角錐40の他の図である。この場合、図面を簡単にするために、カメラ54だけを図示してある。仮想の光学的中心を角錐40内の位置90またはその付近に位置させるために、カメラ54はライン72上に位置する。カメラ54が、ベース50に垂直な方向に90度の視野を持っている場合には、またカメラ54の光学的中心が、ライン72に沿って頂点70から距離Xだけ離れている場合には、カメラ54は、矢印62の方向に90度の視野を持つ。同じように、カメラ56、58および52は、矢印64、66および60の方向に、それぞれ90度の視野を持つ。この配置は、安いコストで、360度の視野領域を形成する。何故なら、90度の視野を持つカメラは、比較的安い光学系を持つからである。
【0016】
図4は、角錐40の平面図である。図4は、ライン72沿いのカメラ54の光学的中心の位置を示す。ライン72も、角錐40のベースライン74に垂直でなければならない。カメラの光学的中心は、ライン72に沿って頂点70から距離X、またはほぼXだけ離れた位置に位置していなければならない。点100は、頂点70からのラインが、ベース50に垂直に交差するある位置のベース50上に位置する。同様に、カメラの光学的中心56、58および52は、それぞれ、ライン76、80および84に沿って、距離XまたはXにほぼ等しい距離だけ離れた位置に位置している。
【0017】
図5は八つの側面を持つ角錐120である。角錐120は、各面122が、頂点130を通り、ベース124に平行な平面と45度の角度を形成する反射面122を持つ。図2の四つの面を持つ角錐の場合と同様に、図5の各反射面はそれに関連するカメラを持つことができる。各カメラの光学的中心は、頂点130を通る平面内に含まれていて、ベース50に平行である。上記ラインは、位置決めをするカメラに関連する反射面のベースライン132に垂直である。八つの面を持つ角錐を使用すると、360度の視野を得るのに、45度の水平視野しか持たないカメラを使用することができるという利点がある。45度の視野しか持たないカメラは、安いコストの光学系を持ち、比較的安価な部材を使用して、360度の視野を形成することができる。
【0018】
図6は、角錐120の平面図である。図5のところで説明したように、各カメラの光学的中心は、頂点130を通り、ベース124に平行な平面内に含まれるライン134に沿って位置する。上記光学的中心は、適当なベースライン132に垂直なライン134に沿って、頂点70から距離X、またはほぼXに等しい距離だけ離れた位置に位置している。点140は、ベース124と、頂点130を通りベース124に垂直なラインとの交点のところのベース124上に位置する。
【0019】
もっと多くの、またはもっと少ない反射面を持つ多面体または角錐を使用することができる。もっと多くの面を持つ角錐を使用する際に得られる利点は、中程度から狭い視野を持つカメラを使用することができるということである。中程度の視野を持つカメラは、比較的安価な光学系を持つ。角錐で使用される面の数は、多数のカメラを供給するためのコストにより幾分制限される。三つの反射面を持つ角錐により、360度の視野を供給することができる。360度の視野を供給するために、三つの面を持つ角錐だけを使用すると、コストが高くなる恐れがある。本発明のこの実施形態は、それぞれが120度の視野を持つ、三つのカメラを使用するが、上記の広い視野を持つカメラは、比較的高価な光学的部材を使用する。
【0020】
360度視野を必要としない用途の場合には、角錐の各反射面に関連するカメラを持たない画像形成器を組み立てることができる。不必要なカメラを除去することができる他に、部分的角錐または部分的多面体である反射素子を使用することにより、不必要な角錐または多面体を除去することができる。
【0021】
この実施形態の場合、角錐の構成について説明してきたが、カメラがほぼ同じ位置にある仮想光学的中心を持つように視野の方向を変化させるために、異なる形状の平面ミラーの幾何学的配置を使用することができる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在していなくてもよいし、底平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。
【0022】
図7は、図2−図4の画像形成器のような、画像形成器のカメラにより入手したデータを制御するためのシステムのブロック図である。カメラ52、54、56および58は、角錐40のその関連反射面により、360度の視野を入手する。カメラ52、54、56および58の画像信号、または出力信号は、それぞれ、アナログ−デジタル(A/D)変換器160、462、164および166を通る。上記カメラの出力は、ピクセルのストリームと見なすことができ、上記A/D変換器の出力は、カメラからのピクセルを表わすデータであると見なすことができる。上記A/D変換器の出力は、マルチプレクサ170を通過する。マルチプレクサ170により、各A/D変換器からのピクセル・データは、メモリ172に到着することができる。コントローラ174は、A/D変換器の出力をメモリ172に記憶するようにマルチプレクサ170の選択ラインを循環させる。マルチプレクサ170は、カメラのピクセル速度の四倍の速度で切り換えられる。もっと多くの、またはもっと少ないカメラを使用する場合には、マルチプレクサ170が切り換えられる速度は、それに応じて速くなったり、遅くなったりする。マルチプレクサを使用しないで、各A/D変換器の出力を別のメモリに記憶することもできる。コントローラ174は、マルチプレクサ170の切り換えを制御するカウンタ、およびメモリ172にアドレスするために使用されるカウンタに、制御信号を送るマイクロプロセッサにより実行される。上記カウンタへの上記制御信号は、リセット、イネーブルおよび始動オフセットを含む。
【0023】
ピクセル情報がメモリ172に送られるので、メモリ172は、あるシーンの360度の視野を含む。メモリ172に記憶されたピクセル情報は、デジタル−アナログ(D/A)変換器176およびビデオ・ディスプレイ178に送られる。D/A変換器176を通して、ビデオ・ディスプレイ178に送られる、メモリ172の実際の部分は、ユーザ入力装置180により制御される。ユーザ入力装置180としては、マウス、ジョイスティックまたはキーボードのような通常の装置を使用することができる。ユーザは、自分の視野を右に移動したい場合には、ジョイスティックを右に傾けるだけでよいし、自分の視野を左に移動したい場合には、ジョイスティックを左に傾けるだけでよいし、また視野をそのままにしておきたい場合には、ジョイスティックを中央に維持しておけばよい。ユーザ装置180の入力に従って、コントローラ174は、メモリ172へアドレスするために使用されるオフセットおよび始動アドレスを変化させる。
【0024】
図8は、カメラが供給するデータと、ユーザが見る画面との間の関係を示す。複数のカメラが仮想の光学的中心を共有しているので、画面はシリンダ状の画面であると見なすことができる。セクター200は、カメラ52が供給する情報を表わすものと見なすことができるし、セクター202は、カメラ54が供給する情報を表わすものと見なすことができるし、セクター204は、カメラ56が供給する情報を表わすものと見なすことができるし、セクター206は、カメラ58が供給する情報を表わすものと見なすことができる。各セクターのシリンダの表面は、コラムの集合体と見なすことができる。各コラムはピクセルからなる。例えば、セクター200は、コラム210、212、214および216を含む複数のコラムの集合体と見なすことができる。同様に、カメラ54の出力は、セクター202のコラム218を含む複数のコラムの集合体と見なすことができるし、カメラ58の出力は、セクター206のコラム220のような複数のコラムを含むことができる。
【0025】
図9は、ユーザ入力装置180からの信号に基づいて、異なる画面に容易にアクセスするために、メモリ172がどのように分割されるのかを示す。セクション230、232、234および236は、それぞれ、セクター206、200、202および204に対応する。各セクション230、232、234および236は、メモリ172の一つのブロックであると見なすことができる。メモリ172の上記ブロックは、シーケンシャルなアドレスを持つ複数のコラムに分割される。メモリ・セグメント230の第一のコラムは、セクター206のピクセルの第一のコラムに対応する。一つのコラムに関連するメモリ位置の数は、特定のコラムの各ピクセルに対して一つの位置を持つのに、少なくとも十分なものでなければならない。例えば、図8の複数のピクセルからなる一つのコラムが、1,000のピクセルを持っている場合には、図9のメモリ・セグメントに関連する各コラムは、少なくとも1,000の位置を持っていなければならない。特定のメモリ・セグメントに関連するコラムの数は、図8のシリンダの特定のセクションに関連するコラムの数に、少なくとも等しいものでなければならない。
【0026】
あるカメラが水平方向に走査した場合には、カウンタが発生したアドレスへのオフセットを単に変化させるだけで、シーケンシャルなピクセルが、特定のメモリの隣接コラムの、恐らく異なる列に描かれる。全体の書き込みアドレスは、カウンタの出力に、上記オフセットを加算することにより発生する。このオフセットは、水平方向に走査したピクセルの受信速度で変化する。水平方向の走査が終了した後で、カウンタは増大し、再びオフセットが水平方向の走査速度で変化する。その結果、書き込みサイクル中に、メモリの特定のセグメントをアドレスした場合には、水平方向のピクセル走査速度でオフセットを変化させることにより、また垂直方向の走査速度でカウンタを増大することにより、コラムがアドレスされる。このタイプのアドレス・スキームは、各メモリ・セグメント内のコラムをアクセスするために使用される。書き込みサイクル中に、異なるメモリ・セグメントをアドレスする場合には、書き込みセグメントのオフセットが、カウンタ出力およびコラム・オフセットの合計値に加算される。この書き込みセグメントのオフセットにより、メモリ・セグメント230、232、234および236にアドレスすることができる。上記セグメント・オフセットは、マルチプレクサ170が切り換えられる速度と同じ速度で変化する。
【0027】
類似の方法で、メモリ172からピクセル・データが読み出される。カウンタ出力および二組のオフセットの合計値は、読み出しアドレスを発生するのに使用される。最初のスタート・コラムが取り出されると、ビデオ・ディスプレイの水平方向の走査速度と同じ速度で、読み出しコラム・オフセットを切り換えることにより、読み出しアドレスが発生する。一回の水平方向の走査分のデータの読み出しが行われた後で、読み出しカウンタが増大し、読み出しコラム・オフセットが、上記ディスプレイの水平方向の走査速度に等しい速度で変化する。その結果、オフセット・アドレスが、ディスプレイの水平方向の表示速度で変化し、カウンタが、ディスプレイの垂直方向の走査速度に等しい速度で増大する。ビデオ・ディスプレイが要求する速度より、速い速度でも、遅い速度でも、データを読み出すことができる。しかし、より速い速度で読み出した場合には、バッファ・メモリを使用する必要があり、より遅い速度で読み出した場合には、見ている人には、ビデオ・ディスプレイが揺れ動くように見える場合がある。
【0028】
図8のピクセルのシリンダ上の配置は、通常、平らなディスプレイか、またはほぼ平らなディスプレイ上に表示されることに留意されたい。その結果、画像は、シリンダ状の面と平らな面との間での変換を補償して表示される。このような表示は、普通のデジタル信号処理集積回路の簡単な変換アルゴリズムを使用して行われる。このようなタイプの変換方法は、当業者にとっては周知であり、1993年マサチューセッツ州リーディング所在の、アディソン−ウェズリー社の、ビシュビット(Vishvjit) S.ナルワ(Nalwa)著の「コンピュータ・ビジョンの案内ツアー」に記載されている。上記変換は非常に解像度の高いディスプレイによっても行うことができる。
【0029】
ユーザが選択した画面が、カメラ52のような特定のカメラの画面に正確に一致している場合には、コラム240−248が、メモリ170から読み出されることに留意されたい。コラム240はセグメント232の最初のコラムであり、コラム248はセグメント232の最後のコラムである。ユーザが反時計方向に視野を移動しようと考えた場合には、スタート・コラムは右に向かって移動し、その結果、読み出し動作はコラム246から開始し、コラム250で終了する。コラム246は、カメラ52からのピクセル・データを含むメモリ・セグメント232に関連する第二のコラムであり、コラム250は、カメラ56に関連するピクセル・データの最初のコラムであることに留意されたい。ユーザが視野を移動するにつれて、スタート・コラムはユーザのコマンドに従って移動する。例えば、ユーザが視野を反時計方向に移動するように指示した場合には、図9のスタート・コラムは、右方向に移動し、同様に、ユーザが視野を時計方向に移動するように指示した場合には、スタート・コラムは左方向に移動する。今までと同様に、コラムはオフセットによりアドレスされ、オフセットがメモリ・セグメント間の移動を含んでいる場合には、読み出しセグメントのオフセットが、コラム・オフセットとカウンタ出力との合計値に加算される。
【0030】
図10は、コントローラ174のブロック図である。コントローラ174は、マイクロプロセッサ270およびメモリ272を含む。メモリ272は、RAMおよびROMを含む。プロセッサ270は、ライン274上で、ユーザ入力装置180からのコマンドを受信する。マイクロプロセッサ270は、カウンタ276のスタート、ストップおよびリセットを制御する。カウンタ276は、マルチプレクサ170の選択ラインを制御する。カウンタ276は、カメラの水平方向の走査速度の四倍である速度をカウントする。書き込みアドレス・ゼネレータ278は、メモリ172に対して書き込みアドレス指定を行う。書き込みアドレス・ゼネレータ278は、カウンタ、オフセットを記憶するためのレジスタ、およびオフセットとカウンタ出力とを加算するための加算装置を含む。マイクロプロセッサ270は、書き込みアドレス・ゼネレータ278が使用するオフセット選択およびカウンタを制御する。書き込みアドレスは、図9のところで説明したように形成される。読み出しアドレス・ゼネレータ280は、メモリ172に読み出しアドレスを供給する。読み出しアドレス・ゼネレータ280は、カウンタ、オフセットを記憶するためのレジスタ、およびオフセットとカウンタ出力とを加算するための加算装置を含む。書き込みアドレス・ゼネレータ278の場合のように、マイクロプロセッサ270は、読み出しアドレス・ゼネレータ280のオフセット選択およびカウンタを制御する。マイクロプロセッサ270は、またユーザ入力180からライン274上に供給された入力に基づいて、カウンタが使用するスタート・コラムを制御する。
【0031】
メモリ172が、ポートを二つ持つメモリである場合には、書き込みアドレスおよび読み出しアドレスは、別々にメモリ172に送られる。メモリ172が、ポートを一つしか持たないメモリである場合には、書き込みアドレスおよび読み出しアドレスは、メモリ172に対して多重化される。
【0032】
図11は、5番目のカメラを含む、図2の画面表示システムである。カメラまたは画像収集装置400は角錐内に位置するが、カメラ400の光学的中心は仮想の光学的中心90のところ、またはそれに近い位置に位置している。カメラ400は、矢印410の方向で対象物を感知する。残りの4台のカメラの画面と結合している、結果として得られる画面は、ほぼ球形の画面である。図11の複数のカメラの代わりに画像収集装置を使用した場合には、ほぼ球形の画面表示システムは、ほぼ球形の投影システムになる。カメラまたは映写装置は、三つ、四つまたはそれ以上の面を持つ角錐を備える画面表示/映写装置の仮想の光学的中心に置くことができることに留意されたい。また、カメラ400の視野内の不必要な障害物を避けるために、反射面のベースの縁部420を斜めにする必要があることにも留意されたい。カメラまたは縁部収集装置400を移動させることにより、ベースの縁部420による不必要な縁部のアーティファクトを避けることもできる。装置400は、その光学的中心が矢印410の方向に、仮想の光学的中心90から離れた位置に、位置するように移動させなければならない。装置400の光学的中心は、この装置の使用した視野が縁部420を含まないように位置させなければならない。
【0033】
図12は、図2の角錐の平面図である。図2の場合には、カメラ52、54、56および58は、ベース50の方向へ上方へ移動している。その結果、カメラ52、54、56および58に対応する、仮想の光学的中心500、502、504および506は、それぞれ、仮想の光学的中心90から離れる方向に移動する。カメラ52が、角錐の縁部により影響を受けない、ライン508および510の間の画像を捕捉するように、またカメラ54が、角錐の縁部により影響を受けないライン512および514の間の画像を捕捉するように、またカメラ56が、角錐の縁部により影響を受けないライン516および518の間の画像を捕捉するように、またカメラ58が、角錐の縁部により影響を受けないライン520および522の間の画像を捕捉するように、仮想の光学的中心に移動させることが望ましい。そうすることにより、カメラは、狭い平らな領域から、角錐により歪んだ画像を捕捉しない。より詳細に説明すると、平らな領域524、526、528および530は使用されないし、ブラインド領域が形成される。これにより、反射角錐の縁部により歪んだ画像領域を除去するという利点が得られる。視野の上記部分を除去することにより、縁部のところの画像のアーティファクトを補償する画像処理をそれほど行わなくてもすむようになる。平面524、526、528および530を画像のアーティファクトを避けるのに十分薄くなるように、仮想の光学的中心500、502、504および506を接近して位置させることが望ましい。上記の薄い平面を維持することにより、その共通の境界のところの画像を処理する必要がなくなり、一方、ユーザが目で見ることができる影響が最小限度まで軽減する。
【0034】
図13は、平面領域524、526、528および530にそれぞれ位置する、影の部分560、562、564および566を含む、図12の角錐である。上記影の部分により、カメラに入る不必要な光の量が少なくなる。類似の影の部分を、装置400と一つまたはそれ以上の他の画像形成装置との間のブラインド領域内に置くことができる。また、ベース50の後ろの光源から、カメラ52、54、56および58に入る不必要な光の量を減らすために、影の部分の縁部が、ベースの縁部を越えて延びる状態で、ベース50上に影の部分を置くことができる。
【0035】
図14は、ベースとベースとが接するように配置された反射角錐602および604である。ベースは、相互に接することもできるが、間に間隔を置くこともできる。反射角錐602および604は、それぞれ、四つのファセットを含む。角錐602は、反射ファセット608、610、612および614を含む。反射角錐604は、反射面616、618、620および622を含む。角錐602は頂点624を含み、角錐604は頂点626を含む。頂点624および626は、各角錐のベースに垂直なライン628上に位置する。各角錐は、反射面によりその視野の方向が変えられてカメラのような四つの画像形成装置を含む。角錐602の場合には、その光学的中心が点630に位置する第一のカメラは、矢印632の方向に視野を持つ。この場合、視野の方向は反射面608により変えられる。光学的中心が点634に位置する第二のカメラは、矢印636の方向に視野を持つが、その視野の方向は、反射面610により変えられる、光学的中心が点638に位置する第三のカメラは、矢印640の方向に視野を持つが、その視野の方向は反射面612により変えられる。光学的中心が点642に位置する第四のカメラは、矢印644の方向に視野を持つが、その視野の方向は反射面614により変えられる。反射性角錐604の場合には、その光学的中心が点646に位置する第一のカメラは、矢印648の方向に視野を持つ。この場合、上記視野の方向は面616により変えられる。光学的中心が点650に位置する第二のカメラは、矢印652の方向に視野を持つが、その視野の方向は面618により変えられる。
【0036】
光学的中心が点654に位置する第三のカメラは、矢印656の方向に視野を持つが、その視野の方向は面620により変えられる。光学的中心が点658に位置する第四のカメラは、矢印660の方向に視野を持つが、その視野の方向は面622により変えられる。各角錐に関連するカメラは、図2、図3、図4、図11および図12に示すカメラの位置に類似した位置に設置されていて、そのため、四つのカメラからなる各組は、共通の仮想の光学的中心を共有するか、その関連角錐に近接して位置する仮想の光学的中心を持つ。カメラの各組は、またその関連角錐内にオフセット仮想光学的中心を持つことができる。カメラは、各角錐に関連するカメラが、二つの角錐のベースが合流するライン628に沿って、共通の仮想の光学的中心を共有するように配置させることができる。また、そのオフセット仮想光学的中心が、二つの角錐のベースが合流するライン628上の一点の周囲に集まるようにカメラを配置することもできる。
【0037】
図14の構造体は、図2、図3および図4のところで説明した画像形成器と比較すると、垂直方向の視野が広くなっている。図14の画像形成器は、同じまたは殆ど同じ水平方向の視野に対して、一台のカメラではなく、二台のカメラにより垂直方向の視野を広げている。カメラの代わりに画像形成装置を使用して、プロジェクタを作ることもできることに留意されたい。また反射角錐602および604を回転させて相互に変位させることもできることに留意されたい。この変位した関係は、両方の頂点を通る軸を中心にして、角錐の一方または両方を回転させることにより得られる。例えば、上記軸はライン628と重なっていてもよい。上記のように回転させると、角錐602の反射ファセットの側部の縁部は、角錐604の反射ファセットの側部の縁部から変位する。
【0038】
この実施形態においては、角錐の構成について説明したが、カメラがほぼ同じ位置を占める仮想の光学的中心を持つように、視野の方向を変えるために異なる平面ミラーの幾何学的配置を使用することもできる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在しなくてもよいし、底平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。
【0039】
図15は、二つの反射角錐である。反射角錐702は、反射角錐704内に入れ子状に収容されている。二つ以上の反射性角錐を入れ子状にすることができることに留意されたい。例えば、もう一つの反射角錐を反射角錐702内に入れ子状に入れて、さらにもう一つの反射角錐を、角錐702内に入れ子状に入っている角錐内に入れ子状に入れることができる。角錐702の頂点706、および角錐704の頂点708は、両方の角錐のベースに垂直なライン710上に位置する。ここでもまた、各角錐は、それぞれがその関連角錐の反射面により方向が変えられる視野を持つ、カメラのような四台の画像形成装置を含む。角錐702は、反射ファセット712、714、716および718を含む。反射角錐704は、反射ファセット720、722、724および726を含む。四台のカメラは、その視野の方向が角錐702の反射面により変えられるように配置されている。その光学的中心が点703に位置し、その視野が矢印732の方向を向いている第一のカメラは、反射面712により方向を変えられた視野を持つ。その光学的中心が点734に位置し、その視野が矢印736の方向を向いている第二のカメラは、反射面714により方向を変えられた視野を持つ。その光学的中心が点738に位置し、その視野が矢印740の方向を向いている第三のカメラは、反射面716により方向を変えられた視野を持つ。その光学的中心が点742に位置し、その視野が矢印744の方向を向いている第四のカメラは、反射面718により方向を変えられた視野を持つ。角錐およびその関連カメラは、上記カメラの視野が、角錐704により妨げられないように位置していることに留意されたい。このような配置は、角錐702を、角錐704のベースを越えて、延びることができるようにすることにより可能になる。角錐704の場合には、光学的中心を点750に持ち、視野が矢印752の方向を向いている第一のカメラは、その視野の方向が反射面720により変えられる。光学的中心を点754に持ち、視野が矢印756の方向を向いている第二のカメラは、その視野の方向が反射面722により変えられる。光学的中心を点758に持ち、視野が矢印760の方向を向いている第三のカメラは、その視野の方向が反射面724により変えられる。光学的中心を点762に持ち、視野が矢印764の方向を向いている第四のカメラは、その視野の方向が反射面726により変えられる。各角錐に関連するカメラは、図2、図3、図4、図11および図12に示す位置に位置し、そのため、八台のカメラは仮想の光学的中心770を共有するか、または角錐702内に近接した複数の仮想の光学的中心を持つ。カメラの各組も、角錐702内にオフセット仮想光学的中心を持つことができる。
【0040】
図15のパノラマ画像形成器は、それ自身に部分的な球形の視野を与えるために、光学的中心を点770に持ち、視野が矢印772の方向を向いている9番目のカメラを備えることができる。光学的中心を位置770に持つカメラは、視野をもっと広くするために広角レンズを使用することができる。
【0041】
図16は、光学的中心を点780に持ち、平面ミラー784により視野の方向が変えられ、視野が矢印782の方向を向いている追加のカメラを含む、図15の部分的に球形の画像形成器である。光学的中心780が、角錐702および704の頂点、および仮想の光学的中心770を通るライン710上に位置していることに留意されたい。また、点780が、平面ミラー784と仮想の光学的中心770との間の距離に等しいか、ほぼ等しい距離だけ、平面ミラー784から離れた位置に位置していることに留意されたい。光学的中心を点780に持ち、平面ミラー784により方向が変えられた視野を持つカメラを設置することにより、図15の部分的に球形の画像形成器は、球形の画像形成器になる。光学的中心を点780に持つように設置されたカメラの視野を広くするために、カメラは広角レンズを備えることができる。点780に光学的中心を持つように設置されたカメラの視野を広くするために、また広角レンズの使用をできるだけ避けるために、平面ミラー784の代わりに曲面ミラーを使用することができる。
【0042】
この実施形態においては、角錐の構成について説明したが、カメラがほぼ同じ位置を占める仮想の光学的中心を持つように、視野の方向を変えるために異なる平面ミラーの幾何学的配置を使用することもできる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在していなくてもよいし、ベース平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。
【0043】
図15および図16について説明すると、カメラの代わりに画像形成装置を使用してプロジェクタを作ることができることに留意されたい。また反射角錐702および704を回転させて相互に変位させることもできることに留意されたい。この変位した関係は、両方の角錐の頂点を通る軸を中心にして、角錐の一方または両方を回転させることにより得られる。例えば、上記軸はライン710と重なっていてもよい。上記のように回転させると、角錐702の反射ファセットの側部の縁部は、角錐704の反射ファセットの側部の縁部と整合しない。
【0044】
図17は、パノラマ画像形成器を指示するためのスタンドである。反射角錐800は、中空のチューブ804のような支持部材を使用して、スタンドまたはポスト802上に装着される。角錐は、頂点端部806のところで、中空のチューブ804に固定される。中空のチューブは、角ブラケット808によりスタンド802に固定される。中空のチューブ804は、頂点806を越えて延びていて、そのため、カメラ810をチューブ804により支持することができる。カメラは、カメラ810をスペーサ814に対して押しつけるための、ストラップまたはベルト812により、チューブに固定される。クランプまたはストラップ812の圧力により、カメラ810、スペーサ814およびチューブ804の外表面の間に摩擦が発生し、この摩擦によりカメラ810は、チューブ804にしっかりと装着される。また、カメラ810の端部816のところに、第一のストラップおよび関連スペーサを設置することもできる。カメラ810に対するビデオ接続および電力接続は、中空のチューブ804を通り、ポスト802と角錐800のベースの間に位置する空間を通る、ケーブル818により行われる。中空のチューブ804の代わりに、中空でない支持部材を使用することができることに留意されたい。しかし、中空の支持部材は、ケーブルを通すための好都合な経路を形成する。ケーブルをチューブ804内を通すことにより、ケーブルがカメラ810の視野内に入り込むことが防止される。角錐800のベース端部のところに、ゴムのスタンドまたは脚部が設置される。ユーザがポスト802を使用したがらない場合に、柔軟に使用できるように、ポストの代わりに、これらのスタンドを使用することができる。
【0045】
画像形成器をチューブ804の端部830のところで支持するために、図17の画像形成器を倒置することもできる。この構成の場合、ケーブル818は、チューブ804の端部830を通して、単に通すことができる。この構成の場合、チューブ804は、角部ブラッケト808類似の角ブラッケトにより、端部830のところのポスト802に装着される。また、パノラマ画像形成器を支持するために、端部830を任意の便利な構造体に装着することもできる。
【0046】
図17のスタンドは、図14、図15および図16の画像形成器に使用することができる。図17のところで説明したように、画像形成器は、両方の角錐の頂点または頂点端部を通る中空のチューブに装着される。
【0047】
<校正>
カメラ・システムを校正することにより、より高品質の画像を形成することができる。異なるタイプの画像の歪を補償する(参照用テーブルとして実行することができる)画像マッピング関数を決定するために校正を使用することができる。例えば、マッピング関数は、広角レンズにより生じるたる形歪を修正するために使用することができる。マッピング関数は、またカメラの整合していない電荷結合素子による回転歪のような他のタイプの歪を修正するのにも使用することができる。図18は、たる形歪と回転歪の組合せを示す。この場合、上記歪により長方形の対象物900は歪んだ画像902になる。歪んだ画像902は、歪んでいない対象物900に対して回転し、たる形歪が、長方形の対象物900の縁部904および906が、画像902の縁部908および910として表れ、縁部912および914が、それぞれ、縁部916および918として現われる。この歪は、カメラ・システムを校正することにより決定されるマッピング関数により修正される。
【0048】
図19は、カメラ・システムを校正するためのプロセスである。間隔が等しい楕円形の点930の垂直コラムが固定位置に置かれる。上記点は黒い背景上の白い点であり、背景上においては、楕円形の点は垂直方向を向いている。パノラマ・カメラ940は、それ自身の仮想の光学的中心を通る軸942を中心にして一回に少しのステップずつ回転する。各ステップにおいて、楕円形の点のコラムの歪んだ画像が現れ、上記歪を除去するために、このデータに対するマッピング関数が決定される。この関数により、間隔の等しい点の垂直な各コラムの歪んだ画像が、マッピングされた画像の等間隔の点の垂直なコラムとなるように画像をマッピングする。白い点の画像はその間に黒い部分を持っているが、補間により各画像ピクセル(白い点の間のピクセルを含む)に適用するために、マッピング関数が計算されることに留意されたい。カメラが回転すると、画像マッピング関数は、個々の各ステップ毎に決定され、これらのマッピング関数の集まりを、等間隔の点の垂直な各コラム画面、画像の等間隔の点の垂直なコラムとして確実に表わすことができるばかりではなく、これらのコラムが、その画像捕捉の間の角回転に比例する、水平方向に間隔を確実に持つことができる、2D−2Dマッピングに結合することができる。後者により、そのシーンの(平らではなく)シリンダ状の画像ができる。
【0049】
図20および図21は、楕円形の点の垂直なコラムを表わすデータをどのようにして歪の結果として表わすことができるのかを示す。図20は、この図は、カメラが供給するデータと、ユーザが見る画面との間の関係を示しているという点で、図8に類似している。点の垂直なコラムは、歪の結果として、図20の一本のコラムでないことに留意されたい。この歪の場合、点は一本のコラム内だけではなく、複数のコラム960、962、964および966内に存在している。図21は、この図が、画像データの記憶方法を示しているという点で、図9に類似している。歪んだ画像データが、図21に示すように、メモリに記憶されると、点を表わすデータは、数本のコラムを占める。この場合、コラム980、982、984および986は、それぞれ、図20のコラム960、962、964および966に対応する。校正段階で決定された画像マッピング関数は、データが図21のメモリから読み出される時に、この歪を修正するのに使用される。修正した画像データまたは歪を含んでいない画像データは、ユーザに表示することもできるし、または歪を含んでいない画像を表わすデータを記憶するのに使用したメモリに書き込むことができる。
【0050】
図22は、図21のメモリから読み出したデータと、ユーザが見ることができる歪を含んでいない画面との間の関係を示す。例えば、コラム1000に関連するマッピング関数は、コラム1000の一番上の部分で使用するためにデータを読み出した場合に、データをコラム980から読み出すことを指定し、すぐ下のコラム1000の部分で使用するためにデータを読み出す時、コラム982からデータを読み出すことを指定する。マッピング関数は、またコラム1000の中央部分で使用するためにデータを読み出す場合には、コラム984からデータを読み出すように指定する。コラム1000をさらに下方に移動した場合、データはコラム982から読み出され、その後で、コラム980から読み出され、最後に、コラム1000の底部で使用するためにデータの検索が行われると、コラム986から読み出される。マッピング関数の指定に従ってデータを読み出した結果、ディスプレイを見ているユーザに対して、データのコラムは垂直になる。図22は、図21のメモリから検索したデータが、垂直なコラムとして表示されていることを示す。この場合には、歪はもはやはっきりとは認められない。校正中に決定された類似のマッピング関数は、表示のための歪を含まない画像を形成するために、図22の各コラムに対して使用される。パノラマ・カメラを校正するために使用した複数の各回転ステップの代わりに、図22のいくつかのコラムの一つのグループを使用することができることに留意されたい。
【0051】
カラー校正および輝度校正も、同様に、図19の手順に類似の手順により、行うことができる。この場合、楕円形の点のコラム930の代わりに、周知のカラー・パターンが使用される。パノラマ・カメラが回転し、その結果、各カメラはカラー・パターンの画像を捕捉する。(赤、緑、青およびグレイのいくつかの色調のような)いくつかのカラー・パターンを一つずつ使用することができる。その後、ピクセル毎に、各カラーからのデータは、任意の赤、緑または青の歪を修正するために調整され、その結果、作成された画像は、校正カラー・パターンに非常によく似たカラー・パターンを持つ。さらに、各カメラからの各ピクセルの輝度が調整され、その結果、一定のカラーおよび輝度のあるシーンを見ている場合には、一つのカメラの画像、および複数のカメラの画像間の輝度およびカラーは比較的均一になる。マッピング関数のところですでに説明したように、ピクセル毎の調整は表に記憶することができる。正確さでは劣るが、もっと簡単な方法をカラーおよび輝度の計算に使用することができる。この方法の場合は、特定のカラーと輝度を持つあるシーンを見る場合に、正しいカラーおよび輝度を入手するために、各カメラのカラーおよび輝度の制御を手動で調整する。この方法を使用した場合には、特定のカメラのすべてのピクセルは同じように調整されることに留意されたい。
【0052】
図23は、校正に基づく画像マッピング修正を使用するパノラマ・カメラ・システムである。図23は図7に類似の図である。しかし、フレーム・バッファ・メモリおよび追加マイクロプロセッサを使用していることに留意されたい。カメラ52、54、56および58は、画像データを収集して、そのデータをアナログ−デジタル変換器160、162、164および166に、それぞれ送信する。その後、上記アナログ−デジタル変換器の出力は、赤、緑、青および輝度調整ユニット1010、1012、1014および1018を通る。上記調整ユニットがアナログ・ユニットである場合には、上記調整ユニットをアナログ−デジタル変換器の前に設置することができる。さらに、調整ユニットを内蔵するカメラを使用することもできる。いずれの場合も、上記調整ユニットは、計算手順による決定に従ってカラーおよび輝度を調整するためにプログラムすることもできるし、または設定することもできる。上記各ユニットは、赤、緑および青のレベル、および上記アナログ−デジタル変換器からの信号のレベルを調整する。カメラ52−58がカラー・カメラである場合には、アナログ−デジタル変換器160−166は、通常、三つの信号を受信し、三つの信号を出力することに留意されたい。この場合、入力信号および出力信号の各組は、赤、緑および青の中の一つに対応する。ユニット1010−1016は、単に、全体の輝度校正設定に従って、赤、緑および青信号の全体の振幅を調整する。赤、緑および青輝度調整の出力は、その後、図7のところで説明したように、マルチプレクサを通り、フレーム・バッファ・メモリ1030に送られる。フレーム・バッファ・メモリ1030の代わりに、各赤、緑、青および輝度調整ユニット1010、1012、1014および1018用の個々のフレーム・バッファを使用することもできる。個々の各フレーム・バッファの出力は、その後、マルチプレクサ170を通してマイクロプロセッサ1030に送られる。
【0053】
フレーム・バッファ・メモリ1030は、図7のメモリ172と同じ方法で動作し、図21のところで説明したように、歪んだ画像を表わすデータを記憶する。その後、マイクロプロセッサ1040は、校正手順中に決定したマッピング関数を使用して、フレーム・バッファ・メモリ1030からデータを読み出し、その後で、表示メモリ1050に上記データを書き込む。図7のところでの説明を思いだして欲しいのだが、歪んでいない画像を表わすデータは、その後、ユーザが検索できるようにメモリ1050に記憶される。ユーザは、図7のところで説明したように、データを検索することができる。その場合、データの読み出しは、ユーザ入力に基づいて決定される。各ユーザは、表示メモリの全部の内容を使用することができる。電話ネットワークまたはデータ・ネットワークのような通信ネットワークを通して、上記データを各ユーザに送ることもできるし、専用の有線または無線通信経路を通して、直接ユーザに送ることもできる。その後、ユーザは、上記データをユーザに表示することができるアナログ形式に変換するために、デジタル−アナログ変換器を使用することもできるし、またはデジタル・データを直接使用し、デジタル−アナログ変換器を使用しないですます方法もある。
【0054】
図24は、反射面1202、1204、1206および1208を含む反射角錐1200である。ライン1210は、角錐1200の頂点1212を通り、角錐のベース1214に垂直な角錐の軸である。角錐1200は、図2および図3のところで説明した角錐に類似の角錐である。しかし、この場合、一つの仮想の光学的中心ではなく、二つの仮想の光学的中心が使用される。仮想の光学的中心1214および1216は、立体のパノラマ画像形成器を供給するために使用される。正常な人の視野にできるだけ近づけるために、仮想の光学的中心1214および1216は、人間の両眼の間の通常の距離にほぼ等しい距離だけ離れていることが望ましい。各仮想の光学的中心1214および1216は、一組のカメラに関連する。この場合、上記一組のカメラの各カメラの視野の方向は、角錐の反射面で変えられていて、その結果、方向が変えられた視野の一部はほぼ隣接している。これらのカメラは、図2、図3および図17のところで説明したように配置し、支持されているが、これらのカメラは、カメラの各組が、角錐の中心から変位している仮想の光学的中心を持つようにも配置されている。各光学的中心に対するカメラは、図2および図3のところで説明した方法に類似の方法で配置されているが、これらのカメラは、また二組のカメラのそれぞれの組が、異なる仮想の光学的中心を持つようにも配置されている。この場合、一組のカメラは、仮想の光学的中心を点1214に持ち、他方の組のカメラは、仮想の光学的中心を点1216に持つ。
【0055】
図25は、軸1210に沿ったベースのところで、図24の矢印1218の方向に見た角錐1200である。仮想の光学的中心1214および1216は、中心の軸1210から、人間の両目の間の通常の距離にほぼ等しい距離だけ、水平方向に変位している。この実施形態の場合には、仮想の光学的中心1214および1216は、軸1210を通るAA線上に存在する。
【0056】
図26は、図24および図25のAA線に沿って切断した、角錐1200の断面図である。図面を簡単にするために、仮想の光学的中心1214だけを示したが、仮想の光学的中心1216のような、他の変位した仮想の光学的中心の場合にも、仮想の光学的中心1214に関連するカメラに対する位置決め技術を使用することができる。点1230は、その視野の方向が、角錐1200の反射面1202により変えられたカメラの光学的中心を示す。光学的中心1230は、反射面1204からのその垂直方向の距離1240が、仮想の光学的中心1214、と反射面1204との間の垂直方向の距離1242である垂直方向の距離1234に等しくなる位置に位置する。同様に、点1238は、その視野の方向が、反射面1204により変えられたカメラの光学的中心を示す。光学的中心1238は、反射面1202からのその垂直方向の距離1240が、仮想の光学的中心1214と反射面1204との間の垂直方向の距離1242に等しくなるような位置に位置する。
【0057】
図27は、図25のCC線に沿って切断した角錐1200の断面図である。点1250は、その視野の方向が、反射面1208により変えられたカメラの光学的中心を示す。点1252は、その視野の方向が、反射面1206により変えられたカメラの光学的中心を示す。点1250は、反射面1208からのその垂直方向の距離1254が、反射面1208と仮想の光学的中心1214との間の、垂直方向の距離1256に等しくなるような位置に位置する。光学的中心1252は、反射面1202からのその垂直方向の距離1258が、仮想の光学的中心1214と反射面1202との間の垂直方向の距離である1260に等しくなるような位置に位置する。
【0058】
図28は、仮想の光学的中心1214に関連するカメラであり、各カメラの光学的中心が、図26および図27に従って配置されるように位置している。点1230に光学的中心を持つカメラは、矢印1260の方向を向いている視野を持つ。上記視野の方向は、反射面1202により変えられ、その結果、点1230に関連するカメラに対する仮想の光学的中心は、仮想の光学的中心1214に位置する。点1250に光学的中心を持つカメラは、矢印1262の方向を向いている視野を持つ。上記視野の方向は、面1208により変えられる。その結果、点1250に関連するカメラは、点1214に仮想の光学的中心を持つ。同様に、点1225に光学的中心を持つカメラは、矢印1264の方向を向いている視野を持つ。この場合、上記視野の方向は、面1206により変えられる。その結果、点1252に関連するカメラは、点1214に仮想の光学的中心を持つ。同様に、点1238に光学的中心を持つカメラは、矢印1266の方向を向いている視野を持つ。この場合、上記視野の方向は、面1204により変えられる。その結果、点1238に関連するカメラは、点1214に仮想の光学的中心を持つ。類似の組のカメラは、図26および図27のところで説明したように配置することができる。その結果、第二の仮想の光学的中心を点1216のところに形成することができる。図面を簡単にするために、仮想の光学的中心1216に間追加のカメラは図示していない。
【0059】
各仮想の光学的中心1214および1216に対して、完全なパノラマ画像が形成されることに留意されたい。各光学的中心に関連する画像は、図7および図23のところで説明したように処理される。しかし、この場合、ユーザが一つの画像を要求した場合には、好適には、左および右と表示された二つの画像が与えられることが好ましい。この場合、左の画像は左目に映り、右の画像は右目に映る。そうすることにより、一方の目を仮想の光学的中心1214に置き、他方の目を仮想の光学的中心216に置いた状態で、角錐の内部から世界を見ているユーザに与えられるのと同じ立体画面が供給される。さらに、各カメラに関連する仮想の光学的中心は、仮想の光学的中心1214のような正確に一つの位置または点である必要はないことに留意されたい。ただ複数のカメラを正確に整合するのは困難であるという理由だけから、複数の光学的中心を点1214の周囲に密集させることができる。さらに、図12のところで説明したように、ブラインド領域になる一組のオフセット仮想光学的中心が形成されるように、1214の周囲に複数のカメラの仮想の光学的中心を意図的に密集させることが望ましい。これらブラインド領域は、角錐の異なる反射面が合流する角錐の縁部により、歪を起こす場合がある画像の一部を除去するために使用することができる。
【0060】
図29は、反射角錐1300である。反射角錐1300は、角錐の頂点を通り、角錐のベースに垂直な軸1302を持つ。上記角錐は、三つの仮想の光学的中心1304、1306および1308を持つ、パノラマ画像形成器の一部である。各仮想の光学的中心は、図26および図27のところでの説明に従って設置されている一組のカメラを持つ。複数の仮想の光学的中心は、軸1302から等距離1310のところに位置していて、相互に距離1312だけ間隔を持つように配置される。この場合、距離1312は、人間の両眼の間の通常の距離にほぼ等しい。このように配置されているので、各仮想の光学的中心は、それをパノラマ画面に関連づける。
【0061】
図30も、角錐の外側から、ベースのところで、下を見おろしている角錐1300の図面である。図30は、ユーザに画像を供給するために、どの組の仮想の光学的中心が使用されるのかを示す。使用する一組の仮想の光学的中心は、ユーザがどの方向を見たいのかによって違ってくる。図のライン1320、1322および1324は基準線である。ライン1320は、仮想の光学的中心1304および軸1302を通る。ライン1322は、仮想の光学的中心1308および軸1302を通る。同様に、ライン1324は、仮想の光学的中心1306および軸1302を通る。ライン1322は、矢印1326の方向に、仮想の光学的中心1306および1304が形成する、画面の中心と見なすことができる。さらに、ライン1324の矢印1328は、矢印1328の方向に、仮想の光学的中心1308および1304が形成する画面の中心と見なすことができる。ライン1320の矢印1330は、矢印1330の方向に、仮想の光学的中心1306および1308が形成する、画面の中心と見なすことができる。ライン1322の矢印1332は、矢印1332の方向に、仮想の光学的中心1306および1304が形成する画面の中心と見なすことができる。
【0062】
ライン1324の矢印1334は、矢印1334の方向に、仮想の光学的中心1304および1308が形成する画面の中心と見なすことができる。ライン1320の矢印1336は、矢印1336の方向に、仮想の光学的中心1306および1308が形成する、画面の中心と見なすことができる。それ故、異なる配列の仮想の光学的中心の組は、異なる方向の立体画面用として最もよく使用することができる。ユーザが視線の方向を変えると、左右の目に画像を映し出すために使用する仮想の光学的中心も変化する。ライン1340および1342の間に中心を持つ画像を見ている場合には、ユーザの左右の目に映っている画像は、それぞれ、仮想の光学的中心1306および1304により供給される。ライン1342および1344の間に中心を持つ画像を見ている場合には、仮想の光学的中心1308および1304により供給される画像は、それぞれ、左右の画像を供給するために使用される。ユーザが、ライン1344および1346の間に中心を持つ画像を見ている場合には、ユーザの左右の目は、それぞれ、仮想の光学的中心1308および1306から画像を受け取る。ユーザが、ライン1348および1346の間に中心を持つ画像を見ている場合には、仮想の光学的中心1304および1306から、それぞれ、ユーザに左右の画像が供給される。ユーザが、ライン1350および1348の間に中心を持つ画像を見ている場合には、仮想の光学的中心1304および1308から、それぞれ、ユーザに左右の画像が供給される。最後に、ユーザが、ライン1340および13508の間に中心を持つ画像を見ている場合には、仮想の光学的中心1306および1308から、それぞれ、画像が左右の目に供給される。
【0063】
図31は、角錐の頂点を通る軸1402を持つ角錐の外側からベースのところを見ている反射角錐1400である。角錐1400は、八つの仮想の光学的中心1404、1406、1408、1410、1412、1414、1416、1418に関連する8組のカメラを持つ。仮想の光学的中心は、軸1402から等距離1420のところにある。光学的中心1404および1412のような対向する仮想の光学的中心の各組は、距離1420の二倍の距離のところに位置する。距離1420の二倍の距離は、人間の両眼の間の通常の距離にほぼ等しい。
【0064】
図32は、その人がどの方向を見たがっているのかにより、画像を供給するために、仮想の光学的中心のどの組が使われるのかを示すために使用した基準線を含む、図31のパノラマ画像形成器である。基準線1430は、仮想の光学的中心1406、軸1402および仮想の光学的中心1414を通る。基準線1432は、仮想の光学的中心1408、軸1402および仮想の光学的中心1416を通る。基準線1434は、仮想の光学的中心1410、軸1402および仮想の光学的中心1418を通る。基準線1436は、仮想の光学的中心1412、軸1402および仮想の光学的中心1404を通る。この実施形態の場合には、ユーザが基準線のほぼ22.5度内の画面を見たい場合には、ユーザに左右の画像を供給するために、その基準線に関連する一組の仮想の光学的中心とその視線の方向が使用される。ユーザが、ライン1430の矢印1438の方向で、ライン1440および1442の間の画面を見たい場合には、画像形成器は、左目用の画像として、仮想の光学的中心1410からの画像を使用し、右目用の画像として、仮想の光学的中心1418からの画像を使用する。ユーザが、ライン1432の矢印1444の方向で、ライン1446および1442の間の画面を見たい場合には、仮想の光学的中心1412および1404が、それぞれ左右の画像を供給する。ユーザが、ライン1434の矢印1448の方向で、ライン1450および1446の間の画面を見たい場合には、仮想の光学的中心1414および1406が、それぞれ左右の画像を供給する。ユーザが、ライン1436の矢印1452の方向で、ライン1454および1450の間の画面を見たい場合には、仮想の光学的中心1416および1408が、それぞれ左右の画像を供給する。ユーザが、ライン1430の矢印1456の方向で、ライン1454および1458の間の画面を見たい場合には、仮想の光学的中心1418および1410が、それぞれ左右の画像を供給する。ユーザが、ライン1432の矢印1460の方向で、ライン1458および1462の間の画面を見たい場合には、仮想の光学的中心1404および1412が、それぞれ左右の画像を供給する。ユーザが、ライン1434の矢印1464の方向で、ライン1466および1462の間の画面を見たい場合には、仮想の光学的中心1406および1414が、それぞれ左右の画像を供給する。ユーザが、ライン1634の矢印1468の方向で、ライン1440および1466の間の画面を見たい場合には、仮想の光学的中心1408および1416が、それぞれ左右の画像を供給する。
【0065】
この実施形態においては、角錐の構成について説明したが、カメラがほぼ同じ位置を占める仮想の光学的中心を持つように、視野の方向を変えるために異なる平面ミラーの幾何学的配置を使用することもできる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在していなくてもよいし、ベース平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。
【0066】
図33は、三つの仮想の光学的中心を持つ立体パノラマ画面表示システムのブロック図である。このブロック図は、各組のカメラの持つ機能が図23に示す機能に類似しているという点で、図23に類似している。この実施形態の場合、カメラの各グループ1500、1502および1504は、それぞれ、図29の仮想の光学的中心1304、1306および1308に対応する。この実施形態の場合には、カメラの各グループは、四台のカメラを含む。カメラの各グループの出力は、赤/緑/青修正回路1506に供給される。上記赤/緑/青修正回路1506は、図23のところで説明した回路の動作に類似の動作を行う。赤/緑/青修正回路1506の出力は、フレーム・メモリ・ユニット1508により記憶される。複数のカメラが捕捉した画像を表わすデータは、コントローラ1510が供給するアドレスに従ってフレーム・メモリに書き込まれる。コントローラ1510は、図23および図7−図9のところで説明したように、フレーム・メモリにアドレスする。コントローラ1510は、ASIC(特定用途向けIC)、マイクロコンピュータまたはマイクロプロセッサにより実行することができる。データはフレーム・メモリ1508から読み出され、マイクロプロセッサ1514の制御の下で表示メモリ1512に記憶される。表示メモリ1512にデータを書き込んでいる時、マイクロプロセッサは、カメラ・システムにより生じた歪を修正するために画像マッピングを使用する。この画像マッピング・プロセスは、図20−図22のところで説明したプロセスに類似している。表示メモリ1512からの出力は、図7−図9のところで説明した方法と類似の方法で、コントローラ1510によりアドレスされる。これらの出力は、視線の方向を指定するユーザの入力に従って供給することができる。
【0067】
表示メモリ1512の出力は、スイッチに送られる。上記スイッチは、この実施形態の場合には、左のマルチプレクサ1516および右のマルチプレクサ1518である。各マルチプレクサは、仮想の光学的中心の中の一つに関連するカメラ・グループからの左右の画像データの対の各々を選択するために使用される。上記スイッチは、例えば、機械的スイッチ、バスにイネーブルされた選択したメモリを含むバス、または選択したメモリにアクセスするマイクロコンピュータまたはマイクロプロセッサにより実行することができる。特定の仮想の光学的中心に関連する画像データの選択は、ユーザ入力を通してユーザが選択した画面に基づいて、コントローラ1510の制御の下で行われ、図示のようにコントローラからの制御信号によりマルチプレクサが制御される。ユーザの入力に応じて供給される実際の画像データは、図30のところで説明した方法で供給される。ユーザが見て、そうしたい場合には、編集できるように、各仮想の光学的中心に対して、表示メモリの全部の出力を供給することもできる。マルチプレクサ1516および1518が供給する左右の画像データは、モデムに送り、通信ネットワークを通して転送することができる。通信ネットワーク1522が、デジタル・データを直接受け入れる場合には、モデム1520を使用する必要はない。通信ネットワーク1522からのデータは、モデム1524により受信され、上記モデムは、上記データを左右のディスプレイ1526および1528に供給する。ディスプレイ1526および1528がアナログ・データを必要とする場合には、モデム1524とディスプレイとの間にデジタル−アナログ変換器を設置することができる。ユーザ入力装置1530としては、モデム1524、通信ネットワーク1522、およびモデム1520を通して、ユーザの選択データをコントローラ1510に送るためのジョイスティックのような装置を使用することができる。ユーザの場所が、画面表示システムからそんなに離れていない場合には、マルチプレクサ1516および1518からのデータは、直接左のディスプレイ1532、および右のディスプレイ1534に送ることができる。上記ディスプレイがアナログ・データを必要とする場合には、左のディスプレイ1532、および右のディスプレイ1534に、それぞれ、データを供給するために、デジタル−アナログ変換器1536、および1538を使用することができる。さらに、コントローラ1510にユーザ選択データを供給するために、ユーザ入力装置1540を使用することができる。
【0068】
画面表示システムが、図32のところで説明したシステムのように、追加の仮想の光学的中心を使用する場合には、図33の基本的レイアウトに、追加の処理経路を追加することができる。図34の場合には、カメラ・グループ1500、1502および1504のカメラの数を変更することができることに留意されたい。例えば、四つの面を持つ角錐の三つの面だけを画面表示のために使用する場合には、カメラ・グループのカメラの数は三台だけでよい。
【0069】
コントローラ1510およびマイクロプロセッサ1514は、上記機能にアドレスすることができる十分な処理速度を持つ、一台のマイクロプロセッサ、マイクロコンピュータまたはコンピュータにすることができる。同様に、フレーム・メモリおよび表示メモリも、図33の各メモリに関連するデータにアクセスすることができるようにアドレスされる一台のメモリにすることもできる。
【図面の簡単な説明】
【図1】従来技術の複数のカメラを含む画面表示システムである。
【図2】反射面を含む四面角錐を使用する四つのカメラからなる全方向またはパノラマ画面表示システムである。
【図3】各カメラに共通の光学的中心を供給するために、角錐の反射面がどのように使用されるのかを示す。
【図4】角錐の平面図であり、カメラの位置を示す。
【図5】反射側面を持つ八面角錐である。
【図6】図5の角錐の平面図である。
【図7】カメラが発生したデータを制御するためのシステムのブロック図である。
【図8】カメラから受けとったデータと、ユーザが見る画面との間の関連を示す。
【図9】図7のメモリに対するアドレス・スキームである。
【図10】図7のコントローラのブロック図である。
【図11】5番目のカメラを含む、図2の画面表示システムである。
【図12】仮想の光学的中心が変位している、図2の角錐の平面図である。
【図13】ブラインド領域内に位置する影の部分を含む、図12の角錐である。
【図14】底部と底部とが接している複数の角錐を使用するパノラマ画像形成器である。
【図15】入れ子状の角錐を使用するパノラマ画像形成器である。
【図16】入れ子状の角錐を使用する球形画像形成器である。
【図17】パノラマ画像形成器を支持するのに使用されるスタンドである。
【図18】二つのタイプの歪である。
【図19】校正プロセスである。
【図20】カメラから受けとったデータと、ユーザが見る歪を含む画面との間の関連を示す。
【図21】歪んだ画像データの記憶方法である。
【図22】マッピングした画像の記憶方法である。
【図23】画像マッピングを使用する場合の、パノラマ・カメラ・システムのブロック図である。
【図24】二つの仮想の光学的中心を含む反射角錐である。
【図25】底面から見た図24の角錐である。
【図26】AA線に沿って切断した、図24の角錐の断面図である。
【図27】BB線に沿って切断した、図24の角錐の断面図である。
【図28】角錐の仮想の光学的中心の一つと関連するカメラである。
【図29】三つの仮想の光学的中心を含む反射角錐である。
【図30】見る方向が異なる場合の、異なる組の仮想の光学的中心の使用方法である。
【図31】八つの仮想の光学的中心を持つ反射角錐である。
【図32】見る方向が異なる場合の、異なる組の仮想光学的中心の使用方法である。
【図33】三つの光学的中心を持つパノラマ画面表示システムのブロック図である。

Claims (7)

  1. 立体パノラマ画像形成器であって、
    それぞれが一つの視野を持つ複数の第一の画像形成装置と、
    それぞれが一つの視野を持つ複数の第二の画像形成装置と、
    異なる方向を向いている複数の平面反射ファセットとを備え、前記ファセットの中の少なくとも二つが、それぞれ前記第一の画像形成装置の中の一つの視野の少なくとも一部および前記第二の画像形成装置の中の一つの視野の少なくとも一部の方向を変更し、その結果前記第一の画像形成装置の中の少なくとも二つの前記方向を変えられた視野の少なくとも一部がほぼ第1の点から現われるようになり、また前記第二の画像形成装置の中の少なくとも二つの前記方向を変えられた視野の少なくとも一部がほぼ前記第1の点に対し水平方向に変位する第2の点から現われるようになっており、
    前記第一の画像形成装置の少なくとも2つの方向を変更された視野の少なくとも一部が、前記第1の点の中心の回りで該中心から離間したオフセット点であって該第1の点を形成しているオフセット点から現われるようになっており、前記第二の画像形成装置の少なくとも2つの方向を変更された視野の少なくとも一部が、前記第2の点の中心の回りで該中心から離間したオフセット点であって該第2の点を形成しているオフセット点から現われるようになっていることで前記平面反射ファセットの縁部により歪んだ画像領域を除去することを特徴とする立体パノラマ画像形成器
  2. 請求項1に記載の立体パノラマ画像形成器において、前記画像形成装置がカメラであることを特徴とする立体パノラマ画像形成器。
  3. 立体パノラマ画像形成器であって、
    それぞれが一つの視野を持つ複数の第一の画像形成装置と、
    それぞれが一つの視野を持つ複数の第二の画像形成装置と、
    それぞれが一つの視野を持つ複数の第三の画像形成装置と、
    異なる方向を向いている複数の平面反射ファセットとを備え、前記ファセットの中の少なくとも二つが、それぞれ前記第一の画像形成装置の中の一つの視野の少なくとも一部、および前記第二の画像形成装置の中の一つの視野の少なくとも一部、および前記第三の画像形成装置の中の一つの視野の少なくとも一部の方向を変更し、その結果前記第一の画像形成装置の中の少なくとも二つの前記方向を変えられた視野の少なくとも一部がほぼ第1の点から現われるようになり、前記第二の画像形成装置の中の少なくとも二つの前記方向を変えられた視野の少なくとも一部がほぼ前記第1の点に対し水平方向に変位する第2の点から現われるようになり、また前記第三の画像形成装置の中の少なくとも二つの前記方向を変えられた視野の少なくとも一部がほぼ前記第1の点及び前記第2の点に対し水平方向に変位する第3の点から現われるようになっており、
    前記第一の画像形成装置の少なくとも2つの方向を変更された視野の少なくとも一部が、前記第1の点の中心の回りで該中心から離間したオフセット点であって該第1の点を形成しているオフセット点から現われるようになっており、前記第二の画像形成装置の少なくとも2つの方向を変更された視野の少なくとも一部が、前記第2の点の中心の回りで該中心から離間したオフセット点であって該第2の点を形成しているオフセット点から現われるようになっており、及び前記第三の画像形成装置の少なくとも2つの方向を変更された視野の少なくとも一部が、前記第3の点の中心の回りで該中心から離間したオフセット点であって該第3の点を形成しているオフセット点から現われるようになっていることで前記平面反射ファセットの縁部により歪んだ画像領域を除去することを特徴とする立体パノラマ画像形成器
  4. 請求項3に記載の立体パノラマ画像形成器において、前記画像形成装置が、カメラであることを特徴とする立体パノラマ画像形成器。
  5. 請求項4に記載の立体パノラマ画像形成器であって、
    複数の画像データ・セットから画像データ・セットの対を選択するための制御信号を発生するコントローラであって、該画像データ・セットの各々が前記複数の画像形成装置の1つの視野の組の一つを表わしているコントローラと、
    前記制御信号に応じて画像データ・セットの対を選択するスイッチとを更に備えていることを特徴とする立体パノラマ画像形成器。
  6. 請求項5に記載の立体パノラマ画像形成器において、前記スイッチが、マルチプレクサであることを特徴とする立体パノラマ画像形成器。
  7. 請求項5に記載の立体パノラマ画像形成器において、前記コントローラが、視線の方向に基づいて画像データ・セットの対を選択するための制御信号を生成していることを特徴とする立体パノラマ画像形成器。
JP24068099A 1998-08-28 1999-08-27 パノラマ画像形成器 Expired - Fee Related JP3862895B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/141,867 US6141145A (en) 1998-08-28 1998-08-28 Stereo panoramic viewing system
US09/141867 1998-08-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004183493A Division JP2005006341A (ja) 1998-08-28 2004-06-22 パノラマ画像形成器

Publications (2)

Publication Number Publication Date
JP2000092521A JP2000092521A (ja) 2000-03-31
JP3862895B2 true JP3862895B2 (ja) 2006-12-27

Family

ID=22497611

Family Applications (2)

Application Number Title Priority Date Filing Date
JP24068099A Expired - Fee Related JP3862895B2 (ja) 1998-08-28 1999-08-27 パノラマ画像形成器
JP2004183493A Withdrawn JP2005006341A (ja) 1998-08-28 2004-06-22 パノラマ画像形成器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004183493A Withdrawn JP2005006341A (ja) 1998-08-28 2004-06-22 パノラマ画像形成器

Country Status (7)

Country Link
US (1) US6141145A (ja)
EP (1) EP0989436A3 (ja)
JP (2) JP3862895B2 (ja)
KR (1) KR20000017592A (ja)
CN (1) CN1247994A (ja)
CA (1) CA2277712C (ja)
TW (1) TW396292B (ja)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6795109B2 (en) 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
US7477284B2 (en) * 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
JP2004512701A (ja) * 2000-04-19 2004-04-22 イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム 立体パノラマ画像の撮像と表示を行うシステムと方法
KR100343836B1 (ko) * 2000-06-27 2002-07-20 이성환 파노라마 영상 감시 시스템 및 그 제어방법
WO2002008817A2 (en) * 2000-07-21 2002-01-31 Lee Scott Friend Stereoscopic omnidirectional imaging devices
US6386719B1 (en) 2001-03-14 2002-05-14 Enroute, Inc. Precision mounting of front surface mirrors
US6560413B1 (en) 2001-03-14 2003-05-06 Enroute, Inc. High-precision panoramic imaging system
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US7349005B2 (en) * 2001-06-14 2008-03-25 Microsoft Corporation Automated video production system and method using expert video production rules for online publishing of lectures
US6628897B2 (en) * 2001-06-20 2003-09-30 Sony Corporation Camera system
US20040077284A1 (en) * 2002-01-31 2004-04-22 Bonilla Victor G. Apparatus system and method for adapting a scaled vehicle remote controller for use with an enhanced controller
US6954695B2 (en) 2002-01-31 2005-10-11 Racing Visions, Llc Apparatus system and method for remotely controlling a vehicle over a network
US20030231244A1 (en) * 2002-04-22 2003-12-18 Bonilla Victor G. Method and system for manipulating a field of view of a video image from a remote vehicle
US20040077285A1 (en) * 2002-04-22 2004-04-22 Bonilla Victor G. Method, apparatus, and system for simulating visual depth in a concatenated image of a remote field of action
US7050889B2 (en) * 2002-04-22 2006-05-23 Racing Visions Investments Inc. Method and system for a computer controlled racing network
US20040005927A1 (en) * 2002-04-22 2004-01-08 Bonilla Victor G. Facility for remote computer controlled racing
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US20050046703A1 (en) * 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US7443807B2 (en) * 2003-06-16 2008-10-28 Microsoft Corporation System and process for discovery of network-connected devices
US7525928B2 (en) * 2003-06-16 2009-04-28 Microsoft Corporation System and process for discovery of network-connected devices at remote sites using audio-based discovery techniques
US7397504B2 (en) * 2003-06-24 2008-07-08 Microsoft Corp. Whiteboard view camera
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7362350B2 (en) * 2004-04-30 2008-04-22 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video
US7355622B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using delta frames
US7355623B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
US20060103723A1 (en) * 2004-11-18 2006-05-18 Advanced Fuel Research, Inc. Panoramic stereoscopic video system
US7812882B2 (en) * 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
US7768544B2 (en) * 2005-01-21 2010-08-03 Cutler Ross G Embedding a panoramic image in a video stream
WO2006110584A2 (en) 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
GB2425363A (en) 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
US7573868B2 (en) * 2005-06-24 2009-08-11 Microsoft Corporation Audio/video synchronization using audio hashing
US7630571B2 (en) * 2005-09-15 2009-12-08 Microsoft Corporation Automatic detection of panoramic camera position and orientation table parameters
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법
JP4562683B2 (ja) * 2006-04-19 2010-10-13 株式会社藤商事 遊技機
US7653705B2 (en) * 2006-06-26 2010-01-26 Microsoft Corp. Interactive recording and playback for network conferencing
US8572183B2 (en) * 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US20070299710A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Full collaboration breakout rooms for conferencing
US20070300165A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation, Corporation In The State Of Washington User interface for sub-conferencing
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
MY155821A (en) * 2007-11-23 2015-12-07 Mimos Berhad Single camera stereo imaging system
JP5099554B2 (ja) * 2008-07-31 2012-12-19 独立行政法人情報通信研究機構 立体ディスプレイ
CN101852980B (zh) * 2010-06-09 2011-10-05 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
FR2964757B1 (fr) * 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
CN101980080B (zh) * 2010-09-19 2012-05-23 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN102486274A (zh) * 2010-12-06 2012-06-06 中强光电股份有限公司 光源模块与舞台灯具
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
JP6003199B2 (ja) * 2012-05-08 2016-10-05 ソニー株式会社 レンズ交換式カメラシステムおよびレンズデータ取得プログラム
JP2014081510A (ja) 2012-10-17 2014-05-08 Sony Corp 表示装置
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US20140362176A1 (en) * 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
CN105393170B (zh) 2013-04-16 2019-06-04 弗劳恩霍夫应用研究促进协会 多相机系统的校准、多相机系统以及校准辅助物
DK2835973T3 (da) 2013-08-06 2015-11-30 Sick Ag 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
TWI510811B (zh) * 2013-09-13 2015-12-01 Quanta Comp Inc 頭戴式系統
US9262801B2 (en) 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9618760B2 (en) * 2014-05-24 2017-04-11 Alan Bruce Cornford Collapsible quasi 3D stereoscopic display and cover
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
EP3180909A4 (en) 2014-08-15 2018-04-04 There0 LLC System for immersive telepresence
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN104317059B (zh) * 2014-11-14 2016-08-24 山东理工大学 幻影立体实时显示系统的显示方法
TWI574047B (zh) * 2015-06-16 2017-03-11 緯創資通股份有限公司 立體影像顯示裝置、方法以及系統
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera
KR102191067B1 (ko) * 2015-09-09 2020-12-14 주식회사 아이티엑스에이아이 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
USD858614S1 (en) * 2016-06-27 2019-09-03 Virtual Marketing Incorporated Mobile hologram apparatus
CN106060523B (zh) * 2016-06-29 2019-06-04 北京奇虎科技有限公司 全景立体图像采集、显示方法及相应的装置
CN106842801A (zh) * 2016-08-31 2017-06-13 李文松 一种vr摄影镜头设计方法
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
TWI642973B (zh) * 2017-09-12 2018-12-01 晶將數位多媒體科技股份有限公司 3D floating stereoscopic image creation and display device
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2304434A (en) * 1928-09-03 1942-12-08 Ibm Projecting device
US2267813A (en) * 1938-11-05 1941-12-30 Gen Electric Multicathode ray electrode assembly
FR1206316A (fr) * 1957-07-19 1960-02-09 Procédé et dispositifs de prises de vues panoramiques, en particulier pour les appareils de prises de vues cinématographiques
US3144806A (en) * 1962-09-28 1964-08-18 Rowe E Carney Jr Projection system
US3286590A (en) * 1963-02-21 1966-11-22 Conductron Corp Full circumferential viewing system
US3420605A (en) * 1965-06-14 1969-01-07 Vernon L Kipping Wide field photography and projection
FR1528819A (fr) * 1967-04-27 1968-06-14 Precitronic Récepteur omni-directionnel de signaux lumineux
US3506344A (en) * 1968-07-08 1970-04-14 Joseph T Petit Jr Optical projection system
US3740469A (en) * 1972-04-19 1973-06-19 Us Navy Reflective panoramic t.v. projection system
US4982092A (en) * 1973-07-05 1991-01-01 The United States Of America As Represented By The Secretary Of The Navy 360 Degree optical surveillance system
US3998532A (en) * 1974-04-08 1976-12-21 The United States Of America As Represented By The Secretary Of The Navy Wide angle single channel projection apparatus
US4078860A (en) * 1976-10-27 1978-03-14 Globus Ronald P Cycloramic image projection system
NL7900865A (nl) * 1979-02-02 1980-08-05 Tno Projektor voor het projekteren van een panoramabeeld en camera voor het vervaardigen van films voor zulk een projektor.
US4355328A (en) * 1981-02-23 1982-10-19 The United States Of America As Represented By The Secretary Of The Navy 360 Degree closed circuit television system
US4429957A (en) * 1981-07-30 1984-02-07 King-Bell Optics, Inc. Panoramic zoom lens assembly
JPS6020692A (ja) * 1983-07-15 1985-02-01 Hitachi Ltd 広視野装置
US4589030A (en) * 1983-07-25 1986-05-13 Kley Victor B Solid state camera
US4859046A (en) * 1988-05-20 1989-08-22 Traynor Rodney P Lane viewer mirror apparatus for vehicles
US4890314A (en) * 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
NL8802933A (nl) * 1988-11-28 1990-06-18 Heuft Qualiplus Bv Werkwijze en inrichting voor het inspekteren van de binnenwand van een lichaam.
GB8829135D0 (en) * 1988-12-14 1989-01-25 Smith Graham T Panoramic interactive system
US5040055A (en) * 1988-12-14 1991-08-13 Horizonscan Inc. Panoramic interactive system
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
JP2942344B2 (ja) * 1989-11-22 1999-08-30 旭光学工業株式会社 プロジェクター
US5194959A (en) * 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5245175A (en) * 1989-12-28 1993-09-14 Olympus Optical Co., Ltd. Focus detecting optical system including a plurality of focus blocks composed of an integrally molded prism member
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5016109A (en) * 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
DE4032387A1 (de) * 1990-10-12 1992-04-16 Liesk Ingrid Wc - kippdosimat
DE4035145A1 (de) * 1990-11-06 1992-05-07 Bio Photonics Gmbh Optisches system zur aufteilung einer reellen abbildung
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5179440A (en) * 1991-05-13 1993-01-12 Hughes Aircraft Company Rear projection facetted dome
JP3158484B2 (ja) * 1991-05-23 2001-04-23 日本電信電話株式会社 投射型表示装置
US5236199A (en) * 1991-06-13 1993-08-17 Thompson Jr John W Interactive media system and telecomputing method using telephone keypad signalling
US5264945A (en) * 1991-10-16 1993-11-23 Eastman Kodak Company Contact array scanners with circulating memory
JP3092276B2 (ja) * 1991-12-24 2000-09-25 ソニー株式会社 全方向受光装置
JPH0787601B2 (ja) * 1992-03-13 1995-09-20 株式会社エイ・ティ・アール通信システム研究所 立体的映像表示装置
US5264881A (en) * 1992-06-03 1993-11-23 Hughes Training, Inc. Split static surround display system
FR2692368B1 (fr) * 1992-06-12 1994-07-29 Thomson Csf Dispositif de veille panoramique infrarouge a grande portee et couverture angulaire elevee, notamment en site.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JPH07322303A (ja) * 1994-05-19 1995-12-08 Pioneer Electron Corp 背面投射型プロジェクションテレビ
JPH07333557A (ja) * 1994-06-09 1995-12-22 Sony Corp 画像投影装置
US5526133A (en) * 1994-06-28 1996-06-11 Sensormatic Electronics Corporation System and method for logging and retrieving information on video cassettes in a computer controlled surveillance system
US5619255A (en) * 1994-08-19 1997-04-08 Cornell Research Foundation, Inc. Wide-screen video system
US5684626A (en) * 1994-10-25 1997-11-04 Edge Scientific Instrument Company Llc Center masking illumination system and method
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
JPH0937302A (ja) * 1995-07-18 1997-02-07 Olympus Optical Co Ltd 立体撮像装置
US6115176A (en) * 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
DE19608067A1 (de) * 1996-03-02 1997-09-04 Philips Patentverwaltung Verfahren und Anordnung zum Darstellen einer Landkarte
US5708469A (en) * 1996-05-03 1998-01-13 International Business Machines Corporation Multiple view telepresence camera system using a wire cage which surroundss a plurality of movable cameras and identifies fields of view
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus

Also Published As

Publication number Publication date
JP2005006341A (ja) 2005-01-06
CA2277712A1 (en) 2000-02-28
KR20000017592A (ko) 2000-03-25
US6141145A (en) 2000-10-31
CA2277712C (en) 2002-08-13
TW396292B (en) 2000-07-01
JP2000092521A (ja) 2000-03-31
EP0989436A2 (en) 2000-03-29
EP0989436A3 (en) 2002-07-24
CN1247994A (zh) 2000-03-22

Similar Documents

Publication Publication Date Title
JP3862895B2 (ja) パノラマ画像形成器
EP0982946B1 (en) Compact high resolution panoramic viewing system
US6128143A (en) Panoramic viewing system with support stand
US6700711B2 (en) Panoramic viewing system with a composite field of view
CA2187834C (en) Spherical viewing/projection apparatus
CA2178358C (en) Panoramic projection apparatus
US5990934A (en) Method and system for panoramic viewing
CA2174157A1 (en) Panoramic viewing apparatus
EP0757273A1 (en) Combination of several viewing devices with common point of vision
CA2310956A1 (en) Compact high resolution panoramic viewing system
CA2308028C (en) Spherical viewing/projection apparatus
CA2304439A1 (en) Panoramic viewing system with offset virtual optical centers

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040622

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040625

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees