JP3824170B2 - パララックス走査レンズ・アパーチャを用いた自己立体視映像化装置および方法 - Google Patents
パララックス走査レンズ・アパーチャを用いた自己立体視映像化装置および方法 Download PDFInfo
- Publication number
- JP3824170B2 JP3824170B2 JP51327295A JP51327295A JP3824170B2 JP 3824170 B2 JP3824170 B2 JP 3824170B2 JP 51327295 A JP51327295 A JP 51327295A JP 51327295 A JP51327295 A JP 51327295A JP 3824170 B2 JP3824170 B2 JP 3824170B2
- Authority
- JP
- Japan
- Prior art keywords
- lens
- aperture
- image
- self
- stereoscopic imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2217/00—Details of cameras or camera bodies; Accessories therefor
- G03B2217/18—Signals indicating condition of a camera member or suitability of light
- G03B2217/185—Signals indicating condition of a camera member or suitability of light providing indication that the picture may be blurred
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、三次元のイルージョン(illusion:錯覚)として表示することができる映像を生成するための立体映像装置および方法に関し、特に、特別な見るための補助器具を用いることなく、三次元として知覚できる映像をディスプレイ上に生成する自己立体視映像化(autostereoscopic imaging)装置および方法に関する。
背景技術
三次元としてのイルージョン(錯覚)を生じるように表示できる二次元映像の生成は、視覚技術においては、以前から存在している課題である。そのような三次元のイルージョンを生じる方法や装置は、ある程度まで、人間の奥行き(depth)の認識の心理学へのより一層の理解と並行する必要がある。
双眼(binocular)(立体:stereo)視は、オーバーラップする視野でシーン(scene:場面)を見る2つの目が必要である。おのおのの目は、シーンを少し異なっているパララックス(parallax:視差)角度から見て、網膜上にシーンの焦点を合せる。二次元の網膜上の像は、視神経により脳の視覚皮質に送られ、合成されて、ステレオプシス(stereopsis:双眼視による奥行きの認識)として知られる処理で、シーンの三次元モデルを形成する。
三次元空間の奥行きの知覚は、見られているシーンの様々な種類の情報(キュー:cue)による。これには、例えば、相対的サイズ、線形遠近法(linear perspective)、重なり(interposition)、光と影、グラーディエント(階調度:gradient)(単眼(monocular)のキュー)、そして、網膜上の像のサイズ、網膜上のディスパリティ(disparity;不一致)、目の調節(accomodation)、収束(convergence)(双眼のキュー)、および、見られているシーンの主体との親密度(学習のキュー)がある。
網膜上のディスパリティは、これは人間の目の間の間隔(separation)であるが、パララックスの情報を提供している。現在よく知られているが、奥行きの認識は、左目と右目とが、交互に脳に対して奥行きの情報を提供する場合に、時間間隔が100msを越えないかぎり獲得できる。目に対して交互に覆いをし、覆いをはずしても、脳はパララックス情報を三次元シーンから周期100msづつまで抽出していることが実証されている。脳は、適切に順序つけられている場合には、両方の目に呈示されているパララックス情報を受領し、処理することができる。理想的な視覚順序周期率(view cycle sequencing rate)は、3〜6Hzの間と特定されている。
本当の三次元映像表示は2つの主要なカテゴリに分割できる。実体視(stereoscopic)又は立体視(binocular)と、自己立体視(autostereoscopic)とである。立体視技術(立体鏡(stereoscope)、偏光、アナグリフ(anagliphic)、プルフリッヒ(Pulfrich)、およびシャッタの技術を含む)は、見る人に対して、見るための器具、例えば偏光眼鏡が必要である。自己立体視技術、例えばホログラフィ(holography)、レンチキュラー・スクリーン(lenticular screen)、パララックス・バリア(parallax barrier)、オルターネイティング・ペア(alternating-pair)、およびパララックス走査(parallax scan)は、本当の三次元イルージョンとして、特別な見るための眼鏡の使用せずに映像を生成する。
従来の自己立体視テレビジョンおよび映画のシステムは、異なる視点から2台のカメラで記録したシーンの映像を、交互に表示するアプローチを利用している。Imsandへの米国特許第4,006,291号、McElveenへの米国特許第4,303,316号、Jones他への米国特許第4,429,328号、MayhewおよびPrichardへの米国特許第4,996,436号は、すべて、水平に、垂直に、または水平および垂直の組み合わせで、異なる位置から見たシーンを2台のカメラで記録することを利用している。この自己立体視のアプローチは、表示されたとき三次元のイルージョンを生じる映像を生成するが、一方、2台の正確なマッチングが要求される。カメラの不適切な配置、焦点距離および/または焦点のミスマッチ、クロミナンス(chrominance)と照度(illuninance)のミスマッチ、および誤った位置の収束点が全て、映像の不安定に寄与している。また、映像の記録のディスパリティ(disparity)、収束(convergennce)および時間移動率(time-displacement rate)を、調和したやりかたで、安定した映像に保つように連続的に調整するために、相当な操作者の熟練が要求される。
映像の安定性は、マスキング技術を使用することにより、より識別されにくくすることができる。カメラの動きは、映像の前後の動き(rocking motion)を隠すのに大変効果的である。明らかに、これは、脳が、カメラの動きによりも、前後の動きに重要性を置いていないからである。これは、歩いているまたは走っている間に明確に見ることができるようにしている、ある種の自然な安定化現象または脳のメカニズムの結果である。そうでなければ、映像はバウンドして見えるはずである。
2台のカメラの自己立体視システムに関連する欠点を避けるため、単一カメラ/単一レンズを使用する自己立体視方法および装置が開発された。Mayhew他の米国特許第5,014,126号および第5,157,484号は、表示されたとき、見る人に三次元として知覚される映像を記録することのできる、単一カメラの自己立体視システムを開示している。本願と共通に譲渡され、出願中である米国出願08/115,101号(1993年9月2日 Fernekes他により出願)は、振動のパララックス走査の動きを受けて1台のカメラで映像を記録する方法および装置を開示している。
上記の引用した従来の開示された単一カメラの自己立体視映像化システムは、助けなしの目でみたとき、三次元として知覚できる高品質で安定した映像を作成するのに効果的であるが、あいにくと、装置は、ややかさばり、重く、相対的に構成は複雑であり、そして、動作中に相当の量の電力を消費する。
発明の開示
本発明の主要な目的は、表示されるときに三次元として助けなしの目で知覚することができる、二次元の映像を作成する改良した方法および装置を提供する。本発明の方法および装置は、三次元の映像への自己立体視のアプローチを利用して、立体視のアプローチに内在している欠点を避けている。本発明の自己立体視の方法および装置は、映画やビデオのカメラのような、単一の映像化装置を利用して、2台のカメラの自己立体視のアプローチの短所を避けている。その上、本発明の装置は、大きさがコンパクトで、重さが軽く、組み立てと操作が効率的で、従来の映画やビデオのカメラに実装するのに便利である。
これらの目的や利点を達成するために、本発明の改良された1台カメラの自己立体視映像化方法は、シーンに向けた光軸を有する映像レンズを提供するステップと、レンズの光軸から離れた様々なディスパリティ点(diverse disparity points)を通るパララックス走査パターン中でレンズに対してアパーチャ(開口部:aperture)を動かすステップと、複数のディスパリティ点からアパーチャを介して見たシーンの時間空間(time-spaced)上の映像の連続を発生するステップと、映像を記録するステップとを備える。この方法は、映画カメラまたはビデオ・カメラのような映像装置、または、レンズ、アパーチャおよびレンズ・アパーチャの動きをシミュレートするように適切にプログラムされたコンピュータを使用して、実施することができる。
本発明の装置は、その一番の基本的な形態において、像面(imaging plane)と、視野中の物体(object)の映像を像面に焦点を合わせるためのレンズと、レンズに隣接して配置されアパーチャを提供する光学要素(optical element:オプティカル・エレメント)と、および、レンズの光軸(optical axis)に対してアパーチャのパララックス走査の動きを作り出すような光学要素を振動するアクチュエータとを含む。時間空間上の記録の連続は、レンズの光軸からオフセット(offset)のディスパリティ点または複数の異なるパララックスの視野から見たとして、像面上に焦点を結んでいる物体の像から作成する。
本発明の方法および装置により、対応する時間空間(time-spaced)上の連続として記録されている二次元の映像の記録の表示を、三次元のイルージョンとして知覚できる。
本発明の単一カメラの自己立体視映像化方法および装置は、多数の変更が容易に可能である。アパーチャはレンズの前または後に、あるいは複数のレンズのセットの間に配置することができる。アパーチャは様々な大きさと形をとることができ、大きさは調節することができ、および/または、異なるエッジの特性を有することができる。その上、2つ以上のアパーチャも利用できる。アパーチャのパララックス走査の動きのパターンは、円形から複雑なリサージュ構成の長方形までの範囲の様々な構成とすることができる。光学要素は、レンズ・アパーチャを形成している1つ以上のスルーホール(貫通孔)またはスリットを有する1個以上の不透明のカードの形態をとることができる。また、光学要素は、不透明と透明との間で選択的にスイッチすることができるセルのマトリクス配列を提供する液晶パネルまたは強誘電体(ferro-electric)パネル(空間光変調器)として実装することができる。
その上、パララックス走査の動作中にレンズ・アパーチャから見た物体の映像から得られる奥行きの情報は、距離測定のアプリケーション中で利用することができる。さらに、制御されたレンズ・アパーチャの動きは、正しくない(spurious)カメラの動きを補償でき、それにより映像の記録を安定化することができる。
前述の概略的な記述および後述の詳細な説明の双方は、例示であり、請求された本発明にさらなる説明を提供する意図であることを理解すべきである。
添付された図面は、さらに本発明の理解を提供するために含まれており、この明細書に含まれ、明細書の一部を構成し、本発明の実施形態を例示し、記述とともに本発明の原理を説明するのに役立っている。
【図面の簡単な説明】
図1は、本発明の実施形態の概略を示している斜視図である。
図2は、本発明の他の実施形態の概略を示している斜視図である。
図3は、本発明の図1および図2の実施形態で用いることができる他の光学要素の概略を示している斜視図である。
図4は、本発明の別の実施形態の概略を示している側面図である。
図5(a)〜図5(d)は、図1および図2の実施形態で利用できる様々なアパーチャ構成を示している。
図6(a)〜図6(f)は、図1〜図4の光学要素により実行される他のパララックス操作パターンを示している。
図7は、本発明を実施する図1および図2の自己立体視映像化の実施形態に適用される典型的な様々なコントロールを示すブロック図である。
図8は、図1、図2および図4の実施形態に使用できる他の光学要素の正面図である。
図9は、コンピュータ生成映像へ本発明を適応することを示しているフローチャートである。
図10(a)〜図10(c)は、本発明の自己立体視映像化装置の動作を示す概略図である。
図11は、本発明を距離測定に適用していることを示す概略図である。
図12は、カメラ映像の安定に本発明を適用することを示す概略図である。
図13は、本発明の自己立体視映像化装置にディスパリティの自動制御を適用することを示す概略図である。
詳細な説明
図1〜図8に示されている本発明の自己立体視映像化装置(autostereoscopic imaging apparatus)は、立体視映像化装置のアプリケーションに関し、シーンの時間空間の(time-spaced)連続する映像は、連続映像の表示で三次元として知覚されるように、単一の映像化装置により記録される。このように、図1に示されるように、自己立体視映像化装置は、概略的に20として示されているが、フィルム・カメラまたはビデオ・カメラのような適切な映像化装置の像面(imaging plane)22を含んでいる。参照24は、カメラ・レンズを示しており、実際には、通常、複数のレンズの組またはシステムで構成されている。レンズ24は、映像化されるシーン中の離れた物体(object)26を向いている光軸(optical axis)25を有している。従来の様に、レンズ24の位置は、矢印27に示されるように、光軸に沿って前後に調節され、物体26の像26aを像面22上に焦点を合わせる。像面22は、フィルム・カメラのフィルム面またはビデオ・カメラのCCDアレイを示している。
本発明のこの実施形態の特徴によれば、光学要素28は、スルーホールまたはアパーチャ30を形成している不透明のカード29で構成され、物体26と像面22との間に位置している。図1は、光学要素の位置をレンズ24の直後に、すなわち、レンズと像面22の間に示されているが、一方、図2は、光学要素28は、レンズ24の直前に示されている。好ましくは、光学要素は、カメラで通常使用されている複数のレンズの組のレンズの間に置くことのできるレンズ・アイリス(lens iris)(図示せず)に、できるだけ近づけて配置する。理想的には、光学要素28は、レンズ・アイリスの位置を占め、置き換えるのがよい。
光学要素は、概略的に32として示されているように、レンズ光軸25に関してパララックス走査動作で、アパーチャ30を動かす操作をするアクチュエータまたはモータ34に機械的に結合している。アパーチャ30に対する円状のパララックス走査パターンは、図1の矢印36で示されている。一方、矩形状の走査パターンは図2の矢印38で示されている。他のパララックス走査パターンは、図6(a)〜図6(f)に示されている。通常、アパーチャ走査パターンは、レンズの光軸25を中心にしている。しかしながら、ある条件下では、所望の視覚的効果を、走査パターンがこの光軸に関して中心から外れるときに得ることができる。走査パターンは通常、光学要素28の平面内で光軸25を横切っている水平(X)および垂直(Y)の動きに制限されている。図1の矢印35で示されている光軸に平行するZ軸の動きは、X軸およびY軸の動きに関連して特別の効果を導入し、動きアーティファクト(motion artifact)をマスクすることができることを理解すべきである。
図2を参照すると、物体26の頭部(top)からの光線40は、アパーチャ30を通って通過し、レンズ24で像面22上の下方の位置に再び向けられ、ここで物体の頭部の焦点が合った像が形成される。同時に、物体26の底部(bottom)からの光線41が、アパーチャ30を通して通過し、レンズ24で像面22上の上の方の位置に再び向けられ、ここで物体の底部の焦点が合った像が形成される。物体の頭部と底部との間の部分からの光線は、同様に、アパーチャ30とレンズ24を通過し、焦点の合った像26aの形成を完成させる。アパーチャ30が図2に示される位置にあるときに、像26aが記録される場合、この像の視点(point of view)は、矢印42で示される垂直のディスパリティ(vertical disparity)を有する。この矢印42は、光軸25の下の距離に等しい。アパーチャが図2に示されている点線の位置30aにあるときに、物体の像が記録される場合、矢印42aで示されるように、視点は光軸の上の垂直のオフセットと等しいディスパリティを有する。同様に、像の記録は、アパーチャ30が点線の位置30(b)および30(c)にあるときにとられた場合、光軸25からのアパーチャの水平オフセットと等しい、水平のディスパリティを有する。
水平または垂直または双方の複合のディスパリティであっても、視覚される像へ追加するパララックスに対して大部分の責任がある。本質的に平坦な表面を有する物体のボリューム部分は、平坦で二次元と見られる像を形成する。見方(viewing perspective)が変化しても、これらの部分の見掛けは変化しない。しかし、物体のボリュームの自然では奥行き(depth)を有している部分は、直接に見たとき、見方が変わるとともに、見掛けを変える。即ち、もっと明確にいえば、それらの位置と外観とを変える。見方の変化は、像が重ねられたとき、完全には一致しない対応するエッジを像の上に作成する。あるいはまた、これらの像はこれらのエッジに、脳に対して奥行きと知覚されるコントラストを作成する。
図3は、図1および図2で使用される、概略50として示されている光学要素の別の実施形態を示している。この光学要素は、並列で平行の関係で配置されている一対の不透明のカード52と54とを含んでいる。カード52は、垂直に細長い長方形のスリット53を備え、一方、カード54は、水平に細長い長方形のスリット55を備えている。スリット53および55の交点において、矩形のレンズ・アパーチャ56が形成される。アクチュエータ58は、矢印58aで示すように、カード52を水平方向に往復運動させ、アクチュエータ60は、矢印60aで示すように、カード54を垂直方向に往復運動させる。これで示されるように、カードの相対運動により、アパーチャ56の走査運動が作成される。カードの往復運動の振幅、周波数および位相を調節することにより、図1と図2および図6(a)〜図6(f)に示す、および他の多数のリサージュのパララックス走査パターンが簡単に実現できる。レンズ・アパーチャ構成は、図1および図2では円形、図3では矩形であるが、他の形状、例えば、図5(a)に示すように楕円形、図5(b)に示すように8角形、図5(c)に示すように十字形等がある。図5は、レンズ・アパーチャが、ハード(固い)でシャープなエッジよりは、ソフトでほつれたエッジ(frayed edge)を有していることを示している。
レンズ・アパーチャ構成に関らず、光学要素28の不透明な材料に貫通して縁取りされていることが重要である。また、レンズ・アパーチャのパララックス走査パターンは、レンズ24の有効口径(effective aperture)の範囲内に留まっているべきである。これは、通常、レンズの直径の80%に対応している。このように、レンズ・アパーチャの大きさは、レンズのこの有効口径の大きさより相当小さくするべきである。そして、レンズ・アパーチャは、奥行きの知覚が得られるのに必要な十分に異なる見方(reviewing perspective)(ディスパリティ)のディスパリティの位置をとることができるようにする。このように、レンズ・アパーチャの大きさが増加すると、視野(field)の奥行き、ディスパリティおよび露光時間はすべて減少することが理解できる。反対に、レンズ・アパーチャを小さくすると、より大きい視野の奥行きが得られ、より大きいディスパリティが用意でき、より長い露光時間が必要である。
図1〜図3の実施形態は単一のパララックス走査アパーチャを利用しているが、複数のアパーチャを利用してもよい。図4に示すように、1対の光学要素70および72は、それぞれレンズ・アパーチャ71および73を形成している。光学要素70は、レンズ24の後に位置しており、そして、光学要素72は、レンズの前に位置している。光学要素70はアクチュエータ74により振動し、一方、光学要素72はアクチュエータ76により振動している。これらのアクチュエータはコントローラ78により制御され、アパーチャ71および73のパララックス走査動作を生じる。2つのレンズ・アパーチャの走査パターンは、同じまたは異なった構成でもよく、そして、同期していても、または、互いに独立でもよい。2つのパララックス走査アパーチャの使用は、物体26が像面24上に像を形成する際に、特別な効果および/または動きのアーティファクトのマスクのために使用することができる。
図7は、点線により示されているレンズ・マウント80により支持されているレンズ24、光学要素28およびアクチュエータ34を示している。レンズ・マウントに含まれているものとして、Fストップ調整器84があり、レンズ・アパーチャ30の大きさを、得られる光と所望の視野の奥行きにしたがって調節する。レンズ・マウントは、焦点調節器86により前後に(矢印85)動く。コントローラ88は、アクチュエータ34を制御してレンズ・アパーチャ30に対して所望のパララックス走査運動を供給し、Fストップ調整器84を制御して所望のレンズ・アパーチャを得、焦点調節器86を制御して視野中の所望の主題に焦点を合わせることができる。
図8に示されているように、光学要素は、概略90として示される液晶または強誘電体のパネル(空間光変調器)として実装することもできる。これらのパネルは、セル92のマトリクス配列を含み、セル92は、ドライバ90により個々にアドレスされて駆動され、1つ以上の透明のセル92aを、残りの不透明のセル92b中に作成することができる。透明のセル(単数または複数)92aは、このように、レンズ・アパーチャ96を構成し、図6(a)〜図6(f)に示されるものを含む様々なパララックス走査パターンにしたがって、ドライバ94により移動する。
ドライバ94は、98で示されているように、外部から手動または自動的に制御され、アパーチャのパララックス走査パターンの構成とともに、アパーチャ96の大きさや形を変えることができる。その上、92(c)で示されているように、ドライバ94は、アパーチャ96に追加して、1以上のパララックス走査または定在のレンズ・アパーチャを導入することができ、特殊の効果を作成し、または動きアーティファクトをマスクすることができる。また、セルを透明と不透明の状態の間で突然にスイッチするより、遷移(transition)は、徐々に、グレイ・スケールの程度を漸進的に変えて、効果を得ることができる。実際には、ドライバ94とコントローラ98は、適切にプログラムされたデジタル・コンピュータにより、実施することができる。
本発明の原理は、三次元イルージョンとして表示できる映像のコンピュータによる生成に適用することができる。図9は、含まれる基本的ステップを示している。ステップ100において、物体と物体の動きは三次元空間中に定義される。物体を含むシーンもまた三次元空間に、ステップ102で定義される。映像デバイスまたはカメラ、カメラ位置(視点)、イルミネーション(照明)、距離(range)等はステップ104で定義される。カメラの定義は、像面、レンズおよびレンズ・アパーチャのパラメータのシミュレーション、例えば大きさおよび形を含む。ステップ106で、映像は、レンズ・アパーチャの所望のパララックス走査パターンを、適切なレイ・トレーシング・アルゴリズムを使用して、シミュレートすることにより描画する。そして、描画した映像は、フレーム毎のベースでコンピュータ・メモリに格納する。格納された映像は、その後、メモリから取り出し、コンピュータ・モニタ上に表示され、TVスクリーン上に表示するためにビデオ・テープ上に記録され、および/または、スクリーン上に投影するためにフィルム上に記録される(ステップ110)。
前の記述から、レンズ・アパーチャのみがパララックス走査動作を行い、レンズ24は静止しており、そして、レンズ・アパーチャの視点は、常に、レンズの焦点が合った物体に収束されていることに注意されたい。このように、例えば、引用した米国出願番号08/115,101号に開示されているような、従来の単一カメラの自己立体視映像化装置とは違い、セパレートの収束(convergence)の調整は、本発明の装置では避けられている。すなわち、焦点の調整は、本来的に適切な収束の設定を確立する。これは、本発明の重要な特徴である。
図10(a)〜図10(c)は、本発明の重要な特徴をどのように使用して、利点を出すのかを示す概略図である。図10(a)、図10(b)および図10(c)において、物体A,BおよびCは、像面22に対して、近い距離(range)、中間の距離、遠い距離にある物体をそれぞれ表している。図10(a)に示されているように、レンズ24が遠い距離の物体Cに焦点が合っているとき、像面22に現れているこの物体の像は、アパーチャ30のパララックス走査動作の間、静止している。しかしながら、アパーチャ30が、例えば、光軸25の上の垂直ディスパリティの位置へと上方へ移動するとき、像面22上に現れる物体AおよびBの像は、点線120で示されるように、物体Cの静止している像に対して下方へ移動する。逆に、アパーチャ30が、光軸25の下の垂直ディスパリティの位置へと下方へ移動するとき、像面22上に現れる物体AおよびBの像は、点線122で示されるように、物体Cの静止している像に対して上方へ移動する。
レンズ24が物体Bに焦点が合っているとき、図10(b)に示すように、この物体は、アパーチャ30のパララックス走査動作の間、静止している。光軸25の垂直ディスパリティ位置からアパーチャが上方に走査すると、像面22上に現れる物体Aの像は、点線123で示されるように、物体Bの静止している像に対して下方へ移動する。一方、像面22上に現れる物体Cの像は、点線124で示されるように、物体Bの静止している像に対して上方へ移動する。光軸25の垂直ディスパリティ位置からアパーチャが下方に走査すると、逆の条件が得られる。即ち、物体Bの静止している像に対して、物体Aの像は上方へ移動し(点線125)、物体Cの像は下方へ移動する(点線126)。
レンズ24が近い距離にある物体Aに焦点が合っているとき、光軸25の垂直パララックス位置からアパーチャ30が上方に走査するとき、物体BおよびCの像は、点線127で示されるように、静止している物体Aの像に対して上方へ移動する。逆に、光軸25の垂直ディスパリティ位置からレンズ・アパーチャが下方に走査すると、物体BおよびCの像は、点線128で示されるように、静止している物体Aの像に対して下方へ移動する。
レンズ・アパーチャ30のパララックス走査動作中に見られるレンズの視野中の物体の像の相対的移動の現象は、その利点を距離測定のアプリケーションに利用することができる。図10(c)を考慮すると、アパーチャ30が最大垂直ディスパリティ(光軸25からの最大オフセット)の位置の間を走査して、レンズ24の焦点が合っている物体Aの静止している像に関して、物体Bの像の動きが最小になるようにすると仮定する。物体Aと、像面22のようなカメラの参照点との距離が既知であるとき、物体Aと物体Bとの距離は、物体Aの像に対する物体Bの動きの大きさ、または、129で示されているように、物体Bの像の動きのピーク・ツー・ピークの大きさから定めることができる。このような定め方は、光軸25の上方および下方の両端のディスパリティ点の記録された像を用いて、三角測量法(triangulation)によりコンピュータで正確に計算される。あるいはまた、垂直ディスパリティ点の両端間のアパーチャ走査動作により作成される物体Bの像の計測された振幅129は、ルックアップ・テーブルにアクセスするために使用され、物体Aと物体Bの間の距離が定められる。像面22からの物体A、BおよびCの距離のより正確な近似は、これらの像の1つに、この物体が像面22上に静止するようになるまで、レンズ24の焦点を調節することにより得られることが理解できるであろう。物体の距離は、物体の像を表示するビデオ・スクリーン上に観察できる物体の像の全ての動きが完全に静止する焦点設定から定めることができる。
図11は、本発明を、概略的に132として示されているロボットのアームにマウントしている、距離測定のビデオ・カメラ130への応用を示している。参照位置にあるロボットのアーム上に位置しているビデオ・カメラは、静止している参照の物体134と、ロボットのアームのハンド133により掴まれようとしている目的の物体136とを含むシーンを見るように方向付けられている。参照位置にあるビデオ・カメラ130と、参照物体134との間の距離は既知である。カメラ・レンズは、参照の物体134に焦点を合わせるとき、参照および目的の像は、レンズ・アパーチャがパララックス走査動作を行っているときに、記録される。記録された像は、コンピュータ138により分析され、カメラに対する目的の物体の距離を、静止している参照の像に対する目的の像の動きの大きさと、カメラと参照の像との間の既知の距離とを基にして定める。目的の物体の距離を知っているので、コンピュータは、ロボットのアーム132の動きを制御し、ハンド133を素早く目的の物体136に対する掴みの関係に入ることが容易にできる。ビデオ・カメラ130は、ロボットのアームにマウントされるよりは、参照の物体134からの既知の距離にある固定された参照位置に配置してもよいことを理解すべきである。
本発明により、距離を定めるのに十分なパララックス情報は、単一の映像化装置、例えば、ビデオ・カメラを使用して得ることができる。これは、2台のビデオ・カメラまたはパララックス・ミラーとプリズムの組を使用する、従来のやりかたに対して明確な利点である。
本発明の他のアプリケーションは、図12に示してあり、動くレンズ・アパーチャ30を利用して、例えばフィルムまたはビデオ・カメラの映像化装置140の正しくない動きを補償して、カメラの像面22上に焦点を結んだ物体26の像を安定化する。本発明のこのアプリケーションを実装するために、カメラ140は、加速度計のような慣性センサ(inertial sensor)142を装備している。このセンサはカメラの動きを示す信号をコントローラ144に送り、コントローラ144はカメラの動きの信号を、光学要素28を駆動するように結合されているアクチュエータ34の駆動信号に変換する。
物体26を映像化している間に、カメラ140が正しくない上方への動きを経験する場合、センサ142は、コントローラ144を介して、アクチュエータ34に信号を送り、光学要素28、そして、レンズ・アパーチャ30を下方に動かす。カメラの下方への動きは、レンズ・アパーチャの上方への動きを導き出す。レンズ・アパーチャを正しくないカメラの動きの方向とは逆に動かすことにより、レンズ24によりカメラ像面上に焦点を結んでいる物体26の像は、このようなカメラの動きに対抗して安定化することができる。本発明によるレンズ・アパーチャの補償の動きによる像の安定化は、現在のカメラ全体のジャイロ安定化や、カメラの動きを補償するミラーおよび/またはプリズムの動きの使用に比較して、費用がかからず実装することができ、このようにして、カメラ像面上に現れる物体の像を安定することができる。
図10(a)〜図10(c)中の物体A,BおよびCのような、映像化するシーン中の物体の動きは、自動的にレンズ・アパーチャの動きを制御することに使用することもできる。図13に示されるように、ビデオまたはフィルムのカメラのようなカメラ150は、物体A、BおよびCを含むシーン150を見るように狙いを定めている。カメラ・レンズ24は、これらの物体の1つの像に対して像面22上に焦点を合わせる。シーンの像は、フレームごとに映像フレーム・バッファ154に格納される。コンピュータ156は連続する格納された映像フレームを、映像フレームの1つから他の映像フレームの差をとるなどして比較し、焦点の合った物体の静止した像に対して他の物体の像の動きの特性を定量化する。定量化された動きの特性は、コントローラ158により使用されて、アクチュエータ34により作り出される、光学要素28中のレンズ・アパーチャ30のパララックス走査動作を調整するように制御する。このようにして、所望の三次元効果が、像面22上に現れる物体の像の動きを定常的に監視して、像の相対的動きの大きさにしたがって、レンズ・アパーチャの走査動作の振幅(レンズの光軸からのディスパリティ位置のオフセット)と周波数を調整して、自動的に得ることができる。
本発明は、物体の像が3から6Hzの速度で記録されているときに、レンズ・アパーチャをパララックス走査動作で動かしているコンテキストで説明されているが、表示される像または物体の距離の実効的奥行きの知覚は、レンズ光軸からの異なるディスパリティ位置のオフセットに交互にレンズ・アパーチャを作成する光学要素を提供することにより、得ることができる。このように、異なるディスパリティ位置によりパララックス走査動作で単一のアパーチャを動かすよりも、等価的なパララックス走査動作は、一時的なレンズ・アパーチャを、レンズ光軸から垂直、水平、垂直および/または水平の両方のオフセットの様々なディスパリティ位置に作成することができる、一つの光学要素または複数の光学要素の組み合わせを利用して、達成することができる。このアプローチを使用することにより、1つの光学要素または複数の光学要素は、レンズ・アパーチャとともに、カメラのシャッタとして機能することができる。図8の光学要素には、特にこのアプローチで本発明を実施するのに適している。
本発明の思想と範囲から離れることなく、本発明の自己立体視映像化装置に対して様々な修正や変化が可能であることは、この分野の当業者にとっては明らかであろう。このように、本発明は、この発明の修正や変化が本発明の請求の範囲や均等の範囲にある場合、これらを含むように意図している。
Claims (33)
- 像面と、
光軸を有するレンズであって、前記像面上に三次元物体の像の焦点を合わせる前記レンズと、
レンズ・アパーチャを規定する光学要素であって、前記レンズ・アパーチャを通過した光から前記物体の像を作成する前記レンズに隣接して位置する前記光学要素と、
前記光学要素と結合して動かすアクチュエータであって、前記レンズの前記光軸に対して前記レンズ・アパーチャのパララックス走査動作を実行し、前記像面上の前記物体の像の連続記録を記録し、前記像の記録は、3Hzから6Hzの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成するためのアクチュエータと
を備え、
前記アパーチャの前記走査動作は、前記レンズの前記光軸を横切るXおよびY軸の動き、および前記光軸に平行なZ成分の動きを含んでいることを特徴とする自己立体視映像化装置。 - 前記光学要素は、前記レンズと前記像面との間に置かれている請求項1記載の自己立体視映像化装置。
- 前記光学要素は、前記物体と前記レンズとの間に置かれている請求項1記載の自己立体視映像化装置。
- 前記光学要素は、前記レンズのアイリスの位置に置かれている請求項1記載の自己立体視映像化装置。
- 前記アパーチャの前記走査動作は、前記レンズの前記光軸を横切る平面内である請求項1記載の自己立体視映像化装置。
- 前記光学要素は不透明のシートであり、前記アパーチャはスルーホールである請求項5記載の自己立体視映像化装置。
- 前記ホールは、ハードなエッジを有する請求項6記載の自己立体視映像化装置。
- 前記ホールは、ソフトなエッジを有する請求項6記載の自己立体視映像化装置。
- 前記ホールは円形、楕円形、多角形および不規則な形の構成の一つを有する請求項6記載の自己立体視映像化装置。
- 前記アパーチャの前記走査動作は、前記レンズの前記光軸に関して対称である請求項5記載の自己立体視映像化装置。
- 前記アパーチャの前記走査動作は、円形、楕円形、8の字形状、および多角形の走査パターンの一つをトレースする請求項5記載の自己立体視映像化装置。
- 前記アパーチャの前記走査動作は、リサージュの走査パターンをトレースする請求項5記載の自己立体視映像化装置。
- さらに、前記アパーチャの開口サイズを調整する手段を含む請求項1記載の自己立体視映像化装置。
- さらに、前記アパーチャの前記走査動作によりトレースされるパターンを変える手段を含む請求項1記載の自己立体視映像化装置。
- 前記光学要素は、第1のアパーチャを構成する第1の光学要素であり、前記アクチュエータは第1のアクチュエータであり、前記第1の光学要素は前記レンズの後に置かれており、
第2のアパーチャを構成する第2の光学要素であって、前記レンズの前でかつ隣りに置かれている第2の光学要素と、
前記第2の光学要素を動かすように結合されている第2のアクチュエータであって、前記レンズの前記光軸に関して前記第2のアパーチャの走査動作を作成する第2のアクチュエータと
を含む請求項1記載の自己立体視映像化装置。 - 前記光学要素は、
第1の方向に伸びた第1のスルースリットを有する第1の不透明のシートと、
概略的に前記第1の方向に直角である第2の方向に伸びた第2のスルースリットを有する第2の不透明のシートと
を含み、前記第1のシートおよび前記第2のシートは、平行に並列の関係で配置されて、前記第1と第2のスリットの交点が前記光学要素の前記アパーチャを規定しており、前記アクチュエータは、
前記第1のシートを前記第2の方向に往復運動をさせるように結合している第1のアクチュエータと、
前記第2のシートを前記第1の方向に往復運動をさせるように結合している第2のアクチュエータと
を含み、これにより前記アパーチャの走査動作を実行する請求項1記載の自己立体視映像化装置。 - 前記第1と第2のアクチュエータを制御して、前記第1と第2のシートの相対的な位相、周波数および往復運動のストロークの少なくても1つを調整するコントローラを含み、これにより、アパーチャのパララックス走査運動によりトレースされるパターンを変化させる請求項16記載の自己立体視映像化装置。
- 像面と、
光軸を有するレンズであって、前記像面上に三次元物体の像の焦点を合わせる前記レンズと、
前記レンズに隣接する光学要素と、
焦点の合った物体の像の記録が取られている間、前記レンズの前記光軸からのオフセットで少なくても2つのディスパリティ位置に置かれているレンズ・アパーチャを構成するように、前記光学要素と結合して動かすアクチュエータと、
前記レンズ・アパーチャの開口サイズを調整する手段と
を備え、これにより、物体の異なるパララックス視野を有する前記像面上の像の記録を提供し、前記像の記録は、3Hzから6Hzの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成する自己立体視映像化装置。 - 前記アクチュエータは、前記光学要素を活性化して、前記レンズ・アパーチャを、ディスパリティ位置を通るパララックス走査動作で動かす請求項18記載の自己立体視映像化装置。
- さらに、前記レンズ・アパーチャの前記走査動作によりトレースされるパターンを変化させる手段を含む請求項18記載の自己立体視映像化装置。
- 前記アクチュエータは、複数のレンズ・アパーチャを同時に構成するように条件付けされている請求項18記載の自己立体視映像化装置。
- 前記光学要素はセルの平面状配列で構成され、電気的に前記光学要素を活性化して、前記セルを透明と不透明との状態の間に選択的にスイッチし、前記透明な状態にある前記セルは、前記レンズ・アパーチャを構成する請求項18記載の自己立体視映像化装置。
- さらに、前記アクチュエータを制御して、多数の前記セルを透明な状態に活性化して、前記レンズ・アパーチャの開口サイズを変化させる手段を含む請求項22記載の自己立体視映像化装置。
- さらに、前記アクチュエータを制御して、前記セルを透明な状態と不透明な状態との間に連続的に活性化して、前記レンズ・アパーチャのディスパリティ位置を通るパララックス走査動作を実行する手段を含む請求項22記載の自己立体視映像化装置。
- 映像化されるシーンに向けられた光軸を有する映像化レンズを提供するステップと、
レンズ・アパーチャを規定するステップと、
前記レンズの前記光軸からのオフセットの様々なディスパリティ位置を通るパララックス走査動作で、レンズと相対的にレンズ・アパーチャを動かすステップと、
複数の前記ディスパリティ位置から前記レンズ・アパーチャを介して見たシーンの時間空間上の像の連続を生成するステップと、
時間空間上の像を記録し、前記像は、3Hzから6Hzの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成するステップと、
前記アパーチャの開口サイズを調整するステップと
を含む自己立体視映像化方法。 - 前記動かすステップは、前記レンズ・アパーチャの調整可能なパララックス走査動作を実行する請求項25記載の自己立体視映像化方法。
- さらに、前記レンズ手段および前記アパーチャを具備するカメラを備えるステップと、
前記カメラと目的物体との間の既知の距離に位置する参照物体を含むシーンに前記カメラを向けるステップと、
前記レンズ手段を前記参照物体に焦点を合わせるステップと、
記録された参照物体の像に対する前記記録された目的物体の像の動きを定量化し、前記参照物体と目的物体の間の距離を定めるステップと
を含む請求項25記載の自己立体視映像化方法。 - さらに、前記カメラをロボット装置の一部の上に乗せるステップと
ロボット装置の一部の動きを制御して、前記参照物体と前記目的物体の間の予め定めた距離を基にした前記目的物体に対する操作位置にするステップ
を含む請求項27記載の自己立体視映像化方法。 - さらに、前記レンズ手段およびアパーチャを具備するカメラを備えるステップと、
複数の物体を含むシーンにカメラを向けるステップと、
記録した時間空間上のシーンの像から、前記物体の像の相対的動きを検出するステップと、
前記検出した目的物体の相対的動きに従って、レンズ・アパーチャが通って動くディスパリティ位置の光軸オフセットを調整して、前記動かすステップを制御するステップと
を含む請求項25記載の自己立体視映像化方法。 - 像面を備えるステップと、
光軸を有するレンズを備えるステップと、
前記光軸を物体に向けるステップと、
前記光軸からのオフセットのディスパリティ位置の連続にレンズ・アパーチャを作成するステップと、
前記像面上に現れる前記物体の像を観察するステップと、
前記像面上に現れる前記物体の像の動きを消去するように焦点設定を調整するステップと
を備える自己立体視映像化方法。 - さらに、前記焦点設定から物体の距離を定めるステップを含む請求項30記載の自己立体視映像化方法。
- 像面と、
前記像面上に三次元物体の像の焦点を合わせるレンズであって、光軸を有する前記レンズと、
アパーチャを規定する光学要素であって、前記アパーチャを通過した光から像面上に記録されるシーンの像を作成する前記レンズに隣接して位置する前記光学要素と、
前記光学要素と結合したアクチュエータであって、前記光軸を横断する方向に前記アパーチャのパララックス走査動作を作成し、前記像面上に記録された前記像は、3Hzから6Hzの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成するためのアクチュエータと、
前記アパーチャに制御された動作を実行するために、前記アクチュエータを選択的に活性化するように結合した手段と、
前記結合した手段は、前記アクチュエータを選択的に活性化して、前記アパーチャのパララックス走査動作を実行し、
前記結合した手段は、カメラにマウントされている動きセンサであって、該動きセンサは、前記アクチュエータを活性化して正しくないカメラの動きの方向と逆の方向にアパーチャの動きを実行して、これにより、前記像面上に現れる前記シーンの像を安定化する
ことを特徴とするシーンのビデオ像を記録するカメラ。 - コンピュータ・シミュレーションを使用する自己立体視映像化方法において、
映像化する物体を規定するステップと、
前記物体を含むシーンを規定するステップと、
像面、レンズおよびレンズ・アパーチャのパラメータを定義してカメラをシミュレートするステップと、
レイ・トレーシング・アルゴリズムを使用して、前記レンズ・アパーチャの所望のパララックス走査パターン動作をシミュレトすることにより前記物体の像を描画するステップで、前記像は、3Hzから6Hzの連続レートの表示サイクルで連続的に表示されるとき、二次元ディスプレイ上に前記物体の自己立体視像を作成し、
前記描画した像を格納するステップと
を備える自己立体視映像化方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/148,916 | 1993-11-05 | ||
US08/148,916 US5448322A (en) | 1993-11-05 | 1993-11-05 | Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture |
PCT/US1994/012243 WO1995012954A1 (en) | 1993-11-05 | 1994-10-26 | Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11514502A JPH11514502A (ja) | 1999-12-07 |
JP3824170B2 true JP3824170B2 (ja) | 2006-09-20 |
Family
ID=22528014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP51327295A Expired - Lifetime JP3824170B2 (ja) | 1993-11-05 | 1994-10-26 | パララックス走査レンズ・アパーチャを用いた自己立体視映像化装置および方法 |
Country Status (7)
Country | Link |
---|---|
US (6) | US5448322A (ja) |
EP (2) | EP0727127B1 (ja) |
JP (1) | JP3824170B2 (ja) |
AU (1) | AU8090494A (ja) |
CA (1) | CA2175344C (ja) |
DE (2) | DE69433842T2 (ja) |
WO (1) | WO1995012954A1 (ja) |
Families Citing this family (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69428611T2 (de) * | 1993-05-05 | 2002-08-08 | Pierre Allio | Autostereoskopische Anzeigevorrichtung |
KR100358422B1 (ko) | 1993-09-14 | 2003-01-24 | 가부시키가이샤 니콘 | 플래인위치결정장치,주사형노광장치,주사노광방법및소자제조방법 |
TW225010B (en) * | 1993-10-21 | 1994-06-11 | Image Techology Internat Inc | A non-scanning 3D photographic printer with a partitioned aperture |
DE69424741T2 (de) * | 1993-10-26 | 2000-11-30 | Matsushita Electric Ind Co Ltd | Vorrichtung zur dreidimensionalen Bildanzeige |
US5488451A (en) * | 1994-05-03 | 1996-01-30 | National Graphics, Inc. | Method of producing multidimensional lithographic separations free of moire interference |
TW262541B (ja) * | 1994-05-09 | 1995-11-11 | Image Technology Internat Inc | |
JP3753201B2 (ja) * | 1996-07-22 | 2006-03-08 | 富士写真フイルム株式会社 | 視差画像入力装置 |
US5825043A (en) | 1996-10-07 | 1998-10-20 | Nikon Precision Inc. | Focusing and tilting adjustment system for lithography aligner, manufacturing apparatus or inspection apparatus |
FR2755519A1 (fr) * | 1996-11-07 | 1998-05-07 | Guigan Franck Andre Marie | Ecran statique pour images animees |
GB9623682D0 (en) * | 1996-11-14 | 1997-01-08 | Philips Electronics Nv | Autostereoscopic display apparatus |
KR100220888B1 (ko) * | 1997-01-18 | 1999-09-15 | 박호군 | 이동 개구를 이용한 다시야 3차원 영상 구현 방법 및 시스템 |
US5802410A (en) * | 1997-02-18 | 1998-09-01 | Wah Lo; Allen Kwok | Method and apparatus for producing composite images with a masked imaging device |
US6455214B1 (en) | 1997-03-24 | 2002-09-24 | Nikon Corporation | Scanning exposure method detecting focus during relative movement between energy beam and substrate |
US5883695A (en) * | 1997-09-19 | 1999-03-16 | Paul; Eddie | Method and apparatus for producing stereoscopic images with single sensor |
US20030133007A1 (en) * | 1997-10-21 | 2003-07-17 | Katsumi Iijima | Image pickup apparatus |
US6094215A (en) * | 1998-01-06 | 2000-07-25 | Intel Corporation | Method of determining relative camera orientation position to create 3-D visual images |
DE19814951C2 (de) * | 1998-04-03 | 2000-08-31 | Zeiss Optronik Gmbh | Vorrichtung und Verfahren zur digitalen Bildstabilisierung |
US6128071A (en) * | 1998-06-04 | 2000-10-03 | Canon Kabushiki Kaisha | Range data recordation |
JP2000059669A (ja) * | 1998-08-07 | 2000-02-25 | Canon Inc | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
US6320979B1 (en) | 1998-10-06 | 2001-11-20 | Canon Kabushiki Kaisha | Depth of field enhancement |
WO2001060076A1 (en) * | 1998-11-04 | 2001-08-16 | Forte Visio Medica Ab | Design, function, and utilisation of an equipment for capturing of three-dimensional images |
JP2001101415A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 画像認識装置および画像処理装置 |
US6490092B1 (en) | 2000-03-27 | 2002-12-03 | National Graphics, Inc. | Multidimensional imaging on a curved surface using lenticular lenses |
TW527518B (en) * | 2000-07-14 | 2003-04-11 | Massachusetts Inst Technology | Method and system for high resolution, ultra fast, 3-D imaging |
ATE313218T1 (de) | 2000-08-25 | 2005-12-15 | Fuji Photo Film Co Ltd | Vorrichtung zur parallaxbildaufnahme und parallaxbildverarbeitung |
US7173662B1 (en) * | 2001-04-30 | 2007-02-06 | Massachusetts Institute Of Technology | Foveating imaging system and method employing a spatial light modulator to selectively modulate an input image |
CA2453056A1 (en) * | 2001-07-06 | 2003-01-16 | Vision Iii Imaging, Inc. | Image segmentation by means of temporal parallax difference induction |
US7106377B2 (en) * | 2001-07-25 | 2006-09-12 | Hewlett-Packard Development Company, L.P. | Image capturing device capable of single pixel exposure duration control |
US20030020958A1 (en) * | 2001-07-30 | 2003-01-30 | Bean Heather Noel | Non-polarizing shutter/CCD module |
US6956612B2 (en) * | 2001-07-31 | 2005-10-18 | Hewlett-Packard Development Company, L.P. | User selectable focus regions in an image capturing device |
US8081206B2 (en) | 2002-11-21 | 2011-12-20 | Vision Iii Imaging, Inc. | Critical alignment of parallax images for autostereoscopic display |
US7463257B2 (en) * | 2002-11-27 | 2008-12-09 | Vision Iii Imaging, Inc. | Parallax scanning through scene object position manipulation |
US9642685B2 (en) * | 2003-07-17 | 2017-05-09 | Pentron Clinical Technologies, Llc | Digital technologies for planning and carrying out dental restorative procedures |
US20050176812A1 (en) * | 2003-11-06 | 2005-08-11 | Pamela Cohen | Method of treating cancer |
US20050197981A1 (en) * | 2004-01-20 | 2005-09-08 | Bingham Clifton W. | Method for identifying unanticipated changes in multi-dimensional data sets |
US20050219693A1 (en) * | 2004-04-02 | 2005-10-06 | David Hartkop | Scanning aperture three dimensional display device |
US7832949B2 (en) * | 2004-04-09 | 2010-11-16 | Vision Iii Imaging, Inc. | Optical element parallax scanning device |
GB0410551D0 (en) * | 2004-05-12 | 2004-06-16 | Ller Christian M | 3d autostereoscopic display |
US20050254817A1 (en) * | 2004-05-13 | 2005-11-17 | Mckee William J | Autostereoscopic electronic camera |
US20050285948A1 (en) * | 2004-06-22 | 2005-12-29 | Harvey Weinberg | System and method for processing a digital camera image |
JP4764624B2 (ja) * | 2004-12-07 | 2011-09-07 | 株式会社 日立ディスプレイズ | 立体視表示装置及び立体視用画像生成方法 |
ATE426218T1 (de) * | 2005-01-12 | 2009-04-15 | Koninkl Philips Electronics Nv | Tiefenwahrnehmung |
US20060204232A1 (en) * | 2005-02-01 | 2006-09-14 | Harvey Weinberg | Camera with acceleration sensor |
GB2439230B8 (en) * | 2005-03-08 | 2013-10-30 | Rafael Armament Dev Authority | System and method for field-of-view switching for optical surveillance |
JP4306680B2 (ja) * | 2005-12-28 | 2009-08-05 | ソニー株式会社 | スピーカ装置及び映像表示装置 |
US7728906B2 (en) * | 2006-01-04 | 2010-06-01 | Apple Inc. | Embedded camera with privacy filter |
US7372642B2 (en) * | 2006-02-13 | 2008-05-13 | 3M Innovative Properties Company | Three-channel camera systems with non-collinear apertures |
EP2762972B1 (en) * | 2006-02-13 | 2020-04-08 | Midmark Corporation | Monocular three-dimensional imaging |
US7819591B2 (en) * | 2006-02-13 | 2010-10-26 | 3M Innovative Properties Company | Monocular three-dimensional imaging |
US7646550B2 (en) * | 2006-02-13 | 2010-01-12 | 3M Innovative Properties Company | Three-channel camera systems with collinear apertures |
EP2014101B1 (en) | 2006-04-19 | 2016-02-24 | Setred AS | Bandwidth improvement for 3d display |
US20090167843A1 (en) * | 2006-06-08 | 2009-07-02 | Izzat Hekmat Izzat | Two pass approach to three dimensional Reconstruction |
US7639934B2 (en) * | 2006-06-28 | 2009-12-29 | Hewlett-Packard Development Company, L.P. | Image stabilizing in cameras |
WO2008020449A2 (en) * | 2006-08-16 | 2008-02-21 | Xceed Imaging Ltd. | Method and system for imaging with a zoom |
TW200823595A (en) * | 2006-11-28 | 2008-06-01 | Univ Nat Taiwan | Image capture device using programmable aperture |
TW200825622A (en) * | 2006-12-06 | 2008-06-16 | Altek Corp | Optical image taking structure |
US7643063B2 (en) * | 2006-12-29 | 2010-01-05 | The Boeing Company | Dual loop stabilization of video camera images |
GB0716776D0 (en) * | 2007-08-29 | 2007-10-10 | Setred As | Rendering improvement for 3D display |
US8035641B1 (en) | 2007-11-28 | 2011-10-11 | Adobe Systems Incorporated | Fast depth of field simulation |
WO2009127910A1 (en) * | 2008-04-18 | 2009-10-22 | Rajakaruna Wijemuni Gunawardan | Realistic parallax visual system |
US20110001804A1 (en) * | 2008-05-06 | 2011-01-06 | Microvision, Inc. | Apparatus for Displaying 3D Images |
WO2010019926A1 (en) * | 2008-08-14 | 2010-02-18 | Real D | Stereoscopic depth mapping |
US9251621B2 (en) * | 2008-08-14 | 2016-02-02 | Reald Inc. | Point reposition depth mapping |
WO2010040146A1 (en) * | 2008-10-03 | 2010-04-08 | Real D | Optimal depth mapping |
WO2010085549A1 (en) | 2009-01-21 | 2010-07-29 | Vision Iii Imaging, Inc. | System and method for three-dimensional visualization of geographical data |
US8279267B2 (en) * | 2009-03-09 | 2012-10-02 | Mediatek Inc. | Apparatus and method for capturing images of a scene |
WO2010111191A1 (en) * | 2009-03-21 | 2010-09-30 | Reald Inc | Point reposition depth mapping |
US8368696B2 (en) * | 2009-06-19 | 2013-02-05 | Sharp Laboratories Of America, Inc. | Temporal parallax induced display |
US8436893B2 (en) | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US8508580B2 (en) | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US8497934B2 (en) * | 2009-11-25 | 2013-07-30 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
US9438886B2 (en) | 2010-04-07 | 2016-09-06 | Vision Iii Imaging, Inc. | Parallax scanning methods for stereoscopic three-dimensional imaging |
KR101692397B1 (ko) * | 2010-05-28 | 2017-01-03 | 삼성전자주식회사 | 광량 조절장치, 촬영장치 및 촬영방법 |
US8704879B1 (en) | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
WO2012061549A2 (en) | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US8593565B2 (en) | 2011-03-25 | 2013-11-26 | Gary S. Shuster | Simulated large aperture lens |
US8867015B2 (en) | 2012-01-11 | 2014-10-21 | Apple Inc. | Displays with liquid crystal shutters |
GB2516405B (en) | 2012-04-27 | 2016-06-15 | Adobe Systems Inc | Automatic adjustment of images |
US9535307B2 (en) * | 2012-07-12 | 2017-01-03 | Sony Corporation | Light shielding device, light shielding method, and program |
DE102012218863A1 (de) * | 2012-10-16 | 2014-04-17 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Stereoskopisches Abbildungssystem |
CN103197430B (zh) * | 2013-04-16 | 2015-07-29 | 昆山同日精密测试设备有限公司 | 一种全数字通用同步器 |
CN104424662B (zh) | 2013-08-23 | 2017-07-28 | 三纬国际立体列印科技股份有限公司 | 立体扫描装置 |
US9952426B2 (en) * | 2015-05-28 | 2018-04-24 | Seefront Gmbh | Autostereoscopic system |
US10502830B2 (en) | 2016-10-13 | 2019-12-10 | Waymo Llc | Limitation of noise on light detectors using an aperture |
US10094916B1 (en) | 2017-06-09 | 2018-10-09 | Waymo Llc | LIDAR optics alignment systems and methods |
US11561284B2 (en) | 2018-11-02 | 2023-01-24 | Waymo Llc | Parallax compensating spatial filters |
CN111445786B (zh) * | 2019-01-16 | 2022-06-03 | 北京小米移动软件有限公司 | 电子设备及屏幕模组 |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1351508A (en) * | 1917-11-27 | 1920-08-31 | Raymond A Duhem | Method of producing stereoscopic effects in motion-pictures |
US1580242A (en) * | 1921-03-12 | 1926-04-13 | Girsdansky Maximillian | Stereoscopic cinematographic apparatus |
GB259341A (en) * | 1925-08-07 | 1926-10-14 | Archibald Stannard Cubitt | Obtaining stereoscopic effect in photography |
US2002090A (en) * | 1930-12-20 | 1935-05-21 | Perser Corp | Making parallax panoramagrams |
US1950473A (en) * | 1931-10-30 | 1934-03-13 | Brand Hans Bartolo | Apparatus for producing films which, on being exhibited, show stereoscopic cinematographic pictures |
US2104779A (en) * | 1932-05-23 | 1938-01-11 | Terwilliger Ivan Melville | Method of cinematography to produce stereoscopic solid effects |
US2056600A (en) * | 1932-12-21 | 1936-10-06 | Frank B Crosier | Process and apparatus for producing stereopticon motion pictures |
US2101979A (en) * | 1933-02-06 | 1937-12-14 | Norman H Brock | Stereoscopic photography |
FR794608A (fr) * | 1934-09-05 | 1936-02-21 | Perfectionnements apportés aux appareils stéréophotographiques | |
US2161120A (en) * | 1934-12-13 | 1939-06-06 | William F Alder | Electrical apparatus for changing the length of and displacement of the optical axis in cinematography |
US2157099A (en) * | 1935-06-01 | 1939-05-09 | Armand E Lackenbach | Optical system for stereoscopic motion picture production and projection |
US2158660A (en) * | 1936-06-15 | 1939-05-16 | Clarence W Kanolt | Stereoscopic photography |
US2146135A (en) * | 1936-08-03 | 1939-02-07 | Harold A Adams | Apparatus for producing stereoscopic effects in motion pictures |
US2356441A (en) * | 1943-01-12 | 1944-08-22 | Everett H Bickley | Apparatus for producing third dimensional motion pictures |
US2792745A (en) * | 1951-01-12 | 1957-05-21 | Weber Frank Anton | Camera for taking stereoscopic images without abnormal stereoscopic effect |
US2931268A (en) * | 1953-06-02 | 1960-04-05 | Joseph Gelb Company | Apparatus for orienting photographic images |
US2933008A (en) * | 1955-01-24 | 1960-04-19 | Photographic Analysis Inc | Apparatus for contour plotting |
FR1126066A (fr) * | 1955-06-09 | 1956-11-14 | Appareil destiné aux prises de vues et projections donnant une profondeur de champ ainsi qu'un relief | |
US3503316A (en) * | 1965-11-09 | 1970-03-31 | Toppan Printing Co Ltd | Apparatus for producing stereoscopic pictures |
US3608457A (en) * | 1969-07-10 | 1971-09-28 | Commercial Decal Inc | Photographic apparatus |
US3800307A (en) * | 1972-04-06 | 1974-03-26 | R Wechsler | Three dimensional autostereoscopic production of selector screen images formed of perspectives taken from discrete points of view |
US3815979A (en) * | 1973-05-17 | 1974-06-11 | R Collender | Unaided three dimensional aiming point photography and reproduction method and apparatus |
US4006291A (en) * | 1974-02-22 | 1977-02-01 | Imsand Donald J | Three dimensional television system |
US3950097A (en) * | 1975-02-18 | 1976-04-13 | Iowa State University Research Foundation, Inc. | Method and apparatus for contour mapping and orthophoto mapping |
JPS51142212A (en) * | 1975-06-02 | 1976-12-07 | Hokkaido Daigaku | Tridimensional television system |
US4124291A (en) * | 1976-12-03 | 1978-11-07 | Dimensional Development Corp. | Control of depth of field in three dimensional photography |
US4303316A (en) * | 1978-10-19 | 1981-12-01 | Mcelveen Robert H | Process for recording visual scenes for reproduction in stereopsis |
US4231642A (en) * | 1979-08-01 | 1980-11-04 | Collender Robert B | Stereoscopic motion picture-circular to linear scan translator-method and apparatus |
US4420230A (en) * | 1979-08-27 | 1983-12-13 | Mcelveen Robert H | Production of three dimensional motion pictures |
US4290083A (en) * | 1979-12-28 | 1981-09-15 | Collender Robert B | Stereoscopic television (unaided) on standard bandwidth-method and apparatus |
US4367486A (en) * | 1980-03-18 | 1983-01-04 | Jesse B. Eichenlaub | Three dimensional imaging system |
JPS5737993A (en) * | 1980-08-14 | 1982-03-02 | Toshiba Corp | Stereoscopic television system |
US4429328A (en) * | 1981-07-16 | 1984-01-31 | Cjm Associates | Three-dimensional display methods using vertically aligned points of origin |
DE3135180A1 (de) * | 1981-09-05 | 1983-04-14 | Ernst Leitz Wetzlar Gmbh, 6330 Wetzlar | Einrichtung zum linearen fuehren eines abtasters |
US4436369A (en) * | 1981-09-08 | 1984-03-13 | Optimax Iii, Inc. | Stereoscopic lens system |
US4528587A (en) * | 1982-10-28 | 1985-07-09 | Cjm Associates | Three-dimensional video apparatus and methods using composite and mixed images |
US4740073A (en) * | 1982-12-27 | 1988-04-26 | Meacham G B Kirby | System for projecting three-dimensional images |
GB2135470B (en) * | 1983-02-21 | 1986-09-17 | Zoran Perisic | 3-d photography |
US4568160A (en) * | 1983-06-03 | 1986-02-04 | Mgs Incorporated | Process and apparatus for 3-dimensional moving pictures |
US4714319A (en) * | 1983-09-30 | 1987-12-22 | Zeevi Yehoshua Y | Apparatus for relief illusion |
GB8326387D0 (en) * | 1983-10-03 | 1983-11-02 | Brightad Ltd | Production of autostereoscopic images |
US5025400A (en) * | 1985-06-19 | 1991-06-18 | Pixar | Pseudo-random point sampling techniques in computer graphics |
JPS6238695A (ja) * | 1985-08-13 | 1987-02-19 | Matsushita Electric Ind Co Ltd | 立体表示システム |
US4815819A (en) * | 1987-04-30 | 1989-03-28 | Christopher A. Mayhew | Method for obtaining images for use in displaying a three-dimensional illusion and related image recording medium |
US4966436A (en) * | 1987-04-30 | 1990-10-30 | Christopher A. Mayhew | Apparatus for obtaining images for use in displaying a three-dimensional |
US5081530A (en) * | 1987-06-26 | 1992-01-14 | Antonio Medina | Three dimensional camera and range finder |
JPH01107247A (ja) * | 1987-10-21 | 1989-04-25 | Matsushita Electric Ind Co Ltd | 3次元映像表示装置 |
DK145489A (da) * | 1988-03-28 | 1989-09-29 | Hoechst Roussel Pharma | 2,6-methano-1,3-benzodiazociner, deres fremstilling og anvendelse som analgetika |
JPH01254092A (ja) * | 1988-04-01 | 1989-10-11 | Tomohiko Hattori | 空間時分割式立体撮影及び立体再生装置 |
IT1217176B (it) * | 1988-04-18 | 1990-03-14 | Rossi E Catelli S P A | Procedimento per la produzione in continuo di pasta alimentare sterile,cotta o parzialmente cotta |
US4893183A (en) * | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
US4965753A (en) * | 1988-12-06 | 1990-10-23 | Cae-Link Corporation, Link Flight | System for constructing images in 3-dimension from digital data to display a changing scene in real time in computer image generators |
US5113213A (en) * | 1989-01-13 | 1992-05-12 | Sandor Ellen R | Computer-generated autostereography method and apparatus |
DE3921061A1 (de) * | 1989-06-23 | 1991-01-03 | Hertz Inst Heinrich | Wiedergabeeinrichtung fuer dreidimensionale wahrnehmung von bildern |
US5014126A (en) * | 1989-10-23 | 1991-05-07 | Vision Iii Imaging, Inc. | Method and apparatus for recording images with a single image receiver for autostereoscopic display |
US5157484A (en) * | 1989-10-23 | 1992-10-20 | Vision Iii Imaging, Inc. | Single camera autosteroscopic imaging system |
JPH04110835A (ja) * | 1990-08-31 | 1992-04-13 | Canon Inc | 像振れ補正機能付きカメラ |
US5633995A (en) * | 1991-06-19 | 1997-05-27 | Martin Marietta Corporation | Camera system and methods for extracting 3D model of viewed object |
TW221312B (ja) * | 1991-06-27 | 1994-02-21 | Eastman Kodak Co | |
US5337102A (en) * | 1991-07-29 | 1994-08-09 | Winnek Douglas A | Instant printer for volumetric imaging of data from magnetic resonance imaging apparatus |
US5416558A (en) * | 1991-10-16 | 1995-05-16 | Nikon Corporation | Camera with shake preventing apparatus |
US5253071A (en) * | 1991-12-20 | 1993-10-12 | Sony Corporation Of America | Method and apparatus for stabilizing an image produced in a video camera |
US5283640A (en) * | 1992-01-31 | 1994-02-01 | Tilton Homer B | Three dimensional television camera system based on a spatial depth signal and receiver system therefor |
US5764231A (en) * | 1992-05-15 | 1998-06-09 | Eastman Kodak Company | Method and apparatus for creating geometric depth images using computer graphics |
US5287437A (en) * | 1992-06-02 | 1994-02-15 | Sun Microsystems, Inc. | Method and apparatus for head tracked display of precomputed stereo images |
JPH0635022A (ja) * | 1992-07-20 | 1994-02-10 | Asahi Optical Co Ltd | カメラの像ブレ補正装置の補正レンズ駆動機構 |
DE4228111C1 (ja) * | 1992-08-25 | 1993-06-17 | Ice Oelsnitz Gmbh, O-9920 Oelsnitz, De | |
US5425137A (en) * | 1993-01-26 | 1995-06-13 | Us Jvc Corporation | System and method for processing images using computer-implemented software objects representing lenses |
US5550959A (en) * | 1993-05-27 | 1996-08-27 | Novalogic, Inc. | Technique and system for the real-time generation of perspective images |
US5337096A (en) * | 1993-08-23 | 1994-08-09 | Pantech, Inc. | Method for generating three-dimensional spatial images |
US11510193B2 (en) | 2017-09-13 | 2022-11-22 | Qualcomm Incorporated | Techniques for establishing a beam pair link |
-
1993
- 1993-11-05 US US08/148,916 patent/US5448322A/en not_active Expired - Lifetime
-
1994
- 1994-10-26 JP JP51327295A patent/JP3824170B2/ja not_active Expired - Lifetime
- 1994-10-26 DE DE69433842T patent/DE69433842T2/de not_active Expired - Lifetime
- 1994-10-26 EP EP94932034A patent/EP0727127B1/en not_active Expired - Lifetime
- 1994-10-26 AU AU80904/94A patent/AU8090494A/en not_active Abandoned
- 1994-10-26 DE DE69428543T patent/DE69428543T2/de not_active Expired - Lifetime
- 1994-10-26 CA CA002175344A patent/CA2175344C/en not_active Expired - Fee Related
- 1994-10-26 EP EP01103838A patent/EP1126728B1/en not_active Expired - Lifetime
- 1994-10-26 WO PCT/US1994/012243 patent/WO1995012954A1/en active IP Right Grant
- 1994-12-16 US US08/358,176 patent/US5678089A/en not_active Expired - Lifetime
-
1995
- 1995-06-01 US US08/456,408 patent/US5699112A/en not_active Expired - Lifetime
-
1997
- 1997-07-30 US US08/902,958 patent/US5991551A/en not_active Expired - Lifetime
- 1997-10-10 US US08/948,654 patent/US5933664A/en not_active Expired - Lifetime
-
1999
- 1999-08-13 US US09/373,505 patent/US6324347B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP1126728A3 (en) | 2001-10-10 |
WO1995012954A1 (en) | 1995-05-11 |
US5699112A (en) | 1997-12-16 |
AU8090494A (en) | 1995-05-23 |
DE69433842D1 (de) | 2004-07-15 |
DE69428543D1 (de) | 2001-11-08 |
EP1126728A2 (en) | 2001-08-22 |
JPH11514502A (ja) | 1999-12-07 |
EP0727127B1 (en) | 2001-10-04 |
US6324347B1 (en) | 2001-11-27 |
DE69428543T2 (de) | 2002-05-29 |
US5933664A (en) | 1999-08-03 |
CA2175344C (en) | 2004-04-20 |
US5448322A (en) | 1995-09-05 |
US5991551A (en) | 1999-11-23 |
DE69433842T2 (de) | 2005-06-16 |
EP0727127A1 (en) | 1996-08-21 |
EP1126728B1 (en) | 2004-06-09 |
CA2175344A1 (en) | 1995-05-11 |
US5678089A (en) | 1997-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3824170B2 (ja) | パララックス走査レンズ・アパーチャを用いた自己立体視映像化装置および方法 | |
KR0181269B1 (ko) | 자동 입체 디스플레이용 단일 영상 수신기를 사용한 영상 기록 방법 및 장치 | |
KR100519864B1 (ko) | 화상정보입력장치및그방법 | |
JP2920051B2 (ja) | 3次元ディスプレイ装置 | |
CA2507213C (en) | Parallax scanning through scene object position manipulation | |
WO2011127273A1 (en) | Parallax scanning methods for stereoscopic three-dimensional imaging | |
JPH07191276A (ja) | 画像表示装置及びそれに用いられる画像の撮像方法 | |
JP3368204B2 (ja) | 画像記録装置及び画像再生装置 | |
Honda et al. | Three-dimensional display technologies satisfying" super multiview condition" | |
KR20130091819A (ko) | 3차원 영상 시스템 및 그 영상 재생 방법 | |
JP3403048B2 (ja) | 3次元像再生装置及び3次元被写体情報入力装置 | |
EP0114406B1 (en) | System of projecting three-dimensional images | |
KR20160098589A (ko) | 홀로그램 3d 영상의 촬영 및 표출장치 | |
JP2001197522A (ja) | 画像表示装置 | |
JPH05244643A (ja) | 立体テレビ装置 | |
Miyazaki et al. | Volumetric display by inclined-image scanning and three-dimensional image transmission based on optical shape measurement | |
JPH07220044A (ja) | 視差画像作成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060111 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060622 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |