JP4848339B2 - 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ) - Google Patents

模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ) Download PDF

Info

Publication number
JP4848339B2
JP4848339B2 JP2007252451A JP2007252451A JP4848339B2 JP 4848339 B2 JP4848339 B2 JP 4848339B2 JP 2007252451 A JP2007252451 A JP 2007252451A JP 2007252451 A JP2007252451 A JP 2007252451A JP 4848339 B2 JP4848339 B2 JP 4848339B2
Authority
JP
Japan
Prior art keywords
display screen
scene
images
individual
viewers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007252451A
Other languages
English (en)
Other versions
JP2008097599A (ja
Inventor
ジェイソン・エス.・ミラー
デビッド・クリフォード・ロング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2008097599A publication Critical patent/JP2008097599A/ja
Application granted granted Critical
Publication of JP4848339B2 publication Critical patent/JP4848339B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、仮想イメージングに関し、より特定的には、1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートする方法およびシステムに関する。
過去数年にわたる平面型ディスプレイ技術における急速な質の向上およびコストの削減により、平面型ディスプレイのための数多くの新たな適用がもたらされている。そのような適用の1つとして、平面型ディスプレイを仮想ウィンドウとして使用することが挙げられる。これは、従来のウィンドウ・フレームのように見えるものの中に構築された、所望の場面を示す平面型ディスプレイとして説明されてきている。この技術は、現実世界の場面の高解像度のデジタル画像から仮想場面を作成することができる静止画像を提供する。高解像度の表示パネルで構築されると、そのような画像は、静止している観察者にとって非常に説得力のある画像となりうる。
しかしながら、観察者が移動すると、ウィンドウは、実際のウィンドウを通じて外を見る場合に見受けられるような視差ずれおよび視野の変化がないので、その現実味のある体裁を失ってしまう。
したがって、先行技術の問題点および欠陥に鑑み、本発明の目的は、1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートする改良された方法およびシステムを提供することである。
本発明の他の目的は、実際のウィンドウを通じて外を見る場合に見受けられるような視差ずれおよび視野の変化を使用する仮想ウィンドウを提供することである。
本発明のさらなる目的は、1人以上の個々の観察者の位置に基づいて仮想場面に対して視野のずれおよび視野の変化を行う方法およびシステムを提供することである。
本発明のさらなる他の目的および利点は、部分的に明示的であり、明細書から部分的に明らかだろう。
当業者にとって明らかなような上記および他の目的は、1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートする方法に向けられた本発明において実現されており、当該方法は、場面の1つ以上の画像であって、互いに異なる角度での場面の1つ以上の画像と、互いに異なる倍率での場面の1つ以上の画像とからなる群から選択された1つ以上の画像を提供するステップと、1つ以上の画像を1人以上の個々の観察者に対して表示するための表示画面を提供するステップとを含む。本方法は、その後、表示画面に対する1人以上の個々の観察者の位置を判断するステップと、表示画面に対する1人以上の個々の観察者の角度または距離に基づいて、1つ以上の画像を選択するステップと、選択された1つ以上の画像を表示画面に表示して、1人以上の個々の観察者に対して景色を場面のウィンドウを通じてシミュレートするステップとを含む。
本方法は、表示画面上の表示された画像を、表示画面に対する1人以上の個々の観察者の位置を変更することに基づいて変更するステップをさらに含む。表示画面に対する1人以上の個々の観察者の位置は、表示画面からの1人以上の個々の観察者の距離を含んでもよく、選択された1つ以上の画像は、表示画面からの1人以上の個々の観察者の距離に基づいてもよい。表示画面に対する1人以上の個々の観察者の位置は、表示画面に対する1人以上の個々の観察者の角度を代わりにまたは追加的に含んでもよく、選択された1つ以上の画像は、表示画面からの1人以上の個々の観察者の角度に基づいてもよい。
当該場面の1つ以上の画像は、場面位置にあるカメラによって提供されてもよく、本方法は、カメラが所望の平面を通じて所望の角度で回転する間に当該場面の複数の画像を取り込むことを含んでもよい。本方法は、場面の1つ以上の画像を表示画面に関連した記憶装置に記憶するステップをさらに含んでもよい。
表示画面上に表示される1つ以上の画像は、静止画像であってもよく、表示画面は、表示画面に対する1人以上の観察者の位置の変化に基づいて、場面の画角および倍率が異なる静止画面を順次表示してもよい。場面の画像は、1人以上の個々の観察者の表示画面からの距離に基づいてデジタル拡大されてもよい。
表示画面に対する1人以上の個々の観察者の位置は、超音波、赤外線、またはレーダ・センサ、カメラ、もしくは圧力センサからなる群から選ばれたセンサ装置を使用して判断されてもよい。
好ましくは、表示画面は平面であり、表示画面に対する1人以上の個々の観察者の位置は、表示画面の中央からの1人以上の個々の観察者の距離と、表示画面の中央と1人以上の個々の観察者との間を伸びる線の角度とに基づく。
場面の1つ以上の画像は、場面位置にあるカメラによってリアル・タイムで提供されてもよきく、本方法は、表示画面に対する1人以上の個々の観察者の位置に応じてカメラを移動して、1人以上の観察者に対して、リアル・タイムな景色をリアル・タイムな場面のウィンドウを通じてシミュレートするステップを含んでもよい。
他の局面において、本発明は、1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートするためのシステムに向けられており、場面の1つ以上の画像であって、互いに異なる角度での場面の1つ以上の画像と、互いに異なる倍率での場面の1つ以上の画像とからなる群から選択された1つ以上の画像を電子形式で含む記憶装置を含む。また、本システムは、1人以上の個々の観察者に対して1つ以上の画像を表示するように適合された表示画面と、表示画面に対して1人以上の個々の観察者の位置を特定するように適合されたセンサとを含む。本システムは、1つ以上の画像を、表示画面に対する1人以上の個々の観察者の角度または距離に基づいて選択して、選択された1つ以上の画像を表示画面に表示して、1人以上の個々の観察者に対して景色を場面のウィンドウを通じてシミュレートするように適合されたコントローラをさらに有する。
コントローラは、表示画面上の表示された画像を、表示画面に対する1人以上の個々の観察者の位置を変更することに基づいて変更するように適合されてもよい。コントローラは、1人以上の個々の観察者の表示画面からの距離に基づいて、場面の画像をデジタル拡大するように適合されてもよい。
センサは、表示画面からの1人以上の個々の観察者の距離に基づいて、表示画面に対する1人以上の個々の観察者を位置を特定するように適合されてもよく、コントローラは、表示画面からの1人以上の個々の観察者の距離に基づいて、1つ以上の画像を選択するように適合されてもよい。加えてまたは代わりに、センサは、表示画面からの1人以上の個々の観察者の角度に基づいて、表示画面に対する1人以上の個々の観察者を位置を特定するように適合されてもよく、コントローラは、表示画面からの1人以上の個々の観察者の角度に基づいて、1つ以上の画像を選択するように適合されてもよい。
本システムは、所望の平面を通じて所望の角度で回転する間に場面の複数の画像を取り込むように適合されている、場面位置にあるカメラをさらに含んでもよい。カメラは、場面の画像を表示画面に関連した記憶装置に記憶するように適合されてもよい。
位置特定センサは、好ましくは、超音波、赤外線、またはレーダ・センサ、カメラ、もしくは圧力センサからなる群から選ばれる。
好ましくは、表示画面は平面であり、位置特定センサは、表示画面に対する1人以上の個々の観察者の位置を、表示画面の中央からの1人以上の個々の観察者の距離と、表示画面の中央と1人以上の個々の観察者との間を伸びる線の角度とに基づいて判断するように適合されている。
本システムは、場面の1つ以上の画像をリアルタイムで提供するように適合された、場面位置にあるカメラをさらに含んでもよく、コントローラは、表示画面に対する1人以上の個々の観察者の位置に応じてカメラを移動して、1人以上の観察者に対して、リアル・タイムな景色をリアル・タイムな場面のウィンドウを通じてシミュレートするように適合されてよい。
さらに他の局面において、本発明は、1人以上の個々の観察者に対してウィンドウを通じて景色をシミュレートするための表示装置と共に使用されるコンピュータ・プログラムが記録された記録媒体に向けられており、コンピュータが使用可能な媒体であって、媒体内に実施されたコンピュータ読み出し可能なプログラム・コード手段を有し、当該手段は、場面の1つ以上の画像であって、互いに異なる角度での場面の1つ以上の画像と、互いに異なる倍率での場面の1つ以上の画像とからなる群から選択された1つ以上の画像を提供するための手段である、媒体と、表示画面に対する1人以上の個々の観察者の位置を判断するためのコンピュータ読み出し可能なプログラム・コード手段と、表示画面に対する1人以上の個々の観察者の角度または距離に基づいて、1つ以上の画像を選択するためのコンピュータ読み出し可能なプログラム・コード手段と、選択された1つ以上の画像を表示画面に表示して、1人以上の個々の観察者に対して景色を場面のウィンドウを通じてシミュレートするためのコンピュータ読み出し可能なプログラム・コード手段とを備える。
新規と思われる本発明の特徴および本発明の特徴的な要素を、特に添付の請求項において述べる。図面は例示の目的のためだけのものであり、一定の尺度で描かれているわけではない。しかしながら、本発明自体は、構成および動作の方法の両方に関して、添付の図面と共に考慮して以下の詳細な説明を参照することによって、最もよく理解されるだろう。
本発明の好ましい実施形態を説明する際に、本明細書において図1〜図9の図面を参照する。図面において、同様の番号は、本発明の同様の特徴を指している。
本発明は、平面型ディスプレイを使用して視差ずれおよび視界の変化による場面の変化を仮想ウィンドウに追加することで現実のウィンドウを通じて見る幻影を大きく向上させるための方法を開示することによって、従来技術を改良するものである。視差ずれおよび視野の変化によるそのような景色の変化を、図1〜図6に示す。図1に示すように、現実の風景場面20が、窓孔28を有する壁26の外側に存在する。窓28のすぐ前に距離r分だけ離れて立っている個々の観察者または閲覧者24は、四角22aの範囲内の風景場面20の部分を見ることになろう。図2に示すように、閲覧者24が窓28に対して右にずれると、たとえ同じ距離r分だけ離れて立っていても、見られる景色は、四角22b内に示すものへとずれることになり、山は、四角22aに比べて四角22b内で右にずれる。さらに右にずれると、図3に示すように壁からまた距離r分だけ離れていても、閲覧者24は、四角22cに示すように、風景場面20のさらに異なる部分を見る。図1〜図3に示す四角22a,22b,22c内の風景場面間の相違は、視差ずれとして知られている。
視野の変化を図4〜図6に示す。図4に示すように、壁26から距離r=0離れて立っている閲覧者24は、四角22dの範囲内の風景場面20を見ることになろう。閲覧者が壁26から距離r移動すると(図5)、閲覧者が見るであろう風景場面20の部分は、四角22eによって示すものとなり、窓孔を通して見る場面の部分は、図4の閲覧者の位置からのものよりも小さくなる。壁26からさらに距離r2移動すると(図6)、閲覧者が見る風景場面20の部分は、22fの範囲内というさらに小さいものとなる。
本発明に係る、構築されるべき仮想ウィンドウのための画像を取得するために、まず、カメラで所望の場面を様々な角度で撮影する。使用されるカメラ32は、所望の平面型表示装置とともに使用される、所望の解像度で電子デジタル画像を取得可能なデジタル・スチルまたはビデオ・カメラであってもよい。図7に示すように、カメラ32は、矢印34で示すような、水平面において回転することが可能であるような三脚上の回転ヘッドのような回転機構上に設定されてもよい。好ましくは、回転ヘッドは、カメラを複数の互いに異なる所望の角度で静止位置に配置するためのステッパ・モータ機構を含む。そして、カメラは、場面20を互いに異なる角度で撮影するために使用され、ここでは、数多くの対象物21a,21b,21c,21d,および21eを場面内に備えるように示されている。カメラは、面36にあり、本発明においては、閲覧者の仮想ウィンドウの位置に対応する。図7に示すように、カメラ32の画角θは、θ=90度として示されており、ここで、θは、カメラ・レンズが場面20に対して直接向けられる場合のカメラ・レンズの面に対して測定される。現実世界の場面20の画像を取得するためには、カメラ32は、θ=0度とθ=180度との間で回転され、場面20内の様々な対象物21aから21eまでをそれぞれ異なるように撮影するための別個の角度で停止される。例えば、1000枚撮影したいような場合には、それぞれは、次の分と互いに0.180度異なる角度である。各写真は、場面の識別および現実世界の場面に対するカメラの距離dで角度θの景色の識別と共に、デジタル・メモリまたは他の記憶装置38に電子形式で記憶される。
代わりに、広角レンズで写真を撮影する場合があり、表示される当該写真の部分は、閲覧者の位置と合致するように、それに従って調整される。この手法は、上述の手法ほど正確ではないものの、画像を取得するのにより簡単でより速くコストのかからないやり方であろう。この手法によって、視野をずらすことができるが、複数画像を取得する手法によって提供される真の視差ずれではない。この単一画像手法は、見られる対象物が閲覧者からはるかに離れている場合には有効だろう。加えて、本手法は、自然の風景、ランドマークなどの既存の画像を使用することができる。
平面型ディスプレイ30を図8に示す。それと共に、平面型ディスプレイの平面から距離r、角度θ=90度である閲覧者24の初期位置を示す。現実感のある仮想景色を平面型ディスプレイ30に提供するために、メモリ記憶装置38から必要な画像を選択するには、仮想ウィンドウに対する閲覧者の位置、すなわち、平面型ディスプレイ30の画面の中央に対する閲覧者の距離rおよび角度θを判断するためのセンサ42が必要である。使用されるようなセンサは、超音波、赤外線、もしくはレーダ・センサ、ウェブ・カム、CCDデジタル・ビデオ・カメラ、または夜景のための赤外線照射を使用するようなビデオまたはスチル・カメラを含む。また、検知手段となりうるものは、床内の圧力センサ、または平面型ディスプレイ30に対して閲覧者24の相対位置を提供するための当該技術で既知の他の手段を含む。rおよびθの値がセンサ42からわかると、当該データは、マイクロプロセッサ・コントローラ40によって送信および使用されて、閲覧者24が適切な画像を見るように、平面型ディスプレイ30上に表示されるべき適切な画面をメモリ記憶装置38から選択する。平面型ディスプレイ30の中央からの閲覧者24の距離rが記憶された写真が撮影された距離rと合致すると仮定すると、平面型ディスプレイ30上に表示される画像が平面型ディスプレイ30の平面に対する閲覧者の角度θと合致すればよい。例えば、閲覧者が、図8に示すように、平面型ディスプレイ30の画面の平面に対して(ディスプレイの中央の右側に沿って)例えば45度のθで位置24’にいた場合には、図7におけるθ=45度(現実世界の場面の反対側である左側を指す)で撮影されてデジタル記憶された写真が平面型ディスプレイ30に表示される。閲覧者が平面型ディスプレイ30の中央からの一定の距離rを維持しつつ角度のみを変化させる場合には、閲覧者角度θと合致するような写真角度θをディスプレイ上で変更させればよいだろう。
閲覧者の距離rを変更した結果、元の写真が取得された距離rと合致しない場合には、平面型ディスプレイ(仮想ウィンドウ)30上の表示された画像の倍率を調整しなければならない。図9に示すように、仮想ウィンドウ画像表示に必要な倍率(MAG)は、図9および以下に示すような、シミュレートすべき平面型ディスプレイ30と、観察者または閲覧者24および24’の遠い位置および近い位置との関係から判断されてもよい。
o=1/2対象物幅
d=「ウィンドウ」30からの対象物の距離
r=「ウィンドウ」30からの閲覧者の距離
=「ウィンドウ」からより近づい閲覧者の距離
h=閲覧者の位置がrである、「ウィンドウ」内の1/2対象物幅
=閲覧者の位置がrである、「ウィンドウ」内の1/2対象物幅
θ=閲覧者の目の位置がrである、対象物の1/2角度
θ=閲覧者の目の位置がrである、対象物の1/2角度
MAG=閲覧者がrからrへウィンドウから移動して戻る際の見かけの画像サイズの増加
これらの定義された項を使用して、以下の関係が当てはまる。
tanθ=o/(r+d) tanθ=o/(r+d)
tanθ=ho/ro tanθ=h/r
h=rtanθ
=rtanθ
h=ro/(r+d) h=ro/(r+d)
MAG=h/h=MAGNIFICATION(倍率)
MAG={r/(r+d)}/{r/(r+d)}
d>>r,r+d=dの場合:
MAG=rd/(r+d)=r/r
よって、平面型ディスプレイ30上の表示された画像の倍率は、ディスプレイからの個々の観察者または閲覧者の距離の変化に基づいて調整されてもよい。例えば、20インチ(約50.8cm)幅の典型的な仮想ウィンドウの場合は、近い閲覧距離rは、1フィート(約30・48cm)に等しく、典型的な遠い閲覧距離rは、20フィート(約609.6cm)に等しいだろう。仮想ウィンドウ内に示される対象物が、例えば100フィート(約3048cm)などのように、遠い閲覧距離よりも明らかにさらに遠い場合には、1フィートから10フィートの距離に移動して戻る閲覧者にとっての画像サイズの見かけの倍率h/hは、以下のように判断される。
MAG=r/r=10/1=10
これは、遠い対象物をウィンドウを通じて見てからウィンドウから後退して、ウィンドウのサイズに対する対象物のサイズの見かけの相対的な増加に注目することによって検証されてもよい。メモリ記憶装置38に記憶された現実世界の場面の各デジタル画像は、単一の倍率で記憶されてもよく、倍率の変更は、個々の観察者または閲覧者の位置に基づいてマイクロプロセッサ・コントローラ40によって判断されて、メモリ記憶装置38からの取り出し後であって平面型ディスプレイ30上の表示の前に、記憶された画像に対して適用されてもよい。代わりに、各画像は、複数の倍率でメモリ記憶装置38に記憶されてもよく、そして、マイクロプロセッサ・コントローラ40は、必要な倍率を判断後、メモリ記憶装置38から画像の所望の倍率を選択することになる。
1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートするための本発明の方法は、他の場合には従来のプログラム・コード内にあって他の場合には従来のプログラム記憶装置内に記憶された、上述の処理ステップおよび命令を組み込むコンピュータ・プログラムまたはソフトウェアによって実施されてもよい。図8に示すように、プログラム・コードは、任意の必要な入力情報と共に、半導体チップ、読み出し専用メモリ、ディスケットまたはコンピュータ・ハード・ドライブなどの磁気媒体、もしくはCDまたはDVD ROMなどの光学媒体などのメモリ記憶装置38上のコンピュータ内に記憶されてもよい。コンピュータ・システムは、メモリ記憶装置38上に記憶されたプログラムを読み出して実行するためのマイクロプロセッサ42を有する。
本発明の仮想ウィンドウ平面型または映像投影表示システムは、景色が乏しいか全くない住居、病室、窓のない仕事場内などにおいて使用されてもよい。そのような応用において、見られる場面は、閲覧者が楽しくなる任意の所望の場面であってもよい。
加えて、本発明の仮想ウィンドウは、ライブ映像を含む現実世界のリアル・タイムな場面を表示するために使用されてもよい。そのような場合には、画像を取得するカメラは、表示画面に対する個々の観察者24の位置に基づいて、マイクロプロセッサ・コントローラ40からのコマンドに応じて、閲覧者が角度θを通って移動するのと同時に角度θを通って移動することになり、適切な倍率が、上述のように、コントローラによって判断されることになろう。この倍率は、画像をデジタル・ズームすること、またはカメラのレンズを物理的にズームすることによって達成されてもよい。他の現実世界のリアル・タイムでの応用は、医学分野における非侵襲性の手術および内視鏡検査、平面型ディスプレイが患者の体内部の画像を示す遠隔操作手術、ならびに、平面型ディプレイが車両の後部から見る画像を示すトラクター・トレーラー・トラック、客車、またはバスでの輸送などにおけるものである。
本発明の仮想ウィンドウ表示システムは、閲覧者が通り過ぎるに連れてその後についていく広告を可能にするような広告上の応用においてさらに使用されてもよい。加えて、広告上の応用は、例えば画面を見つめていると判断される人を選択するというように、閲覧者に照準を合わせることもできるし、第2の人物が画面を見つめている場合には画像を静止させることもできる。これらの要因は、部屋の他の人々に対して気が散ることを最小限にするために様々なものであってもよい。加えて、本発明の仮想ウィンドウの逆の応用をポスター広告において使用して、通行者の辺縁視を刺激することもできよう。例えば、ある人が頭を回して見ると、画像が停止し、ある人が広告から目をそらすと、再び広告が動き出すといった具合である。
本発明を特定の好ましい実施形態と共に特に説明してきたが、上述の説明に照らして、数多くの代替物、修正、および変形が当業者にとって明らかだろう。したがって、添付の請求項がそのような代替物、修正、および変形を本発明の真の範囲および精神の範疇に含むことになることが想定されている。
ウィンドウ越しの現実世界の正面場面を見る個々の観察者の上面図であって、ウィンドウの前の中央位置から見るような場面の部分を示す。 図1の現実世界の場面を見る観察者の上面図であって、ウィンドウの前の右にずれた位置から見るような場面の部分を示す。 図1の現実世界の場面を見る観察者の上面図であって、ウィンドウの前の図2よりも右にずれた位置から見るような場面の部分を示す。 図1の現実世界の場面を見る観察者の上面図であって、ウィンドウの前の接写中央位置から見るような場面の部分を示す。 図1の現実世界の場面を見る観察者の上面図であって、図4のウィンドウからさらに離れた中央位置から見るような場面の部分を示す。 図1の現実世界の場面を見る観察者の上面図であって、図5のウィンドウからさらに離れた中央位置から見るような場面の部分を示す。 本発明に係る、様々な角度に渡って所望の場面の画像を取得するための装置の使用の上面図である。 現実場面の仮想画像を見る参加者の相対位置の上面図であって、観察者の平面型ディスプレイに対する検出された角速度を示す。 平面型ディスプレイ上の現実場面の仮想画像を見る参加者の相対位置の上面図であって、ディスプレイに対する観察者の距離に必要な倍率パラメータを示す。
符号の説明
24,24’ 観察者または閲覧者
30 平面型ディスプレイ(仮想ウィンドウ)

Claims (21)

  1. 1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートする方法であって、
    場面の1つ以上の画像であって、互いに異なる角度での前記場面の1つ以上の画像と、互いに異なる倍率での前記場面の1つ以上の画像とからなる群から選択された前記1つ以上の画像を提供するステップと、
    前記1つ以上の画像を1人以上の個々の観察者に対して表示するための表示画面を提供するステップと、
    前記表示画面に対する1人以上の個々の観察者の位置を判断するステップと、
    前記表示画面に対する前記1人以上の個々の観察者の角度または距離に基づいて、1つ以上の前記画像を選択するステップと、
    前記選択された1つ以上の画像を前記表示画面に表示して、前記1人以上の個々の観察者に対して景色を前記場面のウィンドウを通じてシミュレートするステップとを含み、
    観察者の位置を判断するステップにおける、前記表示画面に対する1人以上の個々の観察者の位置は、超音波、赤外線、またはレーダ・センサ、もしくは圧力センサからなる群から選ばれたセンサ装置を使用して判断される、
    方法。
  2. 前記表示画面上の前記表示された画像を、前記表示画面に対する1人以上の個々の観察者の位置を変更することに基づいて変更するステップをさらに含む、請求項1に記載の方法。
  3. 前記表示画面に対する前記1人以上の個々の観察者の前記位置は、前記表示画面からの前記1人以上の個々の観察者の距離を含み、選択された前記1つ以上の画像は、前記表示画面からの前記1人以上の個々の観察者の前記距離に基づく、請求項1に記載の方法。
  4. 前記表示画面に対する前記1人以上の個々の観察者の前記位置は、前記表示画面に対する前記1人以上の個々の観察者の角度を含み、選択された前記1つ以上の画像は、前記表示画面からの前記1人以上の個々の観察者の前記角度に基づく、請求項1に記載の方法。
  5. 前記表示画面に対する前記1人以上の個々の観察者の前記位置は、前記表示画面に対する前記1人以上の個々の観察者の距離と、前記表示画面に対する前記1人以上の個々の観察者の角度とを含み、選択された前記1つ以上の画像は、前記表示画面からの前記1人以上の個々の観察者の前記距離と、前記表示画面からの前記1人以上の個々の観察者の前記角度とに基づく、請求項1に記載の方法。
  6. 前記場面の前記1つ以上の画像は、場面位置にあるカメラを提供して前記カメラが所望の平面を通じて所望の角度で回転する間に前記場面の複数の画像を取り込むことによって、提供される、請求項1に記載の方法。
  7. 前記場面の前記1つ以上の画像を前記表示画面に関連した記憶装置に記憶するステップをさらに含む、請求項6に記載の方法。
  8. 前記表示画面上に表示される前記1つ以上の画像は、静止画像であり、前記表示画面は、前記表示画面に対する前記1人以上の観察者の位置の変化に基づいて、前記場面の画角および倍率が異なる静止画面を順次表示する、請求項1に記載の方法。
  9. 前記表示画面は平面であり、前記表示画面に対する前記1人以上の個々の観察者の前記位置は、前記表示画面の中央からの前記1人以上の個々の観察者の距離と、前記表示画面の前記中央と前記1人以上の個々の観察者との間を伸びる線の角度とに基づく、請求項1に記載の方法。
  10. 前記場面の前記画像は、前記1人以上の個々の観察者の前記表示画面からの距離に基づいてデジタル拡大される、請求項1に記載の方法。
  11. 前記場面の前記1つ以上の画像は、場面位置にあるカメラによってリアル・タイムで提供され、前記表示画面に対する1人以上の個々の観察者の位置に応じて前記カメラを移動して、前記1人以上の観察者に対して、リアル・タイムな景色を前記リアル・タイムな場面のウィンドウを通じてシミュレートするステップを含む、請求項1に記載の方法。
  12. 1人以上の個々の観察者に対して表示画面を使用してウィンドウを通じて景色をシミュレートするためのシステムであって、
    場面の1つ以上の画像であって、互いに異なる角度での前記場面の1つ以上の画像と、互いに異なる倍率での前記場面の1つ以上の画像とからなる群から選択された前記1つ以上の画像を電子形式で含む記憶装置と、
    1人以上の個々の観察者に対して前記1つ以上の画像を表示するように適合された表示画面と、
    前記表示画面に対して1人以上の個々の観察者の位置を特定するように適合されたセンサと、
    1つ以上の前記画像を、前記表示画面に対する前記1人以上の個々の観察者の角度または距離に基づいて選択して、前記選択された1つ以上の画像を前記表示画面に表示して、前記1人以上の個々の観察者に対して景色を前記場面のウィンドウを通じてシミュレートするように適合されたコントローラとを備え、
    前記位置特定センサは、超音波、赤外線、またはレーダ・センサ、もしくは圧力センサからなる群から選ばれる、
    システム。
  13. 前記コントローラは、前記表示画面上の前記表示された画像を、前記表示画面に対する1人以上の個々の観察者の位置を変更することに基づいて変更するように適合されている、請求項12に記載のシステム。
  14. 前記センサは、前記表示画面からの前記1人以上の個々の観察者の距離に基づいて、前記表示画面に対する前記1人以上の個々の観察者を位置を特定するように適合され、前記コントローラは、前記表示画面からの前記1人以上の個々の観察者の距離に基づいて、前記1つ以上の画像を選択するように適合されている、請求項12に記載のシステム。
  15. 前記センサは、前記表示画面からの前記1人以上の個々の観察者の角度に基づいて、前記表示画面に対する前記1人以上の個々の観察者を位置を特定するように適合され、前記コントローラは、前記表示画面からの前記1人以上の個々の観察者の角度に基づいて、前記1つ以上の画像を選択するように適合されている、請求項12に記載のシステム。
  16. 前記センサは、前記表示画面からの前記1人以上の個々の観察者の距離と、前記表示画面からの前記1人以上の個々の観察者の角度とに基づいて、前記表示画面に対する前記1人以上の個々の観察者を位置を特定するように適合され、前記コントローラは、前記表示画面からの前記1人以上の個々の観察者の距離と、前記表示画面からの前記1人以上の個々の観察者の角度とに基づいて、前記1つ以上の画像を選択するように適合されている、請求項12に記載のシステム。
  17. 所望の平面を通じて所望の角度で回転する間に前記場面の複数の画像を取り込むように適合されている、場面位置にあるカメラをさらに含む、請求項12に記載のシステム。
  18. 前記カメラは、前記場面の前記画像を前記表示画面に関連した記憶装置に記憶するように適合されている、請求項17に記載のシステム。
  19. 前記表示画面は平面であり、前記位置特定センサは、前記表示画面に対する前記1人以上の個々の観察者の位置を、前記表示画面の中央からの前記1人以上の個々の観察者の距離と、前記表示画面の前記中央と前記1人以上の個々の観察者との間を伸びる線の角度とに基づいて判断するように適合されている、請求項12に記載のシステム。
  20. 前記コントローラは、前記1人以上の個々の観察者の前記表示画面からの距離に基づいて、前記場面の前記画像をデジタル拡大するように適合されている、請求項12に記載のシステム。
  21. 前記場面の前記1つ以上の画像をリアルタイムで提供するように適合された、場面位置にあるカメラをさらに含み、前記コントローラは、前記表示画面に対する前記1人以上の個々の観察者の位置に応じて前記カメラを移動して、前記1人以上の観察者に対して、リアル・タイムな景色を前記リアル・タイムな場面のウィンドウを通じてシミュレートするように適合されている、請求項12に記載のシステム。
JP2007252451A 2006-10-11 2007-09-27 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ) Expired - Fee Related JP4848339B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/548,300 US7880739B2 (en) 2006-10-11 2006-10-11 Virtual window with simulated parallax and field of view change
US11/548300 2006-10-11

Publications (2)

Publication Number Publication Date
JP2008097599A JP2008097599A (ja) 2008-04-24
JP4848339B2 true JP4848339B2 (ja) 2011-12-28

Family

ID=39302663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007252451A Expired - Fee Related JP4848339B2 (ja) 2006-10-11 2007-09-27 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ)

Country Status (2)

Country Link
US (1) US7880739B2 (ja)
JP (1) JP4848339B2 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2065795A1 (en) * 2007-11-30 2009-06-03 Koninklijke KPN N.V. Auto zoom display system and method
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8233530B2 (en) * 2008-10-28 2012-07-31 International Business Machines Corporation Video scene matching on return from virtual rendering in a consumer digital video recording device
WO2010060211A1 (en) * 2008-11-28 2010-06-03 Nortel Networks Limited Method and apparatus for controling a camera view into a three dimensional computer-generated virtual environment
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
US9955209B2 (en) * 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
JP2012043345A (ja) * 2010-08-23 2012-03-01 Canon Inc 画像処理装置および方法
US9167289B2 (en) * 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
JP5656246B2 (ja) * 2010-09-30 2015-01-21 Necカシオモバイルコミュニケーションズ株式会社 携帯端末、カメラの倍率調整方法およびプログラム
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US20120200756A1 (en) * 2011-02-04 2012-08-09 Sciperio, Inc. Flat screen window and multi-function display
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
EP2755591B1 (en) 2011-09-16 2020-11-18 Auris Health, Inc. System for displaying an image of a patient anatomy on a movable display
US9538133B2 (en) 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US20130083252A1 (en) * 2011-10-04 2013-04-04 David John Boyes Gesture recognition capable picture video frame
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
US9606586B2 (en) 2012-01-23 2017-03-28 Microsoft Technology Licensing, Llc Heat transfer device
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US11068049B2 (en) * 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
US10191515B2 (en) 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US8842202B2 (en) 2012-10-10 2014-09-23 Nec Casio Mobile Communications Ltd. Mobile terminal, method for adjusting magnification of camera and program
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9342467B1 (en) 2013-07-17 2016-05-17 Frederick Thomas McGrath Virtual window system
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10134187B2 (en) 2014-08-07 2018-11-20 Somo Innvoations Ltd. Augmented reality with graphics rendering controlled by mobile device position
USD750147S1 (en) 2015-01-22 2016-02-23 Derrik L. Muller Portable window camera
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
WO2017072679A1 (en) * 2015-10-26 2017-05-04 Active Knowledge Ltd. Autonomous on-road vehicle with shock-absorbing energy dissipation padding placed at eye level
US9860568B2 (en) * 2016-05-24 2018-01-02 Atti International Services Company, Inc. World view window
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
US20180063444A1 (en) * 2016-08-29 2018-03-01 Razmik Karabed View friendly monitor systems
EP3293703B1 (en) 2016-09-07 2023-03-22 Airbus Operations GmbH Virtual window device and method for operating a virtual window device
US10552690B2 (en) 2016-11-04 2020-02-04 X Development Llc Intuitive occluded object indicator
US10558264B1 (en) 2016-12-21 2020-02-11 X Development Llc Multi-view display with viewer detection
CN111630484A (zh) * 2018-02-01 2020-09-04 福特全球技术公司 用于电话会议的虚拟窗口
US20210110608A1 (en) * 2019-10-09 2021-04-15 MSG Sports and Entertainment, LLC Virtual window system
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
WO2022040237A1 (en) 2020-08-17 2022-02-24 LiquidView Corp Virtual window apparatus and system
JP7118383B1 (ja) 2022-04-25 2022-08-16 ナーブ株式会社 表示システム、表示方法、及び表示プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2557406B2 (ja) * 1987-09-14 1996-11-27 日本電信電話株式会社 3次元画像表示装置
JPH0628452A (ja) * 1991-08-07 1994-02-04 Nec Home Electron Ltd 3次元画像処理装置
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US6778150B1 (en) * 1993-09-14 2004-08-17 Francis J. Maguire, Jr. Method and apparatus for eye tracking
JP3292354B2 (ja) * 1994-12-13 2002-06-17 横河電機株式会社 3次元画像表示装置
GB2309609A (en) 1996-01-26 1997-07-30 Sharp Kk Observer tracking autostereoscopic directional display
JPH09205602A (ja) * 1996-01-29 1997-08-05 Sony Corp 疑似窓
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP3841132B2 (ja) * 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
JP3187026B2 (ja) * 1999-11-10 2001-07-11 島根県 パノラマ撮影装置
JP4505559B2 (ja) * 2000-12-26 2010-07-21 株式会社Tbsテレビ スタジオセット用遠見パネルおよびこれを用いたスタジオセット
JP2003037838A (ja) * 2001-07-25 2003-02-07 Sanyo Electric Co Ltd 画像配信システム
US6803912B1 (en) 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
JP2004309947A (ja) * 2003-04-10 2004-11-04 Sharp Corp データ表示装置、データ表示プログラム、および、プログラム記録媒体
CA2426512A1 (en) * 2003-04-22 2004-10-22 Garth Shoemaker Positioning and manipulating detail-in-context lenses in 2d and 3d data through the application of eye tracking or position tracking
US7126603B2 (en) * 2003-05-30 2006-10-24 Lucent Technologies Inc. Method and system for creating interactive walkthroughs of real-world environment from set of densely captured images
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2005309638A (ja) * 2004-04-20 2005-11-04 Sony Corp サーバ装置、表示装置、表示システム、表示方法及びそのプログラム
US20050280706A1 (en) * 2004-08-25 2005-12-22 Chiou-muh Jong Method and apparatus to simulate an outdoor window for panorama viewing from a room
JP2006349921A (ja) * 2005-06-15 2006-12-28 Mitsubishi Electric Corp 画像表示装置
JP2007052304A (ja) * 2005-08-19 2007-03-01 Mitsubishi Electric Corp 映像表示システム
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system

Also Published As

Publication number Publication date
US20080088624A1 (en) 2008-04-17
US7880739B2 (en) 2011-02-01
JP2008097599A (ja) 2008-04-24

Similar Documents

Publication Publication Date Title
JP4848339B2 (ja) 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ)
US10397556B2 (en) Perspective altering display system
US20200288113A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US6947059B2 (en) Stereoscopic panoramic image capture device
ES2843477T3 (es) Método y sistema para fusionar flujos de vídeo
CN103907341B (zh) 图像生成装置和图像生成方法
WO2021012854A1 (zh) 一种全景图像的曝光参数获取方法
TWI320756B (ja)
US9756277B2 (en) System for filming a video movie
JP2008520052A5 (ja)
US7385600B2 (en) Three dimensional display method, system and apparatus
JP2002503893A (ja) 仮想現実カメラ
US20150178928A1 (en) Apparatus and method for determining the distinct location of an image-recording camera
CN107682638A (zh) 生成、显示全景图像的方法及装置
Avery et al. User evaluation of see-through vision for mobile outdoor augmented reality
JP2003134375A (ja) 画像撮影システム
JP5448739B2 (ja) 画像再生装置、撮像装置、画像再生方法
JP5213883B2 (ja) 合成表示装置
US7154528B2 (en) Apparatus for placing primary image in registration with lenticular lens in system for using binocular fusing to produce secondary 3D image from primary image
ES2300204B1 (es) Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada.
US20190089897A1 (en) Panoramic video
WO1997031484A1 (fr) Systeme de reconnaissance optique large champ
KR20090014643A (ko) 실제환경과 중첩되도록 영상을 보여주기 위한 뷰어시스템및 이를 이용한 영상출력방법
JP4148252B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
EP4114008A1 (en) Image generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees