JPH1188913A - 姿勢検出装置、姿勢検出方法、記憶媒体および複合現実感提示装置 - Google Patents
姿勢検出装置、姿勢検出方法、記憶媒体および複合現実感提示装置Info
- Publication number
- JPH1188913A JPH1188913A JP9236376A JP23637697A JPH1188913A JP H1188913 A JPH1188913 A JP H1188913A JP 9236376 A JP9236376 A JP 9236376A JP 23637697 A JP23637697 A JP 23637697A JP H1188913 A JPH1188913 A JP H1188913A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mixed reality
- sensor means
- cooperative work
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
実感によって提示する装置を提案する。 【解決手段】 複数のプレーヤが複合現実環境内で協調
ゲームを行うように、3次元仮想画像を生成してシース
ルー型表示装置に表示する複合現実感提示装置。この装
置は、複数のプレーヤのマレット位置を検出するCCD
カメラ(230)と、前記複数のプレーヤ個々の、前記
協調ゲームの環境中における視点位置を検出するセンサ
(220)とを具備し、CCDカメラ(230)によっ
て検出された前記マレットの位置の変化に応じて進行し
た協調ゲームの、センサ(220)によって検出された
個々のプレーヤの視点位置から見たときのゲーム結果を
示す三次元仮想画像を生成し各々のシースルー型表示装
置に出力する。
Description
ム等のように、複数の作業者による協調作業を複合現実
感として提示する複合現実感提示装置に関する。
い結合を目的とした複合現実感(以下、「MR」(Mixed
Reality)と称す)に関する研究が盛んになっている。
MRは、従来、現実空間と切り離された状況でのみ体験
可能であったバーチャルリアリティ(以下VRと略す)
の世界と現実空間との共存を目的とし、VRを増強する
技術として注目されている。
透視しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのVRとは質的に全く異
なった新たな分野が期待されている。MRの応用として
は、患者の体内の様子を透視しているように医師に提示
する医療補助の用途や、工場において製品の組み立て手
順を実物に重ねて表示する作業補助の用途など、今まで
のVRとは質的に全く異なった新たな分野が期待されて
いる。
は、現実空間と仮想空間の間の“ずれ”をいかにして取
り除くかという技術である。“ずれ”は、位置ずれ、時
間ずれ、質的ずれに分類可能であり、この中でも最も基
本的な要求といえる位置ずれの解消については、従来か
ら多くの取り組みが行われてきた。ビデオカメラで撮影
された映像に仮想物体を重畳するビデオシースルー(Vid
eo-See-Through)方式のMRの場合、位置合せの問題
は、そのビデオカメラの3次元位置を正確に求める問題
に帰結される。
用いる光学シースルー(Optic-See-Through)方式のMR
の場合における位置合せの問題は、ユーザーの視点の3
次元位置を求める問題といえ、それらの計測法として
は、磁気センサや超音波センサ、ジャイロといった3次
元位置方位センサ利用が一般的であるが、これらの精度
は必ずしも十分とはいえず、その誤差が位置ずれの原因
となる。
このようなセンサを用いずに画像情報を元に画像上での
位置合わせを直接行う手法も考えられる。この手法では
位置ずれを直接取り扱えるため位置合わせが精度よく行
える反面、実時間性や信頼性の欠如などの問題があっ
た。近年になって、位置方位センサと画像情報の併用に
より、両者の欠点を互いに補って精度よい位置合わせを
実現する試みが報告されている。
on Correction in Video-Based-Augmented Reality Sys
tems」(Bajura MichaelとUlrich Neuman, IEEE Compute
r Graphics and Applications 15, 5, pp. 52-60, 199
5)(以下、第1文献と呼ぶ)は、ビデオシースルー方式
のMRにおいて、磁気センサの誤差によって生じる位置
ずれを画像情報によって補正する手法を提案した。
istration by Integrating Landmark Tracking and Mag
netic Tracking」(State Andrei等, Proc. of SIGGRAPH
96,pp. 429-438, 1996)(以下、第2文献と呼ぶ)は、
さらにこの手法を発展させ、画像情報による位置推定の
曖昧性をセンサ情報によって補う手法を提案した。上記
従来例は、位置方位センサのみを用いてビデオシースル
ー方式のMRを構築した場合、そのセンサの誤差が原因
となって画像上での位置ずれが生じることに鑑みて、そ
の位置ずれを画像情報から検出するためには、その手掛
かりとなるような、3次元位置が既知であるランドマー
クを現実空間に設定する。
と、画像上で実際に観測されるランドマークの座標QI
と、センサ出力に基づいて得られたカメラ位置とランド
マークの3次元位置から導きだされるランドマークの観
測予測座標PIとは、同一となるはずである。しかし、
実際にはセンサ出力に基づいて得られたカメラ位置は正
確ではないため、QIとPIは一致しない。このPIとQI
のずれは、ランドマーク位置における仮想空間と現実空
間の位置ずれを表しており、このために、画像からラン
ドマーク位置を抽出することで、ずれの向きと大きさが
算出できる。
に計測することで、位置ずれを解消するようなカメラ位
置の補正が可能となる。方位センサと画像を併用する最
も単純な位置合わせ方式は、1点のランドマークを用い
たセンサ誤差の補正と考えられ、画像上のランドマーク
の位置ずれに応じてカメラ位置を平行移動または回転さ
せる手法が第1文献によって提案されている。
置ずれ補正の基本的な考え方を示す。以下では、カメラ
の内部パラメータを既知として、歪みなどの影響を除外
した理想的な撮像系によって画像撮影が行われているも
のと仮定する。カメラの視点位置をC、画像上でのラン
ドマークの観測座標をQI 、現実空間のランドマーク位
置をQIとすると、点QIは点Cと点QIを結ぶ直線lQ上
に存在する。一方、位置方位センサによって与えられる
カメラ位置からは、カメラ座標系におけるランドマーク
位置PCと、その画像上での観測座標PIが推測できる。
以下では、点Cから点QI、PIへの3次元ベクトルを、
それぞれvl、v2と表記する。この方法では、補正後の
ランドマークの観測予測座標符P' IがQIに一致するよ
うに(すなわち、カメラ座標系における補正後のランド
マーク予測位置P ' Cが、直線lQ上に乗るように)、カ
メラと物体の相対的な位置情報を修正する事によって、
位置ずれが補正される。
回転によって補正することを考える。これは、二つのベ
クトルvl、v2の成す角θだけカメラが回転するよう
に、カメラの位置情報に修正を加えることで実現でき
る。実際の計算では、上記ベクトルvl、v2を正規化し
たベクトルvln、v2nを用いて、その外積vln×v2nを
回転軸に、内積v1n・v2nを回転角として、点Cを中心
にカメラを回転させる。
相対的な平行移動によって補正することを考える。これ
は、仮想世界中の物体位置をv=n(v1−v2)だけ平
行移動させることで実現できる。ここでnは、次式によ
って定義されるスケールファクタである。
を示す記号とする。また、カメラが−vだけ平行移動す
るようにカメラの位置情報に修正を加えることでも、同
様の補正が可能となる。これは、この操作によって、相
対的に仮想物体がvだけ移動したことに等しくなるため
である。以上の2つの手法は、ランドマーク上での位置
ずれを2次元的に一致させる手法であり、3次元的に正
しい位置にカメラ位置を補正することはできない。しか
し、センサ誤差が小さい場合には十分な効果が期待でき
る。また、補正のための計算コストは非常に小さなもの
であり、実時間性に優れた手法である。
献は、作業者が複数の協調作業を行う場合についての考
慮が成されておらず、従って、単独人の作業者による複
合現実感提示システムしか提供できなかった。
に鑑みてなされたもので、その目的は、複数作業者によ
る協調作業を複合仮想現実感によって提示する装置を提
案することを目的とする。上記課題を達成するための、
本発明の、複数の作業者が所定の複合現実環境内で協調
作業を行うように、前記協調作業に関連する3次元仮想
画像を生成して、前記複数の作業者の各々に装着された
シースルー型表示装置に表示する複合現実感提示装置
は、前記協調作業に伴って前記複数の作業者のアクチュ
エータの個々の位置を検出する第1のセンサ手段と、前
記複数の作業者個々の、前記協調作業の環境中における
視点位置を検出する第2のセンサ手段と、前記第1のセ
ンサ手段及び第2のセンサ手段に接続された、各々の作
業者のシースルー型表示装置のための三次元画像を生成
する生成手段であって、前記第1のセンサ手段によって
検出された前記複数のアクチュエータの位置の変化に応
じて進行した協調作業の、前記第2のセンサ手段によっ
て検出された個々の作業者の視点位置から見たときの作
業結果を示す三次元仮想画像を生成し各々のシースルー
型表示装置に出力する生成手段とを具備することを特徴
とする。
のセンサ手段は、作業者の操作によって位置が移動する
アクチュエータの最大範囲を視野内に含む撮像カメラ
と、前記カメラによって得られた画像中から、画像処理
により、各アクチュエータの位置を検出する画像処理手
段とを具備することを特徴とする。
チュエータは所定の波長の光を照射し、前記第1のセン
サ手段は前記所定の波長の光の感応するカメラを有す
る。本発明の好適な一態様に拠れば、前記アクチュエー
タは作業者の手により操作されるマレットである。本発
明の好適な一態様に拠れば、前記シースルー型表示装置
は透過型の表示デバイスを有する。
のセンサ手段は、個々の作業者の頭部の位置および姿勢
を検出し、検出された頭部の位置及び姿勢に応じて視点
位置を演算する。本発明の好適な一態様に拠れば、前記
第2のセンサ手段は、交流磁界を発生する手段と、作業
者の頭部に取り付けられた磁気センサとを有するこ。
手段は、前記協調作業のルールを記憶する手段と、検出
された複数のアクチュエータの位置の変化に応じて、前
記記憶手段に記憶されたルールに従って、協調作業の進
行結果を表す仮想画像を生成する手段と、前記仮想画像
を、前記第2のセンサ手段によって検出された個々の作
業者の視点位置毎に座標変換を行って、視点位置毎の三
次元仮想画像を生成する手段とを具備する。
の作業者が所定の複合現実環境内で協調作業を行うよう
に、前記協調作業に関連する3次元仮想画像を生成し
て、前記複数の作業者の各々に装着されたシースルー型
表示装置に表示する複合現実感提示装置は、前記協調作
業に伴って前記複数の作業者により操作される複数のア
クチュエータを視野内に納め、個々のアクチュエータの
位置に関する情報をこの環境の座標系で出力するカメラ
手段と、前記複数の作業者個々の、前記協調作業の環境
中における視点位置を、この環境の座標系で検出して出
力するセンサ手段と、前記カメラ手段及びセンサ手段に
接続された、各々の作業者のシースルー型表示装置のた
めの三次元画像を生成する生成手段であって、前記第1
のセンサ手段によって検出された前記複数のアクチュエ
ータの位置の変化に応じて進行した協調作業の、前記第
2のセンサ手段によって検出された個々の作業者の視点
位置から見たときの作業結果を示す三次元仮想画像を生
成し各々のシースルー型表示装置に出力する生成手段と
を具備することを特徴とする。
示手法及びHMDをエアーホッケーゲーム装置に適用し
た実施形態に係わるシステムを説明する。エアーホッケ
ーゲームは相手の存在する対戦型のゲームであり、通
常、下部から圧縮空気を供給してパックを浮かして、こ
のパックを打ち合い、相手のゴールにパックを入れたら
得点が入る。得点の多い方を勝者とするゲームである。
本実施形態のMRを適用したエアホッケーゲームは、パ
ックを仮想3次元画像として現実環境のテーブルに重畳
してプレーヤーに提示して、現実のマレットで打ち合う
ものである。
態のシステムのゲーム装置部分を側面から見た図であ
る。複合現実感のエアーホッケーゲームは、テーブル1
000を挟んで、二人の対戦者2000,3000が手
にマレット(260L,260R)をもって向かい合
う。二人の対戦者2000,3000は頭部にヘッドマ
ウントデイスプレイ210L,210R(以下HMDと
略す)を装着する。本実施形態のマレットはその先端に
赤外線発光器を有している。本実施形態では、画像処理
によりマレット位置を検出するが、マレットの形状や色
に特徴があるのであれば、それらの特徴を用いたパター
ン認識による検出も可能である。
ようにシースルー型である。両対戦者2000,300
0は、HMD210L,210Rを装着していても、テ
ーブル1000の表面を観察することができる。HMD
210には後述の画像処理システムから三次元仮想画像
が入力される。従って、対戦者2000,3000は、
HMD210の光学系(第2図には不図示)を通した現
実空間の映像に重ねて、HMD210の表示画面に表示
された三次元画像を見ることとなる。
HMD210Lからみた映像を示す。二人のプレーヤは
仮想のパック1500を打ち合う。パック1500を打
つのはプレーヤ2000が手に握っている現実のマレッ
ト260Lを用いる。プレーヤ2000は手にマレット
260Lを握っている。相手プレーヤ3000の直前に
はゴール1200Rが見える。画像処理システム(第3
図には不図示)は、ゴール1200Rが相手方近傍に見
えるように、三次元CGを生成してHMD240Lに表
示する。
Rを介してプレーヤ3000の近傍にゴール1200L
を見ることとなる。パック1500も不図示の画像処理
システムにより生成されて、各々のHMDに表示され
る。 〈磁気センサつきHMD〉第4図は、HMD210の構
成を示す。このHMD210は、例えば特開平7−33
3551号のHMDの本体に、磁気センサ220を支柱
221を介して取り付けたものである。図中、211は
LCD表示パネルである。LCD表示パネルからの光
は、光学部材212に入射し、全反射面214にて反射
して、凹面ミラー213の全反射面にて反射して、全反
射面214を透過して観察者の目に届く。
lhemus社の磁気センサFastrackを用いた。磁気センサは
磁気ノイズに弱いので、支柱221により、ノイズ発生
源である表示パネル211及びカメラ240から離間し
た。尚、第4図に示したHMDに磁気センサ及び(又
は)カメラを取り付ける構成は、光学的シースルー方式
のHMDに限られず、ビデオシースルー方式のHMDで
あっても、磁気センサ及び(又は)カメラを、頭部位置
及び姿勢を正確に検出する目的で、そのHMDに装着す
ることは可能である。
ンド(不図示)によってプレーヤの頭部に固定される。
プレーヤの夫々の頭部には、第4図に示すように磁気セ
ンサ220が、第2図に示すようにCCDカメラ240
(240L,240R)が、それぞれ固定されている。
カメラ240の視界はプレーヤの前方に設定されてい
る。エアホッケーゲームの場合には、それぞれテーブル
1000の上面を見ることとなるので、カメラ240も
テーブル1000の表面の画像を撮像する。磁気センサ
220(220L,220R)は、交流磁界発生源25
0が発する交流磁界の変化をセンスする。
ために斜め下方を向くと、HMD210を通した視界に
は、テーブル1000の表面と、前述の仮想のパック1
500、現実のマレット260(260L,260
R)、仮想のゴール1200(1200L,1200
R)が見える。また、プレーヤが、頭部を、水平二次元
平面内において水平移動させ、あるいはティルティング
運動、ヨー運動、ローリング運動を行わせると、その変
化は先ず磁気センサ220によって検出され、併せて、
頭部の姿勢変化に伴ってCCDカメラ240が撮像する
画像の変化として観測される。
その先端に赤外線発光器を有しており、マレット位置は
この赤外線を検出するCCDカメラ230によってその
二次元平面位置を知ることができる。CCDカメラ24
0はマーカ画像と呼ばれる画像を出力する。
マーカの一例を示す。第5図において、○印で示した5
つのランドマーク即ちマーカ(1600〜1604)は
プレーヤ2000の頭部位置を補助的に検出するために
用いられるマーカを示し、□印で示した5つのランドマ
ーク即ちマーカ(1650〜1654)はプレーヤ30
00の頭部位置を補助的に検出するために用いられるマ
ーカを示す。マーカをこのように複数配置すると、頭部
の位置、特に姿勢によって、どのマーカが見えるかが決
まる、換言すれば、各々のプレーヤの装着されたCCD
カメラ240が写す画像中におけるマーカを特定し、画
像内での位置を検出できれば、プレーヤの頭部姿勢を検
出する磁気センサの出力信号の補正に用いることができ
る。
対してそれぞれ割り当てられたマーカ群(1600〜1
608)とマーカ群1650〜1658)とは、それぞ
れ、異なる色に着色されている。本実施形態では、左側
プレーヤ(#1プレーヤ)のためのマーカは赤色に、右
側プレーヤ(#2プレーヤ)のためのマーカは緑色に着
色されている。画像処理におけるマーカの区別を容易に
するためである。
配置した点にある。複数配置することによって、プレー
ヤがテーブル1000上で本エアホッケーゲームの動作
範囲内で行動する限りにおいて、少なくとも1つのマー
カがCCDカメラ240の視野内に入ることが保証され
る。第6図は、プレーヤが頭部を色々と移動した場合に
おいて、頭部の移動に伴って、マーカを検出する画像処
理範囲が移動する様子が描かれてる。同図に示すよう
に、1つの画像には少なくとも1つのマーカが入ってい
る。換言すれば、マーカの数、マーカ間の間隔等は、テ
ーブル1000の大きさ、カメラ240の視野角、ゲー
ムの性質に基づくプレーヤの移動範囲の大きさに応じて
設定されるべきである。この場合、プレーヤから遠方で
あればあるほど、広い範囲が視野に入るので、マーカ間
の間隔を広くして良い。これは、近傍にあるマーカ間の
画像中での間隔距離と、遠方にあるマーカ間の画像中で
の距離とを同じくするためである。同じフレーム内に不
必要に複数のマーカが撮像されるのを防ぐためである。
図に示したゲーム装置における三次元画像の生成提示シ
ステムの構成を示す。この画像生成提示システムは、左
側プレーヤ2000のHMD240L及び右側プレーヤ
3000のHMD240Rの夫々の表示装置に、三次元
の仮想画像(第3図のパック1500,ゴール120
0)を出力するものである。三次元の仮想画像の生成
は、画像生成部5050L,5050Rに拠って行われ
る。本実施形態では、画像生成部5050の夫々に米国
SiliconGraphics社製のコンピュータシステムONYX2を用
いた。
5030が生成するパック位置情報等と、2つの補正処
理部5040L,5040Rが生成する補正後の視点位
置・頭部方向に関する情報とを入力する。ゲーム状態管
理部5030および補正処理部5040L,5040R
の夫々はコンピュータシステムONYX2により構成され
た。
CCDカメラ230は、テーブル1000の表面を全て
視野に納める。カメラ230によって取得されたマレッ
ト情報はマレット位置計測部5010に入力される。こ
の計測部5010は、同じく、SiliconGraphics社製O2
コンピュータシステムにより構成された。計測部501
0は、二名のプレーヤのマレット位置、即ち、手の位置
を検出する。手の位置に関する情報はゲーム状態管理部
5030に入力されて、ここで、ゲーム状態が管理され
る。即ち、ゲーム状態・ゲームの進行は基本的にはマレ
ットの位置によって全てが決定される。
ムO2により構成された位置姿勢検出部5000は、2つ
の磁気センサ220L,220Rの出力を入力して、各
プレーヤの視点位置及び頭部姿勢を検出し、補正処理部
5040L,5040Rに出力する。一方、各プレーヤ
の頭部に固定されたCCDカメラ240L,240Rは
マーカ画像を取得し、このマーカ画像は、夫々、マーカ
位置検出部5060L,5060Rにおいて処理され、
夫々のカメラ240の視野に納まっているマーカの位置
が検出される。マーカ位置に関する情報は補正処理部5
040(5040L,5040R)に入力される。
(5060L,5060R)はO2コンピュータシステム
により構成された。 〈マレット位置計測〉第8図乃至第10図は、マレット
位置を計測する制御手順を示すフローチャートである。
のマレットを他のプレーヤの領域まで進めることはな
い。そのために、左側プレーヤ2000(右側プレーヤ
3000)のマレット260L(260R)を探索する
処理は、第11図に示すように、左側フィールドの画像
データIL(画像データIR)に処理を集中すればよい。
固定位置にあるCCDカメラ230が取得した画像を第
11図に示すように2つの分割することは容易である。
て、プレーヤ#1(プレーヤ2000)のマレット26
0Lの探索についてはステップS100で、プレーヤ#
2(プレーヤ3000)のマレット260Rの探索につ
いてはステップS200で処理が行われる。そこで、便
宜上、右側プレーヤのマレットの探索(ステップS20
0)を例にして説明する。
0から多値画像を取得する。ステップS212では、右
半分の画像データIRについてサブルーチン「ローカル
領域での探索」を行う。その詳細は第9図に示される。
ステップS212で画像座標系でのマレット位置の座標
(x,y)が見つかると、ステップS214からステッ
プS220に進み、画像座標系でのマレット位置座標
(x,y)を次式に従ってテーブル1000の座標系
(第13図を参照)の座標位置(x’,y’)に変換す
る。
系とをキャリブレーションするための3×3の変換行列
で、既知である。ステップS220で得られた座標位置
(x’,y’)はゲーム状態管理部5030に送られ
る。ローカル領域でマレットがみつからなかったなら
ば、ステップS216で「グローバル領域での探索」を
行う。「グローバル領域での探索」でマレットが見つか
ったならば、ステップS220でその座標位置をテーブ
ル座標系に変換する。尚、ローカル又はグローバル領域
で探索された座標位置は、次のフレームでのローカル領
域におけるマレットの探索に用いられる。
る処理(ステップS212の詳細)を示す。但し、この
処理は便宜上右側フィールドにおける探索処理を示す
が、左側フィールドにおけるマレットの探索処理につい
ても実質的に同様である。ステップS220で、次式で
定義される大きさ(2A+1)×(2B+1)画素の矩
形領域を抽出する。
の座標値であり、A,Bは探索領域の大きさを決める定
数であって、かかる探索領域は第12図のようになる。
ステップS230は、ステップS220で定義された矩
形領域中の全ての画素(x,y)について、特徴の評価
値IS(x,y)が一定の条件を満足するものを抽出す
る工程である。マレットを探索する目的では、特徴量と
は、画素値(赤外光の強度値)の類似度が好適である。
本実施形態では、マレットには赤外線発光器を用いてい
るので、その赤外光の強度の特徴を有するものは、一応
マレットと判断する。
が所定の閾値以上にマレットに近い画素を見つける。そ
のような画素を見つけると、カウンタNに発生度数の累
積値を記憶する。また、そのような画素のx座標値及び
y座標値をレジスタSUMx及びSUMyに累積記憶する。即
ち、
第12図の領域中でマレットからの赤外光のパターンに
類似している全ての画素の個数N、及び座標値の累積値
SUMx,SUMyが得られる。N=0であればステップS23
6で結果“Not Found”が出力される。N>0であれ
ば、マレットらしいものが見つかったのであり、ステッ
プS238で、マレットの位置(Ix,Iy)を、
(Ix,Iy)をテーブル座標系に変換した座標値を渡
す。第10図は、ステップS216のグローバル領域探
索の詳細手順を示す。第10図のステップS240で、
右側フィールドの画像IR中の、
の最大値をレジスタMaxに記憶する。ここで、C,Dは
探索の粗さを決める定数であり、WidthおよびHeightは
その定義を第15図に示す。即ち、ステップS242
で、特徴量ISが閾値記憶レジスタMaxに記憶されている
閾値を超えるか否かを判断する。そのような画素が見つ
かったならば、ステップS244で、その特徴量を新た
な閾値とすべく、ステップS244で、
ル探索で見つかった最もマレットらしい画素(Ix,I
y )の座標値をステップS220に渡す。このようにし
て、マレットを画像中で見つけ、その座標値をテーブル
座標系に変換したものをゲーム状態管理部5030に渡
す。 〈ゲーム状態管理〉第13図は、本実施形態のエアホッ
ケーゲームのゲームフィールドを示す。このフィールド
は、テーブル1000の上の2次元平面上に定義され、
x,y軸を有する。また、左右の2つの仮想的ゴールラ
イン1200L,1200Rと、第13図において上下
方向に設けられた仮想的壁1300a,1300bとを
有する。仮想的ゴールライン1200L,1200Rと
仮想的壁1300a,1300bとは、その座標値は既
知であり、移動することはない。このフィールドの中
で、マレット260R,260Lの移動に応じて、パッ
ク1500の仮想画像が移動する。
pと速度情報vpとを有し、左マレット260Lは現在位
置の座標情報PSLと速度情報vSLとを有し、右マレット
260Rは現在位置の座標情報PSRと速度情報vSRとを
有する。第14図は、ゲーム状態管理部5030におけ
る処理手順を説明するフローチャートである。
の初期位置Pp0及び初期速度vp0を設定する。尚、パッ
クは速度vpで等速度運動を行う。また、パックは、壁
又はスティックに当たると完全弾性衝突を行う、即ち、
速度方向が反転する。ゲーム状態管理部5030は、マ
レット位置計測部5010が計測した各マレットの位置
情報PSから速度情報vSを得る。
する(ステップS50で一方が3点を先取する)迄の間
は、Δt時間毎に実行される。すると、ステップS12
では、パックの位置は、
後におけるパックの位置は、一般には、
れたパック位置Ppがプレーヤの#1側(左プレーヤ)
のフィールドにあるか否かを調べる。パック1500が
左プレーヤ側にある場合について説明する。ステップS
16では、現在のパック位置が左プレーヤのスティック
1100Lと干渉する位置にあるか否かを調べる。パッ
ク1500がスティック1100Lと干渉する位置にあ
るとは、左プレーヤ2000がマレット260Lをパッ
クに衝突させるようなマレット操作を行ったことを意味
するから、パック1500の運動を反転させるために、
ステップS18で、パック1500の速度vpのx方向
速度成分の符号を反転させて、ステップS20に進む。
を反転させる代わりに、
を重畳されて反対方向に進むようにしても良い。一方、
現在のパック位置が左プレーヤのスティック1100L
と干渉する位置にない場合(ステップS16でNO)に
は、そのままステップS20に進む。ステップS20で
は、パックの位置Pi+1が仮想壁1300a又は130
0bと衝突する位置にあるか否かを調べる。ステップS
20の判断がYESの場合には、ステップS22でパッ
クの速度のy成分を反転させる。
置が左プレーヤのゴールライン内にあるか否かを調べ
る。YESの場合には、ステップS26で相手側のプレ
ーヤ、即ち、右(#2)プレーヤの得点を加算する。ス
テップS50では、いずれかの得点が3点以上先取した
かを調べる。3点以上であればゲームを終了する。ステ
ップS14での判断で、パックの位置Ppが右プレーヤ
側(#2プレーヤ側)にある場合には、ステップS30
以下を実行する。ステップS30〜ステップS40は、
ステップS16〜ステップS26と実質的に動作は同じ
である。
る。ゲームの進行状態は、パックの位置、スティックの
位置であり、前述したように、画像生成部5050(5
050L,5050R)に入力される。 〈頭部位置の補正〉第16図は、補正処理部5040
(5040L,5040R)における処理の制御手順の
全体を示す。補正処理部5040における補正とは、誤
差を有すると思われる磁気センサによって得られた視点
位置及び頭部姿勢データを、CCDカメラ240から得
られた画像中のマーカ位置により、カメラ240の位置
(頭部の位置に密接に関連するものでもある)の補正値
を求め、その補正値を用いて、最終的に、視点のビュー
イング変換行列を変更することにより補正するものであ
る。
220の出力に基づいて、カメラのビューイング変換行
列(4×4)を計算する。ステップS410では、カメ
ラ240の理想的透視変換行列(既知)及び各マーカの
三次元位置(既知)に基づいて、各マーカの観測座標を
予測する。マーカ位置検出部5060(5060L,5
060R)は、プレーヤの頭部に取り付けられたカメラ
240(240L,240R)から得た画像中でマーカ
を追跡している。従って、マーカ位置検出部5060は
検出したマーカ位置を、補正処理部5040(ステップ
S420において)に渡す。補正処理部5040(50
40L,5040R)は、ステップS420において、
渡されたマーカ位置情報に基づいて、観測しているマー
カ、即ち補正の基準となるマーカを判別する。ステップ
S430では、カメラ240の位置の補正値を算出し
て、この補正値に基づいて、ステップS440で、視点
のビューイング変換を補正し、補正された変換行列を画
像生成部5050(5050L,5050R)に渡す。
ける処理手順である。ステップS500では、カメラ2
40が取得したカラー画像を取り込む。その後に、ステ
ップS502では、「ローカル領域探索」を、ステップ
S506では「グローバル領域探索」を行って、カメラ
座標系によって表されたマーカ位置(x,y)を検出す
る。ステップS502の「ローカル領域探索」、ステッ
プS506の「グローバル領域探索」は、手順として
は、マレット探索における「ローカル領域探索」(第9
図)、「グローバル領域探索」(第10図)に実質的に
同じであるので、図示を省略する。
テップS232の)として、プレーヤ#1(左)につい
て、注目画素の画素値の、
カ(1600〜1604)には赤色を用いているので、
この特徴量は赤らしさの程度を表す。また、プレーヤ#
2(右)については緑色のマーカ(1650〜165
4)を用いているので、
特徴量IS(x,y)についても上記2つの量を用い
る。ステップS502及びステップS506で得られた
マーカの座標値は、ステップS510で、歪みを補正す
るための行列M(例えば3×3の大きさを有する)を用
いて歪みのない理想的な画像座標系に変換する。この時
の変換式は、
10の処理の詳細について、第18図を用いて説明す
る。前述したように、ステップS400では世界座標系
からカメラ座標系への変換行列MC(4×4のビューイ
ング変換行列)が得られている。一方、カメラ座標系か
ら画像座標系への変換行列PC(4×4)も既知の値と
して与えられている。また、注目するマーカの三次元座
標位置(X,Y,Z)も既知として与えられている。
置でのZ軸方向の回転(roll)とし、角度pをカメラ24
0の位置でのX軸方向の回転(pitch)とし、角度φをカ
メラ240の位置でのZ軸方向の回転(yaw)とすると、
をカメラの撮像面の幅、hを同じく高さとすると、PC
は、
マーカの座標位置(X,Y,Z)を、次式に従って、画
像座標系での位置(xh,yh,zh)に変換する。
位置x,yとして、
る「マーカ判別」の処理を説明する。第19図は、テー
ブル1000上において、一方のプレーヤのカメラ24
0が画像600を取得した場合を示す。テーブル100
0上に設けられているマーカを、例えばM1〜M7とし、
△印で表す。このマーカの三次元位置Miは既知であ
る。画像600内には、マーカM2,M3,M6,M7が含
まれている。一方、各マーカMiの観測予測位置はステ
ップS520で求められたものであり、それをPiとす
る。また、Qは、マーカ位置検出部5060が検出し、
検出部5060から渡されたマーカ位置を示す。
マーカ位置検出部5060が検出したマーカ位置Qが、
どのPi(即ち、どのMi)に対応するかを判断するもの
である。第19図において、ベクトルeiを、検出され
たマーカ位置Qから各マーカの予測位置Piに向かうベ
クトルの長さ、即ち、距離を表すものとする。ステップ
S420の詳細を第20図に示す。即ち、第20図の処
理は、画像6000内に入るマーカi(i=0〜n)の
距離eiのうち、最小値を示すマーカを探索し、そのマ
ーカの識別子iを出力するものである。即ち、
離e2が一番短いので、マーカM2を磁気センサ出力の補
正に用いるデータとする。かくして、プレーヤがどのよ
うに移動しても、その活動範囲(フィールド)内では、
カメラ240はいずれかの1つ以上のマーカを画像中に
捉えるので、従来のように、フィールドの大きさを狭く
限定する必要が無くなる。
での処理は、第1図において説明した処理と同じであ
る。 〈変形例1〉本発明は上述の実施例にのみ適用されるも
のではない。上記実施形態では、画像中にマーカを検出
する処理は、第17図に示すように、最初に見つかった
ものを追跡対象のマーカとしていた。そのために、例え
ば、第21図に示すように、あるフレームでマーカM1
を含む画像800が得られた場合に、その後のフレーム
の画像領域810には、マーカが領域810の端部では
あるがその領域810内に含まれている場合には、マー
カMiを補正処理の基準用のマーカとして決定すること
に不都合はない。しかし、その後のフレームで、例えば
画像820が得られ、その領域内にはマーカMiが外
れ、代わりにマーカM2を含む場合には、補正のための
基準マーカはそのマーカM2に変更せざるを得ない。こ
のようなマーカの変更は追跡に失敗した場合にも必要と
なり、位置ずれの補正には、新たに追跡されたマーカが
利用される。
えることの問題点として、その切り替わりの際に、補正
値の急激な変化が原因となって、仮想物体が不自然に移
動してしまう場合がある。そこで、補正値の時間的整合
性を保つために、前フレームまでの補正値を次の補正値
の設定に反映させることを変形例として提案する。
系での平行移動を表す3次元ベクトル)をvt、前フレ
ームでの補正値をv't-1としたとき、次式で求められる
v'tを新たな補正値とする。
定義する0≦α<1の定数である。上記式の意味すると
ころは、前フレームでの補正値v't-1に拠る寄与度をα
とし、今回のフレームで得られた補正値vtを(1−
α)の寄与度で用いるというものである。このようにす
ることにより、補正値の急激な変化が緩和され、三次元
仮想画像の急激な変化(不自然な移動)が解消する。新
たな補正値αを適当な値に設定することで、マーカの切
り替わりによる不自然な物体の移動を防ぐことができ
る。
マーカを検出する処理は、第17図に示すように、ロー
カル探索でマーカを発見できなかった場合、前回のフレ
ームでのマーカの位置に関わらず、全画面中で最も類似
度の高い点を追跡対象のマーカとしていた。ここで、マ
ーカの探索を、前のフレームで見つかったマーカの位置
を中心にして、マーカ探索を行う変形例を提案する。こ
れは、プレーヤの移動に伴う画像フレームの移動があっ
ても、マーカは前フレームに存在した位置から大きくず
れていない位置に存在する可能性が高いからである。
かったマーカを今回のフレームに探索する原理を説明す
る。このような探索経路で探索を行い、ある閾値以上の
類似度を持つ点を見つけたら、この点を追跡対象のマー
カとするのである。 〈変形例3〉上記実施形態は光学式HMDを用いたもの
であったが、本発明は光学式HMDの適用に限定される
ものではなく、ビデオシースルー方式のHMDにも適用
可能である。
ーゲームに適用したものであったが、本発明はエアホッ
ケーゲームに限られない。本発明は、複数人の作業(例
えばマレット操作)を、1つのカメラ手段により撮像し
て捉えるので、その複数人の作業を1つの仮想空間に再
現することが可能である。従って、本発明は、2人以上
の作業者を前提とした協調作業(例えば、複数人による
設計作業のMRプレゼンテーション、あるいは複数人の
対戦型ゲーム)の実施例にも好適である。
勢位置を補正する処理は、複数人の協調作業にのみ好適
であることはない。一人の作業者(あるいはプレーヤ)
に複合現実感を提示するシステムにも適用可能である。
数の作業者の動作を1つのカメラ手段によって捉えるの
で、仮想共同現実感の提示に必要な個々の作業者の位置
関係を統一的に把握することができる。
に適用されている、カメラ位置の補正の原理を説明する
図。
置の構成を示す側面図。
見えるシーンを説明する図。
の構成を説明する図。
マーカの配置を説明する図。
れて、プレーヤの頭部に装着されたカメラに捉えられる
画像中に含まれるマーカの変遷を説明する図。
生成装置の構成を説明する図。
順を説明するフローチャート。
順の一部サブルーチン(ローカル探索)を説明するフロ
ーチャート。
手順の一部サブルーチン(グローバル探索)を説明する
フローチャート。
いられる処理対象領域の分割を説明する図。
いられる対象領域の設定手法を示す図。
ィールドの構成を説明する図。
ム管理の制御手順を説明するフローチャート。
全体的に説明するフローチャート。
の追跡)を詳細に説明するフローチャート。
位置の予測)を詳細に説明するフローチャート。
の検出の原理を説明する図。
フローチャート。
の変遷を説明する図。
の原理を説明する図。
Claims (9)
- 【請求項1】 複数の作業者が所定の複合現実環境内で
協調作業を行うように、前記協調作業に関連する3次元
仮想画像を生成して、前記複数の作業者の各々に装着さ
れたシースルー型表示装置に表示する複合現実感提示装
置であって、 前記協調作業に伴って前記複数の作業者のアクチュエー
タの個々の位置を検出する第1のセンサ手段と、 前記複数の作業者個々の、前記協調作業の環境中におけ
る視点位置を検出する第2のセンサ手段と、 前記第1のセンサ手段及び第2のセンサ手段に接続され
た、各々の作業者のシースルー型表示装置のための三次
元画像を生成する生成手段であって、前記第1のセンサ
手段によって検出された前記複数のアクチュエータの位
置の変化に応じて進行した協調作業の、前記第2のセン
サ手段によって検出された個々の作業者の視点位置から
見たときの作業結果を示す三次元仮想画像を生成し各々
のシースルー型表示装置に出力する生成手段とを具備す
ることを特徴とする複合現実感提示装置。 - 【請求項2】 前記第1のセンサ手段は、 作業者の操作によって位置が移動するアクチュエータの
最大範囲を視野内に含む撮像カメラと、 前記カメラによって得られた画像中から、画像処理によ
り、各アクチュエータの位置を検出する画像処理手段と
を具備することを特徴とする請求項1に記載の複合現実
感提示装置。 - 【請求項3】 前記アクチュエータは所定の波長の光を
照射し、前記第1のセンサ手段は前記所定の波長の光の
感応するカメラを有することを特徴とする請求項1に記
載の複合現実感提示装置。 - 【請求項4】 前記アクチュエータは作業者の手により
操作されるマレットであることを特徴とする請求項1に
記載の複合現実感提示装置。 - 【請求項5】 前記シースルー型表示装置は光学的透過
型の表示デバイスを有することを特徴とする請求項1に
記載の複合現実感提示装置。 - 【請求項6】 前記第2のセンサ手段は、個々の作業者
の頭部の位置および姿勢を検出し、検出された頭部の位
置及び姿勢に応じて視点位置を演算することを特徴とす
る請求項1に記載の複合現実感提示装置。 - 【請求項7】 前記第2のセンサ手段は、 交流磁界を発生する手段と、 作業者の頭部に取り付けられた磁気センサとを有するこ
とを特徴とする請求項5に記載の複合現実感提示装置。 - 【請求項8】 前記生成手段は、 前記協調作業のルールを記憶する手段と、 検出された複数のアクチュエータの位置の変化に応じ
て、前記記憶手段に記憶されたルールに従って、協調作
業の進行結果を表す仮想画像を生成する手段と、 前記仮想画像を、前記第2のセンサ手段によって検出さ
れた個々の作業者の視点位置毎に座標変換を行って、視
点位置毎の三次元仮想画像を生成する手段とを具備する
ことを特徴とする請求項1に記載の複合現実感提示装
置。 - 【請求項9】 複数の作業者が所定の複合現実環境内で
協調作業を行うように、前記協調作業に関連する3次元
仮想画像を生成して、前記複数の作業者の各々に装着さ
れたシースルー型表示装置に表示する複合現実感提示装
置であって、 前記協調作業に伴って前記複数の作業者により操作され
る複数のアクチュエータを視野内に納め、個々のアクチ
ュエータの位置に関する情報をこの環境の座標系で出力
するカメラ手段と、 前記複数の作業者個々の、前記協調作業の環境中におけ
る視点位置を、この環境の座標系で検出して出力するセ
ンサ手段と、 前記カメラ手段及びセンサ手段に接続された、各々の作
業者のシースルー型表示装置のための三次元画像を生成
する生成手段であって、前記第1のセンサ手段によって
検出された前記複数のアクチュエータの位置の変化に応
じて進行した協調作業の、前記第2のセンサ手段によっ
て検出された個々の作業者の視点位置から見たときの作
業結果を示す三次元仮想画像を生成し各々のシースルー
型表示装置に出力する生成手段とを具備することを特徴
とする複合現実感提示装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23637697A JP3486536B2 (ja) | 1997-09-01 | 1997-09-01 | 複合現実感提示装置および方法 |
US09/045,993 US6522312B2 (en) | 1997-09-01 | 1998-03-23 | Apparatus for presenting mixed reality shared among operators |
AT98302186T ATE334453T1 (de) | 1997-09-01 | 1998-03-24 | Vorrichtung und verfahren zur darstellung gemischter virtueller realität, gemeinsam von mehreren bedienungspersonen genutzt |
EP98302186A EP0899690B1 (en) | 1997-09-01 | 1998-03-24 | Apparatus and method for presenting mixed virtual reality shared among operators |
DE69835321T DE69835321T2 (de) | 1997-09-01 | 1998-03-24 | Vorrichtung und Verfahren zur Darstellung gemischter virtueller Realität, gemeinsam von mehreren Bedienungspersonen genutzt |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23637697A JP3486536B2 (ja) | 1997-09-01 | 1997-09-01 | 複合現実感提示装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1188913A true JPH1188913A (ja) | 1999-03-30 |
JP3486536B2 JP3486536B2 (ja) | 2004-01-13 |
Family
ID=16999883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23637697A Expired - Fee Related JP3486536B2 (ja) | 1997-09-01 | 1997-09-01 | 複合現実感提示装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3486536B2 (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002271693A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理装置、画像処理方法、及び制御プログラム |
JP2005107968A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 画像表示装置及び方法並びに情報処理方法 |
US6951515B2 (en) | 1999-06-11 | 2005-10-04 | Canon Kabushiki Kaisha | Game apparatus for mixed reality space, image processing method thereof, and program storage medium |
US7031495B2 (en) | 2003-03-28 | 2006-04-18 | Olympus Corporation | Data authoring device |
JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
JP2007286851A (ja) * | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2008039611A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
US7574070B2 (en) | 2003-09-30 | 2009-08-11 | Canon Kabushiki Kaisha | Correction of subject area detection information, and image combining apparatus and method using the correction |
US7589747B2 (en) | 2003-09-30 | 2009-09-15 | Canon Kabushiki Kaisha | Mixed reality space image generation method and mixed reality system |
JP2010217719A (ja) * | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
WO2011132373A1 (en) * | 2010-04-19 | 2011-10-27 | Sony Corporation | Image processing device, image processing method and program |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
KR101313797B1 (ko) * | 2009-12-18 | 2013-10-01 | 한국전자통신연구원 | 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 |
US20140002493A1 (en) * | 2012-06-29 | 2014-01-02 | Disney Enterprises, Inc., A Delaware Corporation | Augmented reality simulation continuum |
WO2014002346A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
US8681177B2 (en) | 2007-10-26 | 2014-03-25 | Canon Kabushiki Kaisha | Virtual image display system, including wireless connection |
JP2017516186A (ja) * | 2014-03-14 | 2017-06-15 | 株式会社ソニー・インタラクティブエンタテインメント | 空間感知を備えるゲーム機 |
WO2019150781A1 (ja) * | 2018-01-30 | 2019-08-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JPWO2019123770A1 (ja) * | 2017-12-20 | 2021-03-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021083997A (ja) * | 2019-11-30 | 2021-06-03 | 株式会社Embedded Wings | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
-
1997
- 1997-09-01 JP JP23637697A patent/JP3486536B2/ja not_active Expired - Fee Related
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6951515B2 (en) | 1999-06-11 | 2005-10-04 | Canon Kabushiki Kaisha | Game apparatus for mixed reality space, image processing method thereof, and program storage medium |
US7038699B2 (en) | 2001-03-13 | 2006-05-02 | Canon Kabushiki Kaisha | Image processing apparatus and method with setting of prohibited region and generation of computer graphics data based on prohibited region and first or second position/orientation |
JP2002271693A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理装置、画像処理方法、及び制御プログラム |
JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
US7031495B2 (en) | 2003-03-28 | 2006-04-18 | Olympus Corporation | Data authoring device |
US7589747B2 (en) | 2003-09-30 | 2009-09-15 | Canon Kabushiki Kaisha | Mixed reality space image generation method and mixed reality system |
JP2005107968A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 画像表示装置及び方法並びに情報処理方法 |
US7574070B2 (en) | 2003-09-30 | 2009-08-11 | Canon Kabushiki Kaisha | Correction of subject area detection information, and image combining apparatus and method using the correction |
JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
US8345952B2 (en) | 2006-04-14 | 2013-01-01 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, image sensing apparatus, and control method thereof |
JP2007286851A (ja) * | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2008039611A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
US8681177B2 (en) | 2007-10-26 | 2014-03-25 | Canon Kabushiki Kaisha | Virtual image display system, including wireless connection |
US9721539B2 (en) | 2007-10-26 | 2017-08-01 | Canon Kabushiki Kaisha | Image display system, image display apparatus, and control method thereof |
US9418630B2 (en) | 2007-10-26 | 2016-08-16 | Canon Kabushiki Kaisha | Image display system, image display apparatus, and control method thereof |
JP2010217719A (ja) * | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
KR101313797B1 (ko) * | 2009-12-18 | 2013-10-01 | 한국전자통신연구원 | 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 |
US8780178B2 (en) | 2009-12-18 | 2014-07-15 | Electronics And Telecommunications Research Institute | Device and method for displaying three-dimensional images using head tracking |
WO2011132373A1 (en) * | 2010-04-19 | 2011-10-27 | Sony Corporation | Image processing device, image processing method and program |
JP2011227644A (ja) * | 2010-04-19 | 2011-11-10 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
US9530249B2 (en) | 2010-09-24 | 2016-12-27 | Nintendo Co., Ltd. | Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method |
WO2014002346A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
US20140002493A1 (en) * | 2012-06-29 | 2014-01-02 | Disney Enterprises, Inc., A Delaware Corporation | Augmented reality simulation continuum |
JP2014010664A (ja) * | 2012-06-29 | 2014-01-20 | Sony Computer Entertainment Inc | 映像処理装置、映像処理方法、および映像処理システム |
JP2014010838A (ja) * | 2012-06-29 | 2014-01-20 | Disney Enterprises Inc | 拡張現実感シミュレーション連続体 |
KR20140002567A (ko) * | 2012-06-29 | 2014-01-08 | 디즈니엔터프라이지즈,인크. | 증강 현실 시뮬레이션 연속체 |
US9639989B2 (en) | 2012-06-29 | 2017-05-02 | Sony Corporation | Video processing device, video processing method, and video processing system |
US10282882B2 (en) * | 2012-06-29 | 2019-05-07 | Disney Enterprises, Inc. | Augmented reality simulation continuum |
CN103530495A (zh) * | 2012-06-29 | 2014-01-22 | 迪士尼企业公司 | 增强现实仿真连续体 |
US9741145B2 (en) | 2012-06-29 | 2017-08-22 | Disney Enterprises, Inc. | Augmented reality simulation continuum |
US20170330362A1 (en) * | 2012-06-29 | 2017-11-16 | Disney Enterprises, Inc. | Augmented reality simulation continuum |
JP2017516186A (ja) * | 2014-03-14 | 2017-06-15 | 株式会社ソニー・インタラクティブエンタテインメント | 空間感知を備えるゲーム機 |
JPWO2019123770A1 (ja) * | 2017-12-20 | 2021-03-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2019150781A1 (ja) * | 2018-01-30 | 2019-08-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11262838B2 (en) | 2018-01-30 | 2022-03-01 | Sony Corporation | Information processing device and information processing method |
JP2021083997A (ja) * | 2019-11-30 | 2021-06-03 | 株式会社Embedded Wings | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3486536B2 (ja) | 2004-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3450704B2 (ja) | 位置姿勢検出装置及び情報処理方法 | |
JPH1184307A (ja) | 頭部装着型の光学装置 | |
US6522312B2 (en) | Apparatus for presenting mixed reality shared among operators | |
JPH1188913A (ja) | 姿勢検出装置、姿勢検出方法、記憶媒体および複合現実感提示装置 | |
JP3631151B2 (ja) | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 | |
US7529387B2 (en) | Placement information estimating method and information processing device | |
US6781618B2 (en) | Hand-held 3D vision system | |
US7671875B2 (en) | Information processing method and apparatus | |
US7671916B2 (en) | Motion sensor using dual camera inputs | |
EP1883052B1 (en) | Generating images combining real and virtual images | |
US8081815B2 (en) | Marker arrangement information measuring apparatus and method | |
US7002551B2 (en) | Optical see-through augmented reality modified-scale display | |
US6937255B2 (en) | Imaging apparatus and method of the same | |
JP3530772B2 (ja) | 複合現実感装置及び複合現実空間画像の生成方法 | |
US20070098250A1 (en) | Man-machine interface based on 3-D positions of the human body | |
Tomioka et al. | Approximated user-perspective rendering in tablet-based augmented reality | |
JP7427188B2 (ja) | 3dポーズ取得方法及び装置 | |
JP2006317223A (ja) | 位置姿勢計測方法及び装置 | |
JP3793158B2 (ja) | 情報処理方法及び情報処理装置 | |
JPH1163927A (ja) | 頭部位置・姿勢の計測装置および作業監視装置 | |
CA2433885A1 (en) | System and method for the measurement of the relative position of an object with respect to a point of reference | |
Neumann et al. | Extendible object-centric tracking for augmented reality | |
JP2005270484A (ja) | キャリブレーション方法 | |
Mohareri et al. | A vision-based location positioning system via augmented reality: An application in humanoid robot navigation | |
EP1089215A1 (en) | Optical sensing and control of movements using multiple passive sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031014 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081024 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091024 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091024 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101024 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101024 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131024 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |