JP4065507B2 - 情報提示装置および情報処理方法 - Google Patents
情報提示装置および情報処理方法 Download PDFInfo
- Publication number
- JP4065507B2 JP4065507B2 JP2002223279A JP2002223279A JP4065507B2 JP 4065507 B2 JP4065507 B2 JP 4065507B2 JP 2002223279 A JP2002223279 A JP 2002223279A JP 2002223279 A JP2002223279 A JP 2002223279A JP 4065507 B2 JP4065507 B2 JP 4065507B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- annotation
- image
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Description
【０００１】
【発明の属する技術分野】
本発明は、現実世界および仮想世界を合成した映像を提示するものに関する。
【０００２】
【従来の技術】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（MR: Mixed Reality）の技術を応用した装置が盛んに提案されている。中でもヘッドマウントディスプレイ（HMD: Head Mounted Display）を装着したユーザが観測している現実世界や仮想世界に対して、仮想の情報を重畳してユーザに提示するような装置では、工事やメンテナンスなどの作業性を向上させることが期待できる。例えば、ユーザが装着したHMD上に、現実世界の映像に重畳して仮想の旗を表示することで、測量作業を支援する方法が提案されている。しかし、そのような装置の多くは、単一のユーザのみが使用することを前提としており、複数人が一つの複合現実空間（MR空間）を共有するような、会議や講演、協調を必要とする作業などには、必ずしも適したものであるとは言えなかった。
【０００３】
【発明が解決しようとする課題】
複数人が一つのMR空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行う際には、複数人で同一の対象を観測し、その対象物に関する情報を共有することが必要である。
【０００４】
本発明は、現実世界および仮想世界を合成した映像においてアノテーションを合成することにより、所定の情報を利用者に提供できるようにすることを目的とする。
【０００５】
本発明は、他ユーザの中もしている対象物とユーザの視覚の位置関係にかかわらず、他ユーザの注目している対象物の情報をユーザに視覚的にわかりやすく提示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
本願請求項１記載の発明は、ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得手段と、現実世界モデルデータと、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータとを蓄積するデータ蓄積手段と、前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得手段と、前記ユーザの視点の位置姿勢情報、前記他ユーザの情報、前記現実世界モデルデータ、前記仮想世界モデルデータおよび前記アノテーションデータを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成手段と、前記ユーザの視点からの現実世界画像、前記生成された仮想世界画像および前記生成されたアノテーション画像を合成することにより得られる複合現実空間画像を表示する表示手段とを有し、前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーション画像を生成することを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１０】
図１には、本実施形態の情報提示装置、および情報提示方法が適用される一実施の形態の全体構成を示す。
【００１１】
ユーザ操作入力部１０１は、例えば押しボタンスイッチ、マウス、ジョイスティックなどの入力装置からなり、情報提示装置１００の使用者であるユーザが操作することによって、操作内容に応じた制御情報を仮想映像生成部１０５へ送る。
【００１２】
ユーザ視点位置姿勢計測部１０２は、例えば磁気センサや光学式センサなどの位置姿勢計測装置からなり、ユーザの視点の位置姿勢を６自由度で計測し、仮想映像生成部１０５へ送る。位置姿勢計測装置をユーザの視点に設置することは一般的に困難であるため、ユーザ視点位置姿勢計測部１０２は、位置姿勢計測装置の出力結果をもとに、ユーザの視点の位置姿勢を算出する機能を持つ。例えば、位置姿勢計測装置をユーザの頭部に固定することによって、位置姿勢計測装置の出力とユーザの視点での位置姿勢との関係は、常に一定に保たれ、定式で表現される。この定式をあらかじめ求めておくことにより、位置姿勢計測装置の出力からユーザ視点での位置姿勢を算出する。また，ユーザ視点映像入力部１０６によって現実世界の映像を取り込み、位置姿勢計測装置の出力結果の誤差を補正するための画像処理を行ってもよい。この画像処理は、例えば、現実空間上で三次元座標が既知である複数の特徴点について、画像上での位置を検出し、位置姿勢計測装置の出力結果から計算される特徴点の画像上の位置との比較を行うことで、位置姿勢計測装置の誤差を算出し、その誤差を打ち消すように位置姿勢計測装置の出力結果を補正する処理である。また，この画像処理のみからユーザの視点の位置姿勢を算出してもよい。
【００１３】
モデルデータ蓄積部１０３は、例えばハードディスクやCD-ROM等の補助記憶装置または媒体からなり、仮想世界をコンピュータグラフィックス（CG:Computer Graphics）で描画するために必要な仮想世界モデルデータと、現実世界と仮想世界とを正しく合成するために必要な現実世界モデルデータと、仮想世界映像を生成するために必要なデータを保持し、蓄積する。仮想世界モデルデータには、仮想世界上に配置される仮想のCG物体のポリゴンを構成する頂点の三次元座標、面の構成情報、CG物体の識別情報、色情報、テクスチャ情報、CG物体の大きさ、CG物体が仮想世界中に配置される位置姿勢情報等が含まれる。現実世界モデルデータには、仮想世界と融合する現実世界に存在する物体のポリゴンを構成する頂点の三次元座標、面の構成情報、識別情報、物体の大きさや配置される位置姿勢情報等が含まれる。仮想世界映像を生成するために必要なデータには、ユーザ視点映像取得部１０６が備える撮像装置の撮像素子の大きさや角度、レンズの画角や歪み係数等の内部パラメータ等が含まれる。撮像装置モデルデータ蓄積部１０３に蓄積されている情報は仮想映像生成部１０５に送られる。モデルデータ蓄積部１０３は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１４】
アノテーションデータ蓄積部１０４は、例えばハードディスクやCD-ROM等の補助記憶装置または媒体からなり、現実世界や仮想世界に表示する付加情報であるアノテーションデータを保持し、蓄積する。アノテーションデータには現実世界および仮想世界の物体が配置されている位置や姿勢の情報、物体の識別情報、物体の情報をユーザに示すためのテキストや記号、画像等のデータが含まれる。アノテーションデータ蓄積部１０４は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１５】
仮想映像生成部１０５は、コンピュータのCPUやMPU等で実現され、ユーザ視点位置姿勢獲得部１０２から得られるユーザの視点の位置姿勢情報に基づき、仮想世界でのユーザの視点を設定し、その視点からモデルデータ蓄積部１０３が保持するモデルデータをCGで描画して、ユーザ視点から見た仮想世界の映像を生成する。さらに、仮想映像生成部１０５は伝送路２００にデータを送信する機能および伝送路２００からデータを受信する機能を持ち、伝送路２００を通じて、他の情報提示装置１００の仮想映像生成部１０５と相互に接続し、必要な情報の交換を行う。複数のユーザがそれぞれ情報提示装置１００を利用することにより、複数人が同一のMR空間を共有することが可能である。図２は複数のユーザが情報提示装置１００を利用する場合の構成を示した図である。仮想映像生成部１０５は、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢や、伝送路２００から得た他のユーザの視点の位置姿勢をもとに、アノテーションデータ蓄積部１０４で保持されているアノテーションデータに基づいて、ユーザに提示するべきアノテーションを生成し、仮想世界の画像上に重畳して表示する。生成されるアノテーションは二次元のものに限られない。三次元形状を有するアノテーションを生成し、モデルデータ蓄積部１０３が保持している仮想世界モデルと共にCGとして描画してもよい。また、仮想映像生成部１０５はユーザ操作入力部１０１から送られるユーザの操作情報に従って仮想世界を操作したり、生成されるアノテーションを制御する機能を持つ。
【００１６】
ユーザ視点映像入力部１０６は、CCDカメラなどの１つまたは２つの撮像装置を持ち、画像取り込み装置を介してユーザの目に映る現実世界の映像を獲得し、映像表示部１０７へ送られる。映像表示部１０７に光学シースルー型のHMDを備える場合においては、ユーザは現実世界を直接観測することが可能であり、ユーザ視点映像入力部１０６は不要となる。
【００１７】
映像表示部１０７は、HMDやディスプレイなどの映像表示装置を備え、ユーザ視点映像獲得部１０６によって獲得されたユーザが見る現実世界の映像と、仮想映像生成部１０５によって生成された仮想世界の映像とを合成して、その合成映像をユーザの目の前に表示する。画像表示装置に光学シースルー型のHMDを用いる場合においては、仮想映像生成部１０５によって生成された仮想世界の映像をユーザの目の前に表示する。
【００１８】
伝送路２００は、有線または無線のコンピュータネットワークを実現する媒体からなり、複数の情報提示装置１００を接続し、情報提示装置１００が相互に交換するデータが流される。
【００１９】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は本実施形態の情報提示装置における処理の手順を説明するフローチャートである。
【００２０】
ステップＳ０００において情報提示装置が起動され、初期化のために必要な処理が行われる。
【００２１】
ステップＳ１００では、ユーザがユーザ操作入力部１０１に対して行った操作が認識され、操作内容に応じた制御信号に変換された上で仮想画像描画部１０５へと送られる。
【００２２】
ステップＳ２００では、ユーザの視点での位置姿勢情報がユーザ視点位置姿勢計測部１０２において計測され、仮想画像描画部１０５へと送られる。
【００２３】
ステップＳ３００では、ユーザ視点映像入力部１０６において、ユーザの視点から見える現実世界の映像が取り込まれ、画像描画部１０７に送られる。画像描画部１０７の画像表示装置に光学シースルー型のHMDを備える場合には、ステップＳ２００の処理は不要となる。
【００２４】
ステップＳ４００では、仮想映像生成部１０５において、伝送路２００から通信データを受信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００２５】
ステップＳ５００では、仮想映像生成部１０５において、ステップＳ１００において得られたユーザの操作情報、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報、ステップＳ４００において得られた他のユーザに関する情報をもとに、ユーザに提示するアノテーションを決定する。
【００２６】
ステップＳ５００において、ユーザが注目している現実世界あるいは仮想世界の対象物を他のユーザに伝え、その対象物を注目させるようにすると、複数のユーザがMR空間内で情報を共有し、会議や講演、協調を必要とする作業などを行う上で非常に有用である。以下にその手段を示す。
【００２７】
まず、アノテーションデータ蓄積部１０４に蓄積されている現実世界および仮想世界の物体の情報から、現在ユーザが注目している対象物に関するデータを検索し、選択する。ユーザが注目している対象物を、情報提示装置１００が自動的に認識して選択してもよいし、またはユーザが入力装置１０１を操作して選択してもよい。
【００２８】
ユーザが注目している対象を自動で認識する方法として、ステップＳ２００で取得されたユーザ視点の位置姿勢情報と、モデルデータ蓄積部１０３が保持している撮像装置の内部パラメータを用いることが考えられる。
【００２９】
ステップＳ５００において、撮像装置の内部パラメータと、ユーザの視点の位置姿勢情報をもとに、アノテーションデータ蓄積部１０４からユーザの視界の内側に存在する対象物の候補すべてを取り出す。これらの候補について、ユーザの視線と対象物を代表する点とのユークリッド距離を算出し、ユークリッド距離を最小とするような候補を注目対象と見なすことができる。
【００３０】
ある対象がユーザの視界の内側にあるかどうかの判定には、例えば、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢情報と、ユーザ視点映像取得部１０６が備える撮像装置の内部パラメータから算出する方法が考えられる。ユーザの視点の位置姿勢から、撮像装置の内部パラメータを用いて、対象を画像面上に射影する。画像面上に射影した対象の座標が、画像の大きさで規定されるある範囲内に存在すれば、ユーザの視界の内側にあることがわかる。
【００３１】
撮像装置の内部パラメータから作られる行列を
【外１】
とする。ここでαｕ，αＶは撮像装置の画素の大きさ、θは撮像素子の縦軸と横軸のなす角、ｕ０，ｖ０は画像中心の座標を表している。ユーザの視点の位置姿勢から作られる行列を
Ｐ＝（Ｒｔ）
とする。Ｒはユーザの視点の姿勢を表す３行３列の回転行列、ｔはユーザの視点の位置を表す３次元のベクトルを表している。対象の３次元座標を同次座標による表現を用いてｘ＝（Ｘ，Ｙ，Z，１）Ｔ、対象の画像面上に射影された点の座標を同次座標による表現を用いてｕ＝（ｕ，ｖ，ｗ）Ｔとする。
【００３２】
ｕ＝ＫＰ−１ｘ
を計算することによってｕを得ることができる。画像のｕ軸方向の範囲を［ｕｍｉｎ，ｕｍａｘ］、ｖ軸方向の範囲を［ｖｍｉｎ，ｖｍａｘ］とすると、ｕに関して、
【００３３】
【外２】
【００３４】
【外３】
【００３５】
を満たせば、対象がユーザの視界の内側にあることがわかる。
【００３６】
ユーザの視点の位置姿勢から作られる直線と対象物を代表する点との距離を算出するためには、対象物を代表する点を通りユーザの視線と交わるベクトルを求め、そのベクトルの長さの最小値を計算する方法が考えられる。
【００３７】
ユーザの視線を
ｖ＝ｔ＋ｋｐ
と表現する。ｔはユーザの視点の位置を表す３次元ベクトル、ｐはユーザの視点での姿勢を表す３次元ベクトル、ｋは0でない実数である。
【００３８】
また、対象物を代表する点を３次元ベクトルで表現し、これをｂとする。ｂを通り、視線と直交するベクトルが視線と交わる点をｔ＋ｍｐとすると、ｔ＋ｍｐとｂとの距離を最小にするようなｍを求めればよく、このときの
【外４】
【００３９】
が視線と対象物を代表する点との距離となる。
【００４０】
これを計算すると
【外５】
となる。
【００４１】
ユーザが注目している対象物を、ユーザ操作入力部１０１が備える入力装置を操作することによって選択する方法として、マウスやジョイスティックなどの入力装置を用い、注目ユーザが映像表示部１０７で表示される合成映像を見ながら入力装置を操作する方法が考えられる。例えばマウスを操作して、カーソルを注目対象物が表示されている箇所に動かし、ボタンを押すことによって、所望の対象物を選択する。ユーザが操作したカーソルが、アノテーションデータ蓄積部１０４に保持されている物体が表示されている箇所に達したときには、その物体に関するアノテーションを生成することによって、ユーザはその物体のデータがアノテーションデータ蓄積部１０４に保持されているかどうかを確認することが可能である。
【００４２】
ユーザが注目している対象物について、対象物の識別番号は、ステップＳ６００において伝送路２００に伝送される。このとき同時に、ユーザの識別番号、位置姿勢情報についても送信される。また、ステップＳ４００において、伝送路２００から他のユーザが注目している対象物の識別番号と他のユーザの識別番号および位置姿勢情報が受信される。
【００４３】
あるユーザ（被注目ユーザと呼ぶ）が利用している情報提示装置１００の仮想映像生成部１０５において、他のユーザ（注目ユーザと呼ぶ）が注目している対象物が、被注目ユーザの視界の外側にある場合には、その対象物の方向を示すアノテーションを生成する。このアノテーションには、記号、文字列、画像などが含まれる。どの注目ユーザが注目している対象物なのかを容易に理解できるように、色、形状、字体などの属性を注目ユーザごとに変えたアノテーションや、注目ユーザを識別できる名前を示すアノテーションを生成するようにしてもよい。被注目ユーザはアノテーションで示される方向を向くことにより、注目ユーザが観測している対象物を見ることができるようになる。
【００４４】
注目ユーザが注目している対象物が被注目ユーザの視界の内側にある場合には、その対象物の情報を示すアノテーションを生成する。この際、他のアノテーションと色、形状、字体などの属性を変えることにより、目立ちやすくなる。
【００４５】
また、被注目ユーザがユーザ操作入力部１０１が備える入力装置を利用することで、生成するアノテーションの対象を制御することも可能である。例えば、ある特定の注目ユーザを選択し、その注目ユーザが注目している対象物に関するアノテーションだけを生成するようにしてもよいし、すべての注目ユーザが注目している対象物に関するアノテーションを生成するようにしてもよい。この選択は、被注目ユーザが入力装置を用いて行うのみに限られず、ステップＳ０００の前に、あらかじめ入力しておくようにしてもよい。
【００４６】
図４では、注目ユーザであるユーザ１がある建物を観測しており、その建物が被注目ユーザであるユーザ２の視界の外側にある場合において、ユーザ２に提示する画面には、その建物の方向を示す矢印と、ユーザ１の名前を示すアノテーションを生成して表示する様子を示している。
【００４７】
図５では、注目ユーザであるユーザ１がある建物を注目しており、その建物が被注目ユーザであるユーザ２の視界の内側にある場合において、ユーザ２に提示する画面には、建物の名前を示す黒字に白のテキストのアノテーションを生成し、他のアノテーション（黒地に白のテキスト）と異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。
【００４８】
注目ユーザが利用している情報提示装置１００において、注目対象物に関する情報のアノテーションを生成する際に、他のアノテーションとは色、形状、字体などの属性を変えることにより、目立ちやすくする。また、注目している対象物を被注目ユーザが観測しているか否かを示す情報のアノテーションを生成して、注目ユーザに提示する。
【００４９】
図６では、注目ユーザであるユーザ１がある建物を注目しており、ユーザ１に提示する画面には、建物の名前を示す黒地に白のテキストのアノテーションを生成し、他のアノテーションと異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。また、被注目ユーザが建物を観測しているか否かを示す情報のアノテーションを生成して表示している様子を示している。
【００５０】
また、各ユーザの情報提示装置１００において、現実世界においてユーザの視界の内側に他のユーザが存在する場合には、そのユーザを識別できる名前を示すアノテーションを生成する。存在しない場合には各ユーザが存在する方向を示す矢印と、そのユーザを識別できる名前を示すアノテーションを生成する。
【００５１】
図７はユーザ１の視界の内側に存在するユーザ４についてはその位置を示すアノテーションを生成し、視界の外側に存在するユーザ２とユーザ３については、存在する方向を示す矢印およびユーザを識別できる名前を示すアノテーションを生成して、ユーザ１の画面に表示している様子を示している。
【００５２】
ステップＳ６００では、仮想映像生成部１０５において、伝送路２００へ通信データを送信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００５３】
ステップＳ７００では、モデルデータ蓄積部１０３に蓄積されているモデルデータを、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報に基づいてユーザの視点を設定し、その視点から見える仮想世界を描画する。さらにステップＳ６００において決定されたアノテーションを、仮想世界の映像上に重畳して描画する。
【００５４】
ステップＳ７００において、まず、ステップＳ２００において得られたユーザの視点位置からの現実世界の映像を背景として描画し、その上から仮想世界およびアノテーションを描画しても構わない。このとき、ステップＳ８００では、描画結果の映像を映像表示装置に出力するだけの処理を行う。
【００５５】
ステップＳ８００では、ステップＳ２００によって得られたユーザの視点位置からの現実世界の映像と、ステップＳ７００において生成された仮想世界の映像とを合成した映像を描画し、画像表示装置に出力する。映像表示部１０７が備える映像表示装置に光学シースルー型のHMDを備えている場合には、仮想世界の映像を描画し、映像表示装置に出力する。
【００５６】
ステップS９００では、情報提示装置１００はステップS１００に戻る、もしくは終了する。
【００５７】
本実施形態によれば、あるユーザが他のユーザに注目させたい対象を伝えること、ユーザが注目すべき対象の場所やその方向を知ること、あるユーザが現在注目している対象が、他のユーザから観測されているか否かを知ることが可能となり、複数人が一つの複合現実空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行うことが容易になる。
【００５８】
（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
【発明の効果】
本発明によれば、他ユーザの中もしている対象物とユーザの視覚の位置関係にかかわらず、他ユーザの注目している対象物の情報をユーザに視覚的にわかりやすく提示することができる。
【図面の簡単な説明】
【図１】実施形態による情報提示装置の概略構成を示すブロック図である。
【図２】実施形態において、複数の情報提示装置が伝送路を介して相互接続される場合の構成を示すブロック図である。
【図３】情報提示装置における処理の手順を説明するフローチャートである。
【図４】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の外にある場合において、被注目ユーザに対象の位置を知らしめる手段を説明する図である。
【図５】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の内にある場合において、被注目ユーザに対象とそれに関する情報を知らしめる手段を説明する図である。
【図６】実施形態における、注目ユーザの注目している対象が各被注目ユーザの視界の内にあるかどうかを注目ユーザに示す手段を説明する図である。
【図７】実施形態における、他のユーザが存在する場所をユーザに示す手段を説明する図である。
【発明の属する技術分野】
本発明は、現実世界および仮想世界を合成した映像を提示するものに関する。
【０００２】
【従来の技術】
現実世界と仮想世界とを違和感なく自然に結合する複合現実感（MR: Mixed Reality）の技術を応用した装置が盛んに提案されている。中でもヘッドマウントディスプレイ（HMD: Head Mounted Display）を装着したユーザが観測している現実世界や仮想世界に対して、仮想の情報を重畳してユーザに提示するような装置では、工事やメンテナンスなどの作業性を向上させることが期待できる。例えば、ユーザが装着したHMD上に、現実世界の映像に重畳して仮想の旗を表示することで、測量作業を支援する方法が提案されている。しかし、そのような装置の多くは、単一のユーザのみが使用することを前提としており、複数人が一つの複合現実空間（MR空間）を共有するような、会議や講演、協調を必要とする作業などには、必ずしも適したものであるとは言えなかった。
【０００３】
【発明が解決しようとする課題】
複数人が一つのMR空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行う際には、複数人で同一の対象を観測し、その対象物に関する情報を共有することが必要である。
【０００４】
本発明は、現実世界および仮想世界を合成した映像においてアノテーションを合成することにより、所定の情報を利用者に提供できるようにすることを目的とする。
【０００５】
本発明は、他ユーザの中もしている対象物とユーザの視覚の位置関係にかかわらず、他ユーザの注目している対象物の情報をユーザに視覚的にわかりやすく提示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
本願請求項１記載の発明は、ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得手段と、現実世界モデルデータと、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータとを蓄積するデータ蓄積手段と、前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得手段と、前記ユーザの視点の位置姿勢情報、前記他ユーザの情報、前記現実世界モデルデータ、前記仮想世界モデルデータおよび前記アノテーションデータを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成手段と、前記ユーザの視点からの現実世界画像、前記生成された仮想世界画像および前記生成されたアノテーション画像を合成することにより得られる複合現実空間画像を表示する表示手段とを有し、前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーション画像を生成することを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１０】
図１には、本実施形態の情報提示装置、および情報提示方法が適用される一実施の形態の全体構成を示す。
【００１１】
ユーザ操作入力部１０１は、例えば押しボタンスイッチ、マウス、ジョイスティックなどの入力装置からなり、情報提示装置１００の使用者であるユーザが操作することによって、操作内容に応じた制御情報を仮想映像生成部１０５へ送る。
【００１２】
ユーザ視点位置姿勢計測部１０２は、例えば磁気センサや光学式センサなどの位置姿勢計測装置からなり、ユーザの視点の位置姿勢を６自由度で計測し、仮想映像生成部１０５へ送る。位置姿勢計測装置をユーザの視点に設置することは一般的に困難であるため、ユーザ視点位置姿勢計測部１０２は、位置姿勢計測装置の出力結果をもとに、ユーザの視点の位置姿勢を算出する機能を持つ。例えば、位置姿勢計測装置をユーザの頭部に固定することによって、位置姿勢計測装置の出力とユーザの視点での位置姿勢との関係は、常に一定に保たれ、定式で表現される。この定式をあらかじめ求めておくことにより、位置姿勢計測装置の出力からユーザ視点での位置姿勢を算出する。また，ユーザ視点映像入力部１０６によって現実世界の映像を取り込み、位置姿勢計測装置の出力結果の誤差を補正するための画像処理を行ってもよい。この画像処理は、例えば、現実空間上で三次元座標が既知である複数の特徴点について、画像上での位置を検出し、位置姿勢計測装置の出力結果から計算される特徴点の画像上の位置との比較を行うことで、位置姿勢計測装置の誤差を算出し、その誤差を打ち消すように位置姿勢計測装置の出力結果を補正する処理である。また，この画像処理のみからユーザの視点の位置姿勢を算出してもよい。
【００１３】
モデルデータ蓄積部１０３は、例えばハードディスクやCD-ROM等の補助記憶装置または媒体からなり、仮想世界をコンピュータグラフィックス（CG:Computer Graphics）で描画するために必要な仮想世界モデルデータと、現実世界と仮想世界とを正しく合成するために必要な現実世界モデルデータと、仮想世界映像を生成するために必要なデータを保持し、蓄積する。仮想世界モデルデータには、仮想世界上に配置される仮想のCG物体のポリゴンを構成する頂点の三次元座標、面の構成情報、CG物体の識別情報、色情報、テクスチャ情報、CG物体の大きさ、CG物体が仮想世界中に配置される位置姿勢情報等が含まれる。現実世界モデルデータには、仮想世界と融合する現実世界に存在する物体のポリゴンを構成する頂点の三次元座標、面の構成情報、識別情報、物体の大きさや配置される位置姿勢情報等が含まれる。仮想世界映像を生成するために必要なデータには、ユーザ視点映像取得部１０６が備える撮像装置の撮像素子の大きさや角度、レンズの画角や歪み係数等の内部パラメータ等が含まれる。撮像装置モデルデータ蓄積部１０３に蓄積されている情報は仮想映像生成部１０５に送られる。モデルデータ蓄積部１０３は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１４】
アノテーションデータ蓄積部１０４は、例えばハードディスクやCD-ROM等の補助記憶装置または媒体からなり、現実世界や仮想世界に表示する付加情報であるアノテーションデータを保持し、蓄積する。アノテーションデータには現実世界および仮想世界の物体が配置されている位置や姿勢の情報、物体の識別情報、物体の情報をユーザに示すためのテキストや記号、画像等のデータが含まれる。アノテーションデータ蓄積部１０４は情報提示装置１００の内部に備えられるのに限定されず、情報提示装置１００の外部に備え、伝送路２００を通じて仮想映像生成部１０５にデータを伝送する構成でもよい。
【００１５】
仮想映像生成部１０５は、コンピュータのCPUやMPU等で実現され、ユーザ視点位置姿勢獲得部１０２から得られるユーザの視点の位置姿勢情報に基づき、仮想世界でのユーザの視点を設定し、その視点からモデルデータ蓄積部１０３が保持するモデルデータをCGで描画して、ユーザ視点から見た仮想世界の映像を生成する。さらに、仮想映像生成部１０５は伝送路２００にデータを送信する機能および伝送路２００からデータを受信する機能を持ち、伝送路２００を通じて、他の情報提示装置１００の仮想映像生成部１０５と相互に接続し、必要な情報の交換を行う。複数のユーザがそれぞれ情報提示装置１００を利用することにより、複数人が同一のMR空間を共有することが可能である。図２は複数のユーザが情報提示装置１００を利用する場合の構成を示した図である。仮想映像生成部１０５は、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢や、伝送路２００から得た他のユーザの視点の位置姿勢をもとに、アノテーションデータ蓄積部１０４で保持されているアノテーションデータに基づいて、ユーザに提示するべきアノテーションを生成し、仮想世界の画像上に重畳して表示する。生成されるアノテーションは二次元のものに限られない。三次元形状を有するアノテーションを生成し、モデルデータ蓄積部１０３が保持している仮想世界モデルと共にCGとして描画してもよい。また、仮想映像生成部１０５はユーザ操作入力部１０１から送られるユーザの操作情報に従って仮想世界を操作したり、生成されるアノテーションを制御する機能を持つ。
【００１６】
ユーザ視点映像入力部１０６は、CCDカメラなどの１つまたは２つの撮像装置を持ち、画像取り込み装置を介してユーザの目に映る現実世界の映像を獲得し、映像表示部１０７へ送られる。映像表示部１０７に光学シースルー型のHMDを備える場合においては、ユーザは現実世界を直接観測することが可能であり、ユーザ視点映像入力部１０６は不要となる。
【００１７】
映像表示部１０７は、HMDやディスプレイなどの映像表示装置を備え、ユーザ視点映像獲得部１０６によって獲得されたユーザが見る現実世界の映像と、仮想映像生成部１０５によって生成された仮想世界の映像とを合成して、その合成映像をユーザの目の前に表示する。画像表示装置に光学シースルー型のHMDを用いる場合においては、仮想映像生成部１０５によって生成された仮想世界の映像をユーザの目の前に表示する。
【００１８】
伝送路２００は、有線または無線のコンピュータネットワークを実現する媒体からなり、複数の情報提示装置１００を接続し、情報提示装置１００が相互に交換するデータが流される。
【００１９】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は本実施形態の情報提示装置における処理の手順を説明するフローチャートである。
【００２０】
ステップＳ０００において情報提示装置が起動され、初期化のために必要な処理が行われる。
【００２１】
ステップＳ１００では、ユーザがユーザ操作入力部１０１に対して行った操作が認識され、操作内容に応じた制御信号に変換された上で仮想画像描画部１０５へと送られる。
【００２２】
ステップＳ２００では、ユーザの視点での位置姿勢情報がユーザ視点位置姿勢計測部１０２において計測され、仮想画像描画部１０５へと送られる。
【００２３】
ステップＳ３００では、ユーザ視点映像入力部１０６において、ユーザの視点から見える現実世界の映像が取り込まれ、画像描画部１０７に送られる。画像描画部１０７の画像表示装置に光学シースルー型のHMDを備える場合には、ステップＳ２００の処理は不要となる。
【００２４】
ステップＳ４００では、仮想映像生成部１０５において、伝送路２００から通信データを受信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００２５】
ステップＳ５００では、仮想映像生成部１０５において、ステップＳ１００において得られたユーザの操作情報、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報、ステップＳ４００において得られた他のユーザに関する情報をもとに、ユーザに提示するアノテーションを決定する。
【００２６】
ステップＳ５００において、ユーザが注目している現実世界あるいは仮想世界の対象物を他のユーザに伝え、その対象物を注目させるようにすると、複数のユーザがMR空間内で情報を共有し、会議や講演、協調を必要とする作業などを行う上で非常に有用である。以下にその手段を示す。
【００２７】
まず、アノテーションデータ蓄積部１０４に蓄積されている現実世界および仮想世界の物体の情報から、現在ユーザが注目している対象物に関するデータを検索し、選択する。ユーザが注目している対象物を、情報提示装置１００が自動的に認識して選択してもよいし、またはユーザが入力装置１０１を操作して選択してもよい。
【００２８】
ユーザが注目している対象を自動で認識する方法として、ステップＳ２００で取得されたユーザ視点の位置姿勢情報と、モデルデータ蓄積部１０３が保持している撮像装置の内部パラメータを用いることが考えられる。
【００２９】
ステップＳ５００において、撮像装置の内部パラメータと、ユーザの視点の位置姿勢情報をもとに、アノテーションデータ蓄積部１０４からユーザの視界の内側に存在する対象物の候補すべてを取り出す。これらの候補について、ユーザの視線と対象物を代表する点とのユークリッド距離を算出し、ユークリッド距離を最小とするような候補を注目対象と見なすことができる。
【００３０】
ある対象がユーザの視界の内側にあるかどうかの判定には、例えば、ユーザ視点位置姿勢計測部１０２から得られたユーザの視点の位置姿勢情報と、ユーザ視点映像取得部１０６が備える撮像装置の内部パラメータから算出する方法が考えられる。ユーザの視点の位置姿勢から、撮像装置の内部パラメータを用いて、対象を画像面上に射影する。画像面上に射影した対象の座標が、画像の大きさで規定されるある範囲内に存在すれば、ユーザの視界の内側にあることがわかる。
【００３１】
撮像装置の内部パラメータから作られる行列を
【外１】
Ｐ＝（Ｒｔ）
とする。Ｒはユーザの視点の姿勢を表す３行３列の回転行列、ｔはユーザの視点の位置を表す３次元のベクトルを表している。対象の３次元座標を同次座標による表現を用いてｘ＝（Ｘ，Ｙ，Z，１）Ｔ、対象の画像面上に射影された点の座標を同次座標による表現を用いてｕ＝（ｕ，ｖ，ｗ）Ｔとする。
【００３２】
ｕ＝ＫＰ−１ｘ
を計算することによってｕを得ることができる。画像のｕ軸方向の範囲を［ｕｍｉｎ，ｕｍａｘ］、ｖ軸方向の範囲を［ｖｍｉｎ，ｖｍａｘ］とすると、ｕに関して、
【００３３】
【外２】
【外３】
を満たせば、対象がユーザの視界の内側にあることがわかる。
【００３６】
ユーザの視点の位置姿勢から作られる直線と対象物を代表する点との距離を算出するためには、対象物を代表する点を通りユーザの視線と交わるベクトルを求め、そのベクトルの長さの最小値を計算する方法が考えられる。
【００３７】
ユーザの視線を
ｖ＝ｔ＋ｋｐ
と表現する。ｔはユーザの視点の位置を表す３次元ベクトル、ｐはユーザの視点での姿勢を表す３次元ベクトル、ｋは0でない実数である。
【００３８】
また、対象物を代表する点を３次元ベクトルで表現し、これをｂとする。ｂを通り、視線と直交するベクトルが視線と交わる点をｔ＋ｍｐとすると、ｔ＋ｍｐとｂとの距離を最小にするようなｍを求めればよく、このときの
【外４】
が視線と対象物を代表する点との距離となる。
【００４０】
これを計算すると
【外５】
【００４１】
ユーザが注目している対象物を、ユーザ操作入力部１０１が備える入力装置を操作することによって選択する方法として、マウスやジョイスティックなどの入力装置を用い、注目ユーザが映像表示部１０７で表示される合成映像を見ながら入力装置を操作する方法が考えられる。例えばマウスを操作して、カーソルを注目対象物が表示されている箇所に動かし、ボタンを押すことによって、所望の対象物を選択する。ユーザが操作したカーソルが、アノテーションデータ蓄積部１０４に保持されている物体が表示されている箇所に達したときには、その物体に関するアノテーションを生成することによって、ユーザはその物体のデータがアノテーションデータ蓄積部１０４に保持されているかどうかを確認することが可能である。
【００４２】
ユーザが注目している対象物について、対象物の識別番号は、ステップＳ６００において伝送路２００に伝送される。このとき同時に、ユーザの識別番号、位置姿勢情報についても送信される。また、ステップＳ４００において、伝送路２００から他のユーザが注目している対象物の識別番号と他のユーザの識別番号および位置姿勢情報が受信される。
【００４３】
あるユーザ（被注目ユーザと呼ぶ）が利用している情報提示装置１００の仮想映像生成部１０５において、他のユーザ（注目ユーザと呼ぶ）が注目している対象物が、被注目ユーザの視界の外側にある場合には、その対象物の方向を示すアノテーションを生成する。このアノテーションには、記号、文字列、画像などが含まれる。どの注目ユーザが注目している対象物なのかを容易に理解できるように、色、形状、字体などの属性を注目ユーザごとに変えたアノテーションや、注目ユーザを識別できる名前を示すアノテーションを生成するようにしてもよい。被注目ユーザはアノテーションで示される方向を向くことにより、注目ユーザが観測している対象物を見ることができるようになる。
【００４４】
注目ユーザが注目している対象物が被注目ユーザの視界の内側にある場合には、その対象物の情報を示すアノテーションを生成する。この際、他のアノテーションと色、形状、字体などの属性を変えることにより、目立ちやすくなる。
【００４５】
また、被注目ユーザがユーザ操作入力部１０１が備える入力装置を利用することで、生成するアノテーションの対象を制御することも可能である。例えば、ある特定の注目ユーザを選択し、その注目ユーザが注目している対象物に関するアノテーションだけを生成するようにしてもよいし、すべての注目ユーザが注目している対象物に関するアノテーションを生成するようにしてもよい。この選択は、被注目ユーザが入力装置を用いて行うのみに限られず、ステップＳ０００の前に、あらかじめ入力しておくようにしてもよい。
【００４６】
図４では、注目ユーザであるユーザ１がある建物を観測しており、その建物が被注目ユーザであるユーザ２の視界の外側にある場合において、ユーザ２に提示する画面には、その建物の方向を示す矢印と、ユーザ１の名前を示すアノテーションを生成して表示する様子を示している。
【００４７】
図５では、注目ユーザであるユーザ１がある建物を注目しており、その建物が被注目ユーザであるユーザ２の視界の内側にある場合において、ユーザ２に提示する画面には、建物の名前を示す黒字に白のテキストのアノテーションを生成し、他のアノテーション（黒地に白のテキスト）と異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。
【００４８】
注目ユーザが利用している情報提示装置１００において、注目対象物に関する情報のアノテーションを生成する際に、他のアノテーションとは色、形状、字体などの属性を変えることにより、目立ちやすくする。また、注目している対象物を被注目ユーザが観測しているか否かを示す情報のアノテーションを生成して、注目ユーザに提示する。
【００４９】
図６では、注目ユーザであるユーザ１がある建物を注目しており、ユーザ１に提示する画面には、建物の名前を示す黒地に白のテキストのアノテーションを生成し、他のアノテーションと異なる属性を持たせることによって、対象を目立ちやすくしている様子を示している。また、被注目ユーザが建物を観測しているか否かを示す情報のアノテーションを生成して表示している様子を示している。
【００５０】
また、各ユーザの情報提示装置１００において、現実世界においてユーザの視界の内側に他のユーザが存在する場合には、そのユーザを識別できる名前を示すアノテーションを生成する。存在しない場合には各ユーザが存在する方向を示す矢印と、そのユーザを識別できる名前を示すアノテーションを生成する。
【００５１】
図７はユーザ１の視界の内側に存在するユーザ４についてはその位置を示すアノテーションを生成し、視界の外側に存在するユーザ２とユーザ３については、存在する方向を示す矢印およびユーザを識別できる名前を示すアノテーションを生成して、ユーザ１の画面に表示している様子を示している。
【００５２】
ステップＳ６００では、仮想映像生成部１０５において、伝送路２００へ通信データを送信する。この通信データには、例えば情報提示装置１００を使用している各ユーザの識別番号、各ユーザを識別できる名前、各ユーザ視点の位置姿勢情報、各ユーザの操作情報、アノテーションデータなどが含まれる。
【００５３】
ステップＳ７００では、モデルデータ蓄積部１０３に蓄積されているモデルデータを、ステップＳ２００において獲得されたユーザ視点の位置姿勢情報に基づいてユーザの視点を設定し、その視点から見える仮想世界を描画する。さらにステップＳ６００において決定されたアノテーションを、仮想世界の映像上に重畳して描画する。
【００５４】
ステップＳ７００において、まず、ステップＳ２００において得られたユーザの視点位置からの現実世界の映像を背景として描画し、その上から仮想世界およびアノテーションを描画しても構わない。このとき、ステップＳ８００では、描画結果の映像を映像表示装置に出力するだけの処理を行う。
【００５５】
ステップＳ８００では、ステップＳ２００によって得られたユーザの視点位置からの現実世界の映像と、ステップＳ７００において生成された仮想世界の映像とを合成した映像を描画し、画像表示装置に出力する。映像表示部１０７が備える映像表示装置に光学シースルー型のHMDを備えている場合には、仮想世界の映像を描画し、映像表示装置に出力する。
【００５６】
ステップS９００では、情報提示装置１００はステップS１００に戻る、もしくは終了する。
【００５７】
本実施形態によれば、あるユーザが他のユーザに注目させたい対象を伝えること、ユーザが注目すべき対象の場所やその方向を知ること、あるユーザが現在注目している対象が、他のユーザから観測されているか否かを知ることが可能となり、複数人が一つの複合現実空間を共有するかたちで会議や講演を行ったり、協調を必要とする作業などを行うことが容易になる。
【００５８】
（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
【発明の効果】
本発明によれば、他ユーザの中もしている対象物とユーザの視覚の位置関係にかかわらず、他ユーザの注目している対象物の情報をユーザに視覚的にわかりやすく提示することができる。
【図面の簡単な説明】
【図１】実施形態による情報提示装置の概略構成を示すブロック図である。
【図２】実施形態において、複数の情報提示装置が伝送路を介して相互接続される場合の構成を示すブロック図である。
【図３】情報提示装置における処理の手順を説明するフローチャートである。
【図４】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の外にある場合において、被注目ユーザに対象の位置を知らしめる手段を説明する図である。
【図５】実施形態における、注目ユーザの注目している対象が被注目ユーザの視界の内にある場合において、被注目ユーザに対象とそれに関する情報を知らしめる手段を説明する図である。
【図６】実施形態における、注目ユーザの注目している対象が各被注目ユーザの視界の内にあるかどうかを注目ユーザに示す手段を説明する図である。
【図７】実施形態における、他のユーザが存在する場所をユーザに示す手段を説明する図である。
Claims (7)
- ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得手段と、
現実世界モデルデータと、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータとを蓄積するデータ蓄積手段と、
前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得手段と、
前記ユーザの視点の位置姿勢情報、前記他ユーザの情報、前記現実世界モデルデータ、前記仮想世界モデルデータおよび前記アノテーションデータを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成手段と、
前記ユーザの視点からの現実世界画像、前記生成された仮想世界画像および前記生成されたアノテーション画像を合成することにより得られる複合現実空間画像を表示する表示手段とを有し、
前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーション画像を生成することを特徴とする情報提示装置。 - さらに、前記データ蓄積手段に蓄積されているアノテーションデータから、前記ユーザが注目している対象物のアノテーションデータを選択する選択手段と、
前記選択手段によって選択されたアノテーションデータに関する情報、前記ユーザの識別情報および前記ユーザの位置姿勢情報を、前記他のユーザの情報提示装置に送信する送信手段とを有することを特徴とする請求項１記載の情報提示装置。 - さらに、ユーザの操作を入力する操作入力部を有し、
前記選択手段は、前記操作入力部からのユーザの操作の情報に応じて、前記ユーザが注目している対象物のアノテーションデータを選択することを特徴とする請求項２記載の情報提示装置。 - 前記選択手段は、前記ユーザの視点の位置姿勢情報に応じて、前記ユーザが注目している対象物のアノテーションデータを選択することを特徴とする請求項２記載の情報提示装置。
- 前記生成手段は、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーションを生成することを特徴とする情報提示装置。
- データ蓄積部に蓄積された現実世界モデルデータ、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータを用いて、ユーザの視点に応じた仮想世界画像およびアノテーション画像を生成するとともに、表示装置にユーザの視点からの現実世界画像と前記生成された仮想世界画像およびアノテーション画像とが合成された複合現実空間画像を表示装置に表示させるための情報処理方法であて、
ユーザの視点の位置姿勢情報を取得するユーザ位置姿勢取得工程と、
前記現実世界と前記仮想世界とからなる複合現実空間を共有する他ユーザの情報を取得する他ユーザ情報取得工程と、
前記ユーザの視点の位置姿勢情報、前記他ユーザの情報および、前記データ蓄積部に蓄積された前記現実世界モデルデータと前記仮想世界モデルデータと前記アノテーションデータとを用いて、前記ユーザの視点の位置姿勢に応じた仮想世界画像およびアノテーション画像を生成する生成工程とを有し、
前記生成工程は、前記他ユーザが注目している対象物が前記ユーザの視界の外側にある場合は、該他ユーザが注目している対象物の方向を示すアノテーションを生成し、前記他ユーザが注目している対象物が前記ユーザの視界の内側にある場合は、他ユーザが注目していることを示す属性を有する、該他ユーザが注目している対象物の情報を示すアノテーションを生成することを特徴とする情報処理方法。 - 現実世界モデルデータ、仮想世界モデルデータと、現実世界の映像および仮想世界の映像に付加して表示するためのアノテーションデータを蓄積するデータ蓄積部および、ユーザの視点からの現実世界画像と生成された仮想世界画像およびアノテーション画像とが合成された複合現実空間画像を表示する表示装置と接続されたコンピュータを用いて、請求項６記載の情報処理方法を実現するためのプログラムであり、該コンピュータが読み取り可能に記録媒体に記録されたプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002223279A JP4065507B2 (ja) | 2002-07-31 | 2002-07-31 | 情報提示装置および情報処理方法 |
| US10/626,590 US7053916B2 (en) | 2002-07-31 | 2003-07-25 | Information presentation apparatus and information processing method thereof |
| US11/210,784 US20050280661A1 (en) | 2002-07-31 | 2005-08-25 | Information presentation apparatus and information processing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002223279A JP4065507B2 (ja) | 2002-07-31 | 2002-07-31 | 情報提示装置および情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004062756A JP2004062756A (ja) | 2004-02-26 |
| JP4065507B2 true JP4065507B2 (ja) | 2008-03-26 |
Family
ID=31943075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002223279A Expired - Fee Related JP4065507B2 (ja) | 2002-07-31 | 2002-07-31 | 情報提示装置および情報処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7053916B2 (ja) |
| JP (1) | JP4065507B2 (ja) |
Families Citing this family (83)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
| US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
| US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
| JP2004265193A (ja) * | 2003-03-03 | 2004-09-24 | Canon Inc | 情報処理方法、情報処理装置、サーバ装置の制御方法、サーバ装置 |
| JP4307222B2 (ja) * | 2003-11-17 | 2009-08-05 | キヤノン株式会社 | 複合現実感提示方法、複合現実感提示装置 |
| JP4393169B2 (ja) | 2003-12-04 | 2010-01-06 | キヤノン株式会社 | 複合現実感提示方法および装置 |
| US7460953B2 (en) | 2004-06-30 | 2008-12-02 | Navteq North America, Llc | Method of operating a navigation system using images |
| US8751156B2 (en) | 2004-06-30 | 2014-06-10 | HERE North America LLC | Method of operating a navigation system using images |
| US8335694B2 (en) * | 2004-07-09 | 2012-12-18 | Bruce Reiner | Gesture-based communication and reporting system |
| US7421647B2 (en) * | 2004-07-09 | 2008-09-02 | Bruce Reiner | Gesture-based reporting method and system |
| JP2006039872A (ja) * | 2004-07-26 | 2006-02-09 | Canon Inc | 情報処理方法及び情報処理装置 |
| US7834876B2 (en) * | 2004-12-28 | 2010-11-16 | The Mathworks, Inc. | Providing graphic generating capabilities for a model based development process |
| JP4594136B2 (ja) * | 2005-03-09 | 2010-12-08 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| US7451041B2 (en) | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
| JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP4933164B2 (ja) * | 2005-07-01 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
| US20070011617A1 (en) * | 2005-07-06 | 2007-01-11 | Mitsunori Akagawa | Three-dimensional graphical user interface |
| KR101309176B1 (ko) * | 2006-01-18 | 2013-09-23 | 삼성전자주식회사 | 증강 현실 장치 및 방법 |
| US8026929B2 (en) * | 2006-06-26 | 2011-09-27 | University Of Southern California | Seamlessly overlaying 2D images in 3D model |
| US8135018B1 (en) | 2007-03-29 | 2012-03-13 | Qurio Holdings, Inc. | Message propagation in a distributed virtual world |
| US8117137B2 (en) | 2007-04-19 | 2012-02-14 | Microsoft Corporation | Field-programmable gate array based accelerator system |
| US8000328B1 (en) | 2007-05-22 | 2011-08-16 | Qurio Holdings, Inc. | Filtering messages in a distributed virtual world based on virtual space properties |
| US9037599B1 (en) * | 2007-05-29 | 2015-05-19 | Google Inc. | Registering photos in a geographic information system, and applications thereof |
| US20080310707A1 (en) * | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Virtual reality enhancement using real world data |
| US8375397B1 (en) | 2007-11-06 | 2013-02-12 | Google Inc. | Snapshot view of multi-dimensional virtual environment |
| US8595299B1 (en) | 2007-11-07 | 2013-11-26 | Google Inc. | Portals between multi-dimensional virtual environments |
| US8732591B1 (en) * | 2007-11-08 | 2014-05-20 | Google Inc. | Annotations of objects in multi-dimensional virtual environments |
| US8102334B2 (en) | 2007-11-15 | 2012-01-24 | International Businesss Machines Corporation | Augmenting reality for a user |
| US8264505B2 (en) | 2007-12-28 | 2012-09-11 | Microsoft Corporation | Augmented reality and filtering |
| US20090245691A1 (en) * | 2008-03-31 | 2009-10-01 | University Of Southern California | Estimating pose of photographic images in 3d earth model using human assistance |
| US9058090B1 (en) * | 2008-06-02 | 2015-06-16 | Qurio Holdings, Inc. | Collaborative information sharing in a virtual world |
| US8026913B2 (en) * | 2008-07-29 | 2011-09-27 | International Business Machines Corporation | Image capture and buffering in a virtual world |
| US8301638B2 (en) | 2008-09-25 | 2012-10-30 | Microsoft Corporation | Automated feature selection based on rankboost for ranking |
| US8131659B2 (en) | 2008-09-25 | 2012-03-06 | Microsoft Corporation | Field-programmable gate array based accelerator system |
| US8379056B2 (en) * | 2009-02-27 | 2013-02-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for providing a video signal of a virtual image |
| JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
| US8363051B2 (en) * | 2009-05-07 | 2013-01-29 | International Business Machines Corporation | Non-real-time enhanced image snapshot in a virtual world system |
| JP5247590B2 (ja) * | 2009-05-21 | 2013-07-24 | キヤノン株式会社 | 情報処理装置及びキャリブレーション処理方法 |
| JP5548482B2 (ja) * | 2010-02-26 | 2014-07-16 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 |
| CN102792339B (zh) * | 2010-03-17 | 2016-04-27 | 索尼公司 | 信息处理装置、信息处理方法 |
| EP2624217A4 (en) | 2010-09-30 | 2017-07-26 | FUJIFILM Corporation | Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program |
| JP5622510B2 (ja) * | 2010-10-01 | 2014-11-12 | オリンパス株式会社 | 画像生成システム、プログラム及び情報記憶媒体 |
| US8952983B2 (en) | 2010-11-04 | 2015-02-10 | Nokia Corporation | Method and apparatus for annotating point of interest information |
| JPWO2012081194A1 (ja) * | 2010-12-17 | 2014-05-22 | パナソニック株式会社 | 医療支援装置、医療支援方法および医療支援システム |
| JP5799521B2 (ja) * | 2011-02-15 | 2015-10-28 | ソニー株式会社 | 情報処理装置、オーサリング方法及びプログラム |
| US8644673B2 (en) | 2011-03-22 | 2014-02-04 | Fmr Llc | Augmented reality system for re-casting a seminar with private calculations |
| US10455089B2 (en) | 2011-03-22 | 2019-10-22 | Fmr Llc | Augmented reality system for product selection |
| US9275254B2 (en) | 2011-03-22 | 2016-03-01 | Fmr Llc | Augmented reality system for public and private seminars |
| US10114451B2 (en) | 2011-03-22 | 2018-10-30 | Fmr Llc | Augmented reality in a virtual tour through a financial portfolio |
| JP5803199B2 (ja) | 2011-03-25 | 2015-11-04 | 富士ゼロックス株式会社 | 映像表示装置、携帯端末およびプログラム |
| US9047688B2 (en) | 2011-10-21 | 2015-06-02 | Here Global B.V. | Depth cursor and depth measurement in images |
| US8553942B2 (en) | 2011-10-21 | 2013-10-08 | Navteq B.V. | Reimaging based on depthmap information |
| US9116011B2 (en) | 2011-10-21 | 2015-08-25 | Here Global B.V. | Three dimensional routing |
| US9024970B2 (en) | 2011-12-30 | 2015-05-05 | Here Global B.V. | Path side image on map overlay |
| US9404764B2 (en) | 2011-12-30 | 2016-08-02 | Here Global B.V. | Path side imagery |
| US8922481B1 (en) * | 2012-03-16 | 2014-12-30 | Google Inc. | Content annotation |
| US9020278B2 (en) * | 2012-06-08 | 2015-04-28 | Samsung Electronics Co., Ltd. | Conversion of camera settings to reference picture |
| US9349218B2 (en) * | 2012-07-26 | 2016-05-24 | Qualcomm Incorporated | Method and apparatus for controlling augmented reality |
| US9443414B2 (en) | 2012-08-07 | 2016-09-13 | Microsoft Technology Licensing, Llc | Object tracking |
| JP5857946B2 (ja) * | 2012-11-30 | 2016-02-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9852381B2 (en) * | 2012-12-20 | 2017-12-26 | Nokia Technologies Oy | Method and apparatus for providing behavioral pattern generation for mixed reality objects |
| US20140285519A1 (en) * | 2013-03-22 | 2014-09-25 | Nokia Corporation | Method and apparatus for providing local synchronization of information for augmented reality objects |
| JP6308213B2 (ja) * | 2013-04-04 | 2018-04-11 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN105339865B (zh) * | 2013-04-04 | 2018-05-22 | 索尼公司 | 显示控制装置、显示控制方法以及计算机可读介质 |
| WO2014162825A1 (ja) * | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
| GB201312441D0 (en) | 2013-07-11 | 2013-08-28 | Surface Generation Ltd | Mould Tool |
| JP6253368B2 (ja) | 2013-11-25 | 2017-12-27 | キヤノン株式会社 | 三次元形状計測装置およびその制御方法 |
| JP6362325B2 (ja) * | 2013-12-18 | 2018-07-25 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 物体追跡 |
| JP6264087B2 (ja) | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
| US9677840B2 (en) | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
| JP6004051B2 (ja) * | 2014-07-31 | 2016-10-05 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム |
| JP6725827B2 (ja) * | 2015-07-31 | 2020-07-22 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| JP6361714B2 (ja) * | 2015-09-30 | 2018-07-25 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
| JP6087453B1 (ja) * | 2016-02-04 | 2017-03-01 | 株式会社コロプラ | 仮想空間の提供方法、およびプログラム |
| JP2017216660A (ja) * | 2016-06-02 | 2017-12-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10019824B2 (en) * | 2016-08-16 | 2018-07-10 | Lawrence Livermore National Security, Llc | Annotation of images based on a 3D model of objects |
| JP6821461B2 (ja) * | 2017-02-08 | 2021-01-27 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報制御装置 |
| JP6617766B2 (ja) * | 2017-12-20 | 2019-12-11 | ソニー株式会社 | 医療用観察システム、表示制御システムおよび表示制御装置 |
| JP6969807B2 (ja) * | 2019-09-24 | 2021-11-24 | サン・シールド株式会社 | 作業支援システム |
| CN111324770A (zh) * | 2019-12-19 | 2020-06-23 | 深圳市智微智能软件开发有限公司 | Smt信息展示方法及系统 |
| CN115315940A (zh) * | 2020-03-31 | 2022-11-08 | 索尼集团公司 | 传感器装置、配备传感器的设备和传感器装置处理方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5337407A (en) * | 1991-12-31 | 1994-08-09 | International Business Machines Corporation | Method and system for identifying users in a collaborative computer-based system |
| EP0732672B1 (en) | 1995-03-17 | 2002-08-14 | Canon Kabushiki Kaisha | Three-dimensional image processing method and apparatus therefor |
| US6057856A (en) * | 1996-09-30 | 2000-05-02 | Sony Corporation | 3D virtual reality multi-user interaction with superimposed positional information display for each user |
| JP3610206B2 (ja) * | 1997-10-31 | 2005-01-12 | キヤノン株式会社 | 画像合成装置 |
| JP2976963B2 (ja) * | 1998-03-19 | 1999-11-10 | コナミ株式会社 | 画像作成装置、画像作成方法、画像作成プログラムが記録された可読記録媒体およびビデオゲーム装置 |
| JP2000184345A (ja) * | 1998-12-14 | 2000-06-30 | Nec Corp | マルチモーダルコミュニケーション支援装置 |
| US6259396B1 (en) * | 1999-08-26 | 2001-07-10 | Raytheon Company | Target acquisition system and radon transform based method for target azimuth aspect estimation |
| JP3363861B2 (ja) * | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
| US6507802B1 (en) * | 2000-02-16 | 2003-01-14 | Hrl Laboratories, Llc | Mobile user collaborator discovery method and apparatus |
| JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
| JP2002117415A (ja) * | 2000-10-06 | 2002-04-19 | Kgt Inc | 仮想共同作業環境発生装置 |
| JP2002164066A (ja) * | 2000-11-22 | 2002-06-07 | Mitsubishi Heavy Ind Ltd | 積層型熱交換器 |
| JP3406965B2 (ja) | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
| EP1349114A3 (en) * | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
-
2002
- 2002-07-31 JP JP2002223279A patent/JP4065507B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-25 US US10/626,590 patent/US7053916B2/en not_active Expired - Fee Related
-
2005
- 2005-08-25 US US11/210,784 patent/US20050280661A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004062756A (ja) | 2004-02-26 |
| US20040145594A1 (en) | 2004-07-29 |
| US7053916B2 (en) | 2006-05-30 |
| US20050280661A1 (en) | 2005-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4065507B2 (ja) | 情報提示装置および情報処理方法 | |
| JP4434890B2 (ja) | 画像合成方法及び装置 | |
| EP1404126B1 (en) | Video combining apparatus and method | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
| US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
| JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
| JP5093053B2 (ja) | 電子カメラ | |
| JP2008046687A (ja) | 撮影環境校正方法及び情報処理装置 | |
| JP2006285788A (ja) | 複合現実感情報生成装置および方法 | |
| JP2006209664A (ja) | システム、画像処理装置、情報処理方法 | |
| JP2005174021A (ja) | 情報提示方法及び装置 | |
| JP2002058045A (ja) | 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法 | |
| JP2003281504A (ja) | 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム | |
| JP2007233971A (ja) | 画像合成方法及び装置 | |
| JP4367926B2 (ja) | 画像合成システムおよび画像合成方法、および画像合成装置 | |
| JP2018106298A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
| CN108932055B (zh) | 一种增强现实内容的方法和设备 | |
| JP2005147894A (ja) | 計測方法、計測装置 | |
| JP2004234549A (ja) | 現実物体モデル作成方法 | |
| JP2004233201A (ja) | 位置姿勢計測方法 | |
| JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
| CN109840943B (zh) | 三维可视化分析方法及系统 | |
| JP2005251118A (ja) | 画像処理方法、画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |