JP4786849B2 - ３ｄ環境ラベリング - Google Patents

Description

【０００１】
本発明は、仮想環境におけるオブジェクトに対して識別ラベル若しくは同類のものを提供する方法及び装置に係り、特に、そのような表示用ラベルの生成に関する。
【０００２】
ユーザに三次元（３Ｄ）仮想環境の探検を可能にする一般的な技術の１つは、ユーザに、該環境への眺めを与える二次元（２Ｄ）ディスプレイ「ｗｉｎｄｏｗ」を提供することである。
【０００３】
仮想環境が該環境を三次元で表現するデータ形式で記録されると、このデータは、ユーザが特定の視点から見た場合の該三次元仮想環境の表示を見るように、ユーザに二次元ビューを提供するように処理される。ユーザが該環境を探検する時、上記視点は変わる。３Ｄ表示を２Ｄビューへ投影する上記処理は、レンダリングと呼ばれる場合もある。
【０００４】
ユーザがこのような３Ｄ環境をナビゲートする時、多様なオブジェクトに遭遇し得る。オブジェクトに遭遇した時、オブジェクトの識別、該オブジェクトに関する補助情報、又は、彼の該オブジェクトとの相互作用の結果としてユーザにフィードバックされる情報などの該オブジェクトに関する情報がユーザに示されることがしばしば望ましい。
【０００５】
このような情報をユーザに提供する既知アプローチの１つは、該情報を、オブジェクトが３Ｄ仮想世界に存在する時に該オブジェクトに結合されたラベルの形で表示することである。このアプローチは、ラベルが、それらが関連付けられたオブジェクトに対して空間的に位置決めされるという利点を有する。これは、所定の時刻に１以上のオブジェクトがビュー内に登場した際の混乱を回避し得る。実際、例えば１９９６年８月４日にＩＳＯ／ＩＥＣ ＷＤ１４７７２として発行されたＶＲＭＬ規格バージョン２において説明されるようなＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｌｉｎｇ Ｌａｎｇｕａｇｅ（ＶＲＭＬ）は、３Ｄ環境／データベースにおける上記のようなテキスト・ラベリングを可能にする「テキスト・ノード」を許容する。しかし、これらのラベルは、仮想世界自体に固有のものであるため、それらは多くの理由によって読むのが難しくなることがある。
【０００６】
第一の問題は、ラベルがオブジェクトについて固定されている場合に起こる。オブジェクトが直接的に正面からではない観点から見られる場合、テキスト・ラベルは直接的に視点を向かない。結果として、テキストは、該テキストがテキスト文字の過剰な歪み若しくは一部のテキスト文字が他のテキスト文字によって隠されることを通じて読みづらくなるような角度から見たように、表示され得る。オブジェクトが後ろからも見られるためには、テキストは後ろからも表示されなければならないが、これもテキストを読みづらくする。遭遇し得る第二の問題は、レンダリング処理事態のテキスト・ラベルのテクスチャ・マップの打ち切りに起因する「階段」状の外観を身に付けるテキスト文字の斜めの要望の効果であるエイリアシングに関する。この効果は文字が直接的に正面から見られる時には我慢できるが、テキストが、不愉快な外観を生成し、該テキストの読みやすさを減少させる角度から見られる場合に、誇張される。第三の問題は、第三の問題は、通常のテレビ・ディスプレイによって用いられるインターレース・モードで動作するディスプレイ上に仮想世界が再現される際に生じ得る。この種の作動は、テキストの頂部及び底部などの表示されたアイテムの水平方向の境界において特に顕著なインターレースちらつきとして知られる効果を引き起こす。
【０００７】
本発明の目的は、三次元仮想環境において定義されたオブジェクトに関連付けられたラベルの供給における性能向上を支援する方法及び装置を提供することである。
【０００８】
本発明の第一の態様によれば、三次元（３Ｄ）仮想環境において定義されたオブジェクトであって、視点から観測された時の３Ｄ環境を表す画像を生成するために、レンダリング処理において二次元（２Ｄ）画像平面上に投影されることにより２Ｄ画像平面上に提示されるオブジェクト、に対してラベルを提供する方法であって、２Ｄ画像平面に提示された時の前記オブジェクトの位置を確立し、これらに対してオブジェクト位置参照点を割り当て、該オブジェクト位置参照点に関連付けられ、二次元でそれと共に動き得る二次元（２Ｄ）ラベル画像を生成することを特徴とする方法が提供される。
【０００９】
上記ラベルは、３Ｄ仮想環境からラベルを投影する処理を通じてではなく、二次元画像として生成されるため、該ラベルは、それが関連付けられたオブジェクトのユーザ視点から認識される時の方向にかかわりなく、常にユーザの方を向いて提示される。このような生成方法は、読みやすいラベルを表示することを困難にし得る前述の遠近問題を克服する。
【００１０】
好ましい実施例において、二次元ラベル画像は、三次元で提供された情景を含む画像平面に重なる二次元重なり平面に生成される。
【００１１】
上記本方法は、更に、３Ｄ仮想環境において定義された時の関連付けられたオブジェクトを囲むようなサイズを有する境界ボックスを設けることを通じて２Ｄ画像平面において提示された時の前記オブジェクトの位置を確立し、該境界ボックスの中央を確立し、前記視点から観測された時の前記オブジェクト位置を表すそこでの位置を生成するために、レンダリング処理において該中央位置を前記２Ｄ画像平面上に投影することも可能である。このような位置が一旦確立されると、例えばラベルをオブジェクトより上とし得る垂直オフセットなどの追加的オフセットを提供することが可能である。
【００１２】
この工程は、オブジェクトが２Ｄ画像平面に現れた時の位置の識別の一貫した方法を提供する。確立技術は、ユーザの介入無しに自動的に実行されるのに適したものである。
【００１３】
二次元ラベル画像は、前記仮想環境内で定義された時の前記関連付けられたオブジェクトの前記視点からの距離に依存したサイズを有するように生成されることが好ましい。すなわち、視点から離れたオブジェクトにはより小さいサイズを有するように生成された関連ラベルが提供され、視点に近いオブジェクトにはより大きいサイズを有するように生成された関連ラベルが提供される。すべてのケースにおいて、テキスト・ラベルの色のスケーリング若しくはシャドーイングなどのある種の視覚的差異が近いラベル及び遠いラベルに対して提供されてもよい。
【００１４】
オブジェクトの３Ｄ仮想環境から２Ｄ画像平面上への投影処理においてスケーリング・パラメータが採用されると、該スケーリング・パラメータは、該オブジェクトに関連付けられた、生成されたラベルのサイズを決定するために、採用され得る。
【００１５】
ラベル画像は、テキスト・データを含み得る。
【００１６】
画像データ処理が、生成された二次元ラベル画像に対して適用され得る。このような画像データ処理は、エイリアシング防止及びインターレースちらつきキャンセルなどの標準的な画像処理技術を含み得る。
【００１７】
このような処理の適用は、一般的に、３Ｄ仮想環境から投影されたラベルに対する場合よりも、二次元で生成されたラベルに対する場合の方がより効果的である。更に、二次元画像が重なり平面で生成される場合、該処理を単に重なり平面に対して適用することによって、生成されたラベルのみに画像処理を適用し、２Ｄ画像平面上に投影されたオブジェクトには適用しないようにすることができる。
【００１８】
本発明の第二の態様によれば、三次元（３Ｄ）仮想環境において定義されたオブジェクトであって、視点から観測された時の３Ｄ環境を表す画像を生成するために、レンダリング処理において二次元（２Ｄ）画像平面上に投影されることにより２Ｄ画像平面上に提示可能となるオブジェクト、と共に表示されるラベルを生成するように構成されたデータ処理装置であって、前記２Ｄ画像平面に提示された時の前記オブジェクトの位置を確立し、これらに対してオブジェクト位置参照点を割り当てるオブジェクト位置手段と、該オブジェクト位置参照点に関連付けられた二次元（２Ｄ）ラベル画像を生成し、二次元でそれと共に該ラベル画像を動かす生成手段とを有することを特徴とする装置が提供される。
【００１９】
本発明の他の態様及び任意的機能は、ここで参照されるべき付属請求項及びここで参考文献として組み込まれる開示において現れる。
【００２０】
ここで、添付図面を参照して、例示目的のみに、本発明を説明する。
【００２１】
図１を参照すると、軸ｘ，ｙ，ｚによって示される方向に広がる三次元（３Ｄ）仮想環境が示されている。この３Ｄ仮想環境は、複数のオブジェクトを含み得るが、本発明を説明するため、２つの例示的オブジェクト３及び４が図１に示されている。ここで、該３Ｄ仮想環境が位置２によって示される視点から観測されるものと仮定する。ビュー円錐５は、視点２から観測された場合の該３Ｄ環境を表す画像を生成するためのレンダリング処理において２Ｄ画像平面上に投影される３Ｄ仮想環境の部分を区切る。ユーザが３Ｄ環境をナビゲートする時に彼に該３Ｄ環境のビューを提供するのはこの２Ｄ画像である。このビュー円錐５自体は、「クリップ平面」として知られる複数の平面を定義する。図１に示す配置において、該平面は、前部クリップ平面５ａ、後部クリップ平面５ｂ、左クリップ平面５ｃ、右クリップ平面５ｄ、底部クリップ平面５ｅ、及び頂部クリップ平面５ｆとして示される。３Ｄ仮想環境のうちクリップ平面で囲まれた部分のみが２Ｄ画像平面上に提供されるが、明確さのために、３Ｄ仮想環境はこれらクリップ平面の外へ広がることが述べられる。３Ｄ仮想環境のうちクリップ平面内に含まれる部分のみが２Ｄ画像平面上で表されるため、３Ｄ環境のうちクリップ平面外に落ちる部分についてレンダリング処理を実行する必要性はない。
【００２２】
２Ｄ画像平面は、ｘ，ｙ方向のみに広がり、参照番号６によって示される。この特定の例において、前部クリップ平面５ａは、２Ｄ画像平面６と共通の平面である。すなわち、２つの平面は同じｚ座標を有する。しかし、これは、当業者には明らかなように、必須要件ではない。
【００２３】
３Ｄ仮想環境の２Ｄ表示を生成するために該３Ｄ仮想環境を２Ｄ画像平面上にレンダリングする（投影する）処理は、当業者によって知られており、当業者によって再現されることが可能であり、ここでより詳細に説明する必要は
ない。
【００２４】
ラベル画像は、２Ｄ画像平面に現れた各オブジェクトに対して提供され得る。該ラベルは、２Ｄ画像平面６に投影された時のオブジェクトの位置を確立し、該確立された位置若しくはその近くに該オブジェクトと共に表示される二次元ラベル画像を生成することによって、提供される。ラベルを関連付けられたオブジェクトに対して空間的に位置決めして提供することによって、２Ｄ画像平面に１以上のオブジェクトが現れる場合に誤ったオブジェクトにラベルを関連付けるリスクを最小にすることに役立つ。図１に示すように、オブジェクト３にはラベル７が提供され、オブジェクト４にはラベル８が提供される。該ラベルは、それらが関連付けられたオブジェクトに対してオフセットされた位置に配置され得る。３Ｄにおいてオブジェクトが配置された位置が変わると、該オブジェクトに関連付けられたラベルの位置も変わるため、該ラベルは該オブジェクトに対する空間的位置登録を維持する。このように、２Ｄ画像平面においてオブジェクトが移動すれば、ラベルもそれと共に移動するように見える。２Ｄ画像平面で表されたときのオブジェクトの位置は、該オブジェクトが３Ｄ仮想環境において移動しているか、又は、視点２が変更された場合に、変わり得る。
【００２５】
ラベル画像は、発端から二次元で生成される。これは、ラベルを有するオブジェクトを提供する前述の既知技術、すなわち、３Ｄ仮想環境自体においてラベルを提供し、それらラベルを３Ｄ環境から２Ｄ画像平面へ残りのオブジェクトと共にレンダリングする技術、とは対照的である。
【００２６】
ラベル画像を二次元で生成し、該ラベル画像を２Ｄ画像平面上にマッピングすることによって、該ラベル画像は、該ラベルが関連付けられているオブジェクトが直接的な正面でない視点から見られているという事実にかかわりなく、常に該画像平面に正面を向いて現れる。
【００２７】
上記ラベルは、３Ｄ仮想環境自体において提供されないため、該ラベル画像を表すデータは別々に提供される。ラベル画像データを３Ｄ仮想世界の個々のオブジェクトと合わせる手段が設けられる。該ラベルは、２Ｄテクスチャ・マップである可能性が高い。
【００２８】
該生成されたラベルの２Ｄ画像平面上にマッピングされた時のサイズは、それらの関連付けられたオブジェクトの視点２からの距離によって支配され得る。例えば、図１において、３Ｄ環境内で、オブジェクト３は視点２からより離れた位置にあり、オブジェクト４は視点２からより近い位置にある。オブジェクト３及び４が仮想環境のコンテキストにおいて互いに同じサイズであると仮定すると、オブジェクト４が２Ｄ画像平面上に投影されるとオブジェクト３の投影より大きく現れる。この遠近効果を完全にするために、２Ｄ画像平面で感知された時のオブジェクトのサイズにとって適切なサイズを有するように、関連付けられたラベルが生成される。図１に示すように、オブジェクト４に関連付けられたラベル８は、オブジェクト３に関連付けられたラベル７よりも大きい。２Ｄ画像平面上にレンダリングされた各オブジェクトに対して、２Ｄ画像平面におけるそのオブジェクトの位置を示す参照点が提供されるため、該オブジェクトに関連付けられたラベルは、この参照点に対して配置され得る。ＶＲＭＬのコンテキストにおいてこのような参照点を提供する一方法は、図２を参照して説明される。（ＶＲＭＬとは、例えば１９９６年８月４日にＩＳＯ／ＩＥＣ ＷＤ１４７７２として発行されたＶＲＭＬ規格バージョン２．０において説明されるようないわゆるＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｌｉｎｇ Ｌａｎｇｕａｇｅのことである。ＶＲＭＬは、インターネット／ワールド・ワイド・ウェブ上で経験されるべき双方向三次元世界を示すファイル形式である）。図２に示されるオブジェクト４は、３Ｄ仮想環境であるが、それに適用されたいわゆる境界ボックス９を有する。境界ボックスは、オブジェクトを含む最小限の長方形容積である。この境界ボックスの一部（例えばその中心を表す部分１０）は、参照点１１を提供するために２Ｄ画像平面上に投影されるために選択される。実際のラベルは、この参照点１１からオフセットされた位置に生成され得る。このオフセットの効果は、該ラベルを配置するために選択された位置１２をもたらす。
【００２９】
ラベル画像は、例えば、該ラベルが関連付けられたオブジェクトの識別を示すための名前の形式のテキスト・データ、又は、該オブジェクトの状態を示す動的に変化するテキストの形式のテキスト・データを含み得る。該ラベルは、スクロールするテキスト・データを提示し得る。
【００３０】
生成されたテキスト・ラベルを２Ｄ画像平面上にマッピングする別の方法は、テキスト・ラベルがその中に生成される別の重なる二次元平面を設けることである。「重なる」という語は、重なっている平面に生成されたすべての画像は、上記平面に生成されたラベルが重なり領域における下側の画像平面の２Ｄ画像部分をわかりにくくするという意味において、支配的であることを示すために用いられる。しかし、図１のモデルにおいて、２Ｄ画像平面及び重なり平面は、共通平面としてみなされ得る。
【００３１】
このような重なり平面は、Ｐｈｉｌｉｐｓ ＴｒｉＭｅｄｉａマルチメディア・マイクロプロセッサにおけるいわゆる「重なり平面」の形式で提供され得る。
【００３２】
２Ｄで生成されたラベル画像は、エイリアシング防止及びインターレースちらつきのキャンセルなどの画像処理技術に役立つ。該画像が重なり平面などのそれら自身の平面で生成される場合、２Ｄ画像平面にレンダリングされた時の３Ｄオブジェクトの外観に影響を与えることなく、２Ｄラベル画像のみに対して選択的に画像処理技術を適用することが可能である。
【００３３】
図３を参照すると、本発明を実行するシステムは、アドレス及びデータ・バス３２を通じて、ランダム・アクセス（ＲＡＭ）及びリード・オンリ（ＲＯＭ）メモリ装置３４、３６に接続された中央演算装置（ＣＰＵ）３０を有する。これらメモリ装置の容量は、磁気ディスクなどの形式のストレージへのアクセスを有するシステムを提供することによって、増加され得る。レンダリングされた２Ｄ画像平面及び生成されたラベル（該画像平面上にマッピングされた時若しくは個別の重なり平面において生成された時）は、ＣＰＵ３０の制御の下、ディスプレイ・ドライバ段階３７によって駆動されるディスプレイ・スクリーン３８上に提示される。
【００３４】
本開示を読むことによって、当業者には他の修正が明らかであろう。このような修正は、システム、装置、及びそれらの構成要素の設計、製造、及び、使用において既に知られている他の機能、及び、ここで既に開示されている機能に代えて若しくは加えて用いられ得る他の機能、を含み得る。
【図面の簡単な説明】
【図１】 その中に配置されたオブジェクトを有する二次元表示用三次元仮想環境の一部及びラベルを示す図である。
【図２】 二次元で表示された場合のオブジェクトの位置を確立する技術を示す図である。
【図３】 本発明を実行するのに適したシステムの概略図である。

Claims (7)

1. 三次元（３Ｄ）仮想環境において定義されたオブジェクトであって、視点から観測された時の３Ｄ環境を表す画像を生成するために、レンダリング処理において二次元（２Ｄ）画像平面上に投影されることによりディスプレイ上に出力される２Ｄ画像平面上に提示されるオブジェクトに対して、中央演算装置によりラベルを提供する方法であって、
   前記２Ｄ画像平面に提示された時のオブジェクトの位置を確立し、これらに対してオブジェクト位置参照点を割り当て、
   該オブジェクト位置参照点に関連付けられ、二次元でそれと共に動き得る二次元（２Ｄ）ラベル画像を生成し、
   ３Ｄ仮想環境において定義された時の関連付けられたオブジェクトを囲むようなサイズを有する境界ボックスを設けることを通じて２Ｄ画像平面において提示された時の前記オブジェクトの位置を確立し、
   該境界ボックスの一部を確立し、
   前記視点から観測された時の前記オブジェクト位置を表すそこでの位置を生成するために、レンダリング処理において該一部の位置を前記２Ｄ画像平面上に投影することを特徴とする方法。
2. 請求項１記載の方法であって、更に、
   前記画像平面に重なる二次元重なり平面に前記二次元ラベル画像を生成することを特徴とする方法。
3. 請求項１記載の方法であって、更に、
   前記視点から観測された時の前記オブジェクト位置を表す前記位置にオフセットを導入することを特徴とする方法。
4. 請求項１乃至３のいずれか一項に記載の方法であって、更に、
   前記オブジェクトの３Ｄ仮想環境から２Ｄ画像平面上への投影中に、該オブジェクトに適用されるサイズ・スケーリング・パラメータを採用することを特徴とする方法。
5. 請求項１乃至４のいずれか一項に記載の方法であって、
   前記ラベル画像は、テキスト・データを含むことを特徴とする方法。
6. 請求項１乃至５のいずれか一項に記載の方法であって、更に、
   前記生成された二次元ラベル画像に対して画像データ処理を適用することを特徴とする方法。
7. 請求項６記載の方法であって、
   前記適用された画像データ処理は、エイリアシング防止若しくはインターレースちらつきのキャンセルに向けられた処理、又は、これらの両方を含むことを特徴とする方法。

Images