JP4322121B2 - ３次元モデルをスケーリングする方法およびスケーリングユニット並びに表示装置 - Google Patents

Description

本発明は、３次元モデルをこの３次元モデルに向かう目視者の目視方向に対応する次元でスケーリングされた３次元モデルにスケーリングする方法に関する。

本発明はさらに、３次元モデルをこの３次元モデルに向かう目視者の目視方向に対応する次元でスケーリングされた３次元モデルにスケーリングするスケーリングユニットに関する。

本発明はさらに、
３次元モデルを示す信号を受信する受信手段と、
３次元モデルをこの３次元モデルに向かう目視者の目視方向に対応する次元でスケーリングされた３次元モデルにスケーリングするスケーリングユニットと、
スケーリングされた３次元モデルのビューを可視化する表示手段と、を備える画像表示装置に関する。

３次元シーンの大きさが画像表示装置の表示能力と一致しない可能性は高い。そのために、スケーリング作業が知られている。スケーリングを必要とする他の理由としては、３次元シーンを示す３次元モデルの形状を伝送路に適合させること、または３次元モデルを目視者の好みに適合させることが挙げられる。

３次元シーンを示す３次元モデルに対するリニアスケーリング作業はよく知られている。冒頭の段落で説明した種類の画像表示装置の実施の形態は米国特許第６，３１３，８６６号から知られている。この画像表示装置は、第１画像信号から奥行情報最大値を獲得する回路を備えている。この画像表示装置は、第１および第２画像信号に含まれる奥行情報に基づいて第２画像信号の視差の量を制御して、第２画像信号に対応する画像を第１画像信号に対応する画像の前面に３次元表示することができる視差制御回路をさらに備えている。３次元画像合成器は、視差制御回路によって制御された第１および第２画像信号を各画像信号の視差の量に基づいて合成し、それによって各画像が３次元表示スペースにおいて前記第１および第２画像信号に対応する。奥行情報のスケーリングは、表示能力の限界を超える奥行情報を除いて、奥行情報の線形適合によって原則として行われる。これらの後者の値が縮小される。

奥行適合またはスケーリングには、奥行感の減少が引き起こされる可能性があるという欠点がある。特に、リニア奥行スケーリングはスケーリングされた３次元モデルの奥行感にとって不都合な場合がある。

本発明の目的は、元の３次元モデルと知覚的に類似し且つ快適な３次元効果を有するスケーリングされた３次元モデルにする冒頭の段落で説明した種類の方法を提供することである。

本発明の目的は、この方法が目視者の人間視覚の特性に基づいていることにおいて達成される。これらの特性としては特に、
奥行に関連した次元での、即ち奥行を示す信号での３次元モデルにおける不連続に対する感受性と、尚、３次元モデルに向かう目視者の目視方向に対応する次元は奥行と同等であり、
３次元モデルの２次元ビューの隣接する画素間における輝度値、即ちテクスチャ量の相違に対する感受性と、
３次元モデルの２次元ビューの画素の色値に対する感受性と、
３次元モデルの２次元ビューの隣接する画素間における特定の色値の相違に対する感受性と、が可能性として挙げられる。

本発明による方法は、人間の視覚が感受する３次元モデルによって示される情報の関係のある部分の間、および人間の視覚が感受しない３次元モデルによって示される情報の無関係の部分における識別または区別に基づくものである。関係のある部分は３次元モデルのスケーリングが行われる際に強調される必要があり、任意で無関係の部分を低下または変形させる。

本発明による方法の実施の形態は、奥行に関連した次元で３次元モデルおける不連続を検出する不連続検出ステップを備える。リニアスケーリングの態様において、３次元モデルの形状を維持することができる。しかし、人間は奥行の大きさの適合に対してあまり感受性がないため、このことは奥行スケーリングに強く要求されるものではない。これは、人間が通常の完全に「平坦な」２次元の映像を好むという事実に最もよく証明されている。この現象は、２０００年度のＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙの第１０巻、第３号、３８７ページから３９６ページにおけるＳｉｅｇｅｌらによる記事”Ｊｕｓｔ ｅｎｏｕｇｈ ｒｅａｌｉｔｙ： Ｃｏｍｆｏｒｔａｂｌｅ ３−Ｄ ｖｉｅｗｉｎｇ ｖｉａ ｍｉｃｒｏｓｔｅｒｅｏｐｓｉｓ”にも記載されている。このように、例えばリニアスケーリングが施された３次元モデルによって提供される限定された奥行は依然として３次元効果を与える。しかしながら、人間はこの場合３次元効果は小さいことをあまりよく気づくことがない。これは、スケーリングされた３次元モデルの絶対奥行値が小さいことではなく、奥行不連続が小さいことに起因している。言い換えれば、リニア奥行スケーリングは奥行不連続の大きさに影響を与え、その結果奥行感が低下する。一般的に、人間はシーンの位相幾何に非常に感受性があり、特に奥行不連続に対しては感受性があるが、幾何学的形状に対してはあまり感受性がない。人間は、物体同士が互いに向かい合っていて且つ例えば部分的に互いを塞いでいるということを非常によく観察する。しかし、絶対的奥行、即ち物体間の実際の距離についてはあまり重要性がない。このことは、奥行値の範囲が限定されている場合でも、トポロジが維持され且つそのために奥行不連続が維持されているかまたは増幅されている限り、快適な３次元効果を与えることができることを意味している。

本発明による方法の他の実施の形態は、
隣接する画素との特定の画素の特定の輝度コントラスト値を測定する輝度コントラスト検出ステップと、前記特定の画素は３次元モデルのビューである２次元画像に属し、
前記特定の輝度コントラスト値に基づいて特定の画素に対応するエレメントの奥行値のスケーリングを行なう輝度コントラスト依存スケーリングステップと、を備える。

この実施の形態の背後にある理論について例を挙げて説明する。白い背景、例えば壁の前面に白い物体が配置されている場合、これをほとんど見ることはできない。このことは、この白い物体および白い背景を持つシーンの奥行にスケーリングを施すことは実質的に３次元効果に影響を及ぼさないということを意味している。シーン内に第２の、例えば黒い物体がある場合、このシーンの３次元モデルの奥行スケーリングを黒い物体と壁との間の奥行差によって調節する必要がある。白い物体と壁との間の奥行差はスケーリングにとってあまり重要でないため、奥行適合に対して考慮に入れる必要はないかまたはほとんどない。

本発明による方法の実施の形態は、
奥行に関連した次元で３次元モデルの一部における奥行値の範囲を予測する範囲検出ステップと、
奥行値の範囲と奥行値の出力範囲とを比較する比較ステップと、を備える。

一般的に、スケーリングとは入力ドメインから出力ドメインへ情報の写像を行なうことである。入力および出力値の範囲を把握していれば、適切なスケーリングを判断することができる。出力値の範囲は表示装置の表示能力に対応しているため把握されている場合が多い。しかし、入力値の範囲が把握されていない場合、この範囲を判断する必要がある。これには最適なスケーリングを達成することができるという利点がある。

この方法の変形および変化を上述したスケーリングユニットおよび画像表示装置の変形および変化に対応させるようにしてもよい。

３次元情報を獲得または生成する方法および機器と、
３次元情報を記憶する３次元モデルと、
一種類の３次元モデルによって示されたデータを他の３次元モデルに変換することと、
３次元情報を可視化する画像表示装置と、にはいくつかの種類がある。

まず、いくつかの種類の３次元モデルを簡単に説明する。

例えば、ＶＲＭＬに対して指定されるワイヤーフレーム。このモデルは線および面の構造を備える。

容積測定データ構造またはボクセル(voxel)写像（ボクセルはボリュームエレメントの意味）。これらの容積測定データ構造は３次元のエレメント配列を備える。各エレメントは３次元を有し且つ特性値を示す。例えば、各エレメントがそれぞれのハウンスフィールド値に対応する容積測定データ構造としてＣＴ（コンピュータ断層撮影）データが記憶される。

例えばＲＧＢＺ値を有する２次元画像のような奥行写像を有する２次元画像。これは各画素が輝度、色および奥行値を備えていることを意味している。

例えばステレオ画像対またはマルチビュー画像にような画像に基づいたモデル。この種の画像は明視野とも呼ばれる。

ワイヤーフレームまたは奥行写像を有する２次元画像によって示されたデータを、容積測定データ構造または画像に基づいたモデルによって示されるデータにすることによって変換することができる。

３次元画像表示装置によって実感できる奥行の大きさはその種類に依存する。

容積測定表示装置については、奥行の大きさは表示装置の次元によって完全に決定される。

例えばガラスを有するステレオディスプレイは目視者に依存する奥行の大きさに関してソフトリミットがある。レンズの調節と相互的な目の収束との「争い」によって過度な奥行の大きさが生じると、目視者は疲労してしまう可能性がある。

例えば多重ビューのためのレンズ状スクリーンを有するＬＣＤのようなオートステレオスコーピック表示装置は、ビューの量によって決定される理論上最大奥行値を有する。この最大奥行値を超えると鮮明さが失われる可能性がある。３次元画像表示装置の種類と３次元情報を提供する必要がある適正な種類の３次元モデルとの間には関係がある。

図１Ａは、元の３次元モデルの奥行プロファイル１００を概略的に示している。図１Ｂは、対応するリニアスケーリングされた３次元モデルの奥行プロファイル１０２を概略的に示している。図１Ｃは、本発明による方法によってスケーリングされた３次元モデルの奥行プロファイル１０８を概略的に示している。図１Ｂおよび図１Ｃにおいて、３次元画像表示装置１０４の上面図が示されている。灰色の囲みは、この３次元画像表示装置１０４に適応可能な奥行範囲１０６を示している。この囲みは、奥行に関連した次元で３次元画像表示装置１０４の表示能力と類似している。

まず、奥行プロファイル１００を奥行プロファイル１０２と比較する。連続部分１０１乃至１０７はそれぞれの連続部分１１５乃至１２１へ写像されていることが分かる。それらの形状は変形されていない。これは、特定の連続部分、例えば１１５に属するエレメントが同等の奥行値を有していることを意味している。Ｃ_０不連続１０９乃至１１３はＣ_０不連続１２３乃至１２７へ写像されている。Ｃ_０不連続１２３乃至１２７の大きさはＣ_０不連続１０９乃至１１３の大きさよりも小さい。従って奥行感は減少する。

次に、奥行プロファイル１００を奥行プロファイル１０８と比較する。連続部分１０１乃至１０７は連続部分１２９乃至１３５へ写像されていることが分かる。それらの形状は変形されている。これは、特定の連続部分、例えば１２９に属するエレメントがスケーリング前では同等の奥行値を有していたが、同等の奥行値を有していないことを意味している。実際に、元のシーンにおける平行面が現在は傾斜した配向を有している。Ｃ０不連続１０９乃至１１３はＣ０不連続１３７乃至１４１へ写像されている。Ｃ０不連続１３７乃至１４１の大きさはＣ０不連続１０９乃至１１３の大きさよりも大きい。尚、これらの大きさを拡大することは要求されない。全体の奥行範囲は減少しても奥行感は増大する。これはＣ０不連続１０９乃至１１３を強調することによって達成される。連続部分１０１乃至１０７はＣ０不連続１０９乃至１１３の代わりに変形する。絶対奥行値に関して人間はあまり感受性がないため、これらの変形をほとんど知覚しない。知覚したとしてもこれらの変形が不快になることはない。

図２Ａは、不連続維持に基づくスケーリングユニット２００の実施の形態を概略的に示している。特に、Ｃ_０不連続は重要である。スケーリングユニット２００は、
不連続を検出するために奥行に対応する信号にフィルタ処理を行なうように構成された高域フィルタ２０２と、
奥行値の出力範囲を決定する、ピーク検出または任意でエンベロープ検出に基づいた自動利得制御装置２０４と、
フィルタ処理された信号を自動利得制御装置２０４によって検出された出力範囲に基づいた出力範囲に適合させる正規化ユニット２０６と、を備えている。入力コネクタ２０６に奥行信号が供給され、スケーリングユニット２００はスケーリングを施した奥行信号をその出力コネクタ２１０で供給する。高域フィルタ２０２は、信号の関係のある部分と無関係な部分とを、即ち不連続と連続部分とをそれぞれ識別するように構成されている。フィルタ処理された信号は、フィルタ処理された信号の極大値または最大値の「移動平均」によって算出された値に基づいた正規化ユニット２０６によって正規化される。図２Ａに示されるようなスケーリングユニット２００の作用は図２Ｂに示されるようなスケーリングユニット２０１と実質的に同等であり、これを図２Ｂを参照して説明する。

図２Ｂは、低域フィルタ２１２および減算ユニット２１４を備える不連続維持に基づくスケーリングユニット２０１の実施の形態を概略的に示している。高域フィルタ２０２を使用する代わりに、低域フィルタ２１２を減算ユニット２１４と組み合わせて適用することが可能である。元の信号から低域フィルタ処理が施された信号を引き取ることによって高周波数成分が維持される。スケーリングユニット２０１のこの実施の形態はこのようなフィルタ処理方法に基づいている。次にこの実施の形態を数学的に説明する。元のシーンの奥行をＤ_０（ｘ、ｙ）とし、この場合ｘおよびｙは画像座標とする。Ｄ_０（ｘ、ｙ）を奥行に関連した如何なる単位、例えば画素差またはメートルで表すことができる。単位は画素差とする。スケーリングされた奥行はＤ_Ｃ（ｘ、ｙ）であり、情報が可視化される３次元画像表示装置の奥行範囲は−ｋ＜Ｄ_Ｃ＜ｋによって与えられる。尚、ほとんどの３次元画像表示装置はゼロ奥行前後の対称的な限界を有する。そうでない場合は、スケーリングされた信号に所定の定数を加算するように構成された加算ユニットと組み合わせて対称的ｋ制約を適用することができる。９ビューのレンズ状スクリーンを有するオートステレオスコーピックディスプレイの場合、ｋの典型的な値は４である。これはｋ＝（９−１）／２から得られる。スケーリングユニット２０１を数学的に説明すると

となり、ここでＦ_σ１およびＦ_σ２は低域フィルタ、例えばガウスフィルタであり、変動パラメータσ_１およびσ_２は５０である。しかし、フィルタの種類またはそのパラメータは大きく変化させることができる。完全な２次元画像に属する全奥行写像が包含されるように変動パラメータを選択してもよい。任意で、ビデオデータのフィルタ処理が要求される場合にはフィルタは一時的な構成要素を備える。画素単位係数オペレータを組み込んで符号を外す。数式１の分子は不連続検出に対応し、分母はエンベロープ検出に対応する。図１Ａに示されるような信号に対して数式１を適用すると、図１Ｃに示されるような信号となる。スケーリングユニット２０１のさらなる効果は、３次元画像表示装置の奥行範囲よりも低い元のシーンの奥行Ｄ_０（ｘ、ｙ）が増大することである。従って、如何なる奥行写像Ｄ_０（ｘ、ｙ）も、３次元効果が画像表示装置の能力を考慮して最大となるようにスケーリングされる。

図２Ｃは、クリッピングユニット２１６を備えるスケーリングユニット２０３の実施の形態を概略的に示している。数式１を適用すると３次元画像表示装置の奥行範囲が不要となる可能性がある。これは最大全体奥行感を引き起こす。ある種の３次元画像表示装置、例えばレンズ状スクリーンを有するオートステレオスコーピックディスプレイにとってこれは有益である。奥行範囲を不用にすることが実際には認められない場合は常に、クリッピングユニット２１６によってクリッピング前処理オペレーションが実行される。

図３は、輝度コントラスト検出に基づくスケーリングユニット３００の実施の形態を概略的に示している。スケーリングユニット３００は、
隣接する画素との特定の画素の特定の輝度コントラスト値を測定するように構成された輝度コントラスト検出ユニット３０２と、前記特定の画素は３次元モデルのビューである２次元画像３１３に属し、
前記特定の輝度コントラスト値に基づいて特定の画素に対応するエレメントの奥行値のスケーリングを行なうように構成された輝度コントラスト依存スケーリング手段３０４と、を備える。

スケーリングユニット３００の作用を例を挙げて説明する。２次元画像３１２が入力コネクタ３０６に供給され、各画素は輝度値を有する。画像３１２は白い背景を示している。背景の前面には、テクスチャのない白い物体３１６および灰色の物体３１４の２つの物体が配置されている。白い物体３１６と背景との間の距離は灰色の物体３１４と背景との間の距離よりも大きい。これは、画像３１２の画素のロー３１３に対応する奥行プロファイル３１８を調べることによって観察することができる。この奥行プロファイル３１８は、それぞれ白い物体３１６および灰色の物体３１４に対応する２つのブロック３１９および３２１を備える。入力コネクタ３０８において、スケーリングユニットに奥行写像が供給される。奥行写像は一連の画素を備えており、各画素は２次元画像３１２の対応する画素の奥行値を示す値を有している。白い物体３１６はテクスチャおよび背景とのコントラストがないため、この物体３１６は２次元画像３１２内でほとんど見ることができない。従って、例えば３次元表示装置の能力に対して奥行写像にスケーリングを施さなければならない場合、白い物体３１６に関連した奥行値３１９を考慮に入れることはあまり有益ではない。反対のことが灰色の物体３１４に関連した奥行値３２１に当てはまる。スケーリングユニット３００の出力コネクタ３１０にはスケーリングが施された奥行写像が供給される。スケーリングユニット３００の設定に応じて、ほとんど見えない物体、例えば白い物体３１６に対応する元の奥行写像内の領域を完全に除去することができる。奥行プロファイル３２２は灰色の物体３１４に対応する１つのブロック３２７のみを示しており、他のブロックは示していない。スケーリングユニット３００の他の設定では、このような種類の領域は除去されることはないが、可視の奥行写像内の領域、例えば灰色の物体３１４によって決定されたスケーリングに基づいて適合される。スケーリング手段３０４は図２Ａ、図２Ｂまたは図２Ｃに関連して説明したようなスケーリングユニット２００、２０１、２０３に基づくようにしてもよい。

色に対する感受性に基づいたスケーリングユニットの実施の形態は、図３に関連して説明したようなスケーリングユニット３００の実施の形態に実質的に類似する。

図４は、画像表示装置４００の実施の形態を概略的に示しており、この画像表示装置４００は、
３次元モデルを示す信号を受信する受信手段４０２と、
３次元モデルを奥行に関連した次元でスケーリングされた３次元モデルにスケーリングするスケーリングユニット４０４と、
スケーリングされた３次元モデルのビューを可視化する表示手段４０６と、を備える。

この信号は放送局から受信するか、またはＤＶＤのような格納媒体から読み出すことができる。任意で、第１のタイプの３次元モデルによって格納された受信情報を他のタイプの３次元モデルに変換するように受信手段４０２を構成する。スケーリングユニット４０４は、図２Ａ、２Ｂまたは３のいずれかに関連して説明したようなスケーリングユニットの１つに対応する。画像表示装置４００を上に記載したタイプのいずれのものとすることも可能である。

尚、上述した実施の形態は例証であって本発明を限定するものではなく、当業者は添付された請求の範囲から逸脱せずに他の実施の形態を設計することが可能であろう。請求の範囲において、括弧内の参照番号はいずれも請求の範囲を限定するように組み込まれたものではない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」という言葉は請求の範囲に記載されていない要素またはステップの存在を排除するものではない。要素の前にある「１つの（”ａ”または”ａｎ”）」という言葉はこのような要素が複数存在することを排除するものではない。いくつかの別個の要素を備えるハードウェアおよび適切なプロブラミングされたコンピュータによって本発明を実施することができる。スケーリングユニットにおいて、いくつかの手段、これらの手段のいくつかを列挙する請求項は１つおよび同種のハードウェアによって実施することができる。

本発明による方法、スケーリングユニットおよび画像表示装置の上記および他の態様は、以下に説明する実施の形態から添付された図面を参照することにより明らかとなる。
元の３次元モデルの奥行プロファイルを概略的に示している。 リニアスケーリングが施された３次元モデルの奥行プロファイルを概略的に示している。 本発明による方法によってスケーリングが施された３次元モデルの奥行プロファイルを概略的に示している。 不連続維持に基づくスケーリングユニットの実施の形態を概略的に示している。 低域フィルタを備える不連続維持に基づくスケーリングユニットの実施の形態を概略的に示している。 クリッピングユニットを備えるスケーリングユニットの実施の形態を概略的に示している。 輝度コントラスト検出に基づくスケーリングユニットの実施の形態を概略的に示している。 ３次元表示装置の実施の形態を概略的に示している。

対応する参照番号は、すべての図において同一の意味を有する。

符号の説明

２００ スケーリングユニット
２０２ 高域フィルタ
２０４ 自動利得制御装置
２０６ 正規化ユニット
２１２ 低域フィルタ
２１４ 減算ユニット
３００ スケーリングユニット
３０２ 輝度コントラスト検出ユニット
３０４ 輝度コントラスト依存スケーリング手段
４００ 画像表示装置
４０２ 受信手段
４０４ スケーリングユニット
４０６ 表示手段

Claims (7)

1. スケーリング装置によって、３次元モデルを、該３次元モデルに向かう目視者の目視方向に対応する次元でスケーリングされた３次元モデルにスケーリングする方法であって、
   スケーリングは目視者の人間視覚の特性に基づいて行われ、
   前記人間視覚の特性の第１のものは、奥行に関連した次元での前記３次元モデルにおける不連続に対する感受性であり、且つ
   前記不連続に対する前記感受性によって奥行感が与えられるよう、前記３次元モデルの奥行きの前記不連続を維持あるいは増幅し、且つ前記３次元モデルの連続部分を変形する
   ことを特徴とする方法。
2. 前記スケーリング装置によるスケーリングに使用される前記人間視覚の特性の第２のものは、前記３次元モデルの２次元ビューの隣接する画素間における輝度値の相違に対する感受性であり、且つ当該方法は：
   前記３次元モデルのビューである２次元画像に属する特定の画素の、隣接する画素に対する特定の輝度コントラスト値を前記スケーリング装置によって測定する輝度コントラスト検出ステップと、
   前記特定の輝度コントラスト値に基づいて、前記スケーリング装置によって、前記特定の画素に対応するエレメントの奥行値のスケーリングを行なう輝度コントラスト依存スケーリングステップとを備える、
   ことを特徴とする、請求項１に記載の方法。
3. 前記スケーリング装置によるスケーリングに使用される前記人間視覚の特性の第３のものは、前記３次元モデルの２次元ビューの隣接する画素間における色値の相違に対する感受性であり、且つ当該方法は：
   前記３次元モデルのビューである２次元画像に属する特定の画素の、隣接する画素に対する特定の色差値を前記スケーリング装置によって測定する色差検出ステップと、
   前記特定の色差値に基づいて、前記スケーリング装置によって、前記特定の画素に対応するエレメントの奥行値のスケーリングを行なう色差依存スケーリングステップとを備える、
   ことを特徴とする、請求項１に記載の方法。
4. 奥行に関連した次元で前記３次元モデルにおける奥行の不連続を前記スケーリング装置によって検出する不連続検出ステップを備えることを特徴とする、請求項１に記載の方法。
5. 奥行に関連した次元で前記３次元モデルの一部における奥行値の範囲を前記スケーリング装置によって予測する範囲検出ステップと、
   前記奥行値の範囲と奥行値の出力範囲とを前記スケーリング装置によって比較する比較ステップとを備えることを特徴とする、請求項１に記載の方法。
6. ３次元モデルを、該３次元モデルに向かう目視者の目視方向に対応する次元でスケーリングされた３次元モデルにスケーリングするスケーリング装置であって、
   当該スケーリング装置は目視者の人間視覚の特性に基づいてスケーリングを行なうように設計されており、
   スケーリングは、奥行に関連した次元での前記３次元モデルにおける不連続に対する感受性である前記人間視覚の特性の第１のものを用いることによって行われ、且つ
   当該スケーリング装置は、前記不連続に対する前記感受性によって奥行感が与えられるよう、前記３次元モデルの奥行きの前記不連続を維持あるいは増幅し、且つ前記３次元モデルの連続部分を変形する
   ことを特徴とする、スケーリング装置。
7. ３次元モデルを示す信号を受信する受信手段と、
   前記３次元モデルを、該３次元モデルに向かう目視者の目視方向に対応する次元でスケーリングされた３次元モデルにスケーリングする請求項６に記載のスケーリング装置と、
   前記スケーリングされた３次元モデルのビューを可視化する表示手段とを備え、
   前記スケーリング装置は目視者の人間視覚の特性に基づいてスケーリングを行なうように設計されている、
   ことを特徴とする、画像表示装置。

Images