JP5545995B2 - 立体表示装置、その制御方法及びプログラム - Google Patents

Description

本発明は、立体表示装置、その制御方法及びプログラムに関し、特に、マウスポインタの立体視化に関する。

２次元平面上に映像を描画する表示装置において、人間の左右の目に別々の画像を見せることで立体感を感じさせる技術がよく知られている。３Ｄゲームなどで広く用いられているリアルタイムレンダリングとは異なり、左眼用と右眼用の画像を描画することによって３次元映像を描画することによって立体視を得るこの技術においては、３次元映像上にグラフィカルユーザインタフェースのポインタ等のオブジェクトが重なると、３次元映像とオブジェクトとの遠近感が異なるために視聴者の焦点が合わず、どちらかが２重にぶれて見えるという問題が生じる。

この問題は、例えば、パーソナルコンピュータで３Ｄ動画を再生中に、その３Ｄ動画を再生しているウィンドウ上にマウスのポインタを重ねたりした場合に起きる。

３次元映像の表示とグラフィカルユーザインタフェースのポインタについては、例えば、特許文献１、２の先行技術文献がある。特許文献１は、例えばウェブブラウザにより描画されている画像中に立体視可能なオブジェクトがあり、その上にカーソルが重なると遠近感の違いから違和感が生じること（段落０００４等参照）について言及がある。

特許文献２には、３次元の表示対象物をポイントすることのできるポインタを提供しようとする技術であると考えられ（段落０００４等参照）、この場合、表示物やポインタに縦・横のみならず深度の座標情報があらかじめ存在しており、それらを考慮しリアルタイムレンダリングを行っている。このような方式においては、上述の課題がそもそも生じない。

特開２００４−３５４５４０号公報 特開２００１−０４２２５９号公報

そこで本発明は、上記実情に鑑みて、３次元映像上にポインタがある場合にポインタが二重に見える不具合を解消することを目的とする。

上記目的を達成する本発明の第１の態様は、グラフィカルユーザインタフェースのポインタを描画する実ポインタ描画手段と、左眼用と右眼用の画像を描画することによって３次元映像を描画する３次元映像描画手段と、前記３次元映像上に前記ポインタが位置する場合に前記左眼用又は右眼用の画像である第１の画像から前記ポインタがポイントする箇所の色情報を取得する色情報取得手段と、取得した前記色情報に基づいて前記左眼用又は右眼用の画像であって前記第１の画像でない第２の画像から前記色情報に類似した箇所を特定するポイント箇所特定手段と、前記第１の画像上の前記ポインタがポイントする箇所に第１の３次元ポインタを描画し、前記第２の画像上の特定された箇所に第２の３次元ポインタを描画する３次元ポインタ描画手段と、を有し、前記実ポインタ描画手段は、描画する前記ポインタを透明化し、前記３次元ポインタ描画手段は、前記ポイント箇所特定手段による前記色情報に類似した箇所の特定が失敗した場合に、前記第１及び第２の３次元ポインタの間の間隔を狭めて描画することを特徴とする、立体表示装置である。

本発明によれば、３次元映像上にポインタがある場合にポインタが二重に見える不具合を解消することが可能となる。

本発明による第１の実施形態の機能構成を示すブロック図である。 図１の３Ｄポインタ描画部１０５が生成する３次元ポインタを説明するための概念図である。 第１の実施形態における３次元ポインタ生成処理の手順を示すフローチャートである。 フレームシーケンシャル方式について説明するための概念図である。 第１の実施形態のフレームシーケンシャル方式におけるポインタ生成の概念図である。 偏光眼鏡方式について説明するための概念図である。 第２の実施形態の偏光眼鏡方式における類似箇所の特定の概念図である。 第２の実施形態の偏光眼鏡方式におけるポインタ生成の概念図である。 第２の実施形態の偏光眼鏡方式における生成した３次元ポインタの例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。なお、下記の実施形態は、いずれもいわゆる眼鏡有り立体視を行うものであり、第１の実施形態はフレームシーケンシャル方式、第２の実施形態は偏光眼鏡方式である。本発明は、このいずれの方式にも適用できる。なお、本発明はこれら実施形態に限定されるものではなく、眼鏡無しの視差バリア方式やレンチキュラ方式などにも適用可能である。

（第１の実施形態）
図１に、本実施形態の機能構成を示す。
本実施形態に係る立体表示装置１は、描画処理部１０１を中心に、実ポインタ描画部１０２、３Ｄ映像描画部１０３、画像解析部１０４、３Ｄポインタ描画部１０５、モニタ１０６を有する。

立体表示装置１は、限定するものではないが例えば、パーソナルコンピュータを用いる。描画処理部１０１は、限定するものではないが例えば、ＣＰＵの描画機能やグラフィックカードのＧＰＵを用いる。描画処理部１０１は、グラフィックスメモリ１０１ａを備え（外部に備えてもよい）、モニタに表示する映像をグラフィックスメモリ１０１ａに一時的に保持する。

モニタに表示する映像は、実ポインタ描画部１０２が描画する実ポインタの画像や、３Ｄ映像描画部１０３が描画する３次元映像や、３Ｄポインタ描画部１０５が描画する３次元ポインタや、図示しないオペレーティングシステムやアプリケーションプログラムが描画する画像を重ね合わせて合成した映像である。

グラフィカルユーザインタフェースのポインタがポイントする箇所が３次元映像上であれば、つまり、３次元画像上にポインタが位置している場合は、実ポインタの画像は透明化され不可視化される一方、３次元ポインタが、後述する３次元ポインタ生成処理によって生成される。他方で、グラフィカルユーザインタフェースのポインタがポイントする箇所が３次元映像上でなければ、実ポインタの画像や３次元映像等が重ね合わされ、３次元ポインタ生成処理は行われない。

実ポインタ描画部１０２は、オペレーティングシステムのマウスドライバ等であり、実ポインタの映像を描画して描画処理部１０１に渡す。

３Ｄ映像描画部１０３は、動画再生ソフトウェア等であり、３次元映像を描画して描画処理部１０１に渡す。本実施形態ではフレームシーケンシャル方式で３次元映像を描画する。

画像解析部１０４は、実ポインタ描画部１０２が描画するポインタ（実ポインタ）の位置する場所が、３Ｄ映像描画部１０３が描画する３次元映像上である場合に、グラフィックスメモリ１０１ａにアクセスして、モニタに表示する映像を解析する。解析の内容は、第１に、３次元映像の左眼用画像におけるポインタの位置する場所、つまり、ポイントする箇所の色情報を取得することと、第２に、右眼用画像から取得した色情報に類似する箇所を特定することである。

なお、本実施形態は実ポインタがポイントする位置を左眼用画像における位置としている。また、左眼用画像における位置の色情報を取得して、右眼用画像から類似する箇所を特定している。しかしながら、左と右は本実施形態に限定されない。逆でもよい。

３Ｄポインタ描画部１０５は、画像解析部１０４の解析結果に基づいて、左眼用画像上の左眼用３次元ポインタと、右眼用画像上の右眼用３次元ポインタとを生成する。

図２に、３Ｄポインタ描画部１０５が生成する３次元ポインタを説明するための概念図を示す。
図２に示すように、モニタ１０６の表示画面の表面には、左眼用画像と右眼用画像が表示されている。本実施形態においてはフレームシーケンシャル方式であるので、１２０Ｈｚで左眼用画像と右眼用画像を交互に表示する。左眼用３次元ポインタのポイントする箇所をピクセルｐＬ、右眼用３次元ポインタのポイントする箇所をピクセルｐＲとし、そのｘ座標だけを比較すると、ｐＬ＝ｐＲの場合、視聴者にはちょうど表示画面上に結像して見える。ｐＬ＞ｐＲの場合、表示画面より前に結像する。ｐＬ＜ｐＲの場合、表示画面より奥に結像する。

（３次元ポインタ生成処理）
次に、上述した機能構成を備える本実施形態における３次元ポインタ生成処理の手順について説明する。
図３に、本実施形態における３次元ポインタ生成処理の手順を示す。
まず、画像解析部１０４は、実ポインタ描画部１０２が描画するポインタ（実ポインタ）の位置する場所が、３Ｄ映像描画部１０３が描画する３次元映像上であるか否かを判定する（ステップＳ１０１）。３次元映像上にない場合は、３次元ポインタ生成処理をせずにそのまま終了する。

次に、画像解析部１０４は、グラフィックスメモリ１０１ａにアクセスして、モニタに表示する映像を解析し、ポイントする箇所の色情報を取得する（ステップＳ１０２）。

次に、画像解析部１０４は、右眼用画像から取得した色情報に類似する箇所を特定する（ステップＳ１０３）。画像解析部１０４は、特定に成功したか否かを判断する（ステップＳ１０４）。成功した場合は、左眼用画像におけるポイント箇所と、特定した類似箇所の情報を３Ｄポインタ描画部１０５に渡して、３Ｄポインタ描画部１０５が３次元ポインタを描画する。

成功しなかった場合は、その旨を３Ｄポインタ描画部１０５に伝える。３Ｄポインタ描画部１０５は、この３次元ポインタ生成処理が実行される直前の左眼用３次元ポインタと右眼用３次元ポインタの間隔を狭めて（例えば、９０％の間隔など）描画する（ステップＳ１０６）。このように構成すれば、右眼用画像における類似箇所の特定が失敗し続けると、視聴者の目にはポインタの画像が、徐々に立体感が失われるように見える。したがって、類似箇所の探索が失敗した場合でも突然立体感が失われてしまうのではなく徐々に立体感が失われていくため、違和感が生じない。

（フレームシーケンシャル方式における類似箇所の特定）
フレームシーケンシャル方式は、図４に示すように、１２０Ｈｚ等の周期で左眼用画像（画面）右眼用画像（画面）を交互に示し、これに同期してシャッター眼鏡を同じ周期で左右交互に開閉することで、視聴者の目に左右の映像を分離して届ける方式である。

図３のステップＳ１０３の類似箇所の特定は、ステップＳ１０２で取得したポイント位置の色情報に似たピクセル群を探すことで特定する。取得したポイント位置は、ポインタがポイントしている１ピクセルだけでなく、その１ピクセルを含む範囲（例えば当該ピクセルを囲む８ピクセルを合わせた９ピクセル）とするとよい。

（フレームシーケンシャル方式におけるポインタ生成）
図５に、フレームシーケンシャル方式におけるポインタ生成の概念図を示す。
まず、図５（ａ）のフレームの際に、左眼用画像と右眼用画像から実ポインタの位置を得る。この位置を左眼用３次元ポインタの位置ｐＬとする。次に、得た位置の左眼用画像の色情報を取得し、これと類似する色情報を右眼用画像から特定し、特定した位置を右眼用３次元ポインタの位置ｐＲとする。

そして、図５（ｂ）に示すように、ｐＬ、ｐＲにそれぞれ３次元ポインタを生成する。なお、実ポインタは透明化して不可視化する。

（第２の実施形態）
上述した第１の実施形態はフレームシーケンシャル方式で本発明を実施した実施形態であるが、以下に説明する第２の実施形態は偏光眼鏡方式で本発明を実施する実施形態である。本実施形態の構成及び動作は、フレームシーケンシャル方式の実施形態と基本的な部分を同じくする。

したがって、構成を説明するための機能ブロック図は図１、動作を説明するためのフローチャートは図３と同様であり、反復して説明しない。しかしながら、図３のステップＳ１０３の類似箇所の特定と、図１の３Ｄポインタ描画部１０５によって行われる３次元ポインタの生成については偏光眼鏡方式に適合した独自の構成及び動作を備える点がある。

（偏光眼鏡方式における類似箇所の特定）
偏光眼鏡方式は、図６に示すように、偏光眼鏡を装着した場合に左右眼に独立して見える画像を入れ込み、これを１フレームとして６０Ｈｚで画面に表示する。偏光眼鏡を通すことで視聴者の目には左右の映像を分離して届ける。左右の映像の入れ子見方は経て１ラインごとに行うラインバイライン方式や市松模様に入れ込ませるチェッカー方式などがあるが、本実施形態ではラインバイライン方式を採用する。

図３のステップＳ１０３の類似箇所の特定は、フレームシーケンシャル方式同様、ステップＳ１０２で取得したポイント位置の色情報に似たピクセル群を探すことで特定する。取得したポイント位置は、ポインタがポイントしている１ピクセルだけでなく、その１ピクセルを含む左右の数ピクセル（例えば当該ピクセルを中心に３ピクセルずつ左右に広げた合計７ピクセル）とするとよい。

図７に具体例を示す。偏光眼鏡方式の場合、表示される映像は１フレームに２つの目の映像が混ざった映像になっているため、本実施形態のようにラインバイライン方式の場合は奇数ラインに左眼用画像、偶数ラインに右眼用画像が入っている。図７中にｐＬを中心に太線で囲った７ピクセルと色情報が類似する箇所を右眼用画像から検索する。ｐＬは、左眼用画像と右眼用画像から得た実ポインタの位置である。さらに、ｐＬのピクセルがあるラインの上下二つ隣のラインの数ピクセル（例えば３ピクセル）を検索に加えてもよい。このように構成することで、類似箇所の特定の精度が向上する。

（偏光眼鏡方式におけるポインタ生成）
図８に、偏光眼鏡方式におけるポインタ生成の概念図を示す。
表示されたフレームＦ１を解析して、実ポインタが指しているピクセルｐＬ情報を取得し、合わせてフレームＦ１からピクセルｐＲも検索する。次のフレームＦ２が表示される際に、実ポインタを透明にし、フレームＦ１で取得したｐＬの位置に左眼用３次元ポインタ、検索して特定したｐＲの位置に右眼用３次元ポインタを表示する。

第１実施形態、第２実施形態ともに画像解析に時間がかかることを想定してワンテンポ遅れた処理をしている。画像解析が間に合わない場合は、図５に示したフレームＲ１とＬ２の間、図８に示したフレームＦ１とＦ２の間に複数枚フレームを挟んでもよい。

また、逆に、解析が十分に速い場合や、３Ｄ動画再生ソフト等からあらかじめフレーム情報を得られるようにして事前に解析を行えるようにした場合は、得られたフレーム情報に基づいてＦ１の表示時にｐＲの検索、実ポインタの透明化及び左右の３次元ポインタの表示を同時に行う。このように構成することで、ワンテンポ遅れてのポインタ表示が改善される。

また、偏光眼鏡方式におけるポインタ生成では、１フレームに左右眼用の画像がラインごとに交互に入れ込まれるという特性上（ラインバイライン方式の場合）、３次元ポインタの画像も加工する必要がある。

図９に、本実施形態において生成した３次元ポインタの例を示す。
図９の（ａ）及び（ｂ）に示すように、左眼用（ａ）と右眼用（ｂ）の３次元ポインタは、結像されるポインタ（ｃ）を１ライン置きに分解したような像である。３Ｄポインタ描画部１０５は、図９（ａ）と（ｂ）に示したような３次元ポインタを描画する。

１ 立体表示装置
１０１ 描画処理部
１０１ａ グラフィックスメモリ
１０２ 実ポインタ描画部
１０３ ３Ｄ映像描画部
１０４ 画像解析部
１０５ ３Ｄポインタ描画部
１０６ モニタ

Claims (3)

1. グラフィカルユーザインタフェースのポインタを描画する実ポインタ描画手段と、
   左眼用と右眼用の画像を描画することによって３次元映像を描画する３次元映像描画手段と、
   前記３次元映像上に前記ポインタが位置する場合に前記左眼用又は右眼用の画像である第１の画像から前記ポインタがポイントする箇所の色情報を取得する色情報取得手段と、
   取得した前記色情報に基づいて前記左眼用又は右眼用の画像であって前記第１の画像でない第２の画像から前記色情報に類似した箇所を特定するポイント箇所特定手段と、
   前記第１の画像上の前記ポインタがポイントする箇所に第１の３次元ポインタを描画し、前記第２の画像上の特定された箇所に第２の３次元ポインタを描画する３次元ポインタ描画手段と、
   を有し、
   前記実ポインタ描画手段は、描画する前記ポインタを透明化し、
   前記３次元ポインタ描画手段は、前記ポイント箇所特定手段による前記色情報に類似した箇所の特定が失敗した場合に、前記第１及び第２の３次元ポインタの間の間隔を狭めて描画することを特徴とする、立体表示装置。
2. グラフィカルユーザインタフェースの実ポインタを描画する実ポインタ描画工程と、
   左眼用と右眼用の画像を描画することによって３次元映像を描画する３次元映像描画工程と、
   前記３次元映像上に前記実ポインタが位置する場合に前記左眼用又は右眼用の画像である第１の画像から前記実ポインタがポイントする箇所の色情報を取得する色情報取得工程と、
   取得した前記色情報に基づいて前記左眼用又は右眼用の画像であって前記第１の画像でない第２の画像から前記色情報に類似した箇所を特定するポイント箇所特定工程と、
   前記第１の画像上の前記実ポインタがポイントする箇所に第１の３次元ポインタを描画する第１の３次元ポインタ描画工程と、
   前記第２の画像上の特定された箇所に第２の３次元ポインタを描画する第２の３次元ポインタ描画工程と、
   前記実ポインタを透明化する実ポインタ透明化工程と、
   を有し、
   前記３次元ポインタ描画工程では、前記ポイント箇所特定工程において前記色情報に類似した箇所の特定が失敗した場合に、前記第１及び第２の３次元ポインタの間の間隔を狭めて描画することを特徴とする、立体表示装置の制御方法。
3. 立体表示装置に、
   グラフィカルユーザインタフェースの実ポインタを描画する実ポインタ描画処理と、
   左眼用と右眼用の画像を描画することによって３次元映像を描画する３次元映像描画処理と、
   前記３次元映像上に前記実ポインタが位置する場合に前記左眼用又は右眼用の画像である第１の画像から前記実ポインタがポイントする箇所の色情報を取得する色情報取得処理と、
   取得した前記色情報に基づいて前記左眼用又は右眼用の画像であって前記第１の画像でない第２の画像から前記色情報に類似した箇所を特定するポイント箇所特定処理と、
   前記第１の画像上の前記実ポインタがポイントする箇所に第１の３次元ポインタを描画する第１の３次元ポインタ描画処理と、
   前記第２の画像上の特定された箇所に第２の３次元ポインタを描画する第２の３次元ポインタ描画処理と、
   前記実ポインタを透明化する実ポインタ透明化処理と、
   を実行させ、
   前記３次元ポインタ描画処理は、前記ポイント箇所特定処理において前記色情報に類似した箇所の特定が失敗した場合に、前記第１及び第２の３次元ポインタの間の間隔を狭めて描画することを特徴とする、立体表示装置の制御プログラム。

Images