WO2021070692A1

WO2021070692A1 - 表示制御装置、表示制御方法および表示制御プログラム

Info

Publication number: WO2021070692A1
Application number: PCT/JP2020/037073
Authority: WO
Inventors: 智也成田; 茜近藤; 遼深澤
Original assignee: ソニー株式会社
Priority date: 2019-10-09
Filing date: 2020-09-30
Publication date: 2021-04-15

Abstract

表示制御装置（１）は、取得部（３０）と、描画部（３１）と、更新部（３２）と、表示制御部（３３）とを備える。取得部（３０）は、フィールドシーケンシャルカラー方式の表示装置（１０）を装着するユーザ（Ｕ）の姿勢または位置に関する姿勢信号を取得する。描画部（３１）は、表示装置（１０）に表示される仮想オブジェクトを描画する。更新部（３２）は、取得部（３１）によって取得された姿勢信号に基づいて、描画部（３１）によって描画された仮想オブジェクトの表示位置を移動させることで、表示位置を更新する。表示制御部（３４）は、更新部（３２）によって表示位置が更新される場合に、仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる。

Description

表示制御装置、表示制御方法および表示制御プログラム

　本開示は、表示制御装置、表示制御方法および表示制御プログラムに関する。

　例えば、ヘッドマウントディスプレイ（Head　Mounted　Display。以下、「ＨＭＤ」）のように、ユーザの前方に表示面が位置するように、ユーザに装着される表示装置がある。かかる表示装置は、各色プレーンを時間的に分割して表示するフィールドシーケンシャルカラー方式でオブジェクトを表示するとともに、装着するユーザの動きにあわせて、表示するオブジェクトの表示位置を更新する（例えば、特許文献１参照）。

特表２０１６－５０９２４５号公報

　しかしながら、フィールドシーケンシャルカラー方式において、ユーザの姿勢が所定の速度を超えて変化した場合、仮想オブジェクトの各色プレーンが分離して表示される、いわゆるカラーブレークが発生し、仮想オブジェクトの視認性が低下する。

　そこで、本願は、上記に鑑みてなされたものであって、仮想オブジェクトの視認性の低下を低減することができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために実施形態の一態様に係る表示制御装置は、取得部と、描画部と、更新部と、表示制御部とを備える。前記取得部は、フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得する。前記更新部は、前記取得部によって取得された前記姿勢信号に基づいて、前記描画部によって描画された前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新する。前記表示制御部は、前記更新部によって前記表示位置が更新される場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる。

　実施形態の一態様によれば、仮想オブジェクトの視認性の低下を低減することができる。

実施形態に係る表示装置の一例を示す図である。カラーブレークの模式図である。第１の実施形態に係る表示制御装置の構成例を示すブロック図である。ユーザの姿勢の変化の一例を示す図である。第１の実施形態に係る更新部による処理の一例を示す図である。第１の実施形態に係る表示制御部による処理の一例を示す図である。姿勢信号に対する閾値の一例を示す図である。表示位置の更新時における仮想オブジェクトの模式図である。第１の実施形態に係る表示制御装置が実行する処理手順を示すフローチャートである。ぼかし画像の一例示す図である。第２の実施形態に係る表示制御部による処理の一例を示す図である。第２の実施形態に係る表示制御装置が実行する処理手順を示すフローチャートである。表示制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第１の実施形態］
　まず、図１および図２を用いて実施形態に係る表示装置の概要について説明する。図１は、実施形態に係る表示装置の一例を示す図である。図２は、カラーブレークの模式図である。なお、図１には、ＨＭＤの一例を示してしている。

　本実施形態に係る表示装置１０は、実世界に仮想オブジェクトを重畳してユーザへ提示する拡張現実（ＡＲ；Augment　Reality）を提供する表示装置である。図１に示すように、表示装置１０は、表示部１１を有し、ユーザに装着されたときにユーザの前方に表示部１１が位置するように、ユーザの両目の前の位置に配置される。なお、表示装置１０を単眼式とすることにしてもよい。

　また、表示装置１０は、各画素の各色プレーンを時間的に分割して表示する、いわゆるシーケンシャルカラー方式の表示装置である。なお、以下では、色プレーンがＲＧＢの３色である場合について説明するが、これに限定されるものではなく、Ｗ（白）など他の色を含むようにしてもよい。

　また、表示装置１０は、図３にて後述するように、例えば、ジャイロセンサ１２を有しており、装着するユーザの姿勢や位置に関する姿勢信号を検出する。なお、表示装置１０は、ジャイロセンサ１２に限られず、加速度センサや、地磁気センサなど、表示装置１０の動きを検出することが可能な、１または２以上のセンサを備えていてもよい。また、表示装置１０を装着するユーザを撮像した撮像画像を解析し、当該ユーザの動きを検出する構成とすることにしてもよい。

　また、図２の左図に示すように、表示装置１０は、ユーザから表示部１１を介して見える実風景Ｒｗに仮想オブジェクトＯを重畳して表示するいわゆるシースルー型の表示装置である。

　ところで、シーケンシャルカラー方式の表示装置においては、カラーブレークが問題となる。カラーブレークとは、例えば、図２の右図に示すように、表示部１１に表示された仮想オブジェクトＯの表示位置を表示部１１上で移動させた場合に、仮想オブジェクトＯのＲＧＢでそれぞれ構成される各色プレーンが分離して表示される現象である。

　より詳しくは、シーケンシャルカラー方式では、赤（Ｒ）の色プレーン、緑（Ｇ）の色プレーン、青（Ｂ）の色プレーンそれぞれが異なる時刻に表示されるので、各色プレーンが分離して表示される。そのため、分離された各色プレーンが残像として表示されることになり、仮想オブジェクトＯの視認性が低下する。

　カラーブレークの解決策として、各色プレーンを表示する切替速度を十分に速くすることが挙げられる。しかしながら、この場合、表示装置自体を変更する必要があり、既存の表示装置については適用することができない。

　そこで、実施形態に係る表示制御方法では、カラーブレークそのものを抑制するのではなく、残像となる色プレーンに着目し、残像となる色プレーンの視認性を低下させることで、カラーブレークに伴う仮想オブジェクトＯの視認性の低下を抑制することとした。

　以下、本実施形態に係る表示制御装置、表示制御方法および表示制御プログラムについて詳細に説明する。

　次に、図３を用いて、第１の実施形態に係る表示制御装置１について説明する。図３は、実施形態に係る表示制御装置１の構成例を示すブロック図である。なお、図３には、表示装置１０を併せて示す。また、表示制御装置１と表示装置１０とは、無線又は有線により双方向にデータを送受信することできる。

　まず、表示装置１０について説明する。図３に示すように、表示装置１０は、表示部１１、ジャイロセンサ１２およびカメラ１３を備える。表示部１１は、例えば、ハーフミラー等で構成され、光透過型の表示面を有し、表示制御装置１から入力される仮想オブジェクトＯを表示する。また、表示部１１は、１フレームごとに仮想オブジェクトの表示が終了するタイミングで、垂直同期信号を表示制御装置１へ出力する。なお、表示部１１は、色プレーンごとに垂直同期信号を通知することにしてもよい。

　ジャイロセンサ１２は、表示装置１０の動きを検出する３軸の角速度を検出するセンサである。上述のように、表示装置１０は、ＨＭＤであることから、ジャイロセンサ１２は、表示装置１０を装着したユーザの姿勢の変化を検出し、検出した姿勢に応じた姿勢信号を表示制御装置１へ出力する。

　カメラ１３は、表示装置１０の前方を撮像するカメラである。例えば、カメラ１３は、ユーザから表示部１１を介して見える実風景Ｒｗを撮像し、撮像した画像データを表示制御装置１へ出力する。

　続いて、表示制御装置１について説明する。図３に示すように、表示制御装置１は、記憶部２と、制御部３とを備える。なお、表示制御装置１は、外部装置と無線または有線で通信を行うための通信部（図示せず）や、ユーザの操作を受け付ける操作部（不図示）を備えていてもよい。

　記憶部２は、例えば、ＲＡＭ、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示す例では、記憶部２は、閾値情報２０と、オブジェクト情報２１を記憶するとともに、バッファー領域２２を有する。

　閾値情報２０は、仮想オブジェクトＯの各色プレーンの視認性を低下させるか否かを判定するための閾値に関する情報である。なお、閾値情報２０の具体例については、図７を用いて後述する。

　オブジェクト情報２１は、仮想オブジェクトＯに関する情報である。例えば、仮想オブジェクトＯの形状（３次元形状を含む）や、仮想オブジェクトＯを表示する各画素の各色プレーンの輝度値等に関する情報等がオブジェクト情報２１として記憶部２に記憶される。

　バッファー領域２２は、後述する描画部３１によって描画された仮想オブジェクトＯを一時的に記憶する領域である。バッファー領域２２には、例えば、描画部３１による描画毎に仮想オブジェクトＯが上書きされる。

　続いて、制御部３について説明する。制御部３は、仮想オブジェクトＯを描画し、表示装置１０へ出力するとともに、表示装置１０、すなわち、ユーザの姿勢の変化に応じて、仮想オブジェクトＯの表示位置を更新する。また、制御部３は、仮想オブジェクトＯの表示位置の更新によって生じるカラーブレークに伴う仮想オブジェクトＯの視認性の低下を抑制する。

　制御部３は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、表示制御装置１内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部３は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。

　図３に示すように、制御部３は、取得部３０と、描画部３１と、更新部３２と、表示制御部３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部３の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、制御部３は、例えばＮＩＣ（Network　Interface　Card）等を用いて所定のネットワークと有線又は無線で接続し、ネットワークを介して、種々の情報を外部サーバ等から受信してもよい。

　取得部３０は、表示装置１０の姿勢に関する姿勢信号を取得する。具体的には、取得部３０は、ジャイロセンサ１２によって検出された角速度を姿勢信号として取得する。取得部３０は、取得した姿勢信号を描画部３１および更新部３２へ出力する。

　描画部３１は、表示装置１０に表示する仮想オブジェクトＯを描画する。描画部３１は、表示装置１０から入力される垂直同期信号の取得毎に、仮想オブジェクトＯを描画し、記憶部２のバッファー領域２２に格納する。

　この際、描画部３１は、ユーザの姿勢（視点）に応じて、仮想オブジェクトＯを描画する。つまり、描画部３１は、現在のユーザから仮想的に見える仮想オブジェクトＯを描画する。

　より詳しくは、本実施形態に係る表示制御装置１は、実世界に対してグローバル空間を定義し、表示装置１０の表示領域に対してローカル空間を定義する。なお、グローバル空間は、ユーザの姿勢によって変わらない空間であり、ローカル空間は、ユーザの姿勢とともに変化する空間である。

　また、グローバル空間における座標は、例えば、絶対角度（方位）の情報（データ、ＧＰＳ（Global　Positioning　System）により得られる位置情報によって得られる。また、ローカル空間における座標は、ジャイロセンサ１２から入力される姿勢信号により得られる。

　描画部３１は、グローバル空間において定義された仮想オブジェクトＯの座標を、ローカル空間の座標に換算することで、ユーザから仮想的に見える仮想オブジェクトの姿勢や大きさを算出する。そして、描画部３１は、算出した姿勢や大きさに応じて、仮想オブジェクトＯを描画する。

　更新部３２は、取得部３０によって取得された姿勢信号に基づいて、描画部３１によって描画された仮想オブジェクトＯの表示位置を移動させることで、表示位置を更新する。つまり、更新部３２は、ユーザの現在の視点にあわせて仮想オブジェクトＯの表示位置を更新する。

　具体的には、更新部３２は、グローバル空間上に定位した仮想オブジェクトＯを、取得部３０によって取得された姿勢信号に応じてローカル空間上で移動させることで、仮想オブジェクトＯの表示位置を更新する。これにより、ユーザからは、表示装置１０を介して、仮想オブジェクトＯがグローバル空間上に固定されているかのように見えることになる。

　ここで、更新部３２は、描画部３１による描画周期よりも短い周期で表示位置の更新処理を行うとともに、描画部３１によってバッファー領域２２に格納された仮想オブジェクトＯについて表示位置の更新を行う。

　すなわち、表示制御装置１は、垂直同期信号の取得周期よりも短い周期で姿勢信号を取得し、取得した姿勢信号に基づいて仮想オブジェクトＯの表示位置を更新する。このように、更新部３２は、垂直同期信号よりも短い周期で仮想オブジェクトＯの表示位置を更新することで、ユーザの姿勢の変化に追従させて仮想オブジェクトＯの表示することができる。

　ここで、図４および図５を用いて、更新部３２による処理の一例について説明する。図４は、ユーザの姿勢の変化の一例を示す図である。図５は、実施形態に係る更新部３２による処理の一例を示す図である。

　図４に示すように、ユーザＵの視線が、仮想オブジェクトＯを正面とする視線θ_０から右側に変化量Δθだけ移動し、視線θ_１へ変化したとする。この場合、更新部３２は、変化量Δθにあわせてローカル空間を回転させる。

　これにより、仮想オブジェクトＯをグローバル空間に固定した状態で、仮想オブジェクトＯの表示位置を更新することができる。具体的には、図５に示すように、更新部３２は、視線θ_０に対応する表示位置に表示した仮想オブジェクトＯ_１を移動量Δｍだけ、左側に移動させることで、視線θ_１に対応する仮想オブジェクトＯ_２まで移動させる。

　すなわち、上記の例では、ユーザの視線が右側に移動したので、仮想オブジェクトＯの表示位置を左側に移動させる。なお、移動量Δｍは、変化量Δθに応じた値であり、仮想オブジェクトＯまでの距離および変化量Δθに基づいて算出される値である。

　なお、上記の例では、視線の左右方向（ヨー方向）の変化量に基づいて移動量Δｍを算出する場合について示したが、これに限定されるものではない。すなわち、更新部３２は、ピッチ方向およびロー方向の変化量に基づいて移動量を算出することにしてもよい。また、ユーザの前後左右の移動を変化して、移動量Δｍを算出することにしてもよい。

　図３の説明に戻り、表示制御部３３について説明する。表示制御部３３は、更新部３２によって表示位置が更新される場合に、仮想オブジェクトＯの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる。

　具体的には、表示制御部３３は、仮想オブジェクトＯのＲＧＢの各色プレーンのうち、輝度値が相対的に低い低輝度プレーンの輝度値を下げる、または、低輝度プレーンについて表示しないようにすることで、低輝度プレーンの視認性を低下させる。つまり、表示制御部３３は、残像となる色プレーンの視認性を低下させる。

　言い換えれば、表示制御部３３は、仮想オブジェクトＯの実際の色に最も近い高輝度プレーンの視認性を想定的に増加させる。つまり、複数の色プレーンのうち、低輝度プレーンの視認性を低下させることで、仮想オブジェクトＯの色の変化を少なくすることができる。なお、高輝度プレーンとは、複数の色プレーンのうち、輝度値が相対的に大きい色プレーンである。

　ここで、図６～図８を用いて、表示制御部３３による一連の処理について説明する。図６は、第１の実施形態に係る表示制御部３３による処理の一例を示す図である。図７は、姿勢信号に対する閾値の一例を示す図である。図８は、表示位置の更新時における仮想オブジェクトＯの模式図である。

　なお、図６には、仮想オブジェクトＯが表示される１つの画素の各色プレーンの時系列的な変化を示す。また、以下では、更新部３２が仮想オブジェクトＯの表示位置を更新していない場合、すなわち、ユーザの姿勢に変化がない場合を「正常時」とし、更新部３２が仮想オブジェクトＯの表示位置を更新している場合を「更新時」として定義する。

　図６に示すように、正常時においては、ＲＧＢそれぞれの色プレーンを順次切り替えながら表示する。なお、正常時における各色プレーンの輝度値は、仮想オブジェクトＯの色に基づき、それぞれ設定される。

　これに対して、更新時においては、低輝度プレーンの輝度値を下げることで、低輝度プレーンの視認性を低下させる。図６の例では、Ｒの色プレーンおよびＧの色プレーンがそれぞれ低輝度プレーンである場合を示し、双方の色プレーンの輝度値を下げる場合を示す。

　この際、低輝度プレーンの輝度値を「０」にすることで、低輝度プレーンを表示しないようにすることにしてもよい。また、低輝度プレーンの輝度値をどの程度下げるかは、適宜設定することが可能である。

　また、この際、相対的に輝度値が高い高輝度プレーンについては、輝度値を上げることにしてもよい。つまり、低輝度プレーンの視認性を低下させつつ、高輝度プレーンの視認性を向上させることにしてもよい。

　これにより、高輝度プレーンが低輝度プレーンに比べて際立って表示されるので、低輝度プレーンに基づく仮想オブジェクトＯの視認性の低下を抑制することができる。なお、図６の例では、Ｒの色プレーンおよびＧの色プレーンの２つの色プレーンを低輝度プレーンとしたが、低輝度プレーンは１つであってもよい。

　続いて、図７を用いて、閾値について説明する。表示制御部３３は、上記の処理（低輝度プレーンの視認性低下処理）を行うか否かを上記の姿勢信号に応じて判定する。なお、図７には、姿勢信号が示す回転角速度と、低輝度プレーンの表示輝度（上記の輝度値に対応）との対応関係を示す。

　なお、回転角速度は、更新部３２によって更新される仮想オブジェクトＯの表示位置の移動速度に対応し、回転角速度が速いほど、カラーブレークが発生しやすいことを示す。

　図７に示すように、回転角速度に対して、第１閾値Ｔｈ１と、第１閾値Ｔｈ１よりも小さい第２閾値Ｔｈ２とが設けられる。表示制御部３３は、回転角速度が第１閾値Ｔｈ１を超えた場合に、低輝度プレーンの表示輝度を徐々に低下させ、その後、回転角速度が第２閾値Ｔｈ２を上回った時点で低輝度プレーンの表示輝度を徐々に増加させて表示輝度を元に戻す。

　ここで、低輝度プレーンの表示輝度の切替えが頻繁に起こると、仮想オブジェクトＯの色や表示輝度が変化するので、却って視認性の低下を招くおそれがある。これに対して、本実施形態に係る表示制御装置１では、回転角速度に対して、ヒステリシス領域を設けることで、閾値が１つである場合に比べて、低輝度プレーンの表示輝度の切替え回数を少なくすることができる。

　また、本実施形態に係る表示制御装置１では、徐々に表示輝度を低下させることで、低輝度プレーンの表示輝度の変化をユーザに感じ難くすることができる。なお、図７に示す例では、低輝度プレーンの表示輝度と時刻とが比例関係にある場合について示したが、これに限定されるものではない。すなわち、表示輝度の変化速度については、実験等による適宜設定することが可能である。また、かかる変化速度を低輝度プレーンとなる色プレーンごとに設定することにしてもよいし、あるいは、仮想オブジェクトＯの実際の色ごとに設定することにしてもよい。

　上記の処理により、図８に示すように、表示部１１に表示される仮想オブジェクトＯにおいて、低輝度プレーンであるＲ、Ｇに対応する色プレーンを視認し難くすることができる。したがって、カラーブレークに伴う仮想オブジェクトＯの視認性の低下を抑制することができる。

　次に、図９を用いて、第１の実施形態に係る表示制御装置１が実行する処理手順について説明する。図９は、実施形態に係る表示制御装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、垂直同期信号の取得毎に制御部３によって繰り返し実行される。

　図９に示すように、まず、表示制御装置１は、仮想オブジェクトＯを描画すると（ステップＳ１０１）、姿勢信号に基づいて、回転角速度に変化があるか否か、すなわち、ユーザの姿勢に変化があるか否かを判定する（ステップＳ１０２）。

　表示制御装置１は、ステップＳ１０２の判定において、回転角速度に変化があった場合（ステップＳ１０２，Ｙｅｓ）、続いて、回転角速度が閾値以上か否かを判定する（ステップＳ１０３）。つまり、カラーブレークが発生するか否かを判定する。

　表示制御装置１は、回転角速度が閾値以上である場合（ステップＳ１０３，Ｙｅｓ）、仮想オブジェクトＯの色判定を行う（ステップＳ１０４）。なお、ここでの色判定とは、低輝度プレーンを選択する処理である。また、表示制御装置１は、ステップＳ１０４の処理について事前（例えば、仮想オブジェクトＯの描画毎に）に行うことにしてもよい。

　続いて、表示制御装置１は、選択した低輝度プレーンについて輝度制限処理を行うとともに(ステップＳ１０５)、　姿勢信号に応じて仮想オブジェクトＯの表示位置を更新し（ステップＳ１０６）、処理を終了する。

　また、表示制御装置１は、ステップＳ１０２の判定処理において、回転角速度に変化がない場合（ステップＳ１０２，Ｎｏ）、終了し、ステップＳ１０３の判定処理において、回転角速度が閾値未満である場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０６へ移行する。

［第２の実施形態］
　ところで、上述した実施形態では、低輝度プレーンの表示輝度を相対的に下げることで、仮想オブジェクトＯの視認性の低下を抑える場合について説明した。しかしながら、所定の色プレーンについて、エッジをぼかすことで、仮想オブジェクトＯの視認性の低下を抑えることも可能である。以下、図１０～図１２を用いて、第２の実施形態に係る表示制御装置１について説明する。

　まず、図１０を用いて、ぼかし画像について説明する。図１０は、実施形態に係るぼかし画像の一例を示す図である。図１０に示すように、第２の実施形態において、表示制御部３３は、所定の色プレーンについて、エッジをぼかしたぼかし画像を用いる。

　つまり、第２の実施形態に係る表示制御装置１は、カラーブレークが生じる場合に、各色プレーンのエッジをぼかすことで、各色プレーンの視認性を低下させる。なお、全ての色プレーンについて、エッジのぼかし処理を行うことにしてもよいが、一部の色プレーンのみについてエッジをぼかした方が、全体の見栄えが向上する。

　また、表示制御部３３は、例えば、仮想オブジェクトＯを重畳する実風景Ｒｗに基づいてぼかし処理を行う色プレーンを選択することができる。図１１は、第２の実施形態に係る表示制御部３３による処理の一例を示す図である。

　図１１に示すように、表示制御部３３は、仮想オブジェクトＯが表示される実風景Ｒｗの背景色に基づいて、ぼかし処理を行う色プレーンを選択する。なお、実風景Ｒｗの背景色については、カメラ１３によって撮像された画像データを解析することで得られる。

　具体的には、まず、表示制御部３３は、仮想オブジェクトＯが表示される表示領域Ｄａを設定する。ここで、表示領域Ｄａは、例えば、現在の仮想オブジェクトＯの表示位置を中心とする所定領域である。このため、例えば、表示領域Ｄａは、仮想オブジェクトＯの表示位置とともに移動する。

　続いて、表示制御部３３は、表示領域Ｄａにおける実風景Ｒｗについて平準化輝度を算出する。ここで、平準化輝度とは、表示領域Ｄａ内の各画素のＲＧＢそれぞれの輝度値を平準化した値である。

　そして、表示制御部３３は、平準化輝度に基づいて、ぼかし処理を行う色プレーンを選択する。具体的には、平準化輝度が相対的に低い色プレーンについて、ぼかし処理を行う色プレーンとして選択する。言い換えれば、平準化輝度が相対的に高い色プレーンについては、ぼかし処理を行わない色プレーンとして選択する。

　つまり、背景色に近い色プレーンのエッジをぼかすことで、背景色に対して、かかる色プレーンを目立たなくさせることができる。一方、背景色に近い色プレーンについては、エッジをぼかさずとも、背景色と同化しやすく、エッジが強調されにくい。

　このように、背景色に基づいて、エッジ処理を行う色プレーンを選択することで、全ての色プレーンに対してぼかし処理を行う場合に比べて、仮想オブジェクトＯそのものの視認性の低下を抑制しつつ、カラーブレークに伴う仮想オブジェクトＯの視認性を低下させることができる。

　また、表示制御部３３は、エッジ処理の強度を背景色に基づいて決定することにしてもよい。具体的には、背景色のＲＧＢの輝度値の比率が（０．４，０．６，０．９）である場合を想定する。

　この場合、例えば、元のＲＧＢの各色プレーンに対して４；６；９の比率でぼかし処理を行う。この場合、背景色に近い色プレーンについてぼかし処理の強度を上げることで、かかる色プレーンを背景色と同化させやすくする。

　また、フレーム毎にぼかし処理を行うと、処理負荷が増加するため、例えば、ぼかし処理を施したぼかし画像を予め準備しておき、カラーブレークが生じる際に、差し替えを行うことにしてもよい。これにより、処理負荷を抑えつつ、カラーブレークに伴う仮想オブジェクトＯの視認性の低下を抑えることができる。

　次に、図１２を用いて、第２の実施形態に係る表示制御装置１が実行する処理手順について説明する。図１２は、第２の実施家瑛多に係る表示制御装置１が実行する処理手順を示すフローチャートである。なお、図１２に示すステップＳ１０４の処理までは、図９と同様であるため、ステップＳ１０４に続くステップＳ２０１から説明する。

　図１２に示すように、表示制御装置１は、実風景Ｒｗに対応する背景画像を解析し（ステップＳ２０１）、背景画像の解析結果に基づいて所定の色プレーンについて、ぼかし処理を行う（ステップＳ２０２）。その後、表示制御装置１は、表示位置を更新して（ステップＳ２０３）、処理を終了する。

　なお、ステップＳ２０１は、ぼかし処理またはぼかし画像へ差し替える色プレーンを選択する処理であり、ステップＳ２０２は、選択した色プレーンについてぼかし処理を行うまたはぼかし処理画像へ差し替えを行う処理である。

　ところで、上述した実施形態では、姿勢信号に基づいて、グローバル空間上に定位した仮想オブジェクトＯの表示位置を更新する場合について説明したが、これに限定されるものではない。すなわち、仮想オブジェクトＯ自体がグローバル空間上を移動する場合に、カラーブレークは生じ得る。このため、本発明を仮想オブジェクトＯがグローバル空間上を移動する場合に適用することにしてもよい。

　また、上述した実施形態では、ユーザに対してＡＲ（拡張現実）を提供する場合について説明したが、これに限定されず、ＶＲ（Virtual　Reality；仮想現実）を提供するものであってもよい。

　また、上述の第１の実施形態と、第２の実施形態とを適宜組み合わせることにしてもよい。すなわち、例えば、表示領域Ｄａの平準化輝度に基づいて、輝度値を低下させる、または表示を停止する色プレーンを選択することにしてもよい。

　上述してきた各実施形態に係る情報処理装置、ＨＭＤ、コントローラ等の情報機器は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る表示制御装置１を例に挙げて説明する。図１３は、表示制御装置１の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。

　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

　例えば、コンピュータ１０００が実施形態に係る表示制御装置１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、取得部３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部２内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得する取得部と、
　前記表示装置に表示される仮想オブジェクトを描画する描画部と、
　前記取得部によって取得された前記姿勢信号に基づいて、前記描画部によって描画された前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新する更新部と、
　前記更新部によって前記表示位置が更新される場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる表示制御部と
　を備える、表示制御装置。
（２）
　前記表示制御部は、
　前記更新部によって更新される前記表示位置の移動速度が閾値を超える場合に、前記所定の色プレーンについて視認性を低下させる、
　前記（１）に記載の表示制御装置。
（３）
　前記表示制御部は、
　前記移動速度が前記閾値を超えた場合に、前記所定の色プレーンの視認性を徐々に低下させる、
　前記（２）に記載の表示制御装置。
（４）
　前記描画部は、
　垂直同期信号の取得毎に前記仮想オブジェクトを描画し、
　前記取得部は、
　前記垂直同期信号よりも取得周期の短い前記姿勢信号を取得する、
　前記（１）～（３）のいずれかに記載の表示制御装置。
（５）
　前記更新部は、
　実世界に対して定義されたグローバル空間上に定位した前記仮想オブジェクトを前記表示装置の表示領域に対して定義されたローカル空間上で移動させる、
　前記（１）～（４）のいずれかに記載の表示制御装置。
（６）
　前記描画部によって描画された前記仮想オブジェクトを一時的に記憶するバッファー領域
　を備え、
　前記更新部は、
　前記バッファー領域に記憶された前記仮想オブジェクトに対して、前記表示位置を更新する、
　前記（１）～（５）のいずれかに記載の表示制御装置。
（７）
　前記表示制御部は、
　前記複数の色プレーンのうち、輝度値が相対的に低い低輝度プレーンについて、表示輝度を下げる、
　前記（１）～（６）のいずれかに記載の表示制御装置。
（８）
　前記表示制御部は、
　前記複数の色プレーンのうち、輝度値が相対的に低い低輝度プレーンについて、表示を停止する、
　前記（１）～（７）のいずれかに記載の表示制御装置。
（９）
　前記表示制御部は、
　前記複数の色プレーンのうち、輝度値が相対的に高い高輝度プレーンについて、表示輝度を上げる、
　前記（１）～（８）のいずれかに記載の表示制御装置。
（１０）
　前記表示制御部は、
　前記所定の色プレーンについて、前記仮想オブジェクトのエッジをぼかすぼかし処理を行う、
　前記（１）～（９）のいずれかに記載の表示制御装置。
（１１）
　前記表示制御部は、
　前記仮想オブジェクトの背景色に基づいて、視認性を低下させる前記所定の色プレーンを決定する、
　前記（１０）に記載の表示制御装置。
（１２）
　前記表示制御部は、
　前記複数の色プレーンと前記背景色との類似度に基づいて、前記ぼかし処理の強度を決定する、
　前記（１１）に記載の表示制御装置。
（１３）
　前記表示制御部は、
　前記所定の色プレーンについて予め前記ぼかし処理を行ったぼかし画像へ差し替える、
　前記（１１）または前記（１２）に記載の表示制御装置。
（１４）
　前記表示制御部は、
　前記移動速度が第１閾値を超えた場合に、前記所定の色プレーンの視認性を低下させ、前記移動速度が前記第１閾値よりも低い第２閾値を下回った場合に、前記所定の色プレーンの視認性を低下させる処理を終了する、
　前記（１）～（１３）のいずれかに記載の表示制御装置。
（１５）
　前記取得部は、
　前記表示装置に設置されたジャイロセンサから前記姿勢信号を取得する、
　前記（１）～（１４）のいずれかに記載の表示制御装置。
（１６）
　コンピュータが、
　フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得し、
　前記表示装置に表示される仮想オブジェクトを描画し、
　前記取得した前記姿勢信号に基づいて、前記描画した前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新し、
　前記表示位置を更新する場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる、
　表示制御方法。
（１７）
　コンピュータを
　フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得する取得部と、
　前記表示装置に表示される仮想オブジェクトを描画する描画部と、
　前記取得部によって取得された前記姿勢信号に基づいて、前記描画部によって描画された前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新する更新部と、
　前記更新部によって前記表示位置が更新される場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる表示制御部と
　として機能させる、表示制御プログラム。

　　　１　　表示制御装置
　　１０　　表示装置
　　１２　　ジャイロセンサ
　　１３　　カメラ
　　２０　　閾値情報
　　２１　　オブジェクト情報
　　２２　　バッファー領域
　　３０　　取得部
　　３１　　描画部
　　３２　　更新部
　　３３　　表示制御部
　　　Ｏ　　仮想オブジェクト
　　Ｒｗ　　実風景
　　Ｔｈ１　第１閾値
　　Ｔｈ２　第２閾値

Claims

　フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得する取得部と、
　前記表示装置に表示される仮想オブジェクトを描画する描画部と、
　前記取得部によって取得された前記姿勢信号に基づいて、前記描画部によって描画された前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新する更新部と、
　前記更新部によって前記表示位置が更新される場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる表示制御部と
　を備える、表示制御装置。
　前記表示制御部は、
　前記更新部によって更新される前記表示位置の移動速度が閾値を超える場合に、前記所定の色プレーンについて視認性を低下させる、
　請求項１に記載の表示制御装置。
　前記表示制御部は、
　前記移動速度が前記閾値を超えた場合に、前記所定の色プレーンの視認性を徐々に低下させる、
　請求項２に記載の表示制御装置。
　前記描画部は、
　垂直同期信号の取得毎に前記仮想オブジェクトを描画し、
　前記取得部は、
　前記垂直同期信号よりも取得周期の短い前記姿勢信号を取得する、
　請求項１に記載の表示制御装置。
　前記更新部は、
　実世界に対して定義されたグローバル空間上に定位した前記仮想オブジェクトを前記表示装置の表示領域に対して定義されたローカル空間上で移動させる、
　請求項１に記載の表示制御装置。
　前記描画部によって描画された前記仮想オブジェクトを一時的に記憶するバッファー領域を備え、
　前記更新部は、
　前記バッファー領域に記憶された前記仮想オブジェクトに対して、前記表示位置を更新する、
　請求項１に記載の表示制御装置。
　前記表示制御部は、
　前記複数の色プレーンのうち、輝度値が相対的に低い低輝度プレーンについて、表示輝度を下げる、
　請求項１に記載の表示制御装置。
　前記表示制御部は、
　前記複数の色プレーンのうち、輝度値が相対的に低い低輝度プレーンについて、表示を停止する、
　請求項１に記載の表示制御装置。
　前記表示制御部は、
　前記複数の色プレーンのうち、輝度値が相対的に高い高輝度プレーンについて、表示輝度を上げる、
　請求項１に記載の表示制御装置。
　前記表示制御部は、
　前記所定の色プレーンについて、前記仮想オブジェクトのエッジをぼかすぼかし処理を行う、
　請求項１に記載の表示制御装置。
　前記表示制御部は、
　前記仮想オブジェクトの背景色に基づいて、視認性を低下させる前記所定の色プレーンを決定する、
　請求項１０に記載の表示制御装置。
　前記表示制御部は、
　前記色プレーンと前記背景色との類似度に基づいて、前記ぼかし処理の強度を決定する、
　請求項１１に記載の表示制御装置。
　前記表示制御部は、
　前記所定の色プレーンについて予め前記ぼかし処理を行ったぼかし画像へ差し替える、
　請求項１１に記載の表示制御装置。
　前記表示制御部は、
　前記移動速度が第１閾値を超えた場合に、前記所定の色プレーンの視認性を低下させ、前記移動速度が前記第１閾値よりも低い第２閾値を下回った場合に、前記所定の色プレーンの視認性を低下させる処理を終了する、
　請求項２に記載の表示制御装置。
　前記取得部は、
　記表示装置に設置されたジャイロセンサから前記姿勢信号を取得する、
　請求項１に記載の表示制御装置。
　コンピュータが、
　フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得し、
　前記表示装置に表示される仮想オブジェクトを描画し、
　前記取得した前記姿勢信号に基づいて、前記描画した前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新し、
　前記表示位置を更新する場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる、
　表示制御方法。
　コンピュータを
　フィールドシーケンシャルカラー方式の表示装置の姿勢に関する姿勢信号を取得する取得部と、
　前記表示装置に表示される仮想オブジェクトを描画する描画部と、
　前記取得部によって取得された前記姿勢信号に基づいて、前記描画部によって描画された前記仮想オブジェクトの表示位置を移動させることで、前記表示位置を更新する更新部と、
　前記更新部によって前記表示位置が更新される場合に、前記仮想オブジェクトの複数の色プレーンのうち、所定の色プレーンについて他の色プレーンに比べて視認性を相対的に低下させる表示制御部と
　として機能させる、表示制御プログラム。