JP6892960B1 - 制御装置、情報処理システム、制御方法及びプログラム - Google Patents

Abstract

【課題】ディスプレイ装置を装着した状態における携帯端末の操作性を向上させる制御装置、情報処理システム、制御方法及びプログラムを提供する。【解決手段】ディスプレイ装置３は、ディスプレイ装置３を装着したユーザが、仮想画面が表示されたディスプレイ装置３の表示部３４を介して視認する、仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、ディスプレイ装置３とが、所定の位置関係にある所定状態を検出する検出部３６３を有する。検出部３６３が所定状態を検出すると、ディスプレイ装置３の表示部３４又は携帯端末の表示部を制御して、携帯端末の表示部の視認性の向上を指示する。【選択図】図４

Description

本発明は、制御装置、情報処理システム、制御方法及びプログラムに関する。

ユーザの頭部に装着可能なスマートグラスと呼ばれるディスプレイ装置が利用されている。特許文献１には、ディスプレイ装置に、仮想画面を表示させ、スマートフォン等の携帯端末により仮想画面の操作を行うことが開示されている。

特開２０２０−０８７１９０号公報

ディスプレイ装置のユーザは、携帯端末により仮想画面の操作を行う場合、ディスプレイ装置を装着した状態で携帯端末を視認して操作を行うこととなる。この場合に、ユーザが、ディスプレイ装置を介して視認する携帯端末と仮想画面とが重なると、携帯端末を視認しにくくなり操作しにくいという問題がある。

そこで、本発明はこれらの点に鑑みてなされたものであり、ディスプレイ装置を装着した状態における携帯端末の操作性を向上させることを目的とする。

本発明の第１の態様に係る制御装置は、ディスプレイ装置を装着したユーザが仮想画面が表示された前記ディスプレイ装置の表示部を介して視認する、前記仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出する検出部と、前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示する指示部と、を有する。

本発明の第２の態様に係る情報処理システムは、仮想画面に対する操作を受け付ける携帯端末と、ユーザの頭部に装着され、前記仮想画面を表示するディスプレイ装置とを備える情報処理システムであって、前記ディスプレイ装置は、前記ディスプレイ装置を装着したユーザが前記ディスプレイ装置の表示部を介して視認することとなる前記携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出する検出部と、前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示する指示部と、を有し、前記携帯端末は、前記携帯端末の表示部に前記仮想画面の操作を行うための操作画面を表示させる表示制御部と、前記指示部による指示が行われたことに応じて、前記携帯端末の表示部の視認性を向上するための当該表示部の調整処理を行う調整部と、を有する。

本発明の第３の態様に係る制御方法は、ディスプレイ装置を装着したユーザが仮想画面が表示された前記ディスプレイ装置の表示部を介して視認する、前記仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出するステップと、前記所定状態が検出されると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示するステップと、を有する。

本発明の第４の態様に係るプログラムは、ディスプレイ装置を装着したユーザが仮想画面が表示された前記ディスプレイ装置の表示部を介して視認する、前記仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出する検出部、及び、前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示する指示部、として機能させる。

本発明によれば、ディスプレイ装置を装着した状態における携帯端末の操作性を向上させることができるという効果を奏する。

本実施形態に係る情報処理システムの概要を示す図である。 本実施形態に係る配信装置の構成を示す図である。 本実施形態に係るユーザ端末の構成を示す図である。 本実施形態に係るディスプレイ装置の構成を示す図である。 携帯端末の表示部の輝度とディスプレイ装置の表示部の輝度との調整を説明する図である。 携帯端末の表示部の輝度の状態、及びディスプレイ装置の表示部の輝度の状態の変化を示す状態遷移図である。

［情報処理システムＳの概要］
図１は、本実施形態に係る情報処理システムＳの概要を示す図である。情報処理システムＳは、ディスプレイ装置３に仮想オブジェクトを表示させるシステムである。仮想オブジェクトは、例えば、仮想デスクトップ等のリモートワークを行うための仮想の二次元画面である。以下の説明において、リモートワークを行うための仮想の二次元画面を仮想画面という。

図１に示すように、情報処理システムＳは、情報処理装置１と、携帯端末２と、ディスプレイ装置３とを有する。情報処理装置１は、仮想画面を提供するサーバやパーソナルコンピュータである。情報処理装置１は、インターネット回線や携帯電話網等の通信ネットワークを介して携帯端末２と通信可能に接続されており、携帯端末２に仮想画面を示す画面データを送信する。

携帯端末２は、例えばユーザが所持するスマートフォン、タブレット等の端末である。携帯端末２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信や無線ＬＡＮ等の無線通信、ＵＳＢ（登録商標）、ＨＤＭＩ（登録商標）／ＭＨＬ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信を介して、ディスプレイ装置３と通信可能に接続されている。

携帯端末２は、情報処理装置１から受信した画面データが示す仮想画面をディスプレイ装置３に表示させる。携帯端末２は、仮想画面を操作するためのユーザ入力を受け付ける表示部を備えている。携帯端末２は、仮想画面の操作を行うための操作画面を自身の表示部に表示させ、操作画面に対してユーザが入力した操作を示す操作情報を情報処理装置１に送信する。

ディスプレイ装置３は、例えばユーザの頭部に装着されるスマートグラス等の端末である。ディスプレイ装置３は、携帯端末２の制御により仮想画面を表示する。本実施形態において、ディスプレイ装置３は、ディスプレイ装置３を装着したユーザがディスプレイ装置３の表示部を介して視認することとなる携帯端末２と、ディスプレイ装置３とが所定の位置関係にある所定状態を検出する。所定の位置関係は、例えば、ディスプレイ装置３を装着したユーザがディスプレイ装置３の表示部を介して視認することとなる携帯端末２又は、携帯端末２の画面の少なくとも一部が、ディスプレイ装置３に映る仮想画面と重なる状態となることである。所定の位置関係は、ディスプレイ装置３を装着したユーザがディスプレイ装置３の表示部を介して視認することとなる携帯端末２の画面と、ディスプレイ装置３に映る仮想画面との境界線とが交わる状態や境界線を認識できない状態であってもよい。

ディスプレイ装置３は、所定状態を検出すると、ディスプレイ装置３の表示部又は携帯端末２の表示部を制御して、携帯端末２の表示部の視認性を向上させる。このようにすることで、ディスプレイ装置３は、ディスプレイ装置３を装着したユーザによる携帯端末２の操作性を向上させることができる。

［情報処理装置１の構成］
続いて、情報処理システムＳの構成について説明する。まず、情報処理装置１の構成を説明する。図２は、本実施形態に係る情報処理装置１の構成を示す図である。図２に示すように、情報処理装置１は、通信部１１と、記憶部１２と、制御部１３とを備える。

通信部１１は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。
記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを記憶している。例えば、記憶部１２は、制御部１３を、画面データ生成部１３１、送信制御部１３２及び処理実行部１３３として機能させるプログラムを記憶している。

制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、画面データ生成部１３１、送信制御部１３２及び処理実行部１３３として機能する。

画面データ生成部１３１は、携帯端末２から仮想画面の作成要求を取得すると、仮想画面の画面データを生成する。
送信制御部１３２は、画面データ生成部１３１が画面データを生成すると、当該画面データを携帯端末２に送信する。
処理実行部１３３は、携帯端末２から仮想画面を操作するための操作情報を受信し、受信した操作情報に基づく処理を実行する。画面データ生成部１３１は、処理実行部１３３が操作情報に基づく処理を実行すると、仮想画面の画面データを再生成する。

［携帯端末２の機能構成］
続いて、携帯端末２の構成を説明する。図３は、本実施形態に係る携帯端末２の構成を示す図である。図３に示すように、携帯端末２は、操作部２１と、表示部２２と、通信部２３と、記憶部２４と、制御部２５とを備える。

操作部２１は、ユーザの操作を受け付ける操作デバイスであり、例えば表示部２２の表面に設けられたタッチパネルである。なお、操作部２１には、携帯端末２に優先又は無線で接続されるマウスやキーボードが含まれていてもよい。

表示部２２は、各種の情報を表示するディスプレイである。表示部２２は、制御部２５の制御に応じて仮想画面を操作するための操作画面を表示する。操作画面は、テンキータイプの操作画面、ＱＷＥＲＴＹタイプの操作画面のいずれであってもよい。

通信部２３は、例えば携帯電話網の基地局との間でデータを送受信するための無線通信インターフェースである。通信部２３は、携帯電話網の基地局を介して、情報処理装置１と無線通信を行う。また、通信部２３は、ディスプレイ装置３との間でデータを送受信するための無線通信インターフェースである。通信部２３は、ディスプレイ装置３と無線通信を行う。

記憶部２４は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部２４は、制御部２５が実行するプログラムを記憶している。記憶部２４は、制御部２５を、画面データ要求部２５１、画面データ取得部２５２、操作受付部２５３、送信制御部２５４、及び調整部２５５として機能させるリモートデスクトッププログラムを記憶する。

制御部２５は、例えばＣＰＵであり、記憶部２４に記憶された表示制御プログラムを実行することにより、画面データ要求部２５１、画面データ取得部２５２、操作受付部２５３、送信制御部２５４、及び調整部２５５として機能する。

画面データ要求部２５１は、情報処理装置１に仮想画面を示す画面データの取得要求を送信する。画面データ要求部２５１は、例えば、リモートデスクトッププログラムが実行されたことに応じて、情報処理装置１に仮想画面を示す画面データの取得要求の送信を開始する。画面データ要求部２５１は、仮想画面を示す画面データの取得要求を所定時間おきに情報処理装置１に送信する。
画面データ取得部２５２は、情報処理装置１から仮想画面を示す画面データを取得する。

操作受付部２５３は、表示部２２に仮想画面を操作するための操作画面を表示させ、携帯端末２のユーザから仮想画面に対する操作入力を受け付ける。
送信制御部２５４は、画面データ取得部２５２が取得した画面データをディスプレイ装置３に送信することにより、当該画面データが示す仮想画面をディスプレイ装置３に表示させる。また、送信制御部２５４は、操作受付部２５３がユーザから受け付けた仮想画面に対する操作入力を示す操作情報を情報処理装置１に送信する。

調整部２５５は、ディスプレイ装置３から、携帯端末２の表示部２２の視認性の向上を指示する指示情報を取得する。調整部２５５は、指示情報を取得すると、表示部２２の視認性を向上するための調整処理を行う。調整部２５５による調整処理の詳細は後述する。

［ディスプレイ装置３の機能構成］
続いて、ディスプレイ装置３の構成を説明する。図４は、本実施形態に係るディスプレイ装置３の構成を示す図である。図４に示すように、ディスプレイ装置３は、通信部３１と、撮像部３２と、照度センサ３３と、表示部３４と、記憶部３５と、制御部３６とを備える。

通信部３１は、携帯端末２との間でデータを送受信するための無線通信インターフェースである。通信部３１は、制御部３６の制御により、携帯端末２と無線通信を行う。
撮像部３２は、ユーザがディスプレイ装置３を装着した場合におけるユーザの前方を撮像し、撮像画像を生成する。撮像部３２は、生成した撮像画像を制御部３６に出力する。
照度センサ３３は、ディスプレイ装置３の周囲の照度を検出する。照度センサ３３は、検出した照度を示す照度情報を制御部３６に出力する。

表示部３４は、導光板と、導光板に光を照射する照射部とを含んでいる。照射部は、制御部３６の制御に応じて、画面データが示す仮想画面に対応する色の光を導光板に照射することにより、導光板に仮想画面を結像させる。

記憶部３５は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部３５は、制御部３６が実行するプログラムを記憶している。記憶部３５は、制御部３６を、取得部３６１、表示制御部３６２、検出部３６３及び指示部３６４として機能させるプログラムを記憶する。

制御部３６は、例えばＣＰＵであり、記憶部３５に記憶されたプログラムを実行することにより、取得部３６１、表示制御部３６２、検出部３６３及び指示部３６４として機能する。

取得部３６１は、携帯端末２から仮想画面を示す画面データを取得する。例えば、取得部３６１は、携帯端末２から所定時間おきに仮想画面を示す画面データを取得する。
表示制御部３６２は、取得部３６１が取得した画面データに基づいて仮想画面を表示部３４に表示させる。表示制御部３６２は、ユーザがディスプレイ装置３を装着して正面を視認した時の中心位置である正面視線位置に仮想画面の中心が位置するように、表示部３４に仮想画面を表示させる。なお、表示制御部３６２は、正面視線位置に仮想画面を表示させることとしたが、これに限らず、実在する壁面の所定位置等の実際の位置に仮想画面が固定されているように仮想画面を表示部３４に表示させてもよい。

検出部３６３は、ディスプレイ装置３を装着したユーザがディスプレイ装置３の表示部３４を介して視認することとなる携帯端末２と、ディスプレイ装置３とが所定の位置関係にある所定状態を検出する。

具体的には、検出部３６３は、ディスプレイ装置３を装着したユーザがディスプレイ装置３の表示部３４を介して視認することとなる携帯端末２の少なくとも一部が、ディスプレイ装置３に映る仮想画面と重なる状態を所定状態として検出する。より具体的には、検出部３６３は、撮像部３２が撮像した画像に基づいてディスプレイ装置３に対する携帯端末２の位置を特定し、ディスプレイ装置３の表示部３４の中心から携帯端末２に向かうベクトルを特定する。また、検出部３６３は、ディスプレイ装置３の表示部３４の中心から仮想画面の中心に向かうベクトルを特定する。検出部３６３は、特定した２つのベクトルのなす角度が所定の角度以下である場合に、所定状態であることを検出する。

なお、検出部３６３は、仮想画面のサイズと、ディスプレイ装置３から、仮想画面の実オブジェクトに対応する位置座標（グローバル座標）上の位置までの距離とを考慮して、携帯端末２とディスプレイ装置３とが所定の位置関係にある所定状態を検出してもよい。

指示部３６４は、検出部３６３が所定状態を検出すると、ディスプレイ装置３の表示部３４又は携帯端末２の表示部２２を制御して、携帯端末２の表示部２２の視認性の向上を指示する。

具体的には、指示部３６４は、検出部３６３が所定の位置関係を検出すると、携帯端末２の表示部２２の輝度の上昇を指示する指示情報を携帯端末２に指示することにより、携帯端末２に、表示部２２の視認性の向上を指示する。携帯端末２の調整部２５５は、指示情報を受信すると、調整処理として、表示部２２の輝度を上昇させる処理を行う。

ここで、指示部３６４は、照度センサ３３が検出した照度を示す照度情報を指示情報に含めるようにしてもよい。この場合、携帯端末２の記憶部２４は、複数の照度と、当該照度に対して適切な表示部２２の輝度とを関連付けた関係情報を記憶しているものとする。調整部２５５は、表示部２２の輝度を、当該関係情報において、指示情報に含まれる照度情報が示すディスプレイ装置３の周囲の照度に関連付けられている輝度となるように調整してもよい。このようにすることで、ディスプレイ装置３の周囲の照度に対して、表示部２２の輝度を適切な値に調整することができる。

また、指示部３６４は、検出部３６３が所定状態を検出すると、表示部３４に表示させる、仮想画面を含む仮想オブジェクトの輝度の低下を表示制御部３６２に指示する。表示制御部３６２は、仮想画面を含む仮想オブジェクト全体の輝度を低下させる。ここで、仮想オブジェクトの透過度を高めることも輝度の低下に含まれるものとする。

図５は、携帯端末２の表示部２２の輝度とディスプレイ装置３の表示部３４の輝度との調整を説明する図である。図５（ａ）は、携帯端末２の表示部２２の輝度とディスプレイ装置３の表示部３４の輝度との調整が行われる前にユーザが視認することとなる仮想画面ＳＣと、携帯端末２の表示部２２との視認状態を示す図である。図５（ｂ）は、携帯端末２の表示部２２の輝度とディスプレイ装置３の表示部３４の輝度との調整が行われた後にユーザが視認することとなる仮想画面ＳＣと、携帯端末２の表示部２２との視認状態を示す図である。携帯端末２の表示部２２の輝度が上昇し、ディスプレイ装置３の表示部３４の輝度が低下することにより、表示部２２に表示されている操作画面が視認しやすくなっていることが確認できる。

なお、指示部３６４は、検出部３６３が所定状態を検出すると、表示部２２の輝度の上昇を携帯端末２に指示するとともに、仮想オブジェクトの輝度の低下を表示制御部３６２に指示したが、これに限らず、携帯端末２と表示制御部３６２とのいずれか一方に輝度の調整を指示してもよい。

また、指示部３６４は、検出部３６３が所定状態を検出すると、仮想画面のサイズの縮小を携帯端末２に指示してもよい。この場合、指示部３６４は、仮想画面のサイズの縮小を指示する指示情報を携帯端末２に送信することにより、仮想画面のサイズの縮小を携帯端末２に指示する。携帯端末２の調整部２５５は、指示情報を受信すると、調整処理として、仮想画面のサイズを縮小させる。このようにすることで、ディスプレイ装置３は、仮想画面のサイズを縮小させて、ユーザが表示部３４を介して視認することとなる携帯端末２と仮想画面とが重ならないようにすることができるので、携帯端末２の視認性を向上させることができる。

また、指示部３６４は、検出部３６３が所定状態を検出すると、仮想画面の表示位置の携帯端末２と重ならない位置への移動を携帯端末２に指示してもよい。この場合、例えば、指示部３６４は、撮像部３２が撮像したディスプレイ装置３の前方の風景を示す画像を含む指示情報を携帯端末２に送信することにより、携帯端末２に、仮想画面の表示位置の携帯端末２と重ならない位置へ移動させることを指示する。

携帯端末２の調整部２５５は、ディスプレイ装置３から、ディスプレイ装置３の前方の風景を示す画像を含む指示情報を受信すると、当該画像に基づいて、ディスプレイ装置３を介してユーザが視認することとなる携帯端末２の位置を特定する。そして、調整部２５５は、特定した携帯端末２の位置に基づいて、仮想画面が、ディスプレイ装置３の表示部を介してユーザが視認することとなる携帯端末２と重ならないように、仮想画面の表示位置を調整する。このようにすることで、ユーザが表示部３４を介して視認することとなる携帯端末２と仮想画面とが重ならないようにすることができるので、携帯端末２の視認性を向上させることができる。

また、指示部３６４は、検出部３６３が所定状態を検出すると、仮想画面の背景色に基づき、携帯端末２の表示部２２に表示される、仮想画面の操作を行うための操作画面の色を、操作画面が見やすい色に変化させることを携帯端末２に指示してもよい。この場合、指示部３６４は、仮想画面の背景色の変更を指示する指示情報を携帯端末２に送信することにより、携帯端末２に仮想画面の背景色の変更を指示する。携帯端末２の調整部２５５は、画面データ取得部２５２が取得した仮想画面の背景色を、操作画面が見やすい色に変化させる調整を行う。例えば、調整部２５５は、操作画面を構成する複数の画素の画素値の平均を算出し、算出した画素値が示す色の補色を特定する。そして、調整部２５５は、仮想画面の背景色を、特定した色の補色に変化させる。

また、指示部３６４は、検出部３６３が所定状態を検出すると、携帯端末２の表示部２２に表示される操作画面の色を、仮想画面の色に基づき、仮想画面に対して見やすい色に変化させることを携帯端末２に指示してもよい。この場合、指示部３６４は、操作画面の色の変更を指示する指示情報を携帯端末２に送信することにより、携帯端末２に操作画面の色の変更を指示する。携帯端末２の調整部２５５は、操作画面の色を、画面データ取得部２５２が取得した仮想画面が見やすい色に変化させる調整を行う。例えば、調整部２５５は、仮想画面を構成する複数の画素の画素値の平均を算出し、算出した画素値が示す色の補色を特定する。そして、調整部２５５は、操作画面の色を、特定した色の補色に変化させる。

なお、指示部３６４は、仮想画面のサイズの縮小、仮想画面の表示位置の携帯端末２と重ならない位置への移動、仮想画面の背景色又は操作画面の色の変化を携帯端末２に指示したが、これに限らず、表示制御部３６２に指示するようにしてもよい。

指示部３６４は、検出部３６３が所定状態を検出している状況から、検出部３６３が所定状態を検出していない状況に変化すると、ディスプレイ装置３の表示部３４又は携帯端末２の表示部２２を制御して、携帯端末２の表示部２２における視認性を向上前の状態に戻すことを指示してもよい。例えば、指示部３６４は、検出部３６３が所定状態を検出している状況から、検出部３６３が所定状態を検出していない状況に変化すると、携帯端末２に、携帯端末２の表示部２２の輝度を上昇前の状態に戻すことを指示する指示情報を送信するとともに、表示制御部３６２に、仮想画面を含む仮想オブジェクトの輝度を低下前の状態に戻すことを指示する。このようにすることで、ユーザが携帯端末２を視認していない可能性が高い状態に変化した場合に、仮想画面を見やすい状態に戻すことができる。

また、指示部３６４は、検出部３６３が所定状態を検出し、視認性の向上を指示した後に、携帯端末２の操作を検出すると、視認性をさらに向上させることをさらに指示してもよい。この場合、携帯端末２の送信制御部２５４は、操作受付部２５３が仮想画面に対する操作入力を受け付けると、仮想画面に対する操作が行われたことを示す操作通知情報をディスプレイ装置３に送信する。

検出部３６３は、操作通知情報を受信すると、ユーザによる携帯端末２の操作を検出する。指示部３６４は、所定状態を検出し、視認性の向上を指示した後に、検出部３６３が携帯端末２の操作を検出すると、携帯端末２に表示部２２の輝度をさらに上昇させることを指示する指示情報を送信する。携帯端末２の調整部２５５は、指示情報を受信すると、調整処理として、表示部２２の輝度をさらに上昇させる処理を行う。また、指示部３６４は、検出部３６３が携帯端末２の操作を検出すると、ディスプレイ装置３の表示部３４に表示させる仮想オブジェクトの輝度の低下を表示制御部３６２に指示する。このようにすることで、ユーザは、操作画面を容易に視認することができる。

［視認性向上に係る処理の流れ］
続いて、視認性向上に係る処理の流れを説明する。ここでは、視認性向上に係る処理として、輝度を調整する例を説明する。図６は、携帯端末２の表示部２２の輝度の状態、及びディスプレイ装置３の表示部３４の輝度の状態の変化を示す状態遷移図である。

まず、検出部３６３が所定状態を検出していない場合、携帯端末２の表示部２２の輝度及びディスプレイ装置３の表示部３４の輝度は、初期状態にあるものとする。

続いて、検出部３６３が所定状態を検出すると（Ｓ１）、指示部３６４は、ディスプレイ装置３の表示部３４の輝度を現在の状態から一段階暗い状態に低下させるとともに、携帯端末２の表示部２２の輝度を現在の状態から一段階明るい状態に上昇させる指示を行う。ディスプレイ装置３の表示制御部３６２は、表示部３４の輝度を初期状態よりも一段階暗い状態に調整し、携帯端末２の調整部２５５は、表示部２２の輝度を初期状態よりも一段階明るい状態に調整する。

検出部３６３が所定状態を検出し、表示部３４の輝度が初期状態よりも一段階暗い状態、表示部２２の輝度が初期状態よりも一段階明るい状態である場合に、検出部３６３が携帯端末２の操作を検出したとする（Ｓ２）。この場合、指示部３６４は、ディスプレイ装置３の表示部３４の輝度を現在の状態から一段階暗い状態に低下させるとともに、携帯端末２の表示部２２の輝度を現在の状態から一段階明るい状態に上昇させる指示を行う。ディスプレイ装置３の表示制御部３６２は、表示部３４の輝度を初期状態よりも二段階暗い状態に調整し、携帯端末２の調整部２５５は、表示部２２の輝度を初期状態よりも二段階明るい状態に調整する。

表示部３４の輝度が初期状態よりも二段階暗い状態、表示部２２の輝度が初期状態よりも二段階明るい状態である場合に、検出部３６３が携帯端末２の操作を検出しなくなったとする（Ｓ３）。この場合、指示部３６４は、ディスプレイ装置３の表示部３４の輝度を現在の状態よりも一段階明るい状態に上昇させるとともに、携帯端末２の表示部２２の輝度を現在の状態よりも一段階暗い状態に低下させる指示を行う。ディスプレイ装置３の表示制御部３６２は、表示部３４の輝度を初期状態よりも一段階暗い状態に調整し、携帯端末２の調整部２５５は、表示部２２の輝度を初期状態よりも一段階明るい状態に調整する。なお、指示部３６４は、検出部３６３が携帯端末２の操作を検出しなくなってから所定時間経過した場合に、ディスプレイ装置３の表示部３４の輝度を現在の状態よりも一段階明るい状態に上昇させるとともに、携帯端末２の表示部２２の輝度を現在の状態よりも一段階暗い状態に低下させる指示を行うようにしてもよい。

表示部３４の輝度が初期状態よりも一段階暗い状態、表示部２２の輝度が初期状態よりも一段階明るい状態である場合に、検出部３６３が所定状態を検出しなくなったとする（Ｓ４）。この場合、指示部３６４は、ディスプレイ装置３の表示部３４の輝度を現在の状態よりも一段階明るい状態に上昇させるとともに、携帯端末２の表示部２２の輝度を現在の状態よりも一段階暗い状態に低下させる指示を行う。ディスプレイ装置３の表示制御部３６２は、表示部３４の輝度を初期状態に調整し、携帯端末２の調整部２５５は、表示部２２の輝度を初期状態に調整する。

［本実施形態における効果］
以上説明したように、本実施形態に係るディスプレイ装置３は、ディスプレイ装置３を装着したユーザがディスプレイ装置３の表示部３４を介して視認することとなる携帯端末２と、ディスプレイ装置３とが所定の位置関係となることを検出すると、ディスプレイ装置３の表示部３４又は携帯端末２の表示部２２を制御して、携帯端末２の表示部２２の視認性の向上を指示する。このようにすることで、ディスプレイ装置３は、ディスプレイ装置３を装着した状態における携帯端末２の操作性を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、ディスプレイ装置３の制御部３６が検出部３６３及び指示部３６４として機能したが、これに限らない。例えば、情報処理装置１の制御部１３又は携帯端末２の制御部２５が、検出部３６３及び指示部３６４として機能するようにしてもよい。

この場合、ディスプレイ装置３は、情報処理装置１又は携帯端末２が所定状態を検出できるようにするために、撮像部３２が撮像した画像又は、撮像部３２が撮像した画像から算出することができるディスプレイ装置３の表示部３４の中心から携帯端末２に向かうベクトルを示すベクトル情報を情報処理装置１又は携帯端末２に送信してもよい。また、ディスプレイ装置３は、ディスプレイ装置３の表示部３４の中心から仮想画面の中心に向かうベクトルを示すベクトル情報を情報処理装置１又は携帯端末２に送信してもよい。

また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１・・・情報処理装置、１１・・・通信部、１２・・・記憶部、１３・・・制御部、１３１・・・画面データ生成部、１３２・・・送信制御部、１３３・・・処理実行部、２・・・携帯端末、２１・・・操作部、２２・・・表示部、２３・・・通信部、２４・・・記憶部、２５・・・制御部、２５１・・・画面データ要求部、２５２・・・画面データ取得部、２５３・・・操作受付部、２５４・・・送信制御部、２５５・・・調整部、３・・・ディスプレイ装置、３１・・・通信部、３２・・・撮像部、３３・・・照度センサ、３４・・・表示部、３５・・・記憶部、３６・・・制御部、３６１・・・取得部、３６２・・・表示制御部、３６３・・・検出部、３６４・・・指示部

Claims (13)

1. ディスプレイ装置を装着したユーザが仮想画面が表示された前記ディスプレイ装置の表示部を介して視認する、前記仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出する検出部と、
   前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示する指示部と、
   を有し、
   前記指示部は、前記携帯端末の表示部に表示される、前記仮想画面の操作を行うための操作画面の色を前記仮想画面の色に基づき変化させることを前記携帯端末に指示することにより、前記携帯端末の表示部の視認性の向上を指示する、
   制御装置。
2. 前記検出部は、前記ディスプレイ装置を装着したユーザが前記ディスプレイ装置の表示部を介して視認することとなる前記携帯端末の少なくとも一部が、前記ディスプレイ装置に映る前記仮想画面と重なる状態を前記所定状態として検出する、
   請求項１に記載の制御装置。
3. 前記指示部は、前記検出部が前記所定状態を検出すると、前記携帯端末の表示部の輝度の上昇を前記携帯端末に指示する、
   請求項１又は２に記載の制御装置。
4. 前記仮想画面を前記ディスプレイ装置の表示部に表示させる表示制御部をさらに有し、
   前記指示部は、前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部に表示させる、前記仮想画面を含む仮想オブジェクトの輝度の低下を前記ディスプレイ装置の表示部の表示を制御する制御部に指示する、
   請求項１から３のいずれか１項に記載の制御装置。
5. 前記指示部は、前記検出部が前記所定状態を検出すると、前記仮想画面のサイズの縮小を指示する、
   請求項１から４のいずれか一項に記載の制御装置。
6. 前記所定状態は、前記ディスプレイ装置を装着したユーザが前記ディスプレイ装置の表示部を介して視認する前記携帯端末の少なくとも一部が、前記ディスプレイ装置に映る前記仮想画面と重なる状態であり、
   前記指示部は、前記検出部が前記所定状態を検出すると、前記仮想画面の表示位置を前記携帯端末と重ならない位置へ移動させること指示する、
   請求項１から５のいずれか１項に記載の制御装置。
7. 前記指示部は、前記検出部が前記所定状態を検出すると、前記仮想画面を構成する複数の画素の画素値の平均値が示す色の補色を特定し、前記携帯端末の表示部に表示される、前記仮想画面の操作を行うための操作画面の色を、特定した補色に変化させることを指示する、
   請求項１から６のいずれか１項に記載の制御装置。
8. 前記指示部は、前記検出部が前記所定状態を検出している状況から前記検出部が前記所定状態を検出していない状況に変化すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部における視認性を向上前の状態に戻すことを指示する、
   請求項１から７のいずれか１項に記載の制御装置。
9. 前記検出部は、前記ユーザによる前記携帯端末における前記仮想画面を操作するためのユーザ入力を検出し、
   前記指示部は、前記検出部が前記所定状態を検出し、前記視認性の向上を指示した後に、前記携帯端末における前記仮想画面を操作するためのユーザ入力を検出すると、前記視認性をさらに向上させることを指示する、
   請求項１から８のいずれか１項に記載の制御装置。
10. 前記仮想画面を前記ディスプレイ装置の表示部に表示させる表示制御部をさらに有し、
    前記指示部は、前記検出部が前記携帯端末における前記仮想画面を操作するためのユーザ入力を検出すると、前記ディスプレイ装置の表示部に表示させる、前記仮想画面を含む仮想オブジェクトの輝度の低下を前記表示制御部に指示する、
    請求項９に記載の制御装置。
11. 仮想画面に対する操作を受け付ける携帯端末と、ユーザの頭部に装着され、前記仮想画面を表示するディスプレイ装置とを備える情報処理システムであって、
    前記ディスプレイ装置は、
    前記ディスプレイ装置を装着したユーザが前記ディスプレイ装置の表示部を介して視認することとなる前記携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出する検出部と、
    前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示する指示部と、
    を有し、
    前記携帯端末は、
    前記携帯端末の表示部に前記仮想画面の操作を行うための操作画面を表示させる表示制御部と、
    前記指示部による指示が行われたことに応じて、前記携帯端末の表示部の視認性を向上するための当該表示部の調整処理を行う調整部と、
    を有し、
    前記指示部は、前記携帯端末の表示部に表示される前記操作画面の色を前記仮想画面の色に基づき変化させることを前記携帯端末に指示することにより、前記携帯端末の表示部の視認性の向上を指示する、
    情報処理システム。
12. コンピュータが実行する、
    ディスプレイ装置を装着したユーザが仮想画面が表示された前記ディスプレイ装置の表示部を介して視認する、前記仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出するステップと、
    前記所定状態が検出されると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示するステップと、
    を有し、
    前記視認性の向上を指示するステップにおいて、前記コンピュータは、前記携帯端末の表示部に表示される、前記仮想画面の操作を行うための操作画面の色を前記仮想画面の色に基づき変化させることを前記携帯端末に指示することにより、前記携帯端末の表示部の視認性の向上を指示する、
    制御方法。
13. コンピュータを、
    ディスプレイ装置を装着したユーザが仮想画面が表示された前記ディスプレイ装置の表示部を介して視認する、前記仮想画面を操作するためのユーザ入力を受け付ける表示部を備えた携帯端末と、前記ディスプレイ装置とが所定の位置関係にある所定状態を検出する検出部、及び、
    前記検出部が前記所定状態を検出すると、前記ディスプレイ装置の表示部又は前記携帯端末の表示部を制御して、前記携帯端末の表示部の視認性の向上を指示する指示部、
    として機能させ、
    前記指示部は、前記携帯端末の表示部に表示される、前記仮想画面の操作を行うための操作画面の色を前記仮想画面の色に基づき変化させることを前記携帯端末に指示することにより、前記携帯端末の表示部の視認性の向上を指示する、
    プログラム。
    

Images