JP7286357B2 - 電子装置および表示制御方法 - Google Patents

Description

本発明の実施形態は、電子装置および表示制御方法に関する。

近年、ＡＲ（Augmented Reality）グラスなどと称される、現実空間に付加するように画像を表示する表示デバイスが流通し始めている。この表示デバイスのディスプレイ（表示面）上には、画像を表示するための領域（グラス画面）が現実空間に重畳して表示される。この種の表示デバイスは、たとえばマニュアルを適宜に参照しながら作業を進めていく等の用途に好適である。

特開２０１８－９７４３７号公報

この種の表示デバイスを用いてＰＣ（Personal Computer）による作業を行う場合、ユーザの視界がＰＣの画面で占められることになる。通常の据え置き型の表示デバイスを用いている場合においては、たとえば横を向けば、ＰＣの画面を視界から外して、向いた側に存在する対象物に視線を移せる。しかしながら、頭部に装着される表示デバイスの場合、横を向いたとしても、ＰＣの画面（画像の表示領域）は常に視界に留まる。つまり、ユーザの視界のディスプレイ（表示面）上で画面内の表示画像が存続するため、向いた側に存在する対象物に視線を移せない。

本発明が解決しようとする課題は、ユーザの頭部の移動・回転に応じて画面の表示を制御することができる電子装置および表示制御方法を提供することである。

実施形態によれば、電子装置は、計測部と、表示制御部とを具備する。前記計測部は、ユーザの頭部に装着可能なウェアラブルデバイスに搭載される１以上のセンサのセンサ値に基づき、前記ユーザの頭部の移動・回転量を計測する。前記表示制御部は、前記計測部によって計測された前記移動・回転量に基づき、前記ウェアラブルデバイスに搭載されるディスプレイでの画面の表示を制御する。前記ディスプレイは、前記ユーザによって目視される現実空間に重畳させて前記画面を表示可能である。前記表示制御部は、前記ユーザの頭部が第１閾値以上の速度かつ第２閾値未満の距離で第１方向へ回転した場合、前記画面を縮小して、前記ディスプレイ上の前記第１方向と対向する第２方向の端部に前記画面の表示位置を移動させる。

実施形態の電子装置の開いた状態における斜視図。 実施形態の電子装置の閉じた状態における斜視図。 実施形態の電子装置の一使用例を示す図。 実施形態の電子装置と、同電子装置に接続されるウェアラブル表示機器との概略構成を示すブロック図。 実施形態の電子装置と接続されるウェアラブル表示機器が装着されるユーザの頭部の動作に伴う画面の表示状態の遷移を示す図。 実施形態の電子装置がユーザの頭部の動きに伴って実行するウェアラブル表示機器上の画面の制御の流れを示すフローチャート。

以下、実施の形態について、図面を参照して説明する。
図１は、本実施形態の電子装置（キーボードＰＣ１００）の開いた状態における斜視図である。
キーボードＰＣ１００は、図４を参照して後述する、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＳＳＤ（Solid State Drive）１３などを備える、外部ディスプレイ機器を接続するだけでＰＣとして使用することのできるモバイルＰＣである。なお、本実施形態においては、キーボードＰＣ１００が、折り畳んで持ち運ぶことができる構造であることを想定するが、後述する、ユーザの頭部の移動・回転に応じて画面の表示を制御するための仕組みは、このような構造に限定されず、たとえば、折り畳むことができない構造であっても適用することができる。

図１に示すように、キーボードＰＣ１００は、第１保持部１６１と、第２保持部１６２と、第１保持部１６１と第２保持部１６２とを開閉可能に支持するヒンジ１６３によって構成される筐体ユニット１６０を有している。第１保持部１６１と第２保持部１６２とが開いた状態で露出する第１保持部１６１の上面１６１ａと第２保持部１６２の上面１６２ａとには、タッチパッド１２３を含むキーボード１２０が分割して配置される。具体的には、キーボード１２０のキー１２１のうち、「Ｈ」に対応するキー１２１Ｈを含む右手で操作し易いものが第１保持部１６１に設けられ、「Ｇ」に対応するキー１２１Ｇを含む左手で操作し易いものが第２保持部１６２に設けられている。つまり、キーボード１２０は、キー１２１Ｈとキー１２１Ｇとの間隙を境にして分割される。また、スペースキー１２２は第１保持部１６１に設けられ、タッチパッド１２３は第２保持部１６２に設けられ、スペースキー１２２とタッチパッド１２３とは、第１保持部１６１と第２保持部１６２とが開いた状態において隣り合って位置するように配置されている。

第２保持部１６２の前面１６２ｊには、ユーザの生体情報による認証が可能な指紋センサ１６２ｋが配置されている。第２保持部１６２の前面１６２ｊに配置される指紋センサ１６２ｋは、筐体ユニット１６０の開閉状態によらずに使用することができる。
第２保持部１６２の左側面１６２ｍには、電源スイッチ１６２ｎ、ヘッドフォン出力端子１６２ｑ、ＵＳＢ（Universal Serial Bus） Type-Cコネクタ１３０ａ、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子１６２ｐなどが配置されている。メガネのように人体に装着して使用するウェアラブル表示機器３００（図３参照）などの外部ディスプレイ機器は、ＵＳＢ Type-Cコネクタ１３０ａ経由でキーボードＰＣ１００と接続される。

図２は、キーボードＰＣ１００の閉じた状態における斜視図である。図２は、第２保持部１６２が上下反転して第１保持部１６１に重ね合わせられている状態を示している。以下で述べる下面・右側面・左側面は、図１に示すキーボードＰＣ１００の配置を基準とした向きに対応する。
図２に示すように、第２保持部１６２の下面１６２ｅには、外部タッチパッド１６２ｇと、ＣＣＤ（Charge-Coupled Device）カメラ１６２ｉとが配置されている。外部タッチパッド１６２ｇは、たとえば、筐体ユニット１６０を閉じた状態において、他装置の外付けポインティングデバイスなどとして使用される。ＣＣＤカメラ１６２ｉは、指紋センサ１６２ｋと同様、ユーザ認証用の生体情報を取得するために使用される。ＣＣＤカメラ１６２ｉによって取得する生体情報としては、たとえば、顔、目の網膜、手の平の静脈などが考えられる。

第２保持部１６２の右側面１６２ｃには、ＳＩＭ（Subscriber Identity Module）カード用スロット１６２ｈと、筐体ユニット１６０の開閉状態を検出するための開閉センサ１６２ｌとが配置されている。開閉センサ１６２ｌは、たとえば光学センサであり、第１保持部１６１の左側面１６１ｃが近接しているか否かを検出する。

図３は、キーボードＰＣ１００の一使用例を示す図である。
前述したように、キーボードＰＣ１００は、図３に示すウェアラブル表示機器３００などの外部ディスプレイ機器を接続することのできるＵＳＢ Type-Cコネクタ１３０ａを有している。ユーザは、図３に示すように、ＵＳＢType-Cコネクタ１３０ａ経由でウェアラブル表示機器３００などの外部ディスプレイ機器を接続することで、キーボードＰＣ１００を、一般的なＰＣと同様に使用することができる。

ウェアラブル表示機器３００を頭部に装着して作業を行う場合、据え置き型の表示デバイスを用いている場合とは違い、横を向いても、ディスプレイ（表示面）上の画面（画像の表示領域）が視界から外れない。換言すれば、画面（画像の表示領域）が視界に残って邪魔になる。そこで、このキーボードＰＣ１００は、図３に示すように、ＵＳＢ Type-Cコネクタ１３０ａ経由で接続されるウェアラブル表示機器３００について、ユーザの頭部の移動・回転に応じて画面の表示を制御するための仕組みを備えたものであり、以下、この点について詳述する。

図４は、キーボードＰＣ１００と、キーボードＰＣ１００に接続されるウェアラブル表示機器３００との概略構成を示すブロック図である。
図４に示すように、キーボードＰＣ１００は、ＣＰＵ１１、ＲＡＭ１２、ＳＳＤ１３、ＢＩＯＳ（Basic Input/Output System）－ＲＯＭ（Read Only Memory）１４、ＵＳＢコントローラ１５を有する。なお、図４には示していないが、キーボードＰＣ１００は、キーボード１２０上で行われるキー操作に応じてキーコードを生成するＥＣ（Embedded Controller）／ＫＢＣ（Keyboard Controller）なども有する。

ＣＰＵ１１は、ＳＳＤ１３に格納される、ＯＳ２１０や当該ＯＳ２１０の制御下で動作する各種アプリケーションプログラムをＲＡＭ１２にロードして実行する。各種アプリケーションプログラムの中には、後述する表示制御ユーティリティ２３０が含まれる。ＣＰＵ１１は、ＢＩＯＳ－ＲＯＭ１４に格納されるＢＩＯＳ２２０も実行する。

ＲＡＭ１２は、主メモリとしての役割を担うストレージである。ＳＳＤ１３は、外部記憶装置としての役割を担うストレージである。また、ＢＩＯＳ－ＲＯＭ１４は、ＢＩＯＳ２２０格納用のストレージである。ＢＩＯＳ－ＲＯＭ１４は、電気的に内容を書き換え可能なＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）である。

ＵＳＢコントローラ１５は、ＵＳＢ Type-Cコネクタ１３０ａ経由で接続される、たとえばウェアラブル表示機器３００などとの間の通信を実行する。ＣＰＵ１１は、ＧＰＵ（Graphics Processing Unit）１１Ａを含んでおり、ＧＰＵ１１Ａによって生成した表示画面用の画像データをＵＳＢコントローラ１５経由でウェアラブル表示機器３００へ送信することによって、ウェアラブル表示機器３００のディスプレイ（表示面）上に画面（画像の表示領域）を表示させることができる。表示制御ユーティリティ２３０は、ウェアラブル表示機器３００上での画面の表示領域の切替えや画面の消去などを適応的に制御するプログラムである。表示制御ユーティリティ２３０は、ウェアラブル表示機器３００側から送られてくる、後述する加速度センサ３３やジャイロセンサ３４のセンサ値に基づき、ウェアラブル表示機器３００が装着されるユーザの頭部の移動・回転量を計測する機能を有している。また、表示制御ユーティリティ２３０は、計測した移動・回転量からユーザの頭部の移動・回転の速度を得ることができる。表示制御ユーティリティ２３０は、計測したユーザの頭部の移動・回転量に基づき、ウェアラブル表示機器３００のディスプレイ（表示面）上での画面（画像の表示領域）の表示を制御する。具体的には、ウェアラブル表示機器３００側の後述するマイクロプロセッサ３１に対して画面の表示に関するコマンドを送信する。ここで移動・回転量とは、移動及び回転の距離、速さ、方向を示す。

一方、ウェアラブル表示機器３００は、マイクロプロセッサ３１、表示部３２、加速度センサ３３、ジャイロセンサ３４を有する。
マイクロプロセッサ３１は、第１に、キーボードＰＣ１００から送信されてくる表示画面用の画像データを使って表示部３２への画面の表示を実行する。この表示部３２への画面の表示に関して、マイクロプロセッサ３１は、キーボードＰＣ１００上で動作する表示制御ユーティリティ２３０から送られるコマンドに基づき、表示領域の切替えや画面の消去などを実行する。

表示部３２は、たとえば光学透過型ディスプレイであり、ウェアラブル表示機器３００がユーザに装着された際、表示面がユーザの視界と重なるようにウェアラブル表示機器３００に配置される。
また、マイクロプロセッサ３１は、第２に、加速度センサ３３やジャイロセンサ３４のセンサ値を読み取ってキーボードＰＣ１００側へ送信する。加速度センサ３３やジャイロセンサ３４は、ウェアラブル表示機器３００が装着されるユーザの頭部の移動・回転量を計測するために設けられるセンサであって、センサは、これらに限られない。これらに加えて他のセンサが設けられてもよいし、これらの一部または全部に代えて他のセンサが設けられてもよい。マイクロプロセッサ３１によってキーボードＰＣ１００側へ送信された加速度センサ３３やジャイロセンサ３４のセンサ値は、キーボードＰＣ１００上で動作する表示制御ユーティリティ２３０に供給される。

ここで、図５を参照して、ウェアラブル表示機器３００が装着されるユーザの頭部の動作に伴って、ウェアラブル表示機器３００の表示部３２による画面の表示状態がどのように遷移するのかについて説明する。つまり、ウェアラブル表示機器３００に搭載される加速度センサ３３およびジャイロセンサ３４のセンサ値に基づき、キーボードＰＣ１００上で動作する表示制御ユーティリティ２３０が、ウェアラブル表示機器３００の表示部３２による画面の表示をどのように制御するのかについて説明する。

頭部動作の大きさ（距離）が予め定められた閾値未満であって、頭部動作の速さも予め定められた閾値未満である場合、画面の表示状態は変わらない（１段目）。以下、頭部動作の大きさが閾値未満であることを、頭部動作が小さい（「小」）と称し、頭部動作の大きさが閾値以上であることを、頭部動作が大きい（「大」）と称する。また、頭部動作の速さが閾値未満であることを、頭部動作が遅い（「遅」）と称し、頭部動作の速さが閾値以上であることを、頭部動作が速い（「速」）と称する。

頭部動作が小さく、頭部動作が速い場合、その方向が上下左右であったならば、表示部３２の表示面の端部に画面（画像の表示領域）が移動する（２段目）。具体的には、たとえば左に頭を小さく速く動かすと、逆の右側に画面が縮小して移動する。つまり、ユーザの視界の、ユーザが頭を動かして視線を向けた側から画面を外す。ユーザが頭を動かさずに視線を向けただけでは、画面の表示状態は変わらない。なお、上下左右への頭部動作は、垂直方向または水平方向の回転を伴う移動である。頭部動作が小さく、頭部動作が速い場合でも、回転を伴わない水平方向の移動であるたとえば左右方向の直線移動の場合、画面の表示状態は変わらない（３段目）。

頭部動作が大きくても、頭部動作が遅い場合、画面の表示状態は変わらない（４段目）。つまり、頭部動作が遅い場合、頭部動作の大小に関わらず、画面の表示状態は変わらない。
一方、頭部動作が大きく、頭部動作が速い場合、その方向が上下左右であったならば、画面は表示面から消去される（５段目）。つまり、頭を小さく速く動かした場合とは違って、ユーザの視界全体から画面が外れ、ユーザの視界が広く確保される。頭部動作が大きく、頭部動作が速い場合で、その方向が前後であったならば、画面は拡大・縮小される（６段目）。具体的には、前に頭を大きく速く動かすと、画面は拡大され、逆に、後ろに頭を大きく速く動かすと、画面は縮小される。なお、両眼視差による錯覚を利用して画面を立体視させる場合には、拡大・縮小に代えて、奥行き位置（視認距離）を前後に移動させるようにしてもよい。つまり、拡大に代えて奥行き位置をユーザの頭部（視界）に近い側へ移動し、縮小に代えて奥行き位置をユーザの頭部（視界）から遠い側へ移動する。

なお、頭部動作によって表示状態が遷移した画面を元の状態へ復帰させる指示としては、キーボード１２０上で何らかのキー操作を行うこととしてもよいし、表示状態を遷移させるために行った頭部動作と逆の動作を行うこととしてもよい。逆の動作とは、たとえば頭部を右に大きく速く動かして表示状態を遷移させた場合、頭部を左に大きく速く動かすなどといった（大きさや速さではなく）方向が逆の動作である。つまり、表示制御ユーティリティ２３０は、たとえば頭部を左に大きく速く動かす動作が行われた場合、頭部を右に大きく速く動かすことに起因して画面の表示状態が遷移していれば、画面を元の状態へ復帰させる。画面の表示状態が遷移していなければ、表示制御ユーティリティ２３０は、その頭部を左に大きく速く動かす動作に伴い、画面の表示状態を遷移させる。

また、頭部動作によって表示状態が遷移した画面を元の状態へ復帰させる指示は、キーボード１２０上で何らかのキー操作を行うことと、表示状態を遷移させるために行った頭部動作と逆の動作を行うこととのいずれかが行われた場合としてもよい。なお、画面の拡大・縮小については、元の状態へ復帰させる指示を定義する必要がなく、たとえば拡大した画面を元に戻したい場合、縮小のための動作を行えばよいし、縮小した画面を元に戻したい場合、拡大のための動作を行えばよい。

このように、本実施形態のキーボードＰＣ１００においては、上下左右に頭部が小さく速く動いた場合、その方向と逆の方向へ画面を縮小して移動させることにより、ユーザの視界の中の頭部が動いた方向から画面を外し、上下左右に頭部が大きく速く動いた場合、画面を消去して、ユーザの視界全体から画面を外す。また、前後に頭部が大きく速く動いた場合、画面を拡大・縮小する。

つまり、本実施形態のキーボードＰＣ１００においては、ユーザの意に反して、ディスプレイ（表示面）上で画面（画像の表示領域）が視界に残って邪魔になることを防止できる。
図６は、ウェアラブル表示機器３００が装着されるユーザの頭部の動きに伴って、キーボードＰＣ１００が実行するウェアラブル表示機器３００のディスプレイ（表示面）上の画面の制御の流れを示すフローチャートである。

キーボードＰＣ１００は、まず、ウェアラブル表示機器３００が装着されるユーザの頭部の動作を検知する（ステップＳ１）。キーボードＰＣ１００は、検知した頭部の動作が大きいか、または、小さいかを判定する（ステップＳ２）。頭部の動作が小さい場合（ステップＳ２：小）、キーボードＰＣ１００は、続いて、その動作が速いか、または、遅いかを判定する（ステップＳ３）。頭部の動作が速い場合（ステップＳ３：速）、つまり、頭部の動作が小さく速い場合、キーボードＰＣ１００は、動作方向と逆の方向へ画面を縮小して移動させる（ステップＳ４）。頭部の動作が遅い場合（ステップＳ３：遅）、キーボードＰＣ１００は、画面の変更を行わず、ステップＳ１へ戻る。

頭部の動作が大きい場合も（ステップＳ２：大）、キーボードＰＣ１００は、続いて、その動作が速いか、または、遅いかを判定する（ステップＳ５）。頭部の動作が速い場合（ステップＳ５：速）、つまり、頭部の動作が大きく速い場合、キーボードＰＣ１００は、さらに、その動作の方向が上下左右か、または前後かを判定する（ステップＳ６）。頭部の動作が上下左右の方向のものであった場合（ステップＳ６：上下左右）、キーボードＰＣ１００は、画面を消去する（ステップＳ７）。

ステップＳ４で画面の表示状態の変更を行った場合、または、ステップＳ７で画面の消去を行った場合、キーボードＰＣ１００は、キー入力が行われたか、または、画面の変更・消去の要因となった動作と逆の動作が行われたかを判定する（ステップＳ８）。いずれも行われていない場合、（ステップＳ８：Ｎｏ）、キーボードＰＣ１００は、画面が変更または消去された状態を維持する。一方、いずれかが行われた場合（ステップＳ８：Ｙｅｓ）、キーボードＰＣ１００は、画面を元に戻す（ステップＳ９）。

また、頭部の動作が前後の方向のものであった場合（ステップＳ６：前後）、キーボードＰＣ１００は、画面を拡大・縮小する（ステップＳ１０）。具体的には、頭部が前へ動いた場合、画面を拡大し、後ろへ動いた場合、画面を縮小する。
以上のように、本実施形態のキーボードＰＣ１００は、ユーザの頭部の移動・回転に応じて画面の表示を制御することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…ＣＰＵ、１２…ＲＡＭ、１３…ＳＳＤ、１４…ＢＩＯＳ－ＲＯＭ、１５…ＵＳＢコントローラ、３１…マイクロプロセッサ、３２…表示部、３３…加速度センサ、３４…ジャイロセンサ、１００…キーボードＰＣ、２１０…ＯＳ、２２０…ＢＩＯＳ、２３０…表示制御ユーティリティ、３００…ウェアラブル表示機器。

Claims (10)

1. ユーザの頭部に装着可能なウェアラブルデバイスに搭載される１以上のセンサのセンサ値に基づき、前記ユーザの頭部の移動・回転量を計測する計測部と、
   前記計測部によって計測された前記移動・回転量に基づき、前記ウェアラブルデバイスに搭載されるディスプレイでの画面の表示を制御する表示制御部と、
   を具備し、
   前記ディスプレイは、前記ユーザによって目視される現実空間に重畳させて前記画面を表示可能であり、
   前記表示制御部は、前記ユーザの頭部が第１閾値以上の速度かつ第２閾値未満の距離で第１方向へ回転した場合、前記画面を縮小して、前記ディスプレイ上の前記第１方向と対向する第２方向の端部に前記画面の表示位置を移動させる、
   電子装置。
2. 前記表示制御部は、前記ユーザの頭部が前記第１閾値以上の速度かつ前記第２閾値以上の距離で回転した場合、前記ディスプレイから前記画面を消去する請求項１に記載の電子装置。
3. キーボードを更に具備し、
   前記表示制御部は、前記画面の表示位置の移動後または前記画面の消去後、前記キーボード上でのキー操作が行われた場合、前記画面の表示状態を前記画面の表示位置の移動前または前記画面の消去前の状態に復帰させる請求項１または２に記載の電子装置。
4. 前記表示制御部は、前記画面の表示位置の移動後または前記画面の消去後、前記ユーザの頭部が前記第２方向へ回転した場合、前記画面の表示状態を前記画面の表示位置の移動前または前記画面の消去前の状態に復帰させる請求項１または２に記載の電子装置。
5. 前記表示制御部は、前記ユーザの頭部が前記第１閾値以上の速度かつ前記第２閾値以上の距離で前方へ移動した場合、前記画面を拡大し、前記ユーザの頭部が前記第１閾値以上の速度かつ前記第２閾値以上の距離で後方へ移動した場合、前記画面を縮小する請求項１から４のいずれか１項に記載の電子装置。
6. 前記表示制御部は、前記ユーザの頭部が前記第１閾値以上の速度かつ前記第２閾値以上の距離で前方へ移動した場合、両眼視差による錯覚を利用して前記ユーザに知覚させる前記画面の奥行き位置を前記ユーザの頭部に近い側へ移動し、前記ユーザの頭部が前記第１閾値以上の速度かつ前記第２閾値以上の距離で後方へ移動した場合、前記画面の奥行き位置を前記ユーザの頭部から遠い側へ移動する請求項１から４のいずれか１項に記載の電子装置。
7. 前記画面は、前記ディスプレイ上で表示すべき画像の表示領域である請求項１から６のいずれか１項に記載の電子装置。
8. 前記１以上のセンサは、加速度センサまたはジャイロセンサの一方を少なくとも含む請求項１から７のいずれか１項に記載の電子装置。
9. 前記ウェアラブルデバイスは、メガネ型である請求項１から８のいずれか１項に記載の電子装置。
10. ユーザの頭部に装着可能なウェアラブルデバイスが接続される電子装置によって実行される表示制御方法であって、
    前記ウェアラブルデバイスに搭載される１以上のセンサのセンサ値に基づき、前記ユーザの頭部の移動・回転量を計測することと、
    計測された前記移動・回転量に基づき、前記ウェアラブルデバイスに搭載されるディスプレイでの画面の表示を制御することと、
    を具備し、
    前記ディスプレイは、前記ユーザによって目視される現実空間に重畳させて前記画面を表示可能であり、
    前記画面の表示を制御することは、前記ユーザの頭部が第１閾値以上の速度かつ第２閾値未満の距離で第１方向へ回転した場合、前記画面を縮小して、前記ディスプレイ上の前記第１方向と対向する第２方向の端部に前記画面の表示位置を移動させることを含む、
    表示制御方法。

Images