JP7138028B2 - 表示制御システム、表示装置、及び表示制御方法 - Google Patents

Description

本発明は、表示制御システム、表示装置、及び表示制御方法に関する。

近年、センサ等のデバイスの小型化が進む中、スマートグラスと呼ばれるウェアラブルな透過型ＨＭＤ（Head Mounted Display）が製品化され、工場作業や機器メンテナンス作業などの作業支援に利用されている。一般的には、透過型ＨＭＤを装着したユーザは、自身の作業対象を見ながら透過型の仮想画面に作業支援に関する情報を投影表示することで、作業手順の確認や操作を行うことが可能となる。

透過型ＨＭＤには、仮想画面を表示する他に、加速度センサやジャイロセンサ等を用いてユーザの視線方向や位置を検出する機能を搭載している場合がある。この機能を利用し、仮想画面に情報表示する際に、情報の表示位置を調整することができる。例えば、特許文献１のように、各種センサで仮想画面の位置情報を検出し、さらに仮想画面上に表示する描画オブジェクトに予め描画優先度を設定することで、複数の描画オブジェクトが同じ場所に干渉して表示されないように位置調整する方法が考案されている。

特開２０１５－１１５０３４号公報

背景技術で示したように、透過型ＨＭＤを装着したユーザは、仮想画面上に干渉することなく重畳された複数の情報を見ながら、自身の作業を行うことができる。しかしながら、現状は、仮想画面上に表示する情報は予め画一的な条件で表示位置や表示内容が定義されており、例えば、専門性の高い作業を「専門外のユーザが行う場合」あるいは「作業に精通したユーザが行う場合」に、同じ表示位置、同じ内容を表示することで、作業自体の理解不足や作業効率の低下が生じるという課題がある。

またＩＴ(Information Technology)技術の進化により、検索ワードのヒット率に基づく推薦機能や過去の閲覧履歴情報の保持機能を用いて、ユーザは多くの情報を効率的に取得できるようになった。しかし、それら多くの情報を用いて作業するには多くの画面を表示する必要があり、当然ながら設置可能な表示装置の数には制限があるという課題がある。さらには、表示装置上での多くの情報提示は情報漏えいに繋がる可能性が高い。

本発明の目的は、ユーザの特徴に応じて情報の表示を調整することが可能な技術を提供することである。

本発明の一態様にかかる表示制御システムは、ユーザが着用可能な第１の表示装置と、前記第１の表示装置と通信可能な第２の表示装置とを有した表示制御システムであって、前記第１の表示装置は、第１の表示部と、前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、前記第２の表示装置は、第２の表示部と、前記第２の表示部に実画面である第２の画面を表示する第２の制御部と、を備え、前記第１の制御部または前記第２の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、ことを特徴とする表示制御システムとして構成される。

また、本発明の一態様にかかる表示装置は、ユーザが着用可能な表示装置であって、第１の表示部と、前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、前記第１の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および第２の表示部を有した前記第１の表示装置と通信可能な第２の表示装置に表示される実画面である第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、ことを特徴とする表示装置として構成される。

また、本発明の一態様では、上記表示制御システムで行われる表示制御方法としても把握される。

本発明の一態様によれば、ユーザの特徴に応じて情報の表示を調整することが可能となる。

透過型ＨＭＤの表示装置の実施例を示す図 透過型ＨＭＤの表示装置の実施例を示す図（他の例） 透過型ＨＭＤの表示装置の実施例を示す図（他の例） 透過型ＨＭＤの表示装置の一構成を示す図 情報処理装置の一構成を示す図 クラウドの情報処理装置の一構成を示す図 表示装置の使用開始における処理フローを示す図 表示装置の画面表示条件を判断する処理フローを示す図 表示装置の画面表示条件を判断する処理フローを示す図 表示装置の画面表示条件を学習する処理フローを示す図 表示装置の管理データの一構成を示す図（ユーザ情報） 表示装置の管理データの一構成を示す図（作業履歴） 表示装置の管理データの一構成を示す図（スキル情報） 表示装置の管理データの一構成を示す図（優先モード） 表示装置が表示する画面例を示す図 表示装置が表示する画面例を示す図 表示装置が表示する画面例を示す図 情報処理装置の一構成を示す図 表示装置がキャプチャした画像を情報処理装置の表示内容にリンク付けする例を示す図

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
以下、本発明の実施例について図面を用いて説明する。

以下、透過型ＨＭＤの表示装置および表示システムの実施例を示し、多くの情報を複数の画面上で効率良く表示することで、ユーザの作業を効果的に支援可能な表示装置が実現できることを示す。

まず、本実施例における透過型ＨＭＤの表示装置と、当該表示装置を用いた表示システムの構成を説明する。

図１Ａ（ａ）に、本実施例における透過型ＨＭＤの表示装置１０１（第１の表示装置）の概略図を示す。表示装置１０１は、演算機能、操作機能、表示機能を備え、複数のセンサを有するセンサ部１０２、情報を表示する表示部１０３（第１の表示部）、光源部１０４、操作部１０５、全体制御部１０６を有している。透過型ＨＭＤの表示装置１０１は、頭部に装着できる形状であれば眼鏡型で無くても良く、表示部１０３は片眼でも良い。センサ部１０２は、例えば表示装置１０１の中央部ではなく端に設置しても良いし、複数個所に分離して設置しても良い。また、光源部１０４は、センサ部１０２を利用する場合や周囲環境が暗い場合などに照射できるように設置する。例えば光源の照射範囲が狭い場合は複数の光源を設置する、両端に設置することにより照射範囲を広げることが可能である。

操作部１０５は、ボタンやスイッチ、タッチパッドのようにユーザが本表示装置１０１の電源ＯＮ／ＯＦＦや各種設定、データ入力が可能であれば良く、通信機能を備えて外付けの入力装置と連携することも可能である。全体制御部１０６は、ＣＰＵ（Central Processing Unit）とメモリ、電源、通信モジュールを含む。これらが独立して存在しても良いし、センサ部１０２や操作部１０５と一体型でも良い。

本形態は、ユーザは本表示装置１０１のみで作業実施することを想定し、表示装置１０１上で複数の仮想画面を表示することで多くの情報を空間上に提示する。

また、図１Ａ（ｂ）に示す通り、透過型ＨＭＤの表示装置１０１は表示機能のみを備え、通信線１０７を介して接続した別装置１０８に演算機能、操作機能を備える形態でも良い。機能を分割して別装置に搭載することで、頭部に装着する装置部分の小型化や軽量化を図ることが出来る。通信線１０７は、有線通信でも無線通信でも良い。無線通信の場合は、表示部１０１と別装置１０８を繋ぐ通信線が不要となり、ユーザが通信線の存在を気にすることなく作業を実施することができるため使用勝手が向上する。

図１Ｂは、前記表示装置１０１の別形態の概略図を示す。本例は別装置１０８と連携して表示機能を拡張する例を示している。別装置１０８の一例としては、ＰＣ（Personal Computer）１０８ａ、携帯端末やスマートフォン１０８ｂのほか、プロジェクタを用いることができる。具体的には、
通信線１０７を介して、透過型ＨＭＤの表示装置１０１と別装置１０８（第２の表示装置）が表示すべき画面を分担して表示する。例えば、表示すべき画面が３つ存在する場合、表示装置１０１が表示部１０３（仮想画面領域）に２つ、携帯端末１０８の表示部１０８ａ（実画面領域）に１つ表示する。実画面領域は、ＰＣの表示部１０８ｂであってもよい。それぞれの表示部への操作は、個々の操作部を使用しても良いし、どちらか一方の操作部を使用しても良い。

本形態は、ユーザへ提示する情報を増やすことができると同時に省スペース化が実現できる。また、表示するデータの“アクセスレベル”や“種類（図表あり、文書のみ等）”、使用するアプリの種類等によって仮想画面領域か実画面領域のいずれかへ表示するような制御も可能となる。例えば、顧客情報や機密情報は仮想画面領域に表示する、コミュニケーションアプリなど複数人と画面を共有するようなアプリは実画面領域に表示する、などが挙げられる。また、通信線１０７を介して複数の表示装置１０１の間で仮想画面領域を共有、あるいは各表示装置で異なる仮想画面領域を表示することが可能である。

図１Ｃは、前記表示装置１０１の別形態の概略図を示す。表示装置１０１、別装置１０８は、通信線１０７を介してインターネット１０９上にあるクラウドサービス１１０と接続している。クラウドサービス１１０は、複数の装置により提供され、画像認識サービスや翻訳サービス、情報検索サービスなど各種サービスを無料、有料で表示装置１０１や別装置１０８に提供する。別装置１０８は、表示装置１０１と同じ場所にあっても良いし、クラウドサービス１１０と同じ場所にあっても良く、それぞれ離れた場所に存在しても良い。

本形態は、上記図１Ｂの実画面、仮想画面への表示制御をよりきめ細かく、精度よく実行するために、クラウドサービス１１０から提供されるユーザの能力や習慣、作業内容を考慮して、画面の表示方法や表示内容を設定することが可能となる。

図２は、本実施の形態による表示装置１０１における構成の一例を示すブロック図である。本例は、頭部に装着する表示装置に操作機能と演算処理機能が一体となっている例（すなわち図１Ａ（ａ））である。

表示装置１０１は、センサ群１０２と、表示制御部２０７、表示部２０８ａ、２０８ｂを含む表示部１０３と、光源部１０４と、入力操作部２０５、音声入出力部２０６を含む操作部１０５と、制御部２０１、通信部２０２、電源部２０３、ＡＩエンジン群２０９、記憶部２１０を含む全体制御部１０６を有する。

制御部２０１は、ＣＰＵやＧＰＵ（Graphics Processing Unit）を有し、表示装置１０１全体の制御処理やリアルタイム画像処理についての演算を行う。

通信部２０２は、通信線１０７やインターネット１０９を介して他の装置やクラウドサービスとの間で制御コマンドや各種データの通信を行う。ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ(登録商標)、ＬＰＷＡ（Low-Power Wide Area），ＵＳＢ（Universal Serial Bus）など、１つ以上の通信方式を搭載する。通信部２０２は、外付けの操作部２０５を使用する場合、操作コマンドのやり取りにも使用する。

電源部２０３は、内蔵あるいは外付けの電池やバッテリである。

操作部２０５は、ボタンやタッチパネル、スイッチ、ダイヤル、外付けのマウス、キーボードを利用して、ユーザが表示装置１０１を操作する１つ以上の入力デバイスとデバイス制御用のドライバである。

音声入出力部２０６は、内蔵あるいは外付けのマイク、イヤホンである。

表示制御部２０７は、表示部２０８ａ、２０８ｂに表示する画面の位置やタイミングを制御する。

表示部２０８ａ、２０８ｂは、表示制御部２０７の指示に従い、表示部１０３（仮想画面）に画面を表示する。

ＡＩエンジン群２０９は、機械学習や深層学習で学習した結果のパラメータや閾値を用いて、ＡＩ（Artificial Intelligence）が様々な事象を推測、判断する。

記憶部２１０は、ＲＯＭ（Read only memory）やＦＲＯＭ（Flash ＲＯＭ）などの不揮発性メモリを有し、各種のパラメータやプログラムを格納する。記憶部２１０は、認証部２１０１、表示生成部２１０２、表示管理部２１０３、スキル管理部２１０４、ユーザ状態管理部２１０５を機能させるためのプログラムを記憶する。

認証部２１０１は、表示装置１０１と別装置１０８、クラウドサービス１１０との間で個人認証、機器認証、サービス認証などのアクセス制限を行う。

表示生成部２１０２は、表示制御部２０７を介して表示部２０８ａ、２０８ｂに表示する画面の内容や表示位置情報を生成する。

表示管理部２１０３は、表示制御部２０７を介して表示部２０８ａ、２０８ｂに表示中の画面の数やサイズ、画面とアプリケーションとの関連付け、アクティブ状態などを管理する。

スキル管理部２１０４は、ユーザの職種や職務経歴、経験年数、所有する資格などの静的情報と、使用するアプリやサービスの種類、使用する端末への操作の種類や使用頻度、作業履歴などの動的情報を生成し、管理する。静的情報は、スキルに関するユーザの属性情報であるとも言える。また、動的情報は、ユーザによるスキルの発揮対象についての使用情報であるとも言える。さらに、これらの静的情報や動的情報は、ユーザのスキルに関する特徴を示す情報であるとも言える。

ユーザ状態管理部２１０５は、後述するバイタル計測部２１１５を用いて表示装置１０１を装着したユーザの作業状態や疲労度などを取得し、管理する。

センサ群１０２は、画像センサやＧＰＳ（Global Positioning System）、加速度センサ、ジャイロセンサ、照度計などの各種センサを有し、撮像部２１１１、撮像部２１１２、慣性計測部２１１３、環境計測部２１１４、バイタル計測部２１１５を有している。

撮像部２１１１、撮像部２１１２は、静止画や動画を撮影する。撮像部２１１１はユーザの視界を撮影対象とし、撮像部２１１２はユーザ自身を含む周囲環境を撮影対象とする。

慣性計測部２１１３は、加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳを有し、ユーザの視線方向や視線位置、姿勢、現在位置を取得、推定する。

環境計測部２１１４は、照度計や温度・湿度計、マイクなどを有し、ユーザの周囲環境に関する情報を取得、推定する。

バイタル計測部２１１５は、心拍計や体温計、血圧計、脈拍計、脳波計などを有し、ユーザの身体情報を取得し、ユーザの体調や感情を推定する。

なお、記憶部２１０やＡＩエンジン群２０９は、本システムの外部に設けられていてもよい。例えば、記憶部２１０やＡＩエンジン群２０９が、本システムにネットワークを介して接続されているサーバ装置に設けられ、本システムから必要に応じてアクセスしてもよい。後述する図３、図４に示す記憶部やＡＩエンジン群の場合も同様である。

前述した図１Ａ（ａ）のケースは、ユーザが外出中や自宅、ハンズフリー作業中に、必要な情報をすべて仮想画面領域の任意の場所に表示して使用することを想定する。ユーザは、通信部２０２、操作部２０５を介して、Ｂｌｕｅｔｏｏｔｈ(登録商標)や無線ＵＳＢのマウスやキーボード、リモコン、音声で入力操作を行う。

前述した図１Ａ（ｂ）のケースは、表示装置１０１と別装置１０８が通信部２０２を介して接続される。表示装置１０１は、少なくとも図２の表示制御部２０７、表示部２０８ａ、２０８ｂ、センサ群２１１の撮像部２１１１、慣性計測部２１１３、制御部２０１の一部（例えば、これらの各部を制御するＩＣ（Integrated Circuit）チップ）を搭載する。それ以外は別装置１０８に搭載することを想定する。

図１Ｂのケースは、表示装置１０１は図２と同様の構成でも良いし、前述した図１Ａ（ｂ）と同様の構成でも良い。

ユーザは、オフィス以外の場所では図１Ａ（ａ）、１Ａ（ｂ）の形態で使用し、オフィスに戻ってくると図１Ｂの形態にシームレスに移行することができる。また、オフィスで図１Ｂの形態で作業した後、外出する時は図１Ａ（ａ）の形態に移行できる。移行する方法は、例えば、制御部２０１が、後述する表示装置１０１に搭載した各種センサを用いてユーザの現在位置を特定し、ユーザの現在位置がオフィス内か否かを判定する。そして、制御部２０１は、ユーザの現在位置がオフィス内であると判定した場合、自動的にあるいはユーザの指示により後述する図５の処理フローを行う。

図３は、本実施の形態による別装置１０８における構成図１Ｂの一例を示すブロック図である。本例は、前記表示装置１０１と連携、分担して画面表示を行う例である。

別装置１０８は、制御部３０１、通信部３０２、時間管理部３０３、電源部３０４、操作部３０５、音声入出力部３０６、表示制御部３０７、表示部３０８、ＡＩエンジン群３０９、記憶部３１０、センサ群３１１を有する。

ＡＩエンジン群３０９は、表示装置１０１のＡＩエンジン群２０９と同等以上の性能、あるいは異なる機能やアルゴリズムを備えたＡＩエンジンを有する。

センサ群３１１は、表示装置１０１のセンサ群２１１と同じセンサの他、ユーザの視線先をリアルタイムにトラッキングする視線追跡部３１１２を有する。視線追跡部３１１２は、撮像部２１１１であってもよい。

記憶部３１０は、認証部３１０１、表示生成部３１０２、表示管理部３１０３、スキル管理部３１０４、ユーザ状態管理部３１０５、最適表現変換部３１０６を有している。

認証部３１０１は、表示装置１０１の認証部２１０１との間で、お互いが正規に製造された装置であるか、そして正しいユーザがアクセス／使用しているか、を認証する。

表示生成部３１０２は、表示部３０８に表示する画面イメージ、あるいはイメージを生成するための情報を生成する。また、表示生成部３１０２は、制御部２０１と表示管理部２１０３の指示により、通信部３０２を介して接続された表示装置１０１の表示部２０８ａ、２０８ｂに表示する画面イメージ、あるいはイメージを生成するための情報を生成する。

表示管理部３１０３は、表示部３０８の領域を拡張するために、表示生成部３１０２で生成した表示画面を表示部３０８で表示するか、通信部３０２を介して接続された表示装置１０１で表示するか、あるいは両方で表示するかを判断する。そして、表示管理部３１０３は、表示装置１０１に表示すると判断した場合は、表示生成部３１０２で作成した表示画面あるいは情報を、制御部３０１と通信部３０２を経由して表示装置１０１に渡す。表示装置１０１の制御部２０１は、受信した表示画面を表示制御部２０７に渡して表示部２０８ａ、２０８ｂに表示する。

スキル管理部３１０４は、表示装置１０１のスキル管理部２１０４と同様、ユーザの能力・スキルに関する情報を生成し、管理する。本情報は、前記スキル管理部２１０４と同じ内容であっても良いし、別々の内容であっても良い。

ユーザ状態管理部３１０５は、センサ群３１１の撮像部３１１１や視線追跡部３１１２を用いて取得した情報を用いてユーザの身体状態、作業状態を管理する。表示装置１０１のユーザ状態管理部２１０５が管理する情報の全てあるいは一部を、通信線１０７を介して取得するようにしても良い。

最適表現変換部３１０６は、スキル管理部３１０４やユーザ状態管理部３１０５で管理するユーザのスキルや状態、あるいは表示管理部３１０３が判断した表示対象（表示部３０８か表示装置１０１か）に合わせて、画面に表示する内容を変換する。例えば、前記ユーザ状態管理部３１０５がユーザの疲労度が高いと判断した場合、最適表現変換部３１０６は、表示部３０８で表示する文字サイズを大きくする、あるいは表示装置１０１の仮想画面領域を小さくする。疲労度が高いか否かの判断は、例えば、ユーザ状態管理部３１０５が、センサ群３１１から得られたユーザの状態に関する情報と、あらかじめ定められた閾値とを比較し、ユーザの状態に関する情報が当該閾値よりも大きい場合、疲労度が高いと判断すればよい。上記閾値としては、例えば、過去のユーザの状態に関する情報の平均値を用いることができる。

図４は、本実施の形態によるクラウドサービス１１０における構成の一例を示すブロック図である。

クラウドサービス１１０は、制御部４０１、通信部４０２、時間管理部４０３、電源部４０４、操作部４０５、音声入出力部４０６、表示制御部４０７、表示部４０８、ＡＩエンジン群４０９、記憶部４１０を有している。

記憶部４１０以外の要素については、図２、図３の表示装置１０１、他の装置１０８と同様である。なお、時間管理部４０３は、タイマやクロックである。

記憶部４１０は、ユーザ管理部４１０１、画面表示条件学習部４１０２、スキル学習部４１０３、作業履歴管理部４１０４を有する。

ユーザ管理部４１０１は、本クラウドサービスを利用するユーザに関する情報を作成、管理する。

画面表示条件学習部４１０２は、前記ユーザ管理部が管理するユーザ毎に、画面表示に関わる条件をＡＩエンジン群により学習し、最適な配置条件を取得する。

スキル学習部４１０３は、前記ユーザ管理部が管理するユーザ毎に、作業に関わる知識や経験に関わる条件をＡＩエンジン群により学習し、ユーザのスキル条件を取得する。

作業履歴管理部４１０４は、前記ユーザ管理部が管理するユーザ毎に、実施した作業に関する情報を作成、管理する。

図５は、本実施の形態による表示装置１０１をユーザが使用開始する場合の処理フローを示す。処理に必要なデータや画面例は、図９Ａ～Ｄ、図１０を用いて説明する。

本処理フローでは、ユーザが別装置１０８を使用中に表示装置１０１を装着した場合（図１Ａ）を想定している。また、前述した図１Ｂのケースを想定する。

表示装置１０１の制御部２０１は、ユーザが表示装置１０１の装着を検知すると、認証部２１０１を用いてユーザの認証処理を行う。認証処理は、操作部２０５を用いたパスワード入力、音声入出力部２０６を用いた音声入力、バイタル計測部２１１５から取得したユーザの身体情報（脈波、脳波）、撮像部２１１１、２１１２を用いた指紋や顔、などの1つ以上の情報を用いて、認証部２１０１に予め登録されたユーザか否かを判定する。

図９Ａにユーザ情報９００の一例を示す。ユーザ情報９００は、ユーザＩＤ９０１、パスワード９０２、所属９０３、役職９０４、端末番号９０５を有する。本ステップではユーザＩＤ９０１、パスワード９０２を使用する（ステップ５０１）。ステップ５０１が行われることにより、ユーザと表示装置１０１とが紐付けされる。

次に、制御部２０１は、慣性計測部２１１３を用いてユーザの現在位置を取得し、環境計測部２１１４を用いてユーザの現在位置の気温や照度、騒音を取得し、撮像部２１１１を用いてユーザの視線先の画像を取得する（ステップ５０２）。ステップ５０２が行われることにより、ユーザの現在位置周辺における環境に関する各種情報が取得される。

制御部２０１は、認証部２１０１に予め登録した位置情報（例えば、ユーザ情報９００内の所属９０３）とステップ５０２で取得した情報を用いて、ユーザの位置を特定する。また、制御部２０１は、ＡＩエンジン群２０９の画像認識機能を用いて、撮像部２１１１で撮影した画像の中から、ユーザが作業で使用する実画面領域（ＰＣやスマートフォン等のディスプレイ、プロジェクタ画面、デジタルサイネージ）を検出する（ステップ５０３）。ステップＳ５０３が行われることにより、表示装置１０１を介したユーザの視線上にある実画面領域と、表示装置１０１とのペアリングが完了する。

ステップ５０３で実画面領域が検出できた場合、制御部２０１は、その実画面領域が認証部２１０１に登録したもの（例えば、ユーザ情報９００内の情報アクセスレベル９００９や端末番号９０５）であるか否かを判定する。例えば、ユーザが自分のオフィス内で、複数人で共有するＰＣを使用する場合などである（ステップ５０４）。

ステップ５０４において、制御部２０１は、実画面領域が認証部２１０１に登録したものであると判定した場合（ステップ５０４；Ｙｅｓ）、認証部２０１０と通信部２０２を介して、実画面領域を表示している別装置１０８の認証部３１０１との間で、お互いが正規の装置であり、お互いに情報をやり取りして良いか否かを認証する（ステップ５０５）。ステップ５０５が行われることにより、表示装置１０１とステップ５０３でペアリングした実画面領域を表示している別装置１０８とが互いに正規の装置であると認証される。

正しく認証できた場合、制御部２０１は、表示管理部２１０３や表示制御部２０７を用いてユーザが現在表示装置１０１上で作業中か否かを判定し、作業中であればその作業を保存するか否かを決定する（ステップ５０６）。ステップ５０６が行われることにより、作業中の画面が一旦保存される。作業中であるか否かは、例えば、実画面領域に表示されている画面がアクティブであるか否かにより判定すればよい。

ステップ５０６で現在作業中の情報を保存した場合（ステップ５０６；Ｙｅｓ）、制御部２０１は、別装置１０８の制御部３０１と通信部を介して、画面表示内容の同期を行う。例えば、制御部２０１は、表示装置１０１で表示されている作業中のファイルが別装置１０８上でも表示されている場合、必要に応じて更新あるいは別ファイル名で保存するなどの処理を行う（ステップ５０７）。

その後、制御部２０１は、別装置１０８の制御部３０１との間で表示する画面を整理する必要があるか否かを判定する。判定する手順については、後述する（ステップ５０８）。

両者で整理すると判定した場合（ステップ５０８；Ｙｅｓ）、表示装置１０１の制御部２０１は、別装置１０８の制御部３０１との間で、それぞれが画面表示する情報について共有する。具体的には、表示装置１０１の表示管理部２１０３と他の別装置１０８の表示管理部３０１３の間で、図９Ｂの作業履歴９０００を作成・更新する。

作業履歴９０００は、作業ＩＤ９００１、実施日９００２、時間９００３、端末番号９００４、作業名９００５、アプリ情報９００６、画面情報９００７、入力操作情報９００８、情報アクセスレベル９００９を有する。

作業ＩＤ９００１は、ユーザが現在を含む所定の期間に実施中／実施した作業の識別子である。実施日９００２、時間９００３、端末番号９００４は、前記作業の実施日と使用した時間および端末番号を示す。作業名９００５、前記作業の分類名であり、ユーザの所属、役職に応じた分類名を定義できる。アプリ情報９００６は、前記作業に使用したアプリケーションの分類名である。画面情報９００７は、前記アプリ情報９００６を使用した際に表示した画面数や表示サイズ、実画面領域１００１（表示部３０８）や仮想画面領域１００２、１００３（表示部２０８ａ、２０８ｂ）における画面の位置、画面の参照・更新頻度などを示す。入力操作情報９００８は、前記作業に使用した操作方法を示す。情報アクセスレベル９００９は、前記作業の実施する際に使用および参照した情報のセキュリティレベルを示す。

表示装置１０１と別装置１０８は、自身の端末番号９００４に係る作業履歴９０００を保持・管理し、現在表示中の情報についても画面毎に作成する。作業履歴９０００は、両者で同じ情報を共有しても良いし、どちらか一方の装置で保持・管理するようにしても良い（ステップ５０９）。

図１０は、別装置１０８を想定したＰＣのディスプレイである実画面領域１００１と、表示装置１０１が表示する仮想画面領域１００２、１００３上に、それぞれ画面表示した例を示す。例えば、表示装置１０１の表示部２０８ａが仮想画面領域１００２を表示し、表示装置１０１の表示部２０８ｂが仮想画面領域１００３を表示する。表示装置１０１の制御部２０１は、慣性計測部２１１３と撮像部２１１１、撮像部２１１２、ＡＩエンジン群２０９を用いて、ユーザから見える実画面領域１００１の３次元位置を決定し、その位置に重ならないように、仮想画面領域１００２、１００３を配置する。ここで、表示する画面内容の格納場所を明確にするために、制御部２０１は、例えば表示装置１０１の画面のどこかにマーク１００４を明示する。図１０では、仮想画面領域１００２に表示されている２つの画面には、仮想画面であることを示すマークＶ（Virtual）が付されており、これらの画面が仮想画面である（すなわち、表示装置１０１が表示している画面である）ことがわかる。また、実画面領域１００１に表示されている手前側の画面１００１ａには仮想画面であることを示すマークＶが付される一方、奥側の画面１００１ｂには当該マークが付されていないため、前者は表示装置１０１が表示する仮想画面であり、後者は別装置１０８が表示する実画面であることがわかる。このように、ユーザは、表示画面が、仮想画面領域に表示されていた画面か、実画面領域に表示されていた画面のどちらのものか把握しやすくなる（ステップ５１０）。

以上から、ユーザは、表示装置１０１を装着すると、眼前周辺に存在する実画面領域を検出して自動的に接続し、実画面領域の周辺に仮想画面領域を表示することができる。これにより、実画面領域を増設することなく表示する情報量を増やすことができる。

ここで、上記ステップ５０３で表示装置１０１の制御部２０１が別装置１０８を検出しているが、別装置１０８の制御部３０１が撮像部３１１１とＡＩエンジン群３０９を用いて表示装置１０１を検出しても良い。

また、図１０の画面例では、表示する画面を表示装置１０１と別装置１０８のそれぞれに振り分けているが、実画面領域１００１と仮想画面領域１００２、１００３の両方に別装置１０８が表示する画面を表示しても良い。また、実画面領域１００１と仮想画面領域１００２、１００３に表示させる画面を、表示装置１０１が表示する画面だけに限定しても良い。さらには、実画面領域１００１と仮想画面領域１００３は別装置１０８が表示する画面とし、仮想画面領域１００２は表示装置１０１が表示する画面を表示するなど、画面領域によって使用装置を決めても良い。

また、本処理フローは、ユーザが別装置１０８を使用中に表示装置１０１を装着した場合を想定しているが、表示装置１０１を装着時に別装置１０８を起動した場合でも同様の手順が可能である。

図６は、本実施の形態による表示装置１０１あるいは別装置１０８が、表示する画面の配置を整理する条件判断処理フロー（図５のステップ５０８）を示す。本処理フローでは、ユーザが別装置１０８を使用中に表示装置１０１を装着した場合を想定している。処理に必要なデータは、図９Ａ～Ｄを用いて説明する。

ここで、本条件判断処理フローは、図９Ｄの優先モード９２００の設定値にしたがい、表示装置１０１、別装置１０８のどちらが判断するかを決定する。優先モード９２００は、表示管理部２１０３、３１０３が保持・管理する。優先モード９２００は、ユーザＩＤ９２０１、優先表示対象９２０２、優先制御対象９２０３を有する。優先表示対象９２０２は、どちらの装置を優先して画面表示するかを決定するための項目である。当該項目には、表示先となる別の装置１０８（「実画面領域」）、または表示先となる表示装置１０１（「仮想画面領域」）のいずれかが設定される。同様に、優先制御対象９２０３は、どちらの装置の操作を優先させるかを決定するための項目である。当該項目には、優先表示対象９２０２の場合と同様、別の装置１０８（「実画面領域」）、または表示装置１０１（「仮想画面領域」）のいずれかが設定される。本例では、どちらも「実画面領域」、すなわち別装置１０８としている。

別装置１０８の制御部３０１は、環境計測部３１１４を用いて、ユーザ周辺の温度や湿度、照度、騒音などを計測する。あるいは、表示装置１０１の環境測定部２１１４で計測した情報を取得しても良い（ステップ６０１）。

また、制御部３０１は、自身の表示管理部３１０３と表示装置１０１の制御部３０１から、実画面領域１００１と仮想画面領域１００２、１００３に現在表示している画面の情報を取得する。すなわち、制御部３０１は、前記作業履歴９０００の中から時間９００３に終了時刻が未記載の（あるいはウィンドウがアクティブになっている）情報である現在表示中の情報を抽出する。そして、制御部３０１は、それらの画面のレイアウト（全部表示されている、重なりがある、隠れているなど）を取得する（ステップ６０２）。

次に、制御部３０１は、スキル管理部３１０４から図９に示すスキル情報９１００を取得する（ステップ６０３）。なお、本実施例では、ユーザのスキルに関する情報を用いて、スキルレベルに応じた仮想画面、実画面を表示する際の調整方法について説明しているが、ユーザのスキルレベル以外のユーザに関する情報（例えば、ユーザの年齢、性別、国籍といったユーザの特徴をあらわす属性を示す情報）を用いて、ユーザに応じて仮想画面や実画面の表示を調整してもよい。

スキル情報９１００は、ユーザＩＤ９１０１、入社年度９１０２、職務経歴情報９１０３、資格情報９１０４、作業別特徴９１０５を有する。

職務経歴情報９１０３は、ユーザの現在および過去の職務の経歴を示す情報であり、作業ＩＤと当該作業ＩＤにより識別される作業の評価とが対応付けられた職務データが、１または複数記憶される。

資格情報９１０４は、ユーザが保持している、または過去に保持していた資格に関する情報である。

作業別特徴９１０５は、前記作業履歴９０００内の作業名９００５、アプリ情報９００６、入力操作情報９００８に記載された作業に対して、表示した画面数や画面サイズの平均値／最大値／最小値、使用したアプリ、入力操作時間、平均作業時間などの統計値、設定値を示す。これらの情報は、例えば、スキル管理部３１０４が、ユーザ情報９００の中から、ユーザＩＤ９１０１と同じユーザＩＤ９０１を含むユーザ情報を検索し、検索したユーザ情報に含まれる端末番号９０５を読み取る。スキル管理部３１０４は、作業履歴９０００の中から、読み取った端末番号９０５と同じ端末番号９００４を含む作業履歴を読み取り、読み取った作業履歴に含まれる時間９００３、作業名９００５、アプリ情報９００６、画面情報９００７、入力操作情報９００８等の情報を読み出し、読み出したこれらの情報を集計する等して上記統計値や設定値を算出することにより、設定される。

ステップ６０２で取得した現在表示中の画面情報、ステップ６０３で取得した作業別特徴９１０５を用いて、制御部３０１は、現在の作業内容を特定する（ステップ６０４）。作業内容の特定は、例えば、制御部３０１が、作業履歴９０００のアプリ情報９００７（例えば、文書作成ソフト）を参照して、ユーザが作業中のアプリケーションを特定し、特定したアプリケーションについての作業別特徴９１０５を読み取る。制御部３０１は、読み出した作業別特徴９１０５と、作業履歴９０００の時間９００３、作業名９００５、アプリ情報９００６、画面情報９００７、入力操作情報９００８等の情報とから、現在作業中のアプリケーションの作業内容（例えば、キーボード入力の有無や入力内容、入力時間）に関する情報を集計し、出力する。上記現在作業中のアプリケーションには、アクティブとなっているアプリケーションの画面のほか、操作画面領域に表示中の他のアプリケーションの画面を含む。

次に、制御部３０１は、表示カウンタ（Cnt）を現在の表示画面数（Dn）に設定し（ステップ６０５）、表示カウンタ（Cnt）が画面数の最大値（Dm）以上であるか否かを判定する（ステップ６０６）。表示カウンタは、例えば、制御部３０１が、スキル情報９１００の作業別特徴９１０５として記憶されている画面数の最大値や平均値を設定してもよい。当該画面数を設定することにより、通常、ユーザが同時に操作画面領域に表示する画面数を設定することができる。

制御部３０１は、表示カウンタが最大値に達していると判定した場合、すなわち表示されている全ての画面について、以下の処理を行ったと判定した場合は（ステップ６０６；Ｙｅｓ）、ステップ６０４で特定した作業内容のうち、作業履歴９０００の時間９００３で参照頻度が最小値未満の作業、あるいは画面情報９００７から画面サイズが最小値未満の作業を抽出する（ステップ６０７）。すなわち、制御部３０１は、現在表示している画面に対する作業履歴の中で、直近の作業時刻から現在までに行われた操作があらかじめ定められた最小値未満である場合、あるいは現在表示している画面の画面サイズがあらかじめ定められた最小値未満である場合には、使用頻度が低く、ユーザにとって優先度が低い作業であると判断し、当該作業を特定する。

制御部３０１は、ステップ６０７で該当する作業が抽出できたと判定した場合（ステップ６０７；Ｙｅｓ）、表示管理部３１０３に指示し、その作業に関する画面の情報を保持する（ステップ６０８）。一方、制御部３０１は、ステップ６０７で該当する作業が抽出できなかったと判定した場合は（ステップ６０７；Ｎｏ）、参照頻度が最も低い画面情報を保持する（ステップ６１０）。

その後、制御部３０１は、表示カウンタ（Cnt）を－１デクリメントし、表示カウンタが最大値（Dm）未満になるまでステップ６０６～６０９を繰り返す。

制御部３０１は、表示カウンタ（Cnt）が最大値（Dm）未満になったと判定した場合（ステップ６０６；Ｙｅｓ）、表示カウンタが表示画面数（Dn）と同じであるか否かを判定する（ステップ６１１）。ステップ６１１において、値が異なる場合は、画面数が最大値に達しており、ステップ６０６～６０９が１回以上実行されたことを示す。

制御部３０１は、ステップ６１１で値が異なると判定した場合（ステップ６１１；Ｙｅｓ）、表示管理部３１０３に指示し、ステップ６０８あるいはステップ６１０で保持した画面情報について仮想画面使用フラグを設定する（ステップ６１２）。そして、制御部３０１は、仮想画面使用フラグが設定された作業の画面は表示装置１０１の仮想画面領域で表示するよう、表示装置１０１に通知する。表示装置１０１の制御部２０１は、表示管理部２１０３に指示し、該当する作業画面を仮想画面領域で表示を行う（ステップ６１３）。

以上から、実画面領域に表示する画面数が増えた場合、あるいは作業対象の画面サイズが小さい場合、あるいは表示中で参照頻度が低下した画面が存在する場合、該当するそれらの画面を実画面領域から仮想画面領域へ移動させることにより、主たる作業対象となる実画面領域に表示する情報を増やすことが可能となる。

なお、上記ステップ６０１から６０３は順番が入れ替わっても良い。また、優先モード９２００の表示優先９２０２が「仮想画面領域」の場合、図６の処理フローは表示装置１０１側が実施しても良い。

図７は、図６と異なる他の例の条件判断処理フローを示す。図６と同様、本処理フローもユーザが別装置１０８を使用中に表示装置１０１を装着した場合について説明する。ステップ７０１から７０４については、前述のステップ６０１から６０４と同様の処理を行うため、ステップ７０５以降の処理について説明する。

次に、別装置１０８の制御部３０１は、アクセス制限カウンタ(Acnt)を初期化し（ステップ７０５）、ステップ７０４で抽出した作業に関する作業履歴９０００の情報アクセスレベル９００９を参照し、当該画面に表示する情報がアクセス制限付きであるか否かを判定する。情報アクセスレベルは任意に定義することができ、例えば、「０：アクセス制限なし」「１：社内アクセス限定」「２：部内アクセス限定」「３：チームアクセス限定」と定義する。ステップ７０４で特定した作業に関する作業履歴９０００内の情報アクセスレベル９００９が「２：部内アクセス限定」であった場合、この作業はアクセス制限付きであると判断する（ステップ７０６）。

ここで、制御部３０１は、ステップ７０１で取得した環境情報から現在位置を推定し、現在位置と情報アクセスレベルの関係をステップ７０６の判断に組み込んでも良い。例えば、制御部３０１は、前記情報アクセスレベル９００９が「２：部内アクセス限定」であって、現在位置をオフィスと推定した場合は、作業はアクセス制限付きでは無いと判断する。前記情報アクセスレベル９００９が「２：部内アクセス限定」、現在位置をオフィス以外と推定した場合は、作業はアクセス制限付きであると判断する。

制御部３０１は、ステップ７０６でアクセス制限付きであると判定した場合（ステップ７０６；Ｙｅｓ）、現在の場所での使用が好ましくないと判断し、表示管理部３１０３に指示し、その作業に関する画面の情報を保持する（ステップ７０７）。そして、制御部３０１は、アクセス制限カウンタ(Acnt)を＋１インクリメントする（ステップ７０８）。制御部３０１は、ステップ７０６～７０８までの処理を、現在表示中のすべての画面について行う。

制御部３０１は、ステップ７０６でアクセス制限付きでないと判定した場合（ステップ７０６；Ｎｏ）、アクセス制限付きの作業を全て抽出したと判断し、さらに、作業にコミュニケーションアプリを使用しているものがあるか否かを判定する（ステップ７０９）。コミュニケーションアプリは、例えばチャットツールやビデオ会議など、複数のユーザがネットワーク接続された複数の場所から情報を送受信可能なアプリケーションを指す。

制御部３０１は、ステップ７０９でコミュニケーションアプリを使用しているものがあると判定した場合（ステップ７０９；Ｙｅｓ）、アプリが表示した前画面やコミュニケーションのサマリー、音声を文字に書き起こした表示のほか、現時点のコミュニケーションで使用しない間接的な内容など、現在の表示画面を拡張して表示する内容を決定し（ステップ７１０）、コミュニケーションアプリ使用フラグを設定する（ステップ７１１）。すなわち、制御部３０１は、コミュニケーションアプリを使用している場合、チャットや会話等における個々のコミュニケーション（例えば、１往復の会話）の履歴を一定期間分集約したサマリー画面を、上記拡張して表示する内容として生成し、当該サマリー画面についてコミュニケーションアプリ使用フラグを設定する。以下に示すように、コミュニケーションアプリ使用フラグが設定された上記サマリー画面は、実画面領域の表示対象から仮想画面領域の表示対象となる。コミュニケーションアプリ使用フラグは、拡張して表示する内容が無い場合に０と設定し、それ以外の場合に１以上の値を設定するものとする。

次に、制御部３０１は、ステップ７０９でコミュニケーションアプリを使用しているものがないと判定した場合（ステップ７０９；Ｎｏ）、あるいはステップ７１１でコミュニケーションアプリ使用フラグを設定した場合、作業にグラフィックアプリを使用しているものがあるか否かを判定する（ステップ７１２）。グラフィックアプリは、例えばＣＡＤ（Computer-Aided Design）、画像制作など、２Ｄ／３Ｄ設計図や回路図、配置図を作成するアプリケーションを指す（ステップ７１２）。

制御部３０１は、ステップ７１２でグラフィックアプリを使用しているものがあると判定した場合（ステップ７１２；Ｙｅｓ）、アプリが表示している画面の拡大表示、あるいは２Ｄ（３Ｄ）から３Ｄ（２Ｄ）へ変換した画面のほか、現時点のグラフィック表示で使用しない間接的な内容など、現在の表示画面を拡張して表示する内容を決定し（ステップ７１３）、グラフィックアプリ使用フラグを設定する（ステップ７１４）。以下に示すように、グラフィックアプリ使用フラグが設定された上記画面は、実画面領域の表示対象から仮想画面領域の表示対象となる。グラフィックアプリ使用フラグは、拡張して表示する内容が無い場合に０と設定し、それ以外の場合に１以上の値を設定するものとする。

制御部３０１は、アクセス制御カウンタ、コミュニケーションアプリ使用フラグ、グラフィックアプリ使用フラグの設定値を確認し、いずれかの設定値が１以上の場合は、該当する表示画面に仮想画面使用フラグを設定し（ステップ７１５）、表示装置１０１の仮想画面領域に表示するよう、表示装置１０１に通知する。表示装置１０１の制御部２０１は、表示管理部２１０３に指示し、該当する作業画面の表示を行う（ステップ７１６）。

以上から、スキルレベルに応じて表示している画面のうち、顧客情報や経営情報など、セキュリティ上の配慮が必要となる表示内容が存在する場合、該当するそれらの画面を仮想画面領域で表示することにより、ユーザ以外の人がその表示内容を見ることはできないため、情報漏洩を防止することが可能となる。図１１に画面例を示す。

図１１は、アクセス制限付きの画面を仮想表示領域に表示する場合の例を示す図である。図１１では、仮想画面領域１００２には、アクセス制限付きの情報（他社情報、経営情報）を表示する２つの画面が表示され、また、仮想画面領域１００３には、アクセス制限付きの他の情報（顧客情報Ａ～Ｃ）を表示する３つの画面が表示されていることを示している。また、実画面領域である表示装置１０１には、図１０の場合と同様に、仮想画面である画面１００１ａと、実画面である画面１００１ｂとが表示されている。したがって、表示装置１０１を着用したユーザＵ１は、実画面領域１００１に表示されているアクセス制限付きではない画面１００１ａと画面１００１ｂのほか、さらにアクセス制限付きの画面の両方を視認することができる一方、表示装置１０１を着用していないユーザＵ２は、後者の画面を視認することはできないこととなる。

また、チャットツールを使用する場合、１画面で表示できる情報量には制限があり、リアルタイムにその内容が更新されていくため、少し前にやり取りした内容が分からなくなる。そこで、画面上に表示できなくなった内容を仮想画面領域に表示することで、すぐに前のやり取りを参照することができる。また、画面上に表示できなくなった内容のサマリーをAIエンジン群３０９を用いて作成し、仮想画面領域に常に表示することで、コミュニケーションした内容を容易に把握することができる。図１２に画面例を示す。

図１２はコミュニケーションアプリ使用フラグが設定された画面を仮想表示領域に表示する場合の例を示す図である。図１２では、仮想画面領域１００２には、チャットツールでやりとりしたときのサマリー情報を表示する画面Ｓ１が表示され、また、仮想画面領域１００３には、チャットツールで過去にやりとりした個々のチャット画面Ｓ３、Ｓ４が表示されていることを示している。また、実画面領域である表示装置１０１には、最新のチャット画面Ｓ１が実画面として表示されている。したがって、表示装置１０１を着用したユーザは、実画面領域では最新のチャットの内容を確認しつつ、その両側に表示された仮想画面領域ではチャットのサマリー情報や過去のチャットの内容を必要に応じて確認することができ、最新のチャットの内容に集中することができる。また、図１１の場合と同様に、仮想画面領域に表示された画面Ｓ１～Ｓ３の内容を第三者に見られてしまうことがなくなる。

ここで、前記図６と図７の条件判断処理フローは、併用して使用しても良いし、作業毎に個別に使用しても良い。

図８は、前記図６、図７に示した判断条件（ステップ６０３、７０３）を学習するためのデータ生成処理フロー（ａ）と学習処理フロー（ｂ）を示す。具体的には、作業履歴９０００の生成・更新処理と、スキル情報９１００の作業別特徴９１０５の生成・更新処理を指す。本実施例では、表示装置１０１を使用した場合のデータ生成処理フロー（ａ）について説明するが、別装置１０８においても同様である。

ユーザが表示装置１０１の電源を投入すると、制御部２０１は、図示しないタイマから起動時刻を取得し（ステップ８０１）、電源投入時に自動的に起動する作業アプリあるいはスケジュールアプリで管理された作業に関する情報（例えば、作業履歴９０００の作業ＩＤ９００１、実施日９００２、時間９００３、端末番号９００４、作業名９００５、アプリ情報９００６、アクセスレベル９００９）を取得する（ステップ８０２）。実施日９００２と開始時間９００３については、ステップ８０１で取得した起動時刻からを設定すればよい。そして、制御部２０１は、表示カウンタ（Vcnt）を初期化した後、現在表示装置１０１が電源シャットダウン中か否かを判定する（ステップ８０４）。電源シャットダウン中か否かを判定する理由は、ユーザが表示装置１０１を起動中の作業について、以下の処理を行うためである。

制御部２０１は、電源シャットダウン中でないと判定した場合（ステップ８０４；Ｎｏ）、ステップ８０２で取得した現在起動中のアプリに関する情報を作業履歴９０００に記録、更新し（ステップ８０５）、それらの情報が作業履歴９０００に存在するか否かを判定する（ステップ８０６）。ここで、電源投入時、ステップ８０５では、ステップ８０２で取得したアプリに関する情報が作業履歴９０００に記録、更新されるが、新規アプリについては作業履歴９０００に存在しないため、一旦メモリに記憶される。

制御部２０１は、ステップ８０６で取得した情報が作業履歴９０００に存在しないと判定した場合（ステップ８０６；Ｎｏ）、前記表示カウンタ（Vcnt）を＋１インクリメントし（ステップ８０７）、該当作業アプリに対する操作部２０５および音声入出力部２０６からの入力操作に関する情報（例えば、作業履歴９０００の入力操作情報９００８）の記録を開始する。例えば、制御部２０１は、単位時間あたりのマウスのクリック数、キーボードのタイプ数をカウントする（ステップ８０８）。

また、制御部２０１は、表示管理部２１０３で管理するその作業アプリの表示画面数や表示画面サイズを取得し、画面数やサイズが変更されたか否かの検知を開始するとともに、検知したこれらの画面情報（例えば、作業履歴９０００の画面情報９００７）を取得する（ステップ８０９）。そして、制御部２０１は、新規アプリについて、表示管理部２１０３を用いて作業アプリに関する作業履歴９０００を作成し、任意の作業ＩＤ９００１を付与し、ステップ８０２で取得した実施日９００２と開始時間９００３を設定する。また、端末番号９００４に自身の端末番号（例えば、表示装置１０１の端末番号ＨＭＤ－８）を設定し、作業名９００５とアプリ情報９００６にステップ８０５で取得した情報を設定する。そして、制御部２０１は、画面情報９００７には、ステップ８０９で検知を開始した単位時間辺りの表示画面数や画面サイズを設定する。同様に、制御部２０１は、入力操作情報９００８には、ステップ８０８でカウントを開始したマウスやキーボードの単位時間あたりの入力数を設定する（ステップ８１０）。

制御部２０１は、ステップ８０６で取得した情報が作業履歴９０００に存在すると判定した場合（ステップ８０６；Ｙｅｓ）、該当作業アプリが終了したか否かを判定し（ステップ８１１）、終了していないと判定した場合（ステップ８１１；Ｎｏ）は、ステップ８０４に戻り、シャットダウンされるまで作業履歴９０００を記録、更新する。

一方、制御部２０１は、ステップ８１１で該当作業アプリが終了したと判定した場合（ステップ８１１；Ｙｅｓ）、現在時刻を取得し（ステップ８１２）、該当する作業履歴９０００の時間９００３（終了時刻）を設定し、画面情報９００７と入力操作情報９００８を最終更新し（ステップ８１３）、表示カウンタ（Vcnt）を－１デクリメントした後（ステップ８１４）、ステップ８０４に戻る。

制御部２０１は、電源が投入されている間は、前記ステップ８０４から８１４の処理を継続する。そして、ユーザによりシャットダウンが指示された場合は、作成した１つ以上の作業履歴９０００を表示学習データとして表示管理部２１０３に格納する（ステップ８１５）。

このような処理を行って作業履歴９０００を記録、更新することにより、日常的にユーザが表示装置１０１（あるいは別装置１０８）に対してどのようなアプリを用いてどのような環境で作業を行っているのかといった学習のための元データを得ることができる。

次に、表示装置１０１を使用した場合の学習処理フロー（ｂ）について説明する。前記ステップ８１５で表示管理部２１０３に格納された表示学習データとしての作業履歴９０００は、定期的に制御部２０１によって以下のように使用される。

制御部２０１は、表示管理部２１０３から任意のタイミングで前記表示学習データを取得し（ステップ８２０）、ＡＩエンジン群２０９に入力するデータを生成する（ステップ８２１）。具体的には、作業ＩＤ９００１以外の作業履歴９０００内の２つ以上の項目と、ユーザＩＤ９１０１以外のスキル情報９１０１内の１つ以上の項目を利用し、入力データを生成する。

その後、制御部２０１はＡＩエンジン群２１０９で保持する学習パラメータを取得し（ステップ８２２）、その学習パラメータとＡＩエンジン群２１０９を用いて機械学習を実行する（ステップ８２３）。ここで、機械学習の手法は、統計的手法やディープラーニングなど一般的な手法を使用する。

制御部２０１は、ステップ８２３で学習した結果、得られたパラメータを新たな学習パラメータとしてＡＩエンジン群２１０９に登録し（ステップ８２４）、学習パラメータを使用した結果をスキル情報９１００の作業別特徴９１０５に格納する（ステップ８２５）。

以上から、作業アプリ毎に画面の表示数や表示サイズ、参照頻度の閾値を作成、更新することにより、ユーザのスキルや作業内容に合わせて画面の表示位置を最適化することで、多くの情報を効果的に表示しながら作業を行うことが可能となる。ここで、図１Ｃの構成を用いて、図８（ｂ）の学習処理フローをクラウド側で実行しても良い。

以下、透過型ＨＭＤの表示装置および表示システムの実施例を示し、表示装置で取得した静止画あるいは動画を簡単に他の情報処理装置上の表示内容とリンク付けすることで、ユーザの作業を効果的に支援可能な表示装置が実現できることを示す。

図１３は、本実施例における透過型ＨＭＤの表示装置１３００の一構成を示すブロック図である。本例は、図１Ａ（ａ）と同じ形態を想定しているが、実施例１に記載した図１Ｂ、１Ｃにも適用できる。

表示装置１３００は、前記表示装置１０１の構成に加えて、コンテンツ認識部１３０１、リンク管理部１３０２を備える。

コンテンツ識別部１３０１は、別装置１０８が表示する実画面領域、あるいは表示部２０８に表示中のコンテンツ、あるいは撮像部２１１１で記録中／記録済のコンテンツに含まれるテキストや画像情報、それらの位置情報を取得する。具体的には、ＯＣＲ（Optical Character Recognition/Reader）やＡＩエンジン群２０９を用いた画像認識を用いて、これらの情報を取得する。

リンク管理部１３０２は、前記コンテンツ識別部１３０１で取得したテキストや画像情報を、別の実画面領域や表示中のコンテンツに関連付けを行い、そのリンク情報を管理する。なお、撮像部２１１２にかえて、視線追跡部３１１２（検知部）を用いてもよい。

例えば、図１４は、ユーザが表示装置１３００で撮影した動画像１４０１を、別装置１０８で表示中の作業アプリの任意の箇所にリンク付けした場合を示している。図１４では、表示装置１３００の制御部２０１は、撮像部２１１１、２１１２が撮像した３つの動画像１４０１を読み出して仮想画面領域１４００に配置（コピー）し、動画像１４０１を再生するための再生ボタン１４０２と、動画像１４０１を別装置１０８にリンクをはる（ペースト）するためのリンクボタン１４０３とを配置している。以下では、制御部２０１は、図５から図７で示したように、ユーザのスキルレベルや特徴をあらわす属性に応じて、表示装置１０１の仮想画面領域に表示する画面の数や別装置１０８の実画面領域に表示する画面の数を調整された場合を示している。

表示装置１３００を装着したユーザは、撮像部２１１１、２１１２を用いて、オフォス以外の場所に設置した家電製品や実験装置などの実物Ｃ１を操作する動画像を撮影、あるいは参照している紙の書類やマニュアルＣ２の内容を撮影Ｒする。そして、表示装置１３００は、撮像部２１１１、２１１２が撮影Ｒした画像の一覧画面を、表示部２０８が表示する仮想画面領域１４００に表示する。当該一覧画面に表示する画像の数は、ユーザのスキルレベルや特徴をあらわす属性に応じて定められる。

ユーザは、操作部１０５を用いて前記一覧画面上で任意の動画像１４０１ａを選択し、再生ボタン１４０２の再生指示を受け付けると、制御部２０１は、表示生成部２１０２、表示管理部２１０３を用いて選択画像を再生する。

その後、ユーザがオフィスの自席へ戻り、別装置１０８の操作部３０５や音声入出力部３０６を用いて、ディスプレイ１００１に表示した任意の作業アプリ、あるいは作業アプリの任意の場所にカーソルを移動させる。制御部２０１は、操作部１０５を介して、ユーザから前記一覧画面上のリンクボタン１４０１の押下を受け付けると、ディスプレイ１００１に表示している画面の上記カーソルの位置に選択した画像が移動され、挿入される。

具体的には、制御部２０１は、ユーザから前記一覧画面上のリンクボタン１４０３の押下を受け付けると、通信部２０２を介して、別装置１０８上で動作する作業アプリに選択した動画像１４０１ａを送信Ｖする。送信Ｖされる動画像は、表示装置１３００で編集されていても良い。

上記動画像１４０１ａを受信した別装置１０８の制御部３０１は、作業アプリを起動して、その動画像データを、例えばクリップボードなど複数アプリで共有できるバッファ領域にコピーする。別装置１０８の制御部３０１は、ユーザから、表示装置１３００のリンクボタン１４０２の押下により前記作業アプリ上でそのバッファ領域の貼り付け指示を受けると、前記カーソルの位置に動画像１４０４を挿入する。

以上示した構成、及び方法により、ユーザは、自身が参照する様々な媒体上の情報を任意のタイミングでデータ化し、現在作業中の内容へ容易に関連付けすることが可能となる。

ここで、上記実施例では、ユーザが別装置１０８の操作部３０５や音声入出力部３０６を用いてカーソルを移動させ貼り付け位置を選択しているが、上記のとおり、別装置１０８の視線追跡部３１１２によるユーザの視線位置を利用して、貼り付け位置を選択しても良い。また、上記実施例では、表示装置１３００が撮像した動画像そのものを張り付けているが、動画像を格納した場所へのパス名などリンク情報といった、動画像の所在を示す情報であればよい。動画像を格納する場所は、例えば、表示装置１３００の記憶部２１０、あるいは別装置１０８の記憶部３１０のいずれでもよい。

このように、上記各実施例によれば、利用者の特徴などのスキルや状況に対応した情報を表示する際の画面の表示方法を調整することができ、例えば、各種の作業を行うユーザに対して、ユーザのスキルや作業内容に合わせて表示位置や表示内容を調整し、作業を高精度に効率的に行うことができる。また、ユーザに対して表示する情報量を効果的に増やすと同時に省スペース化を実現し、ユーザの表示内容への理解を適切に支援することが可能となる。

１０１…表示装置、１０２…センサ部、１０３…表示部、１０４…光源部、１０５…操作部、１０６…通信線、１０７…ＰＣ、１０８…携帯端末、１０９…インターネット、１１０…クラウドサービス
２０１…制御部、２０２…通信部、２０３…時間管理部、２０４…電源部、２０５…操作部、２０６…音声入出力部、２０７…表示制御部、２０８…表示部、２０９…ＡＩエンジン群、２１０…記憶部、２１１…センサ群
２１０１…認証部、２１０２…表示生成部、２０１３…表示管理部、２０１４…スキル管理部、２０１５…ユーザ状態管理部、２０１６…最適表現変換部
２１１１…撮像部、２１１３…慣性計測部、２１１４…環境計測部、２１１５…バイタル計測部、３１１２…視線追跡部、４１０１…ユーザ管理部、４１０２…画面表示条件学習部、４１０３…スキル学習部、４１０４…作業履歴管理部
９００…ユーザ情報、９０００…作業履歴、９１００…スキル情報

Claims (9)

1. ユーザが着用可能な第１の表示装置と、前記第１の表示装置と通信可能な第２の表示装置とを有した表示制御システムであって、
   前記第１の表示装置は、
   第１の表示部と、
   前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、
   前記第２の表示装置は、
   第２の表示部と、
   前記第２の表示部に実画面である第２の画面を表示する第２の制御部と、を備え、
   前記第１の制御部または前記第２の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する場合において、前記第２の表示部に表示されている前記第２の画面のうち、画面に含まれる情報に設定されたアクセスレベルと、ユーザ周辺の環境情報とを用いて、当該画面に表示する情報がアクセス制限付きであるか否かを判定し、当該画面に表示する情報がアクセス制限付きであると判定した場合、前記画面を前記第１の表示部に表示させることにより、前記表示方法を調整する、
   ことを特徴とする表示制御システム。
2. ユーザが着用可能な第１の表示装置と、前記第１の表示装置と通信可能な第２の表示装置とを有した表示制御システムであって、
   前記第１の表示装置は、
   第１の表示部と、
   前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、
   前記第２の表示装置は、
   第２の表示部と、
   前記第２の表示部に実画面である第２の画面を表示する第２の制御部と、を備え、
   前記第１の制御部または前記第２の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する場合において、前記第２の表示部に表示されている前記第２の画面のうち、参照頻度が低い画面を前記第１の表示部に表示させることにより、前記表示方法を調整する、
   ことを特徴とする表示制御システム。
3. 前記第１の制御部または前記第２の制御部は、前記ユーザのスキルに関する情報である前記特徴情報に基づいて、前記表示方法を調整する、
   ことを特徴とする請求項１に記載の表示制御システム。
4. 前記第１の制御部または前記第２の制御部は、前記第２の表示部に表示されている前記第２の画面のうち、コミュニケーションアプリケーションにより表示されている画面のうち、間接的に使用される画面を前記第１の表示部に表示させることにより、前記表示方法を調整する、
   ことを特徴とする請求項１に記載の表示制御システム。
5. 前記第１の制御部または前記第２の制御部は、前記第２の表示部に表示されている前記第２の画面のうち、グラフィックアプリケーションにより表示されている画面のうち、間接的に使用される画面を前記第１の表示部に表示させることにより、前記表示方法を調整する、
   ことを特徴とする請求項１に記載の表示制御システム。
6. 前記第１の表示装置は、
   撮像部と、
   前記ユーザの視線を検知する検知部とを備え、
   前記第１の制御部は、前記撮像部が撮像した動画像を前記第１の表示部に表示し、前記第２の表示部であって前記検知部が前記ユーザの視線を検知した位置に移動させる、
   ことを特徴とする請求項１に記載の表示制御システム。
7. 前記第１の表示装置は、前記ユーザの頭部に着用可能なウェアラブルデバイスである、
   ことを特徴とする請求項１に記載の表示制御システム。
8. ユーザが着用可能な表示装置であって、
   第１の表示部と、
   前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、
   前記第１の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および第２の表示部を有した前記第１の表示装置と通信可能な第２の表示装置に表示される実画面である第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する場合において、前記第２の表示部に表示されている前記第２の画面のうち、画面に含まれる情報に設定されたアクセスレベルと、ユーザ周辺の環境情報とを用いて、当該画面に表示する情報がアクセス制限付きであるか否かを判定し、当該画面に表示する情報がアクセス制限付きであると判定した場合、前記画面を前記第１の表示部に表示させることにより、前記表示方法を調整する、
   ことを特徴とする表示装置。
9. ユーザが着用可能な第１の表示装置と、前記第１の表示装置と通信可能な第２の表示装置とを有した表示制御システムで行われる表示制御方法であって、
   第１の表示部を有する前記第１の表示装置が、前記第１の表示部に仮想画面である第１の画面を表示し、
   第２の表示部を有する前記第２の表示装置が、前記第２の表示部に実画面である第２の画面を表示し、
   前記第１の表示装置または前記第２の表示装置が、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する場合において、前記第２の表示部に表示されている前記第２の画面のうち、画面に含まれる情報に設定されたアクセスレベルと、ユーザ周辺の環境情報とを用いて、当該画面に表示する情報がアクセス制限付きであるか否かを判定し、当該画面に表示する情報がアクセス制限付きであると判定した場合、前記画面を前記第１の表示部に表示させることにより、前記表示方法を調整する、
   ことを特徴とする表示制御方法。

Images