WO2015189987A1

WO2015189987A1 - ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法

Info

Publication number: WO2015189987A1
Application number: PCT/JP2014/065759
Authority: WO
Inventors: 大西　邦一; 佑哉大木
Original assignee: Hitachi Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2014-06-13
Filing date: 2014-06-13
Publication date: 2015-12-17
Anticipated expiration: 2016-12-13

Abstract

ウェアラブル型の情報表示および入力システムにおいて、簡便でかつ高い操作性、利便性の有する情報入力手段や高いセキュリティ性能を提供することを目的とする。　そのために、操作者はヘッドマウントディスプレイ装置を頭部に装着すると同時に、所定の携帯型情報入出力装置を把持する。前記ヘッドマウントディスプレイ装置で表示される第１の映像と前記携帯型情報入出力装置で表示される第２の映像は共に前記携帯型情報入出力装置内で生成されるが、各映像は完全に独立している。また前記携帯型情報入出力装置内のタッチパネル等の入力デバイスから入力された情報信号を、前記第１の映像または前記第２の映像のどちらの映像の編集に反映するかは操作者が自由に選択もしくは操作者の視線方向により自動的に切り替える機能を備える。

Description

ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法

　本発明は、ウェアラブル型ディスプレイ装置の情報表示入力システムに関する。

　近年、ゴーグル型や眼鏡型のヘッドマウントディスプレイ装置等を用いて所定の映像情報を表示する、いわゆるウェアラブル型ディスプレイ装置の情報表示システムが急速に普及しつつある。このようなウェアラブル型情報表示システムにおいて、所定の情報を該システムに入力するための情報入力手段として、例えば、特開２０００－２４２３９４号公報（特許文献１）がある。特許文献１では、ヘッドマウントディスプレイ装置等の表示デバイスによって空間上に仮想キーボードを表示させ、この仮想キーボードを操作する指先の位置や動きを指先に取り付けたセンサにより検知することで所定の情報を入力する情報入力手段が記載されている。

特開２０００－２４２３９４号公報

　しかしながら、特許文献１に記載された情報入力手段では、仮想キーボードを操作する指先の位置や動きを検知するための指先センサ等を別途具備する必要があり、システムが大型化、複雑化する問題がある。また、指先センサ等の検知精度によりその操作性が大きく阻害されるという問題があった。

　本発明はこれらの課題に鑑みなされたものであって、小型軽量なウェアラブル型情報表示システムにおいて、簡便な手段で、かつ高い操作性、利便性を有する情報入力手段または装置を提供することを目的とする。

　上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本発明は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、ウェアラブル型ディスプレイ装置と、映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置とからなるウェアラブル型情報表示入力システムであって、携帯型情報入出力装置は前記入力デバイスから入力された情報信号または制御信号をウェアラブル型ディスプレイ装置に向けて発信する信号送信部を備え、ウェアラブル型ディスプレイ装置は携帯型情報入出力装置から発信された情報信号または制御信号を受信する信号受信部と該信号受信部で得られた情報信号または制御信号に基づいて所定の映像情報を表示する映像表示部とを備え、携帯型情報入出力装置は、ウェアラブル型ディスプレイ装置に表示する第１の映像を生成する第１映像生成部と、携帯型情報入出力装置に表示する第１の映像と独立した第２の映像を生成する第２映像生成部を有する構成とする。

　本発明によれば、ウェアラブル型情報表示システムにおいて、簡便な手段でかつ高い操作性、利便性を有する情報入力手段および装置を提供することができる。

実施例１におけるウェアラブル型情報表示入力システムの概略図である。実施例１におけるヘッドマウントディスプレイ装置と携帯型情報入出力装置の概略図である。実施例１におけるヘッドマウントディスプレイ装置の概略構成ブロック図である。実施例１における携帯型情報入出力装置の概略構成ブロック図である。実施例１における一使用事例を説明する図である。実施例１における他の使用事例を説明する図である。実施例２における携帯型情報入出力装置の概略図である。実施例２における携帯型情報入出力装置の概略構成ブロック図である。実施例２における携帯型情報入出力装置で実行される処理フローチャートである。実施例２における操作者が携帯型情報入出力装置の表示画面を注視している状態を説明する図である。実施例２における操作者が携帯型情報入出力装置の表示画面から視線を逸らしている状態を説明する図である。実施例２における携帯型情報入出力装置で実行される他の処理フローチャートである。実施例３におけるヘッドマウントディスプレイ装置の認証処理を示したフローチャートである。

　以下、図面を用いて本発明の実施例について説明する。

　図１は、本実施例におけるウェアラブル型情報表示および入力システムの概略図である。図１において、ヘッドマウントディスプレイ装置１は、操作者３の頭部に装着され、外界が視認可能な状態でユーザの視野内の一部に映像を表示させる機能を備えた、いわゆるシースルー型のヘッドマウントディスプレイ装置である。なお、このヘッドマウントディスプレイ装置１は、本実施例に示すシースルー型ヘッドマウントディスプレイ装置に限定されるものでは無く、操作者の身体のいずれかに装着して操作者に対し所定の映像を表示する機能を備えた、いわゆるウェアラブル型のディスプレイ装置であればどのような形態のものでも構わない。

　また、操作者３は、ヘッドマウントディスプレイ装置１とは別に携帯型の情報入出力装置２を把持している。本実施例におけるウェアラブル型情報表示および入力システムは、基本的にこの携帯型情報入出力装置２とヘッドマウントディスプレイ装置１の組合せによって構成される。

　図２は、図1に示した本実施例におけるヘッドマウントディスプレイ装置１と携帯型情報入出力装置２それぞれの概略図である。

　ヘッドマウントディスプレイ装置１は、頭部に装着した場合に操作者の視野内に所定の映像（以下、この映像を第１映像と記す。）を表示する第１映像表示部１０を備えている。この第１映像表示部１０は、例えば専用の液晶素子あるいは格子状に配置された微小可動ミラー素子等からなる映像表示機と、この映像表示機で表示された第１映像を操作者の視野内に投影するための所定の光学系などから構成されるものが一般的であるが、本実施例はそれに限定されるものではない。

　一方、携帯型情報入出力装置２は、第１映像に対して完全に独立した第２の映像（以下、この映像を第２映像と記す。）を表示する第２映像表示部２０を備えている。またこの第２映像表示部２０は、所定の入力操作により所定の情報信号を入力する入力デバイスの機能も兼備している。この入力デバイスとしては、例えば第２映像表示部２０の表示画面上に操作者の手指が接触した場合に、その手指の接触位置およびその移動方向、距離などを検知するいわゆるタッチパネル機能を用いた情報入力デバイスなどがある。以下の説明ではそのようなタッチパネルによる情報入力デバイスを前提に実施例の説明を進めるが、本実施例は、そのようなタッチパネルによる情報入力デバイスに限定されるものではなく、例えば、操作者の音声により所定の情報入力を行う音声入力デバイスでも構わない。

　また、携帯型情報入出力装置２は、所定の情報信号３０を無線もしくは有線にてヘッドマウントディスプレイ装置１に向けて発信する機能を備え、ヘッドマウントディスプレイ装置１は、この情報信号３０を受信する機能を備えている。

　なお、以上のような映像表示機能、タッチパネル等による情報入力デバイス機能、および情報信号発信機能を備えた携帯型情報入出力装置の実例としては、例えばタブレット型の携帯型パーソナルコンピュータ、あるいは、いわゆるスマートフォンに代表されるような携帯型情報通信端末装置がある。しかしながら、本実施例はそれに限定されるものでは無く、前記したような映像表示機能、情報入力デバイス機能、および情報信号発信機能を備えた携帯型の情報入出力装置であればどのような形態のものでも構わない。

　また、前記タッチパネル機能における手指の接触位置等の検知手段についても、例えば手指のパネルへの接触圧力を検知する手段や静電容量の変化を検知する手段等どのような検知手段を用いても構わない。

　図３は、本実施例におけるヘッドマウントディスプレイ装置１の概略構成ブロック図である。すなわち、図３において、ヘッドマウントディスプレイ装置１内には、携帯型情報入出力装置２から発信された情報信号３０を受信する信号受信部１１０や、この信号受信部１１０で受信された所定の映像情報信号を用いて第１映像の表示を行う第１映像表示部１０が具備されており、これら各部での処理操作は制御部１００によってコントロールされる構成になっている。

　図４は、本実施例における携帯型情報入出力装置２の概略構成ブロック図である。図４において、携帯型情報入出力装置２は、ヘッドマウントディスプレイ装置１で表示される第１映像を生成するための第１映像生成部２１１、該第１映像生成部２１１で生成された第１映像の映像信号を所定の情報信号３０に変換してヘッドマウントディスプレイ装置１に向けて送信する信号送信部２１０、携帯型情報入出力装置２で表示される第２映像を生成するための第２映像生成部２２１および該第２映像生成部２２１で生成された映像信号を用いて映像を表示する第２映像表示部２０を備えている。

　また、前記したように第２映像表示部２０はタッチパネル等所定の入力デバイス機能も兼備しており、この入力デバイスから入力された所定の情報信号または制御信号は、入力情報処理部２０１で所定の映像編集信号に変換される。

　さらに、携帯型情報入出力装置２には、第１映像生成部２１１または第２映像生成部２２１で生成される各映像情報を記憶する機能を備えた記憶部２０２も具備されており、各部での処理操作は制御部２００によってコントロールされている。

　ところで、第２映像表示部兼入力デバイスから入力され入力情報処理部２０１で変換された映像編集信号に関しては、この映像編集信号をヘッドマウントディスプレイ装置１で表示される第１映像に反映させるか、携帯型情報入出力装置２で表示される第２映像に反映させるか、あるいは第１および第２の両方の映像生成に反映させるかについて、操作者が自由に判断して切り替えることが出来る。つまり操作者が所定の切り替え操作を行うことで、映像編集信号は第１映像生成部２１１または第２映像生成部２２１のどちらか一方、あるいはその両方に送られ、それぞれの生成部で生成される映像に反映される。

　本実施例における主要な特徴を改めて整理すると、
（１）携帯型情報入出力装置２で生成された、ヘッドマウントディスプレイ装置１で表示される第１映像と、携帯型情報入出力装置２で表示される第２映像は、互いに干渉性を持たない全く独立した映像として表示できる。
（２）携帯型情報入出力装置２の第２映像表示部兼入力デバイスから入力された入力情報信号は、ヘッドマウントディスプレイ装置１で表示される第１映像の生成にだけ反映されるか、携帯型情報入出力装置２で表示される第２映像の生成にだけ反映されるか、あるいは第１および第２の両方の映像生成に反映させるかを操作者が自由に選択して切り替えることができる。
以上の２点である。

　次に、上記の特徴およびその効果について、具体的な使用事例を示して説明する。

　図５は本実施例における一使用事例を説明する図である。図５において、図１および図２と同じ構成部品には同じ符号を付している。

　図５において、ヘッドマウントディスプレイ装置１の第１映像表示部１０で表示されている映像と、携帯型情報入出力装置２の第２映像表示部２０に表示される映像は全く異なっている。そして、この第２映像表示部２０は、前記したようにタッチパネル機能も兼備しているが、このタッチパネルはパネルに接触する検出対象の相対位置を検知する機能を備えており、このタッチパネルによって検知された接触手指４の位置情報等は、情報信号または制御信号である映像編集信号として情報信号３０内に組み込まれてヘッドマウントディスプレイ装置１に送信される。そして、第１映像表示部１０に表示された映像内に所定の補助映像である所定形状のカーソル５が重畳表示され、その位置情報に反映される。

　すなわち、このカーソル５は、第２映像表示部２０のタッチパネルに接触している手指４の動き（例えば図中の軌跡４１）に応じて第１映像表示部１０の表示映像内を、例えば図中の軌跡５１のように移動する。さらに、例えば、接触圧の変化などによって第１映像表示部１０の表示映像に対してのみ所定のスイッチング操作や、映像の選択操作、ドラックあるいはドロップ操作などが実行される。すなわち、接触圧の変化などによって、第１映像の、表示内容、色、大きさ、向き、領域などの表示形態を変化させることが出来る。

　一方、タッチパネルで検知された接触手指４の位置情報等は、第２映像表示部２０で表示されている第２映像には全く影響を与えない。

　ヘッドマウントディスプレイ装置１および携帯型情報入出力装置２に上記のような機能を持たせることにより、例えば、操作者は、携帯型情報入出力装置２の表示画面上には他人に見られても構わない公開映像コンテンツを第２映像として表示させる一方で、他人に見られたくない秘匿性の高い映像コンテンツを、第１映像としてヘッドマウントディスプレイ装置１に表示させることが出来る。

　更に第１映像を参照しながら、同時に携帯型情報入出力装置２の表示画面兼タッチパネルを手指４で操作することで前記したタッチパネルによる情報入力操作を行い、その入力情報をもってヘッドマウントディスプレイ装置１に表示させた第１映像の創作あるいは編集を行うことが出来る。

　そして、創作、編集された第１映像または第２映像、あるいはその両方を携帯型情報入出力装置２の記憶部２０２にそれぞれ独立に記憶させることが出来る。

　図６は、本実施例における他の使用事例を説明する図である。本図において図１、図２および図５と同じ構成部品には同じ符号を付している。

　図６において、携帯型情報入出力装置２の第２映像表示部兼タッチパネル２０には所定のキーボードの映像が表示されている。そして、例えば操作者が、図中の軌跡４１が示すように、このキーボード内の文字、数字または記号等が表示されている各区画を手指４で順次タッチすることで、その区画の文字、数字または記号が選択され、これがヘッドマウントディスプレイ装置１の第１映像表示部１０に所定の文字列５２として表示される。

　このような機能を持たせることにより、操作者は秘匿性の高い書類またはコンテンツをヘッドマウントディスプレイ装置１の表示画面上で他人に見られることなく創作あるいは編集することが出来る上、表示面積が広い携帯型情報入出力装置２の表示画面兼タッチパネル全体をキーボードとして操作することが出来るので、従来に比べ使い勝手が飛躍的に向上する。

　また、携帯型情報入出力装置２の第２映像表示部兼入力デバイスから得られた検出対象の位置情報または接触圧の情報に基づいて、ヘッドマウントディスプレイ装置１で表示される第１映像の表示形態を変化させるか、携帯型情報入出力装置２で表示される第２映像の表示形態を変化させるかの切替えを行っても良い。

　また、携帯型情報入出力装置２の表示画面兼タッチパネルを、ヘッドマウントディスプレイ装置用の領域Ａと携帯型情報入出力装置用の領域Ｂに分割し、領域Ａでの入力はヘッドマウントディスプレイ装置に反映され、領域Ｂでの入力は携帯型情報入出力装置に反映されるようにしても良い。これにより、切り替えることなく、携帯型情報入出力装置２の表示画面兼タッチパネルを用いてヘッドマウントディスプレイ装置と携帯型情報入出力装置の両方の編集を行うことが出来る。

　なお、図４の概略ブロック図では、第１映像と第２映像の独立性をより明確に表すため、携帯型情報入出力装置２内に第１映像生成部２１１と第２映像生成部２２１を独立した別個の映像生成部として記載しているが、本実施例はこれに限定されるものでは無く、第１映像と第２映像の独立性が確保できれば、一つの映像生成部で生成する構成であっても構わない。また、第１映像生成部２１１は、外部からの情報をもとに単に映像信号に変換する、もしくは、単にスルーする構成であっても良い。例えば、インターネットで入手した情報を基に映像信号に変換するか、もしくはその情報を信号送信部へ送る仲介をする構成であっても良い。

　また、図４の概略ブロック図では、携帯型情報入出力装置２内に第１映像または第２映像の映像情報を記憶する記憶部２０２を具備しているが、これも、このような構成に限定されるものではなく、例えば所定の通信機能によって外部の記憶媒体に第１映像または第２映像を記憶させ、あるいは逆に所定の外部記憶媒体から必要な映像情報を引き出して、ヘッドマウントディスプレイ装置１または携帯型情報入出力装置２に表示させるような機能を持たせることで、携帯型情報入出力装置２内の記憶部２０２を省略した構成であっても構わない。

　以上のように本実施例は、ウェアラブル型ディスプレイ装置と、映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置とからなるウェアラブル型情報表示入力システムであって、携帯型情報入出力装置は入力デバイスから入力された情報信号または制御信号をウェアラブル型ディスプレイ装置に向けて発信する信号送信部を備え、ウェアラブル型ディスプレイ装置は携帯型情報入出力装置から発信された情報信号または制御信号を受信する信号受信部と該信号受信部で得られた情報信号または制御信号に基づいて所定の映像情報を表示する映像表示部とを備え、携帯型情報入出力装置は、ウェアラブル型ディスプレイ装置に表示する第１の映像を生成する第１映像生成部と、携帯型情報入出力装置に表示する第１の映像と独立した第２の映像を生成する第２映像生成部を有する構成とする。

　また、携帯型情報入出力装置の入力デバイスは表示画面と兼用の入力操作パネルを備え、入力操作パネルに接触する検出対象の相対位置を検知する機能を備えており、信号送信部からウェアラブル型ディスプレイ装置に向けて発信される情報信号または制御信号は入力操作パネルに接触する検出対象の位置情報を含み、かつウェアラブル型ディスプレイ装置内の映像表示部は入力操作パネルに接触する検出対象の位置情報に基づいてウェアラブル型ディスプレイに表示される映像に補助映像を重畳表示させる機能を備える。

　また、入力デバイスは入力操作パネルに接触する検出対象の接触圧を検知する機能を備えており、信号送信部からウェアラブル型ディスプレイ装置に向けて発信される情報信号または制御信号は入力操作パネルに接触する検出対象の接触圧の情報を含み、ウェアラブル型ディスプレイ装置内の映像表示部は情報信号または制御信号に含まれる検出対象の接触圧の情報に基づいてウェアラブル型ディスプレイ装置に表示される第１の映像の表示形態を変化させる機能を備える。

　また、携帯型情報入出力装置は入力デバイスから得られた検出対象の位置情報または検出対象の接触圧の情報に基づいて、ウェアラブル型ディスプレイ装置に表示される第１の映像の表示形態を変化させる第１の入力状態と、携帯型情報入出力装置の表示画面に表示される第２の映像の表示形態を変化させる第２の入力状態とを切り替える機能を備える。

　また、映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置であって、入力デバイスから入力された情報信号または制御信号をウェアラブル型ディスプレイ装置に向けて発信する信号送信部と、ウェアラブル型ディスプレイ装置に表示する第１の映像を生成する第１映像生成部と、携帯型情報入出力装置に表示する第１の映像と独立した第２の映像を生成する第２映像生成部とで構成される。

　また、ウェアラブル型ディスプレイ装置と、映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置とからなるウェアラブル型情報表示入力システムにおけるウェアラブル型ディスプレイ装置の情報入力方法であって、ウェアラブル型ディスプレイ装置とは別体の携帯型情報入出力装置の入力デバイスから入力した情報をもとに、ウェアラブル型ディスプレイ装置に表示する第１の映像を携帯型情報入出力装置で生成し、携帯型情報入出力装置で用いる第２の映像に対して、入力した情報および第１の映像は独立し影響を与えないものであり、入力した情報および第１の映像を前記ウェアラブル型ディスプレイ装置に送信して、ウェアラブル型ディスプレイ装置で第１の映像を表示し、入力した情報をウェアラブル型ディスプレイ装置の情報入力とする。

　これにより、本実施例によれば、ウェアラブル型情報表示システムにおいて、簡便な手段でかつ高い操作性、利便性を有する情報入力手段および装置を提供することができる。

　図７は、本実施例における携帯型情報入出力装置の概略図である。図７において、図２と同じ構成部品には同じ符号を付している。

　本実施例では、携帯型情報入出力装置７内の第２映像表示部２０の表示画面と同じ側に所定の撮影装置６を具備している。この撮影装置６は、例えば所定の電子撮像素子と所定の撮影用レンズからなる電子カメラ装置で、少なくとも操作者の顔面全体または一部を撮影できる機能を備えている。

　図８は、本実施例における携帯型情報入出力装置７の概略構成ブロック図である。図８において、図４の構成要素と同じ構成要素には同じ符号を付している。

　本実施例では、携帯型情報入出力装置７内に図４に示した各要素に加えて、撮影装置６と視線方向検知部２３０が具備され、共に制御部２００により各処理操作がコントロールされている。

　視線方向検知部２３０は、撮影装置６で撮影した操作者の顔面全体またはその一部の映像から、操作者の視線がどの方向を向いているかを検知する機能を備えた視線方向検知回路である。このように視線方向を検知するには、例えば顔面の向きやあるいは眼の輪郭に対する瞳（黒目）の相対位置などからその視線方向を検知する手段等いくつかの公知手段があるが、本実施例はそのような視線検知手段に制限を加えるものではなく、後述するように操作者の視線が携帯型情報入出力装置７の表示画面方向を向いているか否かが検知できればどのような検知手段を用いても構わない。

　なお、本実施例においては、ヘッドマウントディスプレイ装置１は図２および図３で説明した実施例１と同じ装置を用いて構わない。

　図９は、本実施例における携帯型情報入出力装置７で実行される処理フローチャートを示している。

　図９において、まずステップ３０１において、前記したように携帯型情報入出力装置７内に組み込まれた撮影装置６により操作者の顔面全体または一部が撮影される。

　次にステップ３０２において、撮影された操作者の映像が視線方向検知部２３０に送られ、ここで操作者の視線方向が検知される。

　そして、次のステップ３０３において、検知された操作者の視線が携帯型情報入出力装置７の表示画面方向に向いているか否かが判定される。

　もしここで、操作者の視線が携帯型情報入出力装置７の表示画面方向に「向いている」すなわち[Ｙｅｓ]と判定された場合、つまり図１０のように操作者３が携帯型情報入出力装置７の表示画面を注視していると判定された場合は、次のステップ３０４でヘッドマウントディスプレイ装置１内にある第１映像表示部１０の映像表示をＯＦＦ（消灯）し、続くステップ３０５で携帯型情報入出力装置７内にある第２映像表示部２０の画面表示をＯＮ（点灯）する。

　一方、操作者の視線が携帯型情報入出力装置７の表示画面方向に「向いていない」すなわち[Ｎｏ]と判定された場合、つまり図１１のように操作者３が携帯型情報入出力装置７の表示画面から視線を逸らしていると判定された場合は、ステップ３０６へ移行し、ここでヘッドマウントディスプレイ装置１内にある第１映像表示部１０の映像表示をＯＮ（点灯）し、ステップ３０７で携帯型情報入出力装置７内にある第２映像表示部２０の画面表示をＯＦＦ（消灯）する。

　以上のフローをステップ３０８で所定の終了信号が入力された（[Ｙｅｓ]）と判定されるまで繰り返すことで、操作者が携帯型情報入出力装置７の表示画面を注視している場合は自動的にその表示画面のみが点灯し、ヘッドマウントディスプレイ装置１内の表示画面は消灯する一方で、操作者が携帯型情報入出力装置７の表示画面を注視していない場合は、自動的に携帯型情報入出力装置７の表示画面は消灯し、ヘッドマウントディスプレイ装置１内の表示画面の方が点灯する操作が繰り返される。

　このような機能を持たせることにより、常に操作者が見たい画面のみが表示点灯し、見る意志の無い画面は自動的に消灯するので、操作者に視界を常に良好に保持できる上、消費電力の節約にも大きな効果が期待できる。

　なお、図９におけるステップ３０４と３０５および３０６と３０７は、それぞれ処理の順番が入れ替わっても構わない。

　また、図９の実施例では、ヘッドマウントディスプレイ装置１内の表示画面と携帯型情報入出力装置７の表示画面とどちらか一方のみ点灯し、他方を消灯する例を示したが、もちろんこれに限定されるものでは無く、例えば一方の表示輝度を上げ他方の表示輝度を下げるような処理をおこなっても構わない。この場合は、表示ＯＮ/ＯＦＦ制御時の表示ＯＦＦ状態からＯＮ状態への立ち上がり時間に比べて、低輝度状態から高輝度状態への立ち上がり時間が早くなるという利点がある。

　図１２は、本実施例における携帯型情報入出力装置7で実行されるフローチャートの別の一形態を示したものである。図１２において、図９に示したフローチャート内の構成要素と同じ構成要素には同じ符号を付している。

　図１２においては、図９の例と同様、まずステップ３０１で携帯型情報入出力装置７内に組み込まれた撮影装置６によって操作者の顔面全体またはその一部が撮影され、次にステップ３０２で操作者の視線方向が検知されるが、それと同時にステップ３０９で携帯型情報入出力装置７内の第２映像表示部兼入力デバイス（例えばタッチパネル）２０から所定の情報信号が取り込まれ、ステップ３１０において、この入力情報信号が所定の映像編集信号に変換される。

　そして、図９と同様、ステップ３０３で検知された操作者の視線が携帯型情報入出力装置７の表示画面方向に向いているか否かが判定され、もし判定が[Ｙｅｓ]すなわち操作者が携帯型情報入出力装置７の表示画面を注視していると判定された場合は、次のステップ３１１で、前記した映像編集信号を携帯型情報入出力装置７内にある第２映像表示部２０で表示される第２映像にのみ反映させる。すなわち、第２映像の表示形態のみを映像編集信号によって変化させる。この時、ヘッドマウントディスプレイ装置１内にある第１映像表示部１０で表示される第１映像には前記映像編集信号は何の影響も与えない。

　一方、ステップ３０３での判定が[Ｎｏ]すなわち操作者が携帯型情報入出力装置７の表示画面を注視していないと判定された場合は、ステップ３１２へ飛び、前記した映像編集信号を前記第１映像にのみ反映させ、前記第２映像には前記映像編集信号は何の影響も与えない。すなわち、第１映像の表示形態のみを映像編集信号によって変化させる。

　このような自動切り換え機能を備えることで、タッチパネルからの入力情報をヘッドマウントディスプレイ装置１で表示される第１映像、あるいは携帯型情報入出力装置７で表示される第２映像、そのどちらの映像に反映させるかを操作者がいちいち判断して切り替え操作を行う必要が無くなり、自動的に操作者の意図に沿う方の画面に反映させることができるので、操作者にとっての利便性が飛躍的に向上する。

　以上のように本実施例は、携帯型情報入出力装置は、携帯型情報入出力装置を保持する操作者の視線方向を検知する視線検知手段を備え、視線検知手段によって検出した視線方向情報に基づいてウェアラブル型ディスプレイ装置に表示される第１の映像と携帯型情報入出力装置の表示画面に表示される第２の映像の各々について点灯表示と消灯とを自動的に切り替える機能を備える。

　また、視線検知手段によって検出した視線方向情報に基づいてウェアラブル型ディスプレイ装置に表示される第１の映像の表示輝度と携帯型情報入出力装置の表示画面に表示される第２の映像の表示輝度を自動的に変化させる機能を備える。

　また、視線検知手段によって検出した視線方向情報に基づいて、ウェアラブル型ディスプレイ装置に表示される第１の映像の表示形態を変化させる第１の入力状態と、携帯型情報入出力装置の表示画面に表示される第２の映像の表示形態を変化させる第２の入力状態とを切り替える機能を備える。

　これにより、本実施例によれば、常に操作者が見たい画面のみが表示点灯もしくは輝度を上げて表示、もしくは、編集が反映されるようにしたので、操作者の視界を常に良好に保持できる上、省電力にもなり、さらに、自動的に操作者の意図に沿う方の画面への編集の反映を実施でき、操作性が向上する。

　図１３は、本実施例におけるヘッドマウントディスプレイ装置１内での認証処理を示したフローチャートである。

　本実施例においては、携帯型情報入出力装置２は、携帯型情報入出力装置の個別識別のために、装置ごとに個別の識別コード（これを第１識別コードと記す。）を記憶しており、かつ第１識別コードに相当する情報信号が情報信号３０の中に組み込まれてヘッドマウントディスプレイ１に向けて発信されるようになっている。

　一方、ヘッドマウントディスプレイ装置１の制御部１００には、そのヘッドマウントディスプレイ装置に対して正当に割り付けられた携帯型情報入出力装置２に関する第１識別コード情報と、個々のヘッドマウントディスプレイ装置１に割り付けられた第２識別コード情報あるいは所定のパスワード情報があらかじめ登録されている。

　そして、まずステップ４０１において、携帯型情報入出力装置２からヘッドマウントディスプレイ装置１に向けて送信された情報信号３０は、ヘッドマウントディスプレイ装置１内の信号受信部１１０で受信され、そこに含まれる第１の識別コード情報が制御部１００に送られる。

　次にステップ４０２において、制御部１００に送られた第１の識別コード信号が、前記した各ヘッドマウントディスプレイ装置１に対して正当に割り付けられた携帯型情報入出力装置２の識別コードと照合され、コードが一致するかどうかが判定される。

　この時判定結果が[Ｎｏ]であれば、操作者はその頭部に装着しているヘッドマウントディスプレイ装置１に対して正当な組合せでは無い携帯型情報入出力装置２を把持していることになるので、正当な使用状態では無いと見なされステップ４０６へ移行し、ここでヘッドマウントディスプレイ装置１を稼動不能状態にする処理がなされる。

　一方、前記判定結果が[Ｙｅｓ]ならば、次のステップ４０３に進む。このステップ４０３では、操作者３は携帯型情報入出力装置２内の第２映像表示部兼入力デバイス２０から所定の第２識別コードあるいはパスワードを入力する。

　この入力された第２識別コードあるいはパスワードの情報も第１識別コード情報と同じく情報信号３０の中に組み込まれヘッドマウントディスプレイ装置１内の制御部１００に送られる。

　そして、ステップ４０４において、あらかじめ登録されている正当な第２識別コードあるいはパスワード情報と照合され、操作者によって入力された識別コードあるいはパスワードが、正当な第２識別コードあるいはパスワード情報と一致するかどうかか判定される。

　この判定結果が[Ｎｏ]であれば、操作者は正当な使用者（ユーザ）では無いと見なして第１の識別コードの場合と同様にステップ４０６へ飛び、ヘッドマウントディスプレイ装置１を稼動不能状態にする処理がなされる。一方、判定結果が[Ｙｅｓ]ならば、ステップ４０５において初めてヘッドマウントディスプレイ装置１を稼動状態にする処理がなされる。

　以上のように、第１識別コードおよび第２識別コード（またはパスワード）による２重の認証処理を行うことで、使用されるヘッドマウントディスプレイ装置１と携帯型情報入出力装置２の組合せの正当性と、操作者の使用者（ユーザ）としての正当性を共に認証することができるので、そのセキュリティ性能をより向上させることができる。

　なお、前記実施例では、操作者の使用者（ユーザ）としての正当性を認証する、いわゆるユーザ認証のために、操作者が第２識別コードあるいはパスワードを入力する実施例について述べたが、本実施例はそれに限定されるものではなく、どのようなユーザ認証手段を用いても構わない。例えば、識別コードあるいはパスワードの入力の代わりに、指紋認証や静脈認証などが可能な装置を携帯型情報入出力装置２に組み込んで、その指紋認証や静脈認証によってユーザ認証を行ってもよいし、音声入力装置を組み込んでそれを用いた声紋認証でユーザ認証を行ってもよい。あるいは、内蔵の撮影装置を使って、網膜認証や虹彩認証などの操作者の眼を使った生体認証や、操作者の手指の動きや組合せの形等で認証を行ういわゆるジャスチェア認証などの認証手段を用いてユーザ認証を行っても構わない。本実施例においては、このような高度な認証手段を用いることで、さらにセキュリティ性能を向上させることができる。

　以上のように本実施例は、携帯型情報入出力装置の信号送信部からウェアラブル型ディスプレイ装置に向けて発信される情報信号または制御信号には、個々の携帯型情報入出力装置を識別するための第１の識別コード情報と操作者が入力デバイスから入力した第２の識別コード情報またはパスワード情報とを含み、ウェアラブル型ディスプレイ装置は第1の識別コード情報から携帯型情報入出力装置が正当な装置であることを認証し、かつ第２の識別コード情報またはパスワード情報から操作者が正当なユーザであることを認証することでウェアラブル型ディスプレイ装置を稼動状態にする機能を備える。これにより、セキュリティ性能を向上させることができる。

　なお、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。

１…ヘッドマウントディスプレイ装置
２、７…携帯型情報入出力装置
３…操作者
４…操作者の手指
５…カーソル
６…撮影装置
１０…第１映像表示部
２０…第２映像表示部兼入力デバイス
３０…送信信号
１００、２００…制御部
１１０…信号受信部
２０１…入力情報処理部
２０２…記憶部
２１０…信号送信部
２１１…第１映像生成部
２２１…第２映像生成部
２３０…視線方向検知部

Claims

ウェアラブル型ディスプレイ装置と、映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置とからなるウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は前記入力デバイスから入力された情報信号または制御信号を前記ウェアラブル型ディスプレイ装置に向けて発信する信号送信部を備え、
前記ウェアラブル型ディスプレイ装置は前記携帯型情報入出力装置から発信された前記情報信号または制御信号を受信する信号受信部と該信号受信部で得られた前記情報信号または制御信号に基づいて所定の映像情報を表示する映像表示部とを備え、
前記携帯型情報入出力装置は、前記ウェアラブル型ディスプレイ装置に表示する第１の映像を生成する第１映像生成部と、携帯型情報入出力装置に表示する前記第１の映像と独立した第２の映像を生成する第２映像生成部を有することを特徴とするウェアラブル型情報表示入力システム。
　請求項１に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置の入力デバイスは前記表示画面と兼用の入力操作パネルを備え、該入力操作パネルに接触する検出対象の相対位置を検知する機能を備えており、
前記信号送信部から前記ウェアラブル型ディスプレイ装置に向けて発信される情報信号または制御信号は前記入力操作パネルに接触する検出対象の位置情報を含み、かつ前記ウェアラブル型ディスプレイ装置内の映像表示部は前記入力操作パネルに接触する検出対象の位置情報に基づいて前記ウェアラブル型ディスプレイに表示される映像に補助映像を重畳表示させる機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
請求項２に記載のウェアラブル型情報表示入力システムであって、
前記入力デバイスは前記入力操作パネルに接触する検出対象の接触圧を検知する機能を備えており、前記信号送信部から前記ウェアラブル型ディスプレイ装置に向けて発信される情報信号または制御信号は前記入力操作パネルに接触する検出対象の接触圧の情報を含み、前記ウェアラブル型ディスプレイ装置内の映像表示部は前記情報信号または制御信号に含まれる前記検出対象の接触圧の情報に基づいて前記ウェアラブル型ディスプレイ装置に表示される第１の映像の表示形態を変化させる機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
請求項２または３のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は前記入力デバイスから得られた前記検出対象の位置情報または前記検出対象の接触圧の情報に基づいて、前記ウェアラブル型ディスプレイ装置に表示される第１の映像の表示形態を変化させる第１の入力状態と、前記携帯型情報入出力装置の表示画面に表示される第２の映像の表示形態を変化させる第２の入力状態とを切り替える機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
請求項１から４のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は、該携帯型情報入出力装置を保持する操作者の視線方向を検知する視線検知手段を備え、
該視線検知手段によって検出した視線方向情報に基づいて前記ウェアラブル型ディスプレイ装置に表示される第１の映像と前記携帯型情報入出力装置の表示画面に表示される第２の映像の各々について点灯表示と消灯とを自動的に切り替える機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
請求項１から４のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は該携帯型情報入出力装置を保持する操作者の視線方向を検知する視線検知手段を備え、
該視線検知手段によって検出した視線方向情報に基づいて前記ウェアラブル型ディスプレイ装置に表示される第１の映像の表示輝度と前記携帯型情報入出力装置の表示画面に表示される第２の映像の表示輝度を自動的に変化させる機能を備えたたことを特徴とするウェアラブル型情報表示入力システム。
　請求項１から４のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は、該携帯型情報入出力装置を保持する操作者の視線方向を検知する視線検知手段を備え、
該視線検知手段によって検出した視線方向情報に基づいて、前記ウェアラブル型ディスプレイ装置に表示される第１の映像の表示形態を変化させる第１の入力状態と、前記携帯型情報入出力装置の表示画面に表示される第２の映像の表示形態を変化させる第２の入力状態とを切り替える機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
請求項５から７のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記視線検知手段は、電子撮像素子と撮影用レンズからなる電子カメラ型撮影装置と、該撮影装置で撮影した前記携帯型情報入出力装置を保持する操作者の映像から操作者の視線方向を検知する視線方向検知回路とからなることを特徴とするウェアラブル型情報表示入力システム。
請求項１から８のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は記憶部を具備し、該記憶部に前記ウェアラブル型ディスプレイ装置に表示される第１の映像の映像情報を記録する機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
請求項１から９のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置の信号送信部から前記ウェアラブル型ディスプレイ装置に向けて発信される情報信号または制御信号には、個々の携帯型情報入出力装置を識別するための第１の識別コード情報と操作者が前記入力デバイスから入力した第２の識別コード情報またはパスワード情報とを含み、前記ウェアラブル型ディスプレイ装置は前記第1の識別コード情報から前記携帯型情報入出力装置が正当な装置であることを認証し、かつ前記第２の識別コード情報またはパスワード情報から操作者が正当なユーザであることを認証することで前記ウェアラブル型ディスプレイ装置を稼動状態にする機能を備えたことを特徴とするウェアラブル型情報表示入力システム。
　請求項１から１０のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は表示ディスプレイ兼用タッチパネル機能を備えた携帯型パーソナルコンピュータであることを特徴とするウェアラブル型情報表示入力システム。
　請求項１から１０のいずれか１項に記載のウェアラブル型情報表示入力システムであって、
前記携帯型情報入出力装置は表示ディスプレイ兼用タッチパネル機能を備えた携帯型情報通信端末装置であることを特徴とするウェアラブル型情報表示入力システム。
映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置であって、
前記入力デバイスから入力された情報信号または制御信号をウェアラブル型ディスプレイ装置に向けて発信する信号送信部と、
前記ウェアラブル型ディスプレイ装置に表示する第１の映像を生成する第１映像生成部と、
携帯型情報入出力装置に表示する前記第１の映像と独立した第２の映像を生成する第２映像生成部と
を有することを特徴とする携帯型情報入出力装置。
ウェアラブル型ディスプレイ装置と、映像情報を表示する表示画面と入力デバイスとを備えた携帯型情報入出力装置とからなるウェアラブル型情報表示入力システムにおけるウェアラブル型ディスプレイ装置の情報入力方法であって、
ウェアラブル型ディスプレイ装置とは別体の携帯型情報入出力装置の入力デバイスから入力した情報をもとに、前記ウェアラブル型ディスプレイ装置に表示する第１の映像を前記携帯型情報入出力装置で生成し、
前記携帯型情報入出力装置で用いる第２の映像に対して、前記情報および第１の映像は独立し影響を与えないものであり、
前記情報および第１の映像を前記ウェアラブル型ディスプレイ装置に送信して、前記ウェアラブル型ディスプレイ装置で第１の映像を表示し、前記情報を前記ウェアラブル型ディスプレイ装置の情報入力とすることを特徴とするウェアラブル型ディスプレイ装置の情報入力方法。