WO2022190406A1

WO2022190406A1 - 端末装置

Info

Publication number: WO2022190406A1
Application number: PCT/JP2021/028304
Authority: WO
Inventors: 裕行池田
Original assignee: 裕行池田
Priority date: 2021-03-08
Filing date: 2021-07-30
Publication date: 2022-09-15
Also published as: EP4307289A1; JP7080448B1; JP2022136951A; US20240089362A1

Abstract

構成を簡易にして少ない部品点数で製造することができる端末装置を提供する。この端末装置１Ａは、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられた、ディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を搭載する端末３０とを備える。ディスプレイ装置２０は、投影装置２１からの画像を元画面Ｍとして光学系２２を介してホログラムシート２３に投影する。このホログラムシート２３に投影された元画面Ｍはホログラムシート２３によって反射され、ユーザはその元画面Ｍに対応する視認画面Ｓを空中に浮かんでいるように見ることができる。端末３０は、ディスプレイ装置２０と無線で接続されている。端末３０は、表示部３１に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する機能を有する。

Description

端末装置

　本発明は、例えば眼鏡やフェイスシールド等のような使用者の頭部に装着する装着物を有する端末装置に関するものである。

　近年、身に着けて使用する端末、例えばグーグル社のグーグルグラスのような眼鏡型端末が開発・販売されている（例えば、特許文献１参照。）。このグーグルグラスは、眼鏡本体の右眼ガラスの眼前にプリズムを使用した極小型ディスプレイが配置されている。グーグルグラスのユーザは現実の周囲の景色とともに、同時に、このディスプレイに表示される画面を視認することができる。この眼鏡型端末を着用して、例えば街を歩くと、ユーザは右目の視野内に浮かんでいるように見える画面に表示される情報、例えば近辺の地図を見ることができる。また、例えば、そのユーザの近辺にある商店やレストラン等は、そのユーザに対してその画面に広告を表示することも可能である。この眼鏡型端末を使用することにより、新たなデジタルライフが始まろうとしている。

特開平１１－９８２２７号公報

　しかしながら、現在、開発・販売されている眼鏡型端末は、構成が複雑で多くの構成要素が必要であり、このため構成部品点数が多く、製造工程が多工程となっている。したがって、従来の眼鏡型端末は高価なものとなっており、このことは、眼鏡型端末が広く普及しない原因の一つとなっている。

　本発明は上記事情に基づいてなされたものであり、構成を簡易にして、少ない部品点数で製造することができる端末装置を提供することを目的とするものである。

　また、現在、開発・販売されている眼鏡型端末では、眼鏡型端末のユーザが表示される画面を操作するときには、音声により指示したり、或いは、眼鏡の柄の根元部分に設けられたタッチパッドをタップしたりしている。しかしながら、ユーザがその視野内に浮かんでいるように見える画面に対して文字入力を行う場合、例えば音声による操作では、言葉には同音異義語が多々あり、また発音には個人差があるので、誰でもが正確な文字入力を行うことができるわけではない。また、音声による操作では、外部の雑音等により、眼鏡型端末がその音声の内容を正確に認識できないことがある。更に、眼鏡の柄の部分に設けられたタッチパッドは、文字入力を行うことができるほど大きくはない。このため、従来の眼鏡型端末は視野内に表示される画面を用いて、例えばメールの文字入力等を行うことが困難であるという問題があった。

　本発明は上記事情に基づいてなされたものであり、構成を簡易にして、少ない部品点数で製造することができ、しかも視野内に表示される画面に対して文字入力等の操作を容易且つ正確に行うことができる端末装置を提供することを目的とするものである。

　上記の目的を達成するための本発明に係る端末装置は、使用者の頭部に装着される装着物と、装着物に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置と、装着物と別体に構成された、表示部を搭載する端末と、を具備し、端末が、表示装置と無線又は有線で接続されており、表示部に表示されている画面を元画面として表示装置に表示するように表示装置を制御する機能を有することを特徴とするものである。

　ここで、表示装置は表示デバイスを有する投影装置とホログラムシート又はハーフミラーとを備え、ホログラムシート又はハーフミラーは使用者の顔の前側であって使用者の視野の範囲内に配置されており、元画面は投影装置からの画像をホログラムシート又はハーフミラーに投影することによりホログラムシート又はハーフミラーに表示されるようにしてもよい。

　また、表示装置は、表示デバイスを有する投影装置と、光学系と、表示デバイスに表示された元画面が光学系を介して投影される投影部とを備えており、投影部は、半透明スクリーン、透過型スクリーン、ホログラムシート、ホログラムフィルム、ホログラム光学素子又はハーフミラーであってもよい。

　また、表示装置は、表示デバイスを有する投影装置と、光学系と、表示デバイスに表示された元画面が前記光学系を介して投影される投影部とを備えており、光学系は、レンズ、反射鏡、プリズム、導光板や導波路のうちその一部又は全部から構成されるものであってもよい。また、これら以外の光学系を用いてもよい。

　更に、表示装置は透過型又は透明型の表示デバイスであり、その表示デバイスは使用者の顔の前側であって使用者の視野の範囲内に配置されるようにしてもよい。

　本発明の端末装置では、使用者の頭部に装着される装着物と表示部を搭載する端末とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物の部品点数を少なくして、装着物の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

　また、本発明の端末装置は装着物に設けられた各種の装置が外部と無線通信を行うための通信部を更に具備しており、端末は外部と無線通信を行う機能を有し、表示装置は通信部を介して端末と無線通信を行うようにしてもよい。この場合、端末及び表示装置はそれぞれ、無線通信を行う際に相手から送られる識別情報に基づいて認証を行った後にデータの通信を行うことが望ましい。

　本発明の端末装置において、端末は、表示部に表示されている画面を元画面として表示装置に表示する場合、使用者によってなされた表示装置の画面表示に関する設定にしたがって、表示部に表示されている画面を簡略化した画面、表示部に表示されている画面の一部、又は、表示部に表示されている画面において文字及び／又は図表を拡大した画面を表示装置に表示するようにしてもよい。また、本発明の端末装置において、端末は、表示部に表示されている画面を元画面として表示装置に表示する場合、使用者によってなされた表示部の画面に関する設定にしたがって、表示部における当該画面の表示をそのまま維持する又は表示部を消灯するようにしてもよい。更に、本発明の端末装置において、端末は、表示部に表示されている画面を元画面として表示装置に表示する場合、使用者により表示装置に表示すべき画面が指定されたときに、表示部に現在表示されている画面とは別に、その指定された画面を表示装置に表示するようにしてもよい。

　本発明の端末装置において、端末は、携帯端末であり、自らの位置に関する位置情報を取得する機能と、記憶部に記憶された地図情報及び位置情報に基づいて使用者を現在の位置から使用者が設定した目的地に導くための画面を作成して表示部に表示する機能とを有することが望ましい。また、端末は、携帯端末であり、自らの位置に関する位置情報を取得する機能と、記憶部に記憶された地図情報及び位置情報に基づいて現在の位置の周辺にある店舗を検索し、その検索して得られた店舗に関する情報を表示部に表示する機能とを有することが望ましい。

　尚、表示装置は、装着物に着脱可能に設けられていてもよい。

　本発明の端末装置において、
　装着物には、視認画面に対して使用者が指又は所定の入力指示具で操作を行ったときにその操作を行った指又は入力指示具を撮像し、その撮像して得られた画像データを端末に無線又は有線で出力する撮像装置が設けられており、
　端末は、
　元画面に関するデータを含む各種のデータを記憶する記憶部と、
　使用者が視認画面に対して操作を行った指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
　使用者が視認画面に対して操作を行った指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データに基づいて撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の位置データを生成する位置データ生成部と、
　使用者が視認画面における一又は複数の所定位置において指又は入力指示具で操作を行ったときに、操作判定部で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部で生成された当該指又は入力指示具の位置データを用いて、当該視認画面の位置及び大きさを特定するための当該視認画面に関するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、
　使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び位置データ生成部で生成された当該指又は入力指示具の位置データと、記憶部に記憶されている当該視認画面に関する基準データと、記憶部に記憶されている当該視認画面に対応する元画面に関するデータとに基づいて、撮像範囲内で当該視認画面の範囲を特定し、当該指又は入力指示具による操作がその特定した当該視認画面の範囲内のどの位置で行われたのかを調べることにより、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部に表示する画面の制御及び前記表示装置に表示する前記元画面の制御を行う入力制御部と、
　を備えていてもよい。

　このように、本発明の端末装置では、端末の入力制御部が、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び位置データ生成部で生成された当該指又は入力指示具の位置データと、記憶部に記憶されている当該視認画面に関する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の端末装置を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

　尚、この場合、端末は、撮像装置を制御して撮像装置の撮像範囲を調整する機能、及び、撮像装置を制御して被写体にピントが合う奥行き方向の範囲である被写界深度を調整する機能を有することが望ましい。これらの機能を用いて撮像装置が撮像する対象を視認画面に対して操作する指又は入力指示具だけに制限することにより、他者のプライバシーに配慮することができる。

　また、本発明の端末装置において、
　装着物には、使用者の目を撮像することにより、使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得し、その取得した画像データを端末に無線又は有線で出力する撮像装置が設けられており、
　端末は、
　元画面に関するデータを含む各種のデータを記憶する記憶部と、
　使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
　使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する操作位置特定部と、
　使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部に表示する画面の制御及び前記表示装置に表示する前記元画面の制御を行う入力制御部と、
　を備えていてもよい。

　このように、本発明の端末装置では、端末の入力制御部が、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の端末装置を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

　ここで、操作位置特定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指又は入力指示具の位置を求め、その求めた撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指又は入力指示具の位置に基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定するようにしてもよい。

　また、端末には、撮像装置で撮像して得られた一連の画像データの中から、指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、
操作判定部は、画像データ抽出部で抽出された一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、画像データ抽出部で抽出された一連の画像データに基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することが望ましい。これにより、画像データ抽出部によって抽出される一連の画像データには、指又は指示具が存在している画像データだけが含まれるので、操作判定部及び操作位置特定部はそれぞれ、その処理を効率よく行うことができる。

　この場合、端末は、表示装置に元画面を表示する前に使用者の目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されている虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、を更に備えており、画像データ抽出部は、画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指又は入力指示具が存在している画像データを抽出する処理を容易に行うことができる。

　特に、使用者がコンタクトレンズを装着している場合、画像差分抽出部は虹彩及び瞳孔の画像に加えてコンタクトレンズの画像が取り除かれた画像データを生成することが好ましい。すなわち、端末は、表示装置に元画面を表示する前に、コンタクトレンズを装着している使用者の目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されているコンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、を更に備えており、画像データ抽出部は、画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指又は入力指示具が存在している画像データを抽出する処理を容易に行うことができる。

　また、端末は、撮像装置で撮像して得られた画像データに使用者の目の画像が存在しているかどうかを判定し、使用者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、目存在・不存在判定部により使用者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、報知装置を制御して報知装置から音又は振動を発生させる報知制御部と、を更に備えていることが望ましい。これにより、例えば、自動車の運転者が本発明の端末装置を使用する場合、報知制御部は、目存在・不存在判定部によりその運転者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、運転者が寝ていると判断して、報知装置からアラームやバイブレーションを発生させることによって居眠り運転を防止することができる。

　また、端末には、表示部の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を入力制御部に出力する位置検知部が備えられており、表示部に表示されるタッチパッドの画像に関するデータが記憶部に記憶されており、入力制御部は、表示装置に元画面が表示されている場合、表示部にタッチパッドの画像が表示され、使用者がタッチパッドの画像上で接触操作を行ったときに、位置検知部から送られる当該接触操作に対する接触位置情報及び記憶部に記憶されているタッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、表示装置に表示されている元画面の制御を行うようにしてもよい。

　更に、端末には、当該端末の移動方向を検知すると共に当該端末の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を入力制御部に出力する移動情報出力部が備えられており、端末の移動情報と表示装置上に表示されるカーソルに関連する操作との対応関係を表すデータが記憶部に記憶されており、入力制御部は、表示装置に元画面が表示されている場合、使用者が端末を移動させたときに、移動情報出力部から送られる当該移動に対する移動情報及び記憶部に記憶されている対応関係を表すデータに基づいてカーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、表示装置に表示されている元画面の制御を行うようにしてもよい。

　また、表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、端末は、リモートコントローラの操作部に対応する画面を元画面として表示装置に表示させ、その元画面に対応する視認画面に対して操作が行われたときに、その操作の内容を示す指令信号を生成し、その生成した指令信号を遠隔制御可能な装置に無線送信する遠隔制御部を更に備えていてもよい。

　更に、表示装置及び撮像装置は、装着物に着脱可能に設けられていてもよい。

　本発明の端末装置は、端末に対する入力装置であるタッチパッド部を更に具備しており、タッチパッド部が装着部に着脱可能に設けられていてもよい。また、本発明の端末装置は、端末から出力された電気信号を音に変換してその音を耳を介して又は骨伝導により使用者に伝達する音出力装置を更に具備しており、音出力装置が装着物に設けられていてもよい。更に、本発明の端末装置は、使用者の音声を電気信号に変換してその電気信号を端末に出力する音入力装置を更に具備しており、音入力装置が装着物に設けられていてもよい。

図１は本発明の第一実施形態である端末装置の概略斜視図である。図２（ａ）は第一実施形態の端末装置の概略平面図、図２（ｂ）はその端末装置の概略右側面図である。図３は第一実施形態の端末装置においてディスプレイ装置（表示装置）のホログラムシートに元画面を投影している様子を説明するための概略図である。図４は第一実施形態の端末装置の概略ブロック図である。図５は第一実施形態の端末装置においてディスプレイ装置制御用プログラムにしたがってディスプレイ装置に画面を表示する処理の手順を説明するためのフローチャートである。図６は表示部の画面の一部をディスプレイ装置に表示する場合の視認画面の例を示す図である。図７は表示部の画面に表示されている文字を拡大して得られる画面をディスプレイ装置に表示する場合の視認画面の例を示す図である。図８は道案内用アプリケーションプログラムの画面をディスプレイ装置に表示した場合の視認画面の例を示す図である。図９は本発明の端末装置における眼鏡のレンズ部に貼り付けられるホログラムシートの例を示す図である。図１０は本発明の第二実施形態である端末装置の概略斜視図である。図１１は第二実施形態の端末装置の概略ブロック図である。図１２は第二実施形態の端末装置においてディスプレイ装置制御用プログラムにしたがってディスプレイ装置に画面を表示する処理の手順を説明するためのフローチャートである。図１３は本発明の第三実施形態である端末装置の概略斜視図である。図１４は第三実施形態の端末装置の概略ブロック図である。図１５は文字入力画面の一例を示す図である。図１６は文字入力画面に表示される検索画面の一例を示す図である。図１７は視認画面に対して行われるタッチ操作の態様を説明するための図である。図１８は視認画面に対して行われるタッチ操作の態様を説明するための図である。図１９は第三実施形態の端末装置において基準データの設定処理の手順を説明するためのフローチャートである。図２０は基準データを設定する処理の際に表示される元画面の例を示す図である。図２１は第三実施形態の端末装置において視認画面を用いた文字入力の処理の手順を説明するためのフローチャートである。図２２は第三実施形態の端末装置において視認画面を用いた画面表示の処理の手順を説明するためのフローチャートである。図２３は本発明の第四実施形態である端末装置の概略ブロック図である。図２４は本発明の第五実施形態である端末装置の概略ブロック図である。図２５は本発明の第六実施形態である端末装置の概略ブロック図である。図２６は本発明の第七実施形態である端末装置の概略ブロック図である。図２７は本発明の第八実施形態である端末装置の概略ブロック図である。図２８は本発明の第九実施形態である端末装置の概略ブロック図である。図２９は第九実施形態においてずれ補正部が位置データのＸ座標を基準画面上での位置データのＸ座標に換算する処理を説明するための図である。図３０は第九実施形態においてずれ補正部が位置データのＹ座標を基準画面上での位置データのＹ座標に換算する処理を説明するための図である。図３１は本発明の第十実施形態である端末装置の概略ブロック図である。図３２は本発明の第十一実施形態である端末装置の概略ブロック図である。図３３は本発明の第十二実施形態である端末装置の概略ブロック図である。図３４は本発明の第十三実施形態である端末装置の概略ブロック図である。図３５は第十三実施形態において基準データを設定する処理の際に表示される基準データ設定用の元画面の例を示す図である。図３６は第十三実施形態の端末装置において視認画面を用いた文字入力の処理の手順を説明するためのフローチャートである。図３７は第十三実施形態の端末装置において視認画面を用いた画面表示の処理の手順を説明するためのフローチャートである。図３８は本発明の第十四実施形態である端末装置の概略ブロック図である。図３９は本発明の第十五実施形態である端末装置の概略ブロック図である。図４０は本発明の第十六実施形態である端末装置の概略ブロック図である。図４１（ａ）は本発明の第十七実施形態である端末装置の概略平面図、図４１（ｂ）はその端末装置の概略右側面図である。図４２は第十七実施形態の端末装置の概略斜視図である。図４３は第十七実施形態の端末装置の概略ブロック図である。図４４（ａ）は目に映り込んだ元画面の例を示す図、図４４（ｂ）は第十七実施形態の端末装置において撮像装置の撮像範囲の例を示す図である。図４５はタッチパッド部の取付け場所を説明するための図である。図４６はタッチパッド部の構成を説明するための図である。図４７は第十七実施形態の端末装置において視認画面を用いた文字入力の処理の手順を説明するためのフローチャートである。図４８は第十七実施形態の端末装置において視認画面を用いた画面表示の処理の手順を説明するためのフローチャートである。図４９は操作位置特定部が元画面の範囲を特定する上で望ましい元画面の例を示す図である。図５０は本発明の第十八実施形態である端末装置の概略ブロック図である。図５１は第十八実施形態の端末装置において視認画面を用いた文字入力の処理の手順を説明するためのフローチャートである。図５２は第十八実施形態の端末装置において視認画面を用いた画面表示の処理の手順を説明するためのフローチャートである。図５３は本発明の第十九実施形態である端末装置の概略ブロック図である。図５４は第十九実施形態の端末装置において視認画面を用いた文字入力の処理の手順を説明するためのフローチャートである。図５５は第十九実施形態の端末装置において視認画面を用いた画面表示の処理の手順を説明するためのフローチャートである。図５６は本発明の第二十実施形態である端末装置の概略ブロック図である。図５７は第二十実施形態の端末装置において視認画面を用いた文字入力の処理の手順を説明するためのフローチャートである。図５８は第二十実施形態の端末装置において視認画面を用いた画面表示の処理の手順を説明するためのフローチャートである。図５９（ａ）は本発明の第二十一実施形態である端末装置の概略平面図、図５９（ｂ）はその端末装置の概略右側面図である。図６０は図５９に示す端末装置の概略斜視図である。図６１（ａ）は画像をハーフミラーに投影するディスプレイ装置を備えると共に撮像レンズがハーフミラーの近傍に取り付けられた第十七実施形態の端末装置の概略平面図、図６１（ｂ）はその端末装置の概略右側面図である。図６２は図６１に示す端末装置の概略斜視図である。図６３は本発明の第二十二実施形態である端末装置の概略斜視図である。図６４は第二十二実施形態の端末装置に貼り付けられる大きなサイズのホログラムシートの例を示す図である。図６５はフェイスシールドのシールド部の一部が半透明又は非透過性であるように構成された図６４の端末装置を示す図である。図６６は装着物としてフェイスシールドを用いた第二実施形態の端末装置の概略斜視図である。図６７は装着物としてフェイスシールドを用いると共にディスプレイ装置及び撮像装置と端末とを無線で接続した第二十一実施形態の端末装置の概略斜視図である。図６８は装着物としてフェイスシールドを用いると共にディスプレイ装置及び撮像装置と端末とを有線で接続した第二十一実施形態の端末装置の概略斜視図である。図６９（ａ）はホログラムシートを有するタイプの二つのディスプレイ装置を備える端末装置の概略斜視図、図６９（ｂ）はハーフミラーを有するタイプの二つのディスプレイ装置を備える端末装置の概略斜視図である。図７０は二つのディスプレイ装置を備える端末装置における眼鏡のレンズ部に貼り付けられるホログラムシートの例を示す図である。図７１は装着物としての眼鏡を備える端末装置において太陽電池の取り付け方法を説明するための図である。図７２は装着物としての眼鏡を備える端末装置において太陽電池の取り付け方法を説明するための図である。図７３は装着物としての眼鏡を備える端末装置において太陽電池の取り付け方法を説明するための図である。図７４は装着装置としてのフェイスシールドを備える端末装置において太陽電池の取り付け方法を説明するための図である。図７５は装着装置としてのフェイスシールドを備える端末装置において太陽電池の取り付け方法を説明するための図である。図７６は装着物としてフェイスシールドを用いた端末装置においてタッチパッド部の取り付け場所を説明するための図である。図７７は元画面としてエアコンのリモコン画面を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。図７８は携帯電話で電話をかける際の操作画面についての元画面の例を示す図である。図７９は端末としてスマートフォンを用いている場合にその端末の画面をタッチパッド部として使用している様子を示す図である。図８０は端末としてスマートフォンを用いている場合にその端末をマウスとして使用してカーソルの移動を指示している様子を示す図である。図８１は眼鏡のレンズ部に着脱可能に貼り付けられるホログラムシートの例を示す図である。図８２は眼鏡のレンズ部に着脱可能に取り付けられるホログラムシートの例を示す図である。

　以下に、図面を参照して、本願に係る発明を実施するための形態について説明する。

［第一実施形態］
　まず、本発明の第一実施形態である端末装置について説明する。図１は本発明の第一実施形態である端末装置の概略斜視図、図２（ａ）は第一実施形態の端末装置の概略平面図、図２（ｂ）はその端末装置の概略右側面図である。また、図３は第一実施形態の端末装置においてディスプレイ装置（表示装置）のホログラムシートに元画面を投影している様子を説明するための概略図、図４は第一実施形態の端末装置の概略ブロック図である。

　本発明の端末装置は、ユーザ（使用者）の頭部に装着される装着物と、その装着物に設けられたディスプレイ装置（表示装置）と、装着物と別体に構成された、表示部を搭載する端末とを具備するものである。第一実施形態では、装着物が眼鏡である場合を考える。したがって、第一実施形態の端末装置１Ａは、図１及び図２に示すように、装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を搭載する端末３０と、眼鏡１０に設けられた通信部４０とを備える。

　眼鏡１０は、図１及び図２に示すように、二つのレンズ部１１，１１を有する一般的なものである。レンズ部１１に取り付けるレンズは、視力を矯正するための凸レンズや凹レンズであってもよいし、視力矯正機能を持たないただのガラスやプラスチック等であってもよいし、また、太陽光から目を保護するためのサングラス用のレンズであってもよい。

　ディスプレイ装置２０は、図１、図２及び図３に示すように、例えば、液晶パネル（表示デバイス）を有する小型プロジェクタ（投影装置）２１と、光学系２２と、光（映像）の一部を反射するホログラムシート（又はホログラムフィルム）２３とを備える。ここで、小型プロジェクタ２１としては、例えば、透過型液晶方式（ＬＣＤ）プロジェクタ又は反射型液晶方式（ＬＣＯＳ）プロジェクタを用いることができる。光学系２２としては、例えば、レンズ、反射鏡、プリズム等のうちその一部又は全部から構成されるものを用いることができる。ホログラムシート（又はホログラムフィルム）２３は、小型プロジェクタ２１の液晶パネルに表示された元画面が光学系を介して投影される投影部としての役割を果たす。小型プロジェクタ２１及び光学系２２は一つの筐体１００の中に配設され、その筐体１００は眼鏡１０の柄の部分に取り付けられている。第一実施形態では、筐体１００は眼鏡１０に着脱可能である。すなわち、小型プロジェクタ２１及び光学系２２は眼鏡１０に着脱可能に設けられている。尚、一般にホログラムシートとホログラムフィルムとは厚さの違いによって区別されるが、本明細書においては、ホログラムシート及びホログラムフィルムの両方を含む概念としてホログラムシートを定義し、ホログラムシートという用語を使用することにする。

　ホログラムシート２３はユーザの顔の前側であってユーザの視野の範囲内に配置される。具体的に、ホログラムシート２３は、図１及び図３に示すように、眼鏡１０における右眼用のレンズ部１１に貼り付けられている。ここでは、ホログラムシート２３として長方形状（例えば縦１ｃｍ、横１．５ｃｍ）のものを用い、そのホログラムシート２３を横長の状態にしてレンズ部１１の上部であってやや右側に貼り付けている。小型プロジェクタ２１の液晶パネルに表示された画像や映像は、図３に示すように、光学系２２を介してホログラムシート２３に投影される。特に、第一実施形態では、小型プロジェクタ２１の液晶パネルに表示された画像や映像をホログラムシート２３の全体に投影することにしている。すなわち、ホログラムシート２３それ自体が小型プロジェクタ２１による画像等の投影範囲となっている。実際、このホログラムシート２３には極小な画面が表示される。図２に示すように、ユーザはホログラムシート２３によって反射された画像や映像を見ることができる。ユーザは、眼鏡１０をかけて第一実施形態の端末装置１Ａを使用すると、ホログラムシート２３に表示される極小な画面の像である半透明の画面を空中に浮かんでいるように見ることができる。この浮かんでいるように見える半透明の画面は、ユーザにとっては、８フィート離れて視る２５インチの画面に相当するものである。第一実施形態では、この浮かんでいるように見える画面が半透明である場合について説明するが、一般に、この画面は半透明でなくてもよい。また、第一実施形態では、この浮かんでいるように見える画面が、図２に示すようにユーザの視野の右上の位置に表示される場合について説明するが、一般に、この画面は、ユーザの視野の中央や左上や右下等の位置に表示するようにしてもよい。尚、以下では、小型プロジェクタ２１からの画像をホログラムシート２３に投影することによりそのホログラムシート２３に表示される極小の画面のことを「元画面」、眼鏡１０を使用するユーザに空中に浮かんでいるように見える画面のことを「視認画面」とも称する。この点で、ディスプレイ装置２０は、ユーザに空中に浮かんでいるように見える視認画面に対応する元画面を表示するものであるということができる。

　また、筐体１００には、通信部４０と、電池等の電源部（不図示）と、電源スイッチ（不図示）とが設けられている。通信部４０は、装着物（眼鏡１０）に設けられた各種の装置（第一実施形態ではディスプレイ装置２０）が外部と無線通信を行うためのものである。端末３０は外部と無線通信を行う機能を有しており、ディスプレイ装置２０はこの通信部４０を介して端末３０と無線通信を行うことができる。ディスプレイ装置２０の制御は無線通信で端末３０によって行われる。電源部は、装着物（眼鏡１０）に設けられた各種の装置（第一実施形態ではディスプレイ装置２０と通信部４０）に電力を供給するためのものである。また、電源スイッチは電源部からディスプレイ装置２０及び通信部４０への電力供給をオン・オフするものである。この電源スイッチは筐体１００表面の所定箇所に取り付けられている。

　第一実施形態では、端末３０は、眼鏡１０に設けるのではなく、眼鏡１０と別体に構成される。このため、端末３０として、スマートフォンやタブレット端末等の既存の携帯端末を用いることにする。この端末３０は、図４に示すように、表示部３１と、通信部３２と、記憶部３３と、制御部３４とを有する。表示部３１は端末３０の表面に設けられた液晶表示装置である。また、表示部３１の画面にはタッチパネルが設けられている。このタッチパネルには、表示部３１の画面に対して接触操作（タッチ操作）が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を制御部３４に出力する位置検知部が備えられている。表示部３１の画面上には、ホーム画面、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。ユーザはこれらの画面上でタッチ操作を行うことにより、各種の指示を端末３０に与えることができる。ここで、タッチ操作とは、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作等の各種の操作をいうものとする。

　また、端末３０は外部との間で無線通信を行う機能を有しており、この機能は通信部３２によって実現される。もちろん、端末３０は、この通信部３２及び筐体１００に設けられた通信部４０を介してディスプレイ装置２０と無線通信を行うことができる。この点で、端末３０はディスプレイ装置２０と無線で接続されている。ここで、端末３０とディスプレイ装置２０との間の無線通信の方式としては、例えばBluetoothを用いることができる。また、セキュリティ確保の観点から、端末３０及びディスプレイ装置２０はそれぞれ、無線通信を行う際に相手から送られる識別情報に基づいて認証を行った後にデータの通信を行うことにしている。

　記憶部３３には、各種のプログラムやデータ等が記憶されている。例えば、端末３０がディスプレイ装置２０を制御するための特別なディスプレイ装置制御用プログラムが記憶部３３に記憶されている。このディスプレイ装置制御用プログラムは、表示部３１に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する機能を制御部３４に実現させるためのアプリケーションプログラムである。ディスプレイ装置制御用プログラムが制御部３４によって実行されると、表示部３１に表示されている画面がその表示部３１だけでなくディスプレイ装置２０にも表示されることになる。

　また、ディスプレイ装置制御用プログラムが実行されたときには、当該プログラムの設定画面が表示部３１に表示される。この設定画面には、ディスプレイ装置２０の画面表示に関する設定を行うための複数のボタンが設けられている。具体的に、ディスプレイ装置２０の画面表示に関する設定を行うためのボタンとしては、表示部３１に表示されている画面を簡略化した画面をディスプレイ装置２０に表示すべきことを指示するボタンＢ１と、表示部３１に表示されている画面の一部をディスプレイ装置２０に表示すべきことを指示するボタンＢ２と、表示部３１に表示されている画面において文字や図表（図、写真、表等）を拡大した画面をディスプレイ装置２０に表示すべきことを指示するボタンＢ３とがある。また、ディスプレイ装置制御用プログラムの設定画面には、表示部３１に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示する際に表示部３１を消灯すべきことを設定するボタンＢ４と、当該プログラムを終了することを指示するボタンＢ５とが設けられている。ボタンＢ４を用いることにより、表示部３１に表示されている画面の内容をディスプレイ装置２０に表示する際に、表示部３１における当該画面の表示をそのまま維持するか、表示部３１を消灯するかを設定することができる。尚、端末３０の表示部３１が点灯している場合に、ユーザは、端末３０の電源ボタンを押すことによって、表示部３１を消灯することができる。逆に、端末３０の表示部３１が消灯している場合、ユーザは、端末３０の電源ボタンを押すことによって、表示部３１の消灯状態を解除することができる。

　このように、ディスプレイ装置制御用プログラムが実行されると、ディスプレイ装置２０には、表示部３１に表示されている画面が表示されるので、結果として、表示部３１とディスプレイ装置２０には同じ画面が表示されることになる。しかしながら、ディスプレイ装置制御用プログラムの設定画面を使用すると、ユーザは、ディスプレイ装置２０に、表示部３１に表示されている画面の内容と異なる内容の画面を表示すべきことを指定することが可能である。例えば、ディスプレイ装置制御用プログラムの設定画面には、ディスプレイ装置２０に表示すべき画面を指定する欄が設けられている。ユーザがこの欄を利用してディスプレイ装置２０に表示すべき画面を指定すると、制御部３４は、表示部３１に現在表示されている画面とは別に、ユーザが指定した画面をディスプレイ装置２０に表示する。すなわち、この場合、表示部３１とディスプレイ装置２０にはそれぞれ異なる画面が表示される。

　制御部３４は、中央演算処理装置（ＣＰＵ）等を備えており、端末３０の全般を制御すると共にディスプレイ装置２０をも制御する。例えば、制御部３４は、ユーザにより表示部３１においてタッチ操作がなされたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。また、制御部３４は、上記ディスプレイ装置制御用プログラムを実行することにより、表示部３１に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する。

　また、制御部３４は、図４に示すように、表示制御部３４１を有している。この表示制御部３４１は、表示部３１及びディスプレイ装置２０での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部３４１は、記憶部３３に記憶されているディスプレイ装置制御用プログラムを実行して、表示部３１に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示する。これにより、眼鏡１０をかけたユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。但し、ユーザがディスプレイ装置制御用プログラムの設定画面で各種の設定を行った場合には、表示制御部３４１はその設定にしたがって表示部３１及びディスプレイ装置２０の制御を行う。

　次に、第一実施形態の端末装置１Ａにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理について説明する。図５は第一実施形態の端末装置１Ａにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理の手順を説明するためのフローチャートである。

　まず、ユーザは、筐体１００に設けられた電源スイッチをオンにする。これにより、ディスプレイ装置２０及び通信部４０は電源オンの状態になる。ここでは、ユーザは眼鏡１０をかけた状態で操作を行うものとする。次に、ユーザは、端末３０を操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面においてディスプレイ装置制御用プログラムのアイコンをタップし、そのディスプレイ装置制御用プログラムを選択する。端末３０の制御部３４は、ディスプレイ装置制御用プログラムが選択された旨の信号を受けると、ディスプレイ装置制御用プログラムを起動する（Ｓ１１）。ディスプレイ装置制御用プログラムが起動すると、制御部３４は、そのディスプレイ装置制御用プログラムにしたがって処理を行う。具体的に、制御部３４は、まず、端末３０とディスプレイ装置２０との接続状態を確認する処理を行う（Ｓ１２）。接続が確認されると、制御部３４は、ディスプレイ装置２０に対して識別情報の送信を要求し、ディスプレイ装置２０から送られる識別情報に基づいて認証処理を行う（Ｓ１３）。こうして、ディスプレイ装置２０に対する認証がなされると、制御部３４は、ディスプレイ装置制御用プログラムの設定画面を表示部３１に表示する。そして、現在、表示部３１に表示されている画面に関するデータを無線でディスプレイ装置２０に送信し、その表示部３１に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示させる（Ｓ１４）。これにより、ユーザは、眼鏡１０を通してその元画面Ｍに対応する視認画面Ｓを空中に浮かんでいるような感覚で見ることができる。その後、ユーザが端末３０を操作して、例えば、所望のアプリケーションプログラムを選択すると、制御部３４はそのアプリケーションプログラムを実行し、そのアプリケーションプログラムの画面を表示部３１に表示すると共に、その画面に関するデータを無線でディスプレイ装置２０に送信して、表示部３１に表示されている画面と同じ画面をディスプレイ装置２０に表示する。こうして、ユーザは、眼鏡１０を通してそのアプリケーションプログラムの画面に対する視認画面Ｓを、空中に浮かんでいるように見ることができる。

　ところで、表示部３１に表示されている画面をディスプレイ装置２０に表示したときに、例えば、ユーザは元画面Ｍに表示された文字等が細かくて、その元画面Ｍに対応する視認画面Ｓの内容を認識し難いと感じることがある。この場合、ユーザは、ディスプレイ装置制御用プログラムの設定画面を表示部３１に表示し、その設定画面においてボタンＢ２又はボタンＢ３をタップすることができる。ユーザがボタンＢ２をタップすると、制御部３４は、表示部３１に表示されている画面の一部に関するデータをディスプレイ装置２０に送信し、これにより、その表示部３１に表示されている画面の一部がディスプレイ装置２０に表示されるようになる。図６は表示部３１の画面の一部をディスプレイ装置２０に表示する場合の視認画面Ｓの例を示す図である。図６の例では、表示部３１に表示されている画面の略半分をディスプレイ装置２０に表示しており、ユーザはディスプレイ装置２０に表示された略半分の画面を見ると、その略半分の画面に対応する視認画面Ｓを認識することができる。この場合、ディスプレイ装置２０に表示された略半分の画面は、画面の全体がディスプレイ装置２０に表示された場合におけるその略半分の画面に比べて大きく表示されるので、ユーザは視認画面Ｓの内容を認識し易くなる。一方、表示部３１に文字や図表を含む画面が表示されている場合、ユーザがボタンＢ３をタップすると、制御部３４は、表示部３１に表示されている画面において文字や図表を拡大した画面に関するデータをディスプレイ装置２０に送信し、これにより、その表示部３１に表示されている画面において文字や図表が拡大された画面がディスプレイ装置２０に表示されるようになる。図７は表示部３１の画面に表示されている文字を拡大して得られる画面をディスプレイ装置２０に表示する場合の視認画面Ｓの例を示す図である。この場合、図７に示すように、ユーザは、文字が拡大された画面を視認画面Ｓとして見ることができるので、その画面の文字を正確に認識することができる。尚、図７では文字だけを含む画面の例を示しているが、図表を含む画面が表示部３１に表示されている場合には、ユーザは、文字だけでなく図表も拡大された画面を視認画面Ｓとして見ることができるので、文字と図表の内容を正確に認識することができる。

　ディスプレイ装置２０への画面表示を終了する場合、ユーザは、端末３０の表示部３１にディスプレイ装置制御用プログラムの設定画面を表示し、その設定画面上に設けられた、ディスプレイ装置制御用プログラムを終了すべきことを指示するボタンＢ５をタップする。制御部３４は、ディスプレイ装置制御用プログラムを終了する旨の信号を受けると（Ｓ１５）、そのディスプレイ装置制御用プログラムを終了する（Ｓ１６）。あるいは、ユーザが視認画面Ｓ（ディスプレイ装置制御用プログラムの設定画面）に対して指でボタンＢ５をタップ操作したときに、制御部３４はボタンＢ５でタッチ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。これにより、制御部３４は画面に関するデータをディスプレイ装置２０に送信するのを停止し、ディスプレイ装置２０の画面には何も表示されなくなる。最後に、ユーザは筐体１００に設けられた電源スイッチをオフにする。尚、表示部３１にアプリケーションプログラムの画面が表示されている場合、その画面上の所定位置（例えば下の隅の位置）に所定のアイコンを表示しておき、ユーザが視認画面Ｓに対して指でそのアイコンをタップ操作したときに、制御部３４が当該アイコンに対してタップ操作が行われたことを認識して、電源部を制御することにより、電源部からディスプレイ装置２０及び通信部４０への電力供給をオフすることも可能である。

　次に、第一実施形態の端末装置１Ａの具体的な使用例を説明する。ここでは、端末３０が携帯端末であり、その端末３０には自らの位置に関する位置情報を取得するＧＰＳ（Global Positioning System）機能が備わっている場合を考える。

　最初の例では、記憶部３３に記憶された地図情報及び上記ＧＰＳ機能で得られた位置情報に基づいて、ユーザの現在の位置からユーザが設定した目的地に導くための画面を作成して表示部３１に表示する機能を制御部３４に実現させるための道案内用アプリケーションプログラムが端末３０にインストールされているものとする。この場合、ディスプレイ装置制御用プログラムの実行中に、ユーザが端末３０を操作して上記道案内用アプリケーションプログラムの実行を指示すると、制御部３４は、上記道案内用アプリケーションプログラムを起動し、その道案内用アプリケーションプログラムの画面としてユーザをユーザが設定した目的地に導くための画面を表示部３１に表示すると共にディスプレイ装置２０に元画面Ｍとして表示する。図８は道案内用アプリケーションプログラムの画面をディスプレイ装置２０に元画面Ｍとして表示した場合の視認画面Ｓの例を示す図である。この図８では、ユーザを目的地に導くための画面として、ユーザが進むべき方向を示す矢印の画像が表示される。ユーザは視認画面Ｓを見て、そこに表示された矢印の向きにしたがって進むことにより目的地に到達することができる。

　また、上記の例では、制御部３４が、道案内用アプリケーションプログラムを実行した際に、ユーザを目的地に導くための画面（例えば矢印画像の画面）を表示部３１及びディスプレイ装置２０に表示する場合について説明したが、制御部３４は、道案内用アプリケーションプログラムを実行した際に、ユーザの現在地を記した地図情報、又は、ユーザの現在地及び目的地を記した地図情報を表示部３１に表示し、ユーザを目的地に導くための画面（例えば矢印画像の画面）をディスプレイ装置２０に表示するようにしてもよい。

　次の例では、記憶部３３に記憶された地図情報及び上記ＧＰＳ機能で得られた位置情報に基づいて現在の位置の周辺にある店舗を検索し、その検索して得られた店舗に関する情報を表示部３１に表示する機能を制御部３４に実現させるための店舗検索用アプリケーションプログラムが端末３０にインストールされているものとする。この場合、ディスプレイ装置制御用プログラムの実行中に、ユーザが端末３０を操作して上記店舗検索用アプリケーションプログラムの実行を指示すると、制御部３４は、上記店舗検索用アプリケーションプログラムを起動し、その店舗検索用アプリケーションプログラムの画面として現在位置の周囲にある店舗に関する情報を含む画面を表示部３１に表示すると共にディスプレイ装置２０に元画面Ｍとして表示する。ユーザはその元画面Ｍに対応する視認画面Ｓを見て、現在位置の周辺にある店舗に関する情報を得ることができる。

　尚、上記の各例において、地図情報は必ずしも予め記憶部３３に記憶しておく必要はない。例えば、制御部３４は、道案内用アプリケーションプログラム又は店舗検索用アプリケーションプログラムを起動した際に、インターネット上の所定のサイトにアクセスして、そのサイトにある地図情報を利用するようにしてもよい。

　第一実施形態の端末装置では、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

　尚、第一実施形態では、ディスプレイ装置２０におけるホログラムシート２３が眼鏡１０のレンズ部１１に貼り付けられている場合について説明したが、ホログラムシート２３は、レンズ部１１に埋め込まれ若しくは一体化されていてもよい。

　また、第一実施形態では、ディスプレイ装置２０におけるホログラムシート２３として小さな長方形状のものを用い、そのホログラムシート２３を横長の状態にしてレンズ部１１の上部であってやや右側に貼り付けており、そして、そのホログラムシート２３の全体に小型プロジェクタ２１の液晶パネルに表示された画像や映像を投影する場合について説明したが、ホログラムシート２３としては、様々な大きさ・形状のものを用いることができる。図９は本発明の端末装置における眼鏡１０のレンズ部１１に貼り付けられるホログラムシート２３の例を示す図である。図９（ａ）に示す例では、ホログラムシート２３として小さな長方形状のものを用いて、そのホログラムシート２３を縦長の状態にしてレンズ部１１の上部であってやや右側に貼り付けている。図９（ｂ）に示す例では、ホログラムシート２３として大きな長方形状（例えば縦１．５ｃｍ、横２．５ｃｍ）のものを用いて、そのホログラムシート２３を横長の状態にしてレンズ部１１の上部であってやや右側に貼り付けている。また、図９（ｃ）に示す例では、ホログラムシート２３をレンズ部１１の全面に貼り付けている。これらの例においても、当該ホログラムシート２３の全体に小型プロジェクタ２１の液晶パネルに表示された画像や映像が投影される。もちろん、例えば、図９（ａ）～（ｃ）に示すホログラムシート２３の一部に画像や映像を投影するようにしてもよい。

　更に、第一実施形態では、ディスプレイ装置２０の一部である小型プロジェクタ２１及び光学系２２が眼鏡１０に着脱可能に設けられている場合について説明したが、例えばホログラムシート２３としてレンズ部１１に繰り返し貼り付けることができるものを用いることにより、小型プロジェクタ２１及び光学系２２に加えてホログラムシート２３も眼鏡１０に着脱可能に設けるようにしてもよい。

［第二実施形態］
　次に、本発明の第二実施形態である端末装置について説明する。図１０は本発明の第二実施形態である端末装置の概略斜視図、図１１は第二実施形態の端末装置の概略ブロック図である。尚、本第二実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第二実施形態である端末装置１Ｂは、図１０及び図１１に示すように、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０と、ディスプレイ装置２０と端末３０との間を接続するケーブル５０とを備える。

　第二実施形態の端末装置１Ｂが第一実施形態の端末装置１Ａと異なる主な点は、ディスプレイ装置２０と端末３０とを、ケーブル５０を用いて有線で接続している点である。第二実施形態の端末装置１Ｂのその他の構成は、第一実施形態の端末装置１Ａのものと同様である。

　ディスプレイ装置２０は、図１０に示すように、小型プロジェクタ２１と、光学系２２と、ホログラムシート２３とを備える。小型プロジェクタ２１及び光学系２２は筐体１００の中に配設され、その筐体１００は眼鏡１０の柄の部分に取り付けられている。筐体１００は眼鏡に着脱可能である。また、筐体１００表面の所定箇所には、ディスプレイ装置２０にケーブル５０を接続するための接続端子（不図示）が設けられている。第二実施形態では、ディスプレイ装置２０の制御は、ケーブル５０を用いた有線通信で端末３０によって行われる。また、ディスプレイ装置２０への電力は、ケーブル５０を介して端末３０から供給される。このため、第二実施形態では、上記第一実施形態における電源部及び電源スイッチは筐体１００に設けられていない。尚、この場合であっても、電源部を筐体１００に設けるようにしてもよい。

　端末３０は、図１１に示すように、表示部３１と、通信部３２と、記憶部３３と、制御部３４と、インターフェースとしての接続端子（不図示）とを有する。表示部３１の画面にはタッチパネルが設けられている。端末３０の接続端子にはケーブル５０が接続される。ディスプレイ装置２０と端末３０とはケーブル５０で接続されており、端末３０はこのケーブル５０を介してディスプレイ装置２０と通信することができる。例えば、端末３０の接続端子及び筐体１００に設けられた接続端子としてはＨＤＭＩ（登録商標）端子を、ケーブル５０としてはＨＤＭＩ（登録商標）ケーブルを用いることができる。また、端末３０の接続端子及び筐体１００に設けられた接続端子としてはＵＳＢ端子を、ケーブル５０としてはＵＳＢケーブルを用いることができる。

　記憶部３３には、各種のプログラムやデータ等が記憶されている。例えば、上記第一実施形態と同様に、端末３０がディスプレイ装置２０を制御するための特別なディスプレイ装置制御用プログラムが記憶部３３に記憶されている。このディスプレイ装置制御用プログラムが制御部３４によって実行されると、表示部３１に表示されている画面がその表示部３１だけでなくディスプレイ装置２０にも表示されることになる。尚、ディスプレイ装置制御用プログラムの設定画面は、上記第一実施形態におけるものと同様であるので、ここでは、その詳細な説明を省略する。

　制御部３４は、端末３０の全般を制御すると共にディスプレイ装置２０をも制御する。この制御部３４は、図１１に示すように、表示制御部３４１を有している。表示制御部３４１は、表示部３１及びディスプレイ装置２０での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部３４１は、記憶部３３に記憶されているディスプレイ装置制御用プログラムを実行して、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示する。これにより、眼鏡１０をかけたユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。

　次に、第二実施形態の端末装置１Ｂにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理について説明する。図１２は第二実施形態の端末装置１Ｂにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理の手順を説明するためのフローチャートである。

　ユーザは眼鏡１０をかけた状態で次の操作を行う。まず、ユーザは、端末３０のホーム画面よりディスプレイ装置２０への電力供給を開始するための設定を行う。これにより、端末３０からディスプレイ装置２０へ電力が供給され、ディスプレイ装置２０の電源がオンになる。尚、筐体１００に電源部が設けられている場合には、筐体１００に設けられた電源部が、ディスプレイ装置２０に供給する電力の全部又は一部を賄うことになる。その場合には、電源スイッチを筐体１００に設け、その電源スイッチを押すとディスプレイ装置２０の電源がオンの状態になるようにしてもよい。次に、ユーザは、端末３０を操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面においてディスプレイ装置制御用プログラムのアイコンをタップし、そのディスプレイ装置制御用プログラムを選択する。端末３０の制御部３４は、ディスプレイ装置制御用プログラムが選択された旨の信号を受けると、ディスプレイ装置制御用プログラムを起動する（Ｓ２１）。ディスプレイ装置制御用プログラムが起動すると、制御部３４は、そのディスプレイ装置制御用プログラムにしたがって処理を行う。具体的に、制御部３４は、まず、端末３０とディスプレイ装置２０との接続状態を確認する処理を行う（Ｓ２２）。接続が確認されると、制御部３４は、ディスプレイ装置制御用プログラムの設定画面を表示部３１に表示する。そして、現在、表示部３１に表示されている画面に関するデータを、ケーブル５０を介してディスプレイ装置２０に送信し、その表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示させる（Ｓ２３）。これにより、ユーザは、眼鏡１０を通してその元画面Ｍに対応する視認画面Ｓを空中に浮かんでいるような感覚で見ることができる。その後、ユーザが端末３０を操作して、例えば、所望のアプリケーションプログラムを選択すると、制御部３４はそのアプリケーションプログラムを実行し、そのアプリケーションプログラムの画面を表示部３１に表示すると共に、その画面に関するデータを、ケーブル５０を介してディスプレイ装置２０に送信して、表示部３１に表示されている画面と同じ画面をディスプレイ装置２０に表示する。こうして、ユーザは、眼鏡１０を通してそのアプリケーションプログラムの画面に対する視認画面Ｓを、空中に浮かんでいるように見ることができる。

　ディスプレイ装置２０への画面表示を終了する場合、ユーザは、端末３０の表示部３１にディスプレイ装置制御用プログラムの設定画面を表示し、その設定画面上に設けられた、ディスプレイ装置制御用プログラムを終了する旨のボタンＢ５をタップする。制御部３４は、ディスプレイ装置制御用プログラムを終了する旨の信号を受けると（Ｓ２４）、そのディスプレイ装置制御用プログラムを終了する（Ｓ２５）。あるいは、ユーザが視認画面Ｓ（ディスプレイ装置制御用プログラムの設定画面）に対して指でボタンＢ５をタップ操作したときに、制御部３４はボタンＢ５でタッチ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。これにより、制御部３４は画面に関するデータをディスプレイ装置２０に送信するのを停止し、ディスプレイ装置２０の画面には何も表示されなくなる。最後に、ユーザは端末３０のホーム画面よりディスプレイ装置２０への電力供給を停止するための設定を行う。これにより、ディスプレイ装置２０の電源がオフになる。尚、表示部３１にアプリケーションプログラムの画面が表示されている場合、その画面上の所定位置（例えば下の隅の位置）に所定のアイコンを表示しておき、ユーザが視認画面Ｓに対して指でそのアイコンをタップ操作したときに、制御部３４が当該アイコンに対してタップ操作が行われたことを認識して、ケーブル５０を介して端末３０からディスプレイ装置２０への電力供給をオフすることも可能である。特に、筐体１００に電源部が設けられている場合にあっては、ユーザが視認画面Ｓに対して指で上記アイコンをタップ操作し、制御部３４が当該アイコンに対してタップ操作が行われたことを認識したときに、制御部３４は、ケーブル５０を介して端末３０からディスプレイ装置２０への電力供給をオフすると共に、ケーブル５０を介して電源部を制御することにより、筐体１００の電源部からディスプレイ装置２０への電力供給をオフするようにしてもよい。また、筐体１００の電源部がディスプレイ装置２０に供給する電力の全部を賄っている場合には、ユーザが視認画面Ｓに対して指で上記アイコンをタップ操作し、制御部３４が当該アイコンに対してタップ操作が行われたことを認識したときに、制御部３４は、ケーブル５０を介して電源部を制御することにより、筐体１００の電源部からディスプレイ装置２０への電力供給をオフするようにしてもよい。

　第二実施形態の端末装置では、上記第一実施形態と同様に、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

［第三実施形態］
　次に、本発明の第三実施形態である端末装置について説明する。図１３は本発明の第三実施形態である端末装置の概略斜視図、図１４は第三実施形態の端末装置の概略ブロック図である。尚、本第三実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第三実施形態である端末装置２Ａは、図１３及び図１４に示すように、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ａと、通信部４０と、ユーザの前方を撮像するための撮像装置６０とを備える。

　第三実施形態の端末装置２Ａが第一実施形態の端末装置１Ａと異なる主な点は、この端末装置２Ａが撮像装置６０を備えている点、端末３０Ａが撮像装置６０を制御する点、ユーザが視認画面に対してタッチ操作を行うことにより当該操作に対応する指示を入力することができる点である。第三実施形態の端末装置２Ａのその他の構成は、第一実施形態の端末装置１Ａのものと同様である。

　ディスプレイ装置２０は、図１３に示すように、液晶パネル（表示デバイス）を有する小型プロジェクタ２１と、光学系２２と、光（映像）の一部を反射するホログラムシート２３とを備える。小型プロジェクタ２１及び光学系２２は一つの筐体１００の中に配設され、その筐体１００は眼鏡１０の柄の部分に取り付けられている。ホログラムシート２３は、図１３に示すように、眼鏡１０における右眼用のレンズ部１１に貼り付けられている。また、筐体１００には、通信部４０と、電池等の電源部（不図示）と、電源スイッチ（不図示）とが設けられている。通信部４０は、眼鏡１０に設けられた各種の装置（第三実施形態ではディスプレイ装置２０、撮像装置６０）が端末３０Ａとの間で無線通信を行うためのものである。すなわち、ディスプレイ装置２０及び撮像装置６０はこの通信部４０を介して端末３０Ａと無線通信を行う。ディスプレイ装置２０及び撮像装置６０の制御は無線通信で端末３０Ａによって行われる。電源部は、眼鏡１０に設けられた各種の装置（第三実施形態ではディスプレイ装置２０、通信部４０、撮像装置６０）に電力を供給するためのものである。また、電源スイッチは電源部からディスプレイ装置２０、通信部４０及び撮像装置６０への電力供給をオン・オフするものである。この電源スイッチは筐体１００表面の所定箇所に取り付けられている。

　端末３０Ａは、図１４に示すように、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ａとを有する。表示部３１は端末３０Ａの表面に設けられた液晶表示装置であり、表示部３１の画面にはタッチパネルが設けられている。表示部３１の画面上には、ホーム画面、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。いま、文字入力画面について説明する。図１５は文字入力画面の一例を示す図である。図１５に示すように、文字入力画面２００は、キーボード画像２１０と、入力した文字等を表示するための表示領域２２０とを有する。キーボード画像２１０には、各文字（記号を含む）と対応付けられた複数の文字キー画像と、特定の機能が付与された複数の機能キー画像とが設けられている。図１５の例では、キーボード画像２１０における文字キー画像の配列として、ＱＷＥＲＴＹ配列を採用している。尚、キーボード画像２１０は、ひらがな５０音配列のキーボード画像、各国の言語のキーボード画像、テンキー画像、或いは携帯電話のキー配列と同様のキー画像等であってもよい。また、表示領域２２０には、例えば検索画面が表示される。図１６は文字入力画面２００に表示される検索画面の一例を示す図である。この検索画面２２１は、インターネットのサイトを検索するためのものであり、キーワード入力部２２１１と、検索結果を表示する検索結果表示部２２１２とを有する。ユーザは、表示部３１に表示された文字入力画面２００を見ているときに、そのキーボード画像２１０のキー画像を利用して、キーワード入力部２２１１にキーワードを入力することができる。

　表示部３１の画面にはタッチパネルが設けられているので、ユーザは表示部３１の画面に対して指でタッチ操作を行うことにより、各種の指示を端末３０Ａの制御部３４Ａに与えることができる。特に、第三実施形態では、ディスプレイ装置制御用プログラムが実行されて、表示部３１に表示されている画面がディスプレイ装置２０に表示された場合、ユーザは、その視認画面Ｓに対して指でタッチ操作を行うことにより、各種の指示を端末３０Ａの制御部３４Ａに与えることができる。以下では、制御部３４Ａが、ユーザによって視認画面Ｓに対して行われるタッチ操作による指示の内容をどのように認識するかについて詳しく説明する。

　撮像装置６０は、視認画面Ｓに対してユーザが指で操作を行ったときにその操作を行った指を撮像し、その撮像して得られた画像データを端末に出力するものである。この撮像装置６０は、図１３に示すように、ディスプレイ装置２０に隣接する眼鏡１０の柄の部分に設けられている。また、撮像装置６０は、図１４に示すように、カメラ部６１と、画像処理部６２と、カメラ制御部６３とを備える。カメラ部６１はレンズや撮像素子を有するものである。画像処理部６２は、カメラ部６１で撮像して得られた画像データに基づいてその撮像した画像の色や階調の補正処理を行ったり、画像データの圧縮等の画像処理を行ったりするものである。カメラ制御部６３は、画像処理部６２を制御したり、端末３０Ａの制御部３４Ａとの間で画像データのやり取りを制御したりする。尚、第三実施形態では、画像処理部６２は撮像装置６０に設けられている場合について説明するが、この画像処理部６２は、撮像装置６０ではなく、端末３０Ａの制御部３４Ａに設けるようにしてもよい。

　また、撮像装置６０は、この撮像装置６０が撮像することができる範囲である撮像範囲として、ユーザの視野の一部（或いは略全視野）を撮像することができる。特に、第三実施形態では、撮像装置６０は、ユーザが認識する視認画面Ｓの位置、具体的には、例えば、ユーザが手で視認画面Ｓに触ろうとして手を伸ばすときの手の指の位置であって当該撮像装置６０から奥行き方向に沿って略一定の距離だけ離れた位置にある被写体にピントが合うように構成されている。しかも、そのピントが合う範囲（被写界深度）は狭い範囲に制限されている。例えば、ピントが合う位置は撮像装置６０から約４０ｃｍ離れた位置に設定されており、その被写界深度は約５ｃｍの範囲である。但し、第三実施形態では、撮像装置６０がこのようにピントの合う範囲を狭い範囲に制限するのは、後述する基準データの設定、文字入力、及び画面表示のための操作を行う場合に限られる。通常のカメラ撮影を行う場合やその他の状況にある場合には、ピントの合う範囲は狭い範囲に制限されない。尚、撮像装置６０としては、例えば、通常のカメラと同じように距離リング（ピントリング）を用いて手動で設定を変更することにより、ピントが合う位置を切り替えることができるものを用いるようにしてもよい。

　また、第三実施形態では、撮像装置６０におけるピントが合う位置を、ユーザが認識する視認画面Ｓの位置に設定している。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置６０は、その操作を行っている指をピントが合った状態で撮像することになる。撮像装置６０で撮像して得られた画像データは無線通信で端末３０Ａの制御部３４Ａに送られ、制御部３４Ａにより記憶部３３に記憶される。また、撮像装置６０は、静止画像の撮影機能と動画像の撮影機能とを備えており、制御部３４Ａは必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。

　制御部３４Ａは、中央演算処理装置（ＣＰＵ）等を備えており、端末３０Ａの全般を制御すると共にディスプレイ装置２０及び撮像装置６０をも制御する。例えば、制御部３４Ａは、ユーザにより表示部３１においてタッチ操作がなされたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。また、制御部３４Ａは、ディスプレイ装置制御用プログラムを実行することにより、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する。具体的に、この制御部３４Ａは、図１４に示すように、表示制御部３４１と、画像データ抽出部３４２と、操作判定部３４３と、位置データ生成部３４４と、基準データ生成部３４５と、入力制御部３４６とを備える。

　表示制御部３４１は、表示部３１及びディスプレイ装置２０での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部３４１は、記憶部３３に記憶されているディスプレイ装置制御用プログラムを実行して、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示する。これにより、眼鏡１０をかけたユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。

　画像データ抽出部３４２は、ユーザが視認画面Ｓに対して指で操作を行った際に撮像装置６０でピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指であるかどうかを判断して、指が存在している画像データを抽出するものである。被写体が指であるかどうかを判断するには、一般の画像認識の方法が用いられる。第三実施形態では、撮像装置６０の被写界深度を狭い範囲に制限しているので、被写体が指であると判断されれば、当該指は撮像装置６０から奥行き方向に沿って略一定の距離だけ離れた位置にあると考えられる。このように、画像データ抽出部３４２では、当該指が撮像装置６０から奥行き方向に沿って略一定の距離だけ離れた位置にある画像データが抽出される。また、操作判定部３４３、位置データ生成部３４４、基準データ生成部３４５では、画像データ抽出部３４２で抽出された画像データに基づいて処理が行われることになる。

　操作判定部３４３は、ユーザが視認画面Ｓに対して操作を行った指を撮像装置６０が撮像したときに、その撮像して得られた画像データであって画像データ抽出部３４２で抽出されたものに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるかを判定するものである。この判定に際しては、例えば一般の画像認識の手法が用いられる。これにより、操作判定部３４３は、当該指による操作が、タップ操作、ダブルタップ操作、長押し操作等のうちいずれの操作であるかを認識することができる。その認識した当該指による操作の内容に関するデータは記憶部３３に記憶される。

　位置データ生成部３４４は、ユーザが視認画面Ｓに対して操作を行った指を撮像装置６０が撮像したときに、その撮像して得られた画像データであって画像データ抽出部３４２で抽出されたものに基づいて撮像装置６０の撮像範囲における当該指（指先）の位置データを生成するものである。ここで、第三実施形態では、撮像装置６０の撮像範囲内において、図１３に示すように、左右方向をＸ軸方向、上下方向Ｙ軸方向とするＸＹ座標系が設定されている。このＸＹ座標系の原点は、例えば撮像範囲における左下の点である。位置データ生成部３４４は、このＸＹ座標系において指の位置データを取得する。尚、三次元的な位置データを得る必要がある場合には、このＸＹ座標系において奥行き方向にＺ軸方向をとり、これによりＸＹＺ座標系を構成することにする。

　基準データ生成部３４５は、ユーザが視認画面Ｓにおける一又は複数の所定位置において指で操作を行ったときに、操作判定部３４３で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部３４４で生成された当該指の位置データを用いて、当該視認画面Ｓに関するデータを生成するものである。この生成された視認画面Ｓに関するデータは基準データとして記憶部３３に記憶される。基準データとしては、視認画面Ｓの位置及び大きさを特定できるようなデータが用いられる。例えば、ユーザが視認画面Ｓの外枠の四隅に対して指で操作を行った場合には、四隅の各位置における指の位置データを基準データとして用いることができる。ここで、画像データ抽出部３４２が抽出した画像データは、撮像装置６０からＺ軸方向に沿って略一定の距離だけ離れた位置にある指を撮像したものであるので、この四隅の各位置における指の位置データは、撮像装置６０からＺ軸方向に沿って略一定の距離だけ離れた位置においてＸＹ平面に平行な（略ユーザの身体と平行な）平面上での指の位置情報を表していると考えることができる。また、ユーザが視認画面Ｓの外枠の四隅のうち一箇所に対して指で操作を行った場合には、その一箇所における指の位置データと、当該視認画像Ｓに対応する元画面Ｍのデータから得られる視認画面Ｓの大きさ（例えば、予め算出又は測定した縦幅、横幅）に関するデータとを基準データとして用いることができる。

　入力制御部３４６は、ユーザが視認画面Ｓに対して指で操作を行ったときに、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部３４４で生成された当該指の位置データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、撮像範囲内で当該視認画面Ｓの範囲を特定し、当該指による操作がその特定した当該視認範囲Ｓの範囲内のどの位置で行われたのかを調べることにより、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部３１に表示する画面の制御及びディスプレイ装置２０に表示する元画面Ｍの制御を行う。例えば、視認画面Ｓが図１５に示す文字入力画面２００である場合、入力制御部３４６は、その視認画面Ｓに関する基準データに基づいて、撮像装置６０の撮像範囲内でユーザが見ている当該文字入力画面２００の存在する範囲を認識することができる。このとき、入力制御部３４６は、当該文字入力画面２００の構成が予め分かっているので、当該文字入力画面２００におけるキーボード画像２１０の範囲や、各文字キー画像の領域等も認識することができる。したがって、例えばユーザが視認画面Ｓとしてのキーボード画像２１０に対して指で文字キー画像のタッチ操作を行った場合、入力制御部３４６は、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、操作された文字キーを特定することができる。

　尚、入力制御部３４６は、ユーザが視認画面Ｓに対して指で操作を行った際に当該指による操作に対応する入力指示の内容を認識する場合、まず、記憶部３３に記憶されている当該視認画面Ｓに関する基準データに基づいて、撮像装置６０の撮像範囲に相当する仮想平面上に、当該視認画面Ｓに対応する画面である基準画面を生成し、次に、位置データ抽出部３４４で生成された当該指の位置データが基準画面のどの位置に対応するのかを調べることにより、当該指で操作された視認画面Ｓ上の位置を特定するようにしてもよい。

　記憶部３３には、上記のディスプレイ装置制御用プログラムに加えて、例えば、基準データの設定処理を行うための基準データ設定処理用プログラムと、視認画面Ｓが文字入力画面２００である場合にその文字入力画面２００に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラムと、視認画面Ｓに対して行われた操作に基づいて視認画面Ｓに対応する元画面Ｍの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラムとが記憶されている。また、記憶部３３に記憶されているデータには、例えば、各種の元画面Ｍの画像データ、各元画面Ｍに関するデータ（具体的には、当該元画面Ｍの大きさ、形状、内容、構成等を示すデータ）や、後述する基準データ設定用の元画面を作成する際に用いる各種の画像データが含まれる。更に、この記憶部３３は作業用のメモリとしても使用される。

　第三実施形態の端末装置２Ａでは、ユーザが視認画面Ｓに対して指で操作を行ったときに、入力制御部３４６は、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部３４４で生成された当該指の位置データと、記憶部３３に記憶されている当該視認画面Ｓに対する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部３１に表示する画面の制御及びディスプレイ装置２０に表示する元画面Ｍの制御を行う。このため、ユーザは、自己が見ている視認画面Ｓに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。実際、ユーザが視認画面Ｓに対して指でタッチ操作を行うと、入力制御部３４６は、その視認画面Ｓがタッチパネルに表示されているときと同様に、当該タッチ操作に対応する指示を認識することができる。例えば、入力制御部３４６は、ユーザが視認画面Ｓに対して指でダブルタップ操作を行ったときに、その視認画面Ｓに対応する元画面Ｍを拡大又は縮小するという指示を認識し、ユーザが視認画面Ｓに対して指で長押し操作を行うと、元画面Ｍとしてオプションメニューの画面を表示するという指示を認識し、そして、ユーザが視認画面Ｓに対して指でドラッグ操作又はフリック操作を行うと、元画面Ｍをスクロールして表示するという指示を認識する。また、ユーザが文字入力画面２００における文字キー画像に対して指でタッチ操作を行えば、入力制御部３４６は、その文字入力画面２００がタッチパネルに表示されているときと同様に、当該操作に対応する指示、すなわち当該文字キーの入力指示を認識し、元画面Ｍにその入力指示された文字を表示する処理を行う。

　尚、第三実施形態では、ユーザは、空中に浮いているように見える視認画面Ｓに対して指でタッチ操作を行うので、通常のタッチパネルに表示された画面に対してタッチ操作する場合には行うことのできない態様でタッチ操作を行うこともできる。図１７及び図１８は視認画面Ｓに対して行われるタッチ操作の態様を説明するための図である。通常、ユーザは、図１７（ａ）に示すように、視認画面Ｓの正面側から一本の指でタッチ操作を行うが、図１７（ｂ）に示すように、視認画面Ｓの裏面側から一本の指でタッチ操作を行うことができる。また、ユーザは、図１８（ａ）に示すように、視認画面Ｓの正面側から複数の指でタッチ操作を行ったり、図１８（ｂ）に示すように、視認画面Ｓの裏面側から複数の指でタッチ操作を行ったりすることができる。

　第三実施形態では、ユーザが端末３０Ａを操作してディスプレイ装置制御用プログラムの起動を指示すると、端末３０Ａの制御部３４Ａは、そのディスプレイ装置制御用プログラムを実行して、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示する。第三実施形態の端末装置２Ａにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理は、上記第一実施形態の端末装置１Ａにおける処理と同様である。このため、ここでは、その詳細な説明を省略する。

　次に、第三実施形態の端末装置２Ａにおいて基準データを設定する処理について説明する。図１９は第三実施形態の端末装置２Ａにおいて基準データの設定処理の手順を説明するためのフローチャートである。ここでは、端末３０Ａにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０は電源オンの状態にあり、端末３０Ａとディスプレイ装置２０及び撮像装置６０との間の通信が有効であるとする。

　ユーザは、端末３０Ａを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において基準データ設定処理用プログラムのアイコンをタップし、その基準データ設定処理用プログラムを選択する。端末３０Ａの制御部３４Ａは、基準データ設定処理用プログラムが選択された旨の信号を受けると、基準データ設定処理用プログラムを記憶部３３から読み出し、図１９に示す処理フローにしたがって基準データの設定処理を行う。

　まず、ユーザは、端末３０Ａを操作して、基準データを設定しようとする画面（例えば文字入力画面２００）を選択し、その画面を元画面Ｍとしてディスプレイ装置２０に表示させる。このとき、表示制御部３４１は、その元画面Ｍにおける一又は複数の所定位置に例えば円の画像を追加することにより、新たな元画面Ｍ（基準データ設定用の元画面）を作成して、ディスプレイ装置２０に表示する（Ｓ３１）。ここで、円の画像は、ユーザがその円の位置に対して指で操作を行うべきことを示す目印である。図２０は基準データを設定する処理の際に表示される元画面Ｍの例を示す図である。この例では、元画面Ｍが文字入力画面２００である場合を示している。本来の文字入力画面２００は図２０（ａ）に示すものであるが、ステップＳ３１の処理が実行されると、図２０（ｂ）に示す文字入力画面２０１（基準データ設定用の元画面）がディスプレイ装置２０に表示されることになる。この図２０（ｂ）に示す文字入力画面２０１では、その四隅の位置に、円と数字とを示す画像が追加されている。図２０（ｂ）に示す文字入力画面２０１がディスプレイ装置２０に表示されると、ユーザはその文字入力画面２０１に対応する視認画面Ｓ（基準データ設定用の視認画面）、すなわち図２０（ｂ）に示す文字入力画面２０１と同じ内容の画面を見ることになる。尚、図２０（ｂ）では、文字入力画面２０１の四隅に円の画像を表示しているが、図２０（ｃ）に示すように、文字入力画面２０１のキーボード画像２１０の四隅に円の画像を表示するようにしてもよい。

　ステップＳ３１の処理後、制御部３４Ａは、撮像装置６０の撮像動作を開始する（Ｓ３２）。ユーザは、基準データ設定用の視認画面Ｓとして図２０（ｂ）に示す文字入力画面２０１を見ると、この基準データ設定用の視認画面Ｓにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部３４Ａに対してユーザが操作している位置を知らせるためである。かかるユーザによる操作は撮像装置６０で撮像される。このとき、第三実施形態では、撮像装置６０はピントが合った被写体を撮像する。そして、画像処理部６２がその撮像して得られた画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０から端末３０Ａの制御部３４Ａに送られる（Ｓ３３）。

　次に、画像データ抽出部３４２は、撮像装置６０で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ３４）。ここで、撮像装置６０は、ピントが合った被写体を撮像して得られた画像データを画像データ抽出部３４２に送っている。このため、画像データ抽出部３４２は、当該指が撮像装置６０からＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出することになる。その後、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。操作判定部３４３は、このような判定処理を行い、四つの円の全てに対する指によるタップ操作が正常に認識されたかどうかを判断する（Ｓ３５）。例えば、指による操作がタップ操作であるという判定が予め定めた所定の時間内に一回、二回又は三回しかなされなかった場合や、画像データ抽出部３４２から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合等には、操作判定部３４３は、四つの円の全てに対する指によるタップ操作が正常に認識されなかったと判断する。操作判定部３４３は、四つの円の全てに対する指によるタップ操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、指によるタップ操作が正常に認識された旨の信号を表示制御部３４１に送る。そして、表示制御部３４１は、指によるタップ操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ３６）。尚、このとき、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指によるタップ操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　ステップＳ３６の処理の後、位置データ生成部３４４は、操作判定部３４３で各円における操作が所定の操作であると判定された画像データに基づいて、撮像装置６０の撮像範囲における各指（指先）の位置データ（ＸＹ座標）を生成する（Ｓ３７）。そして、基準データ生成部３４５は、こうして生成された四つの位置データを、現在表示されている視認画面Ｓに関する基準データとして記憶部３３に記憶する（Ｓ３８）。かかる基準データは当該視認画面Ｓの位置及び大きさを特定するものであるので、制御部３４Ａは、この基準データを用いると、撮像装置６０の撮像範囲内でユーザが見ている当該視認画面Ｓの存在する範囲を認識することができるようになる。ステップＳ３８の処理がなされると、基準データの設定処理が終了する。

　一方、ステップＳ３５の処理において、操作判定部３４３は、四つの円の全てに対する指によるタップ操作が正常に認識されていないと判断すると、その旨の信号を表示制御部３４１に送る。そして、表示制御部３４１は、指によるタップ操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ３９）。ユーザは、この赤色ランプを示す画像を見ると、再度、基準データ設定用の視認画面Ｓにおいて各円に対して指でタップ操作を行わなければならない。尚、このとき、表示制御部３４１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指によるタップ操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　ステップＳ３９の処理後、制御部３４Ａは、今回のステップＳ３５の処理が一回目の処理であるかどうかを判断する（Ｓ４０）。今回のステップＳ３５の処理が一回目の処理であれば、ステップＳ３２に移行する。これに対し、今回のステップＳ３５の処理が一回目の処理でなければ、制御部３４ｂは、今回のステップＳ３５の処理が二回目の処理であるかどうかを判断する（Ｓ４１）。今回のステップＳ３５の処理が二回目の処理であれば、ステップＳ３２に移行し、一方、今回のステップＳ３５の処理が二回目の処理でなければ、基準データの設定処理を終了する。すなわち、視認画面Ｓ中に赤色ランプが表示された場合、ユーザには、指による操作を行う機会がさらに二回与えられる。尚、それでも指による操作が正常に認識されなかった場合には、再度、基準データの設定処理を実行すればよい。

　尚、第三実施形態では、上記のステップＳ３５において、操作判定部３４３が、各円に対する指による操作がタップ操作であるかどうかを判定し、四つの円の全てに対する指によるタップ操作が正常に認識されたかどうかを判断する場合について説明したが、操作判定部３４３は、各円に対する指による操作が行われる度に、その操作がタップ操作であるかどうかを判定すると共にそのタップ操作が正常に認識されたかどうかを判断するようにしてもよい。この場合、表示制御部３４１は、各円に対する指によるタップ操作が正常に認識されたと操作判定部３４３が判断する度に、当該円に対するタップ操作が正常に認識されたことを意味する画像を元画面Ｍに表示し、一方、各円に対する指によるタップ操作が正常に認識されなかったと操作判定部３４３が判断する度に、当該円に対するタップ操作が正常に認識されなかったことを意味する画像を元画面Ｍに表示することが望ましい。具体的に、各円に対するタップ操作が正常に認識されたことを意味する画像としては、例えば、当該円を反転表示した画像や、当該円の色を緑色で表示した画像等を挙げることができ、各円に対するタップ操作が正常に認識されなかったことを意味する画像としては、例えば、当該円の色を赤色で表示した画像等を挙げることができる。

　また、第三実施形態では、ユーザが視認画面Ｓにおける所定の四箇所に対して指で所定の操作を行い、四つの位置データを取得する場合について説明したが、ユーザが視認画面Ｓにおける所定の一箇所、二箇所又は三箇所に対して指で所定の操作を行うことにより、それらの位置データを取得するようにしてもよい。但し、この場合、視認画面Ｓの大きさに関するデータを、その視認画面Ｓに対応する元画面Ｍのデータ等から演算により予め算出して、記憶部３３に記憶しておく必要がある。そして、その取得した各位置データと視認画面Ｓの大きさに関するデータとが、基準データを構成することになる。

　次に、第三実施形態の端末装置２Ａにおいて視認画面Ｓを用いた文字入力の処理について説明する。図２１は第三実施形態の端末装置２Ａにおいて視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートである。ここでは、端末３０Ａにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０は電源オンの状態にあり、端末３０Ａとディスプレイ装置２０及び撮像装置６０との間の通信が有効であるとする。

　ユーザは、端末３０Ａを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末３０Ａの制御部３４Ａは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部３３から読み出し、図２１に示す処理フローにしたがって視認画面Ｓを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、制御部３４Ａは、文字入力画面２００を元画面Ｍとしてディスプレイ装置２０に表示すると共に、この元画面Ｍに対応する視認画面Ｓに関する基準データが記憶部３３に記憶されているかどうかを判断する（Ｓ５１）。視認画面Ｓに関する基準データが記憶部３３に記憶されていなければ、制御部３４Ａは、基準データ設定処理用プログラムを記憶部３３から読み出し、図１９に示す処理フローにしたがって基準データの設定処理を行う（Ｓ５２）。その後、ステップＳ５１に移行する。尚、第三実施形態では、視認画面Ｓに関する基準データが記憶部３３に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部３３に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

　一方、ステップＳ５１の処理において視認画面Ｓに関する基準データが記憶部３３に記憶されていると判断されると、制御部３４Ａは、撮像装置６０の撮像動作を開始する（Ｓ５３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部３４ｂに対してユーザが操作している位置を知らせるためである。かかるユーザによる操作は撮像装置６０で撮像され、その得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０から制御部３４Ａに送られる（Ｓ５４）。

　次に、画像データ抽出部３４２は、撮像装置６０で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ５５）。すなわち、画像データ抽出部３４２は、当該指が撮像装置６０からＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する。次に、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部３４３は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する（Ｓ５６）。操作判定部３４３は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部３４１に送る。表示制御部３４１は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ５８）。尚、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　一方、操作判定部３４３は、ステップＳ５６の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部３４１に送る。このとき例えば、画像データ抽出部３４２から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部３４３は、タップ操作が正常に認識されなかったと判断する。表示制御部３４１は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ５７）。その後は、ステップＳ６２に移行する。尚、このとき、表示制御部３４１は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　ステップＳ５８の処理の後、位置データ生成部３４４は、操作判定部３４３で指による操作がタップ操作であると判定された画像データに基づいて、撮像装置６０の撮像範囲における当該指（指先）の位置データを生成する（Ｓ５９）。こうして生成された指の位置データは記憶部３３に記憶される。

　次に、入力制御部３４６は、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部３４４で生成された当該指の位置データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する（Ｓ６０）。例えば、ユーザがキーボード画像２１０における文字キー画像に対して指でタップ操作を行った場合には、入力制御部３４６は、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部３４６は、認識した入力指示の内容に関する信号を表示制御部３４１に送り、表示制御部３４１はその入力指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ６１）。

　ステップＳ６１又はステップＳ５７の処理の後、制御部３４Ａは、ユーザから視認画面Ｓを用いた文字入力を終了する旨の指示を受けたかどうかを判断する（Ｓ６２）。文字入力を終了する旨の指示を受けていれば、視認画面Ｓを用いた文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップＳ５３に移行し、視認画面Ｓを用いた文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、端末３０Ａを操作して行う。

　次に、第三実施形態の端末装置２Ａにおいて視認画面Ｓを用いた画面表示の処理について説明する。図２２は第三実施形態の端末装置２Ａにおいて視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートである。ここでは、端末３０Ａにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０は電源オンの状態にあり、端末３０Ａとディスプレイ装置２０及び撮像装置６０との間の通信が有効であるとする。

　ユーザは、端末３０Ａを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末３０Ａの制御部３４Ａは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部３３から読み出し、図２２に示す処理フローにしたがって視認画面Ｓを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、ユーザは、端末３０Ａを操作して所望の画面をディスプレイ装置２０に表示させる。制御部３４Ａは、その表示された画面（元画面Ｍ）に対応する視認画面Ｓに関する基準データが記憶部３３に記憶されているかどうかを判断する（Ｓ７１）。視認画面Ｓに関する基準データが記憶部３３に記憶されていなければ、制御部３４Ａは、基準データ設定処理用プログラムを記憶部３３から読み出し、図１９に示す処理フローにしたがって基準データの設定処理を行う（Ｓ７２）。その後、ステップＳ７１に移行する。尚、第三実施形態では、視認画面Ｓに関する基準データが記憶部３３に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部３３に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

　一方、ステップＳ７１の処理において視認画面Ｓに関する基準データが記憶部３３に記憶されていると判断されると、制御部３４Ａは、撮像装置６０の撮像動作を開始する（Ｓ７３）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置６０で撮像され、その得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０から制御部３４Ａに送られる（Ｓ７４）。

　次に、画像データ抽出部３４２は、撮像装置６０で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ７５）。すなわち、画像データ抽出部３４２は、当該指が撮像装置６０からＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する。次に、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作の内容を判定する。そして、操作判定部３４３は、当該指による操作が正常に認識されたかどうかを判断する（Ｓ７６）。操作判定部３４３は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部３４１に送る。表示制御部３４１は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ７８）。尚、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　一方、操作判定部３４３は、ステップＳ７６の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部３４１に送る。このとき例えば、画像データ抽出部７２から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部３４３は、タップ操作が正常に認識されなかったと判断する。表示制御部３４１は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ７７）。その後は、ステップＳ８２に移行する。尚、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　ステップＳ７８の処理の後、位置データ生成部３４４は、操作判定部３４３で指による操作の内容が判定された画像データに基づいて、撮像装置６０の撮像範囲における当該指（指先）の位置データを生成する（Ｓ７９）。こうして生成された指の位置データは記憶部３３に記憶される。

　次に、入力制御部３４６は、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部３４４で生成された当該指の位置データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する指示の内容を認識する（Ｓ８０）。例えば、ユーザが視認画面Ｓに対して指でダブルタップ操作を行った場合には、入力制御部３４６は、今回の操作がダブルタップ操作であることを特定し、元画面Ｍを拡大（又は縮小）する旨の指示を受けたことを認識する。その後、入力制御部３４６は、認識した指示の内容に関する信号を表示制御部３４１に送り、表示制御部３４１はその指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ８１）。

　ステップＳ８１又はステップＳ７７の処理の後、制御部３４Ａは、ユーザから視認画面Ｓを用いた画面表示のための操作を終了する旨の指示を受けたかどうかを判断する（Ｓ８２）。画面表示のための操作を終了する旨の指示を受けていれば、視認画面Ｓを用いた画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップＳ７３に移行し、視認画面Ｓを用いた画面表示の処理を継続する。尚、ユーザは、視認画面Ｓを用いた画面表示のための操作を終了する旨の指示を、端末３０Ａを操作して行う。

　第三実施形態の端末装置は、上記第一実施形態のものと同様の作用・効果を奏する。すなわち、第三実施形態の端末装置では、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

　特に、第三実施形態の端末装置では、端末の入力制御部が、ユーザが視認画面に対して指で操作を行ったときに、操作判定部で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部で生成された当該指の位置データと、記憶部に記憶されている当該視認画面に関する基準データと、記憶部に記憶されている当該視認画面に対応する元画面に関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置に表示する元画面の制御を行う。このため、ユーザは、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、第三実施形態の端末装置を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

　尚、第三実施形態の端末装置において、端末は、撮像装置を制御して撮像装置の撮像範囲を調整する機能、及び、撮像装置を制御して被写体にピントが合う奥行き方向の範囲である被写界深度を調整する機能を有することが望ましい。これらの機能を利用すると、撮像装置が撮像する対象を視認画面に対して操作する指だけに制限することができるので、他者のプライバシーを守ることができる。

［第四実施形態］
　次に、本発明の第四実施形態である端末装置について説明する。図２３は本発明の第四実施形態である端末装置の概略ブロック図である。尚、第四実施形態において、上述した第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第四実施形態である端末装置２Ｂは、図２３に示すように、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ａと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０とを備える。ケーブル５０は、ディスプレイ装置２０と端末３０Ａとの間、及び、撮像装置６０と端末３０Ａとの間を接続するものである。

　第四実施形態の端末装置２Ｂが第三実施形態の端末装置２Ａと異なる主な点は、ディスプレイ装置２０及び撮像装置６０と端末３０Ａとを、無線で接続する代わりに、ケーブル５０を用いて有線で接続している点である。第四実施形態の端末装置２Ｂのその他の構成は、第三実施形態の端末装置２Ａのものと同様である。

　端末３０Ａはインターフェースとしての接続端子（不図示）を有しており、この接続端子にケーブル５０が接続される。ディスプレイ装置２０及び撮像装置６０への電力はこのケーブル５０を介して端末３０Ａから供給される。

　第四実施形態でも、ユーザが端末３０Ａを操作してディスプレイ装置制御用プログラムの起動を指示すると、端末３０Ａの制御部３４Ａは、そのディスプレイ装置制御用プログラムを実行して、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示する。第四実施形態の端末装置２Ｂにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理は、上記第二実施形態の端末装置１Ｂにおける処理と同様である。このため、ここでは、その詳細な説明を省略する。

　また、ユーザは、基準データを設定する処理、視認画面Ｓを用いた文字入力の処理、又は視認画面Ｓを用いた画面表示の処理を、ディスプレイ装置制御用プログラムが実行中に行うことができる。第四実施形態の端末装置２Ｂにおけるこれらの処理の手順は、第三実施形態における図１９、図２１、図２２に示す処理フローと同じである。このため、ここでは、その詳細な説明を省略する。

　第四実施形態の端末装置は、第三実施形態の端末装置と同様の作用・効果を奏する。

［第五実施形態］
　次に、本発明の第五実施形態である端末装置について説明する。図２４は本発明の第五実施形態である端末装置の概略ブロック図である。尚、本第五実施形態の端末装置の概略斜視図は、一部の構成要素が図示されていない点を除き、図１３に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図１３を第五実施形態の端末装置の概略斜視図としても用いることにする。また、第五実施形態において、第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第五実施形態である端末装置３Ａは、図１３及び図２４に示すように、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ａと、通信部４０と、ユーザの前方を撮像するための撮像装置６０と、マイク部（音入力装置）７０と、スピーカ部（音出力装置）８０とを備える。

　第五実施形態の端末装置３Ａが第三実施形態の端末装置２Ａと異なる主な点は、この端末装置３Ａがマイク部７０とスピーカ部８０とを備えている点、端末３０Ａがマイク部７０及びスピーカ部８０を制御する点である。端末装置３Ａのその他の構成は、第三実施形態のものと同様である。

　マイク部７０とスピーカ部８０は眼鏡１０の柄の部分に設けられている。ここで、図１３では、マイク部７０とスピーカ部８０は記載されていない。マイク部７０は、ユーザの音声を電気信号に変換してその電気信号を端末３０Ａに出力するものである。マイク部７０を用いることにより、ユーザの音声による指示で端末３０Ａを操作することができる。マイク部７０から入力された音声を表す電気信号は、通信部４０を介して端末３０Ａの制御部３４Ａに送られ、制御部３４Ａがその電気信号の内容を解析することになる。また、スピーカ部８０は、端末３０Ａから出力された電気信号を音に変換してその音を骨の振動によりユーザに伝達する骨伝導型のものである。尚、一般に、スピーカ部８０としては、骨の振動を利用してユーザに音を伝えるものに限らず、音をユーザの耳を介してユーザに伝達する通常のスピーカ、イヤホン、ヘッドホン等を用いることも可能である。

　制御部３４Ａは、マイク部７０から音声が入力されたときに、その入力された音声を表す電気信号の内容を認識し、その認識した内容に応じた処理を実行する。例えば、ユーザが所望の画面を表示する旨をマイク部７０から音声で指示したときに、表示制御部３４１は、その指示された画面を表示部３１に表示する。また、ユーザが所望のアプリケーションプログラム（例えば、ディスプレイ装置制御用プログラム、基準データ設定処理用プログラム、文字入力処理用プログラム、画面表示処理用プログラム）を実行する旨をマイク部７０から音声で指示したときに、制御部３４Ａは、その指示されたアプリケーションプログラムを記憶部３３から読み出して実行する。更に、ユーザが現在実行されているアプリケーションプログラム（例えば、ディスプレイ装置制御用プログラム、基準データ設定処理用プログラム、文字入力処理用プログラム、画面表示処理用プログラム）を終了する旨をマイク部７０から音声で指示したときに、制御部３４Ａは、その指示されたアプリケーションプログラムの実行を終了する。

　また、制御部３４Ａは、スピーカ部８０により発する音を制御する。例えば、あるアプリケーションプログラムの実行中にユーザに報知すべき情報がある場合、制御部３４Ａは、その情報を表示部３１に表示すると共にその情報に対応する音をスピーカ部８０から発することができる。

　第五実施形態の端末装置は、上記第三実施形態のものと同様の作用・効果を奏する。特に、第五実施形態の端末装置では、マイク部とスピーカ部とを眼鏡に設けたことにより、ユーザは、端末を操作することなくマイク部から端末に指示を与えることができると共に、端末からの情報をスピーカ部から音として得ることができる。

［第六実施形態］
　次に、本発明の第六実施形態である端末装置について説明する。図２５は本発明の第六実施形態である端末装置の概略ブロック図である。尚、第六実施形態において、上述した第五実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第六実施形態である端末装置３Ｂは、図２５に示すように、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ａと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０と、マイク部７０と、スピーカ部８０とを備える。ケーブル５０は、ディスプレイ装置２０、撮像装置６０、マイク部７０及びスピーカ部８０と端末３０Ａとの間を接続するものである。

　第六実施形態の端末装置３Ｂが第五実施形態の端末装置３Ａと異なる主な点は、ディスプレイ装置２０、撮像装置６０、マイク部７０及びスピーカ部８０と端末３０Ａとを、無線ではなく、ケーブル５０を用いて有線で接続している点である。第六実施形態の端末装置３Ｂのその他の構成は、第五実施形態の端末装置３Ａのものと同様である。

　端末３０Ａはインターフェースとしての接続端子（不図示）を有しており、この接続端子にケーブル５０が接続される。ディスプレイ装置２０、撮像装置６０、マイク部７０及びスピーカ部８０への電力はこのケーブル５０を介して端末３０Ａから供給される。

　第六実施形態の端末装置は、上記第五実施形態のものと同様の作用・効果を奏する。

［第七実施形態］
　次に、本発明の第七実施形態である端末装置について説明する。図２６は本発明の第七実施形態である端末装置の概略ブロック図である。尚、本第七実施形態の端末装置の概略斜視図は、図１３に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図１３を第七実施形態の端末装置の概略斜視図としても用いることにする。また、第七実施形態において、第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第七実施形態の端末装置４Ａは、図１３及び図２６に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｂと、通信部４０と、ユーザの前方を撮像するための撮像装置６０Ａとを備える。また、端末３０Ｂは、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｂとを備え、制御部３４Ｂは、表示制御部３４１と、画像データ抽出部３４２Ｂと、操作判定部３４３と、位置データ生成部３４４と、基準データ生成部３４５と、入力制御部３４６とを備える。更に、撮像装置６０Ａは、カメラ部６１と、画像処理部６２と、オートフォーカス制御部６３１を有するカメラ制御部６３Ａとを備える。

　第七実施形態の端末装置４Ａが第三実施形態の端末装置２Ａと異なる点は、撮像装置６０Ａのカメラ制御部６３Ａがオートフォーカス制御部６３１を備えている点、及び、画像データ抽出部３４２Ｂが、無線通信で撮像装置６０Ａから端末３０Ｂに送られた画像データの中から、被写体が指であってその指が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する点である。

　オートフォーカス制御部６３１は、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部６１を制御するものである。ここで、第七実施形態では、撮像装置６０Ａは、撮像範囲内のどの位置においても、自動的にピントを合わせることができるように、多数のフォーカスポイントを有する。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置６０Ａは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置６０Ａで撮像して得られた画像データとそれに関連付けられた距離データは端末３０Ｂの制御部３４Ｂに送られる。尚、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部６１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。

　また、画像データ抽出部３４２Ｂは、ユーザが視認画面Ｓに対して指で操作を行った際に撮像装置６０Ａでピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指であるかどうかを判断し、且つ、その撮像して得られた画像データに関連付けられた距離データに基づいて当該被写体が撮像装置６０ＡからＺ軸方向に沿って予め定められた略一定の距離だけ離れているかどうかどうかを判断することにより、被写体が指であってその指が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出するものである。被写体が指であるかどうかを判断するには、第三実施形態の場合と同様に一般の画像認識の方法が用いられる。また、被写体が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断する際における略一定の距離というのは、撮像装置６０Ａからユーザが認識する視認画面Ｓの位置までのＺ軸方向の距離である。例えば、ユーザが視認画面Ｓを撮像装置６０Ａから約４０ｃｍ離れた位置に認識する場合、上記略一定の距離としては、撮像装置６０Ａから約４０ｃｍ±５ｃｍの範囲内の距離に設定される。このように、画像データ抽出部３４２Ｂは、視認画面Ｓが表示されている位置から極端に手前の位置や奥の位置で操作を行っている指の画像データを排除して、視認画面Ｓに対して適正な操作を行っている指の画像データを抽出することができる。尚、操作判定部３４３、位置データ生成部３４４、基準データ生成部３４５では、画像データ抽出部３４２Ｂで抽出された画像データに基づいて処理が行われる。

　基準データ生成部３４５は、第三実施形態と同様に、ユーザが視認画面Ｓにおける一又は複数の所定位置において指で操作を行ったときに、操作判定部３４３で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部３４４で生成された当該指の位置データを用いて、当該視認画面Ｓに関するデータを基準データとして生成する。例えば、ユーザが視認画面Ｓの外枠の四隅に対して指で操作を行った場合には、四隅の各位置における指の位置データを基準データとして用いることができる。上述のように、第七実施形態でも、画像データ抽出部３４２Ｂが抽出した画像データは、撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れた位置にある指を撮像したものであるので、この四隅の各位置における指の位置データは、撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れた位置においてＸＹ平面に平行な（略ユーザの身体と平行な）平面上での指の位置情報を表していると考えることができる。

　次に、第七実施形態の端末装置４Ａにおいて基準データを設定する処理について説明する。

　第七実施形態の端末装置４Ａにおける基準データの設定処理の手順を説明するためのフローチャートは、図１９に示す第三実施形態のものと略同様である。第七実施形態における基準データの設定処理が第三実施形態における基準データの設定処理と異なるのは、撮像装置６０Ａでの処理（ステップＳ３２、Ｓ３３）と、画像データ抽出部３４２Ｂによる画像データの抽出処理（ステップＳ３４）とである。したがって、以下では、図１９に示すフローチャートを用いて、第七実施形態における基準データの設定処理のうち第三実施形態における基準データの設定処理と異なる事項について説明する。尚、ここでは、端末３０Ｂにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ａは電源オンの状態にあり、端末３０Ｂとディスプレイ装置２０及び撮像装置６０Ａとの間の通信が有効であるとする。

　ステップＳ３１の処理後、制御部３４Ｂは、撮像装置６０Ａの撮像動作を開始する（Ｓ３２）。ユーザは、基準データ設定用の視認画面Ｓとして図２０（ｂ）に示す文字入力画面２０１を見ると、この基準データ設定用の視認画面Ｓにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置６０Ａで撮像される。このとき、オートフォーカス制御部６３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部６１を制御し、撮像装置６０Ａはピントが合った被写体を撮像する。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部６２に送られ、画像処理部６２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置６０Ａから端末３０Ｂの制御部３４Ｂに送られる（Ｓ３３）。

　ステップＳ３４では、画像データ抽出部３４２Ｂは、まず、撮像装置６０Ａで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部３４２Ｂは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。尚、第七実施形態の基準データの設定処理において、ステップＳ３５以下の各処理の内容は第三実施形態のものと同様である。

　次に、第七実施形態の端末装置４Ａにおいて視認画面Ｓを用いた文字入力の処理について説明する。

　第七実施形態の端末装置４Ａにおいて視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートは、図２１に示す第三実施形態のものと略同様である。第七実施形態において視認画面Ｓを用いた文字入力の処理が第三実施形態において視認画面Ｓを用いた文字入力の処理と異なるのは、撮像装置６０Ａでの処理（ステップＳ５３、Ｓ５４）と、画像データ抽出部３４２Ｂによる画像データの抽出処理（ステップＳ５５）とである。したがって、以下では、図２１に示すフローチャートを用いて、第七実施形態において視認画面Ｓを用いた文字入力の処理のうち第三実施形態において視認画面Ｓを用いた文字入力の処理と異なる事項について説明する。尚、ここでは、端末３０Ｂにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ａは電源オンの状態にあり、端末３０Ｂとディスプレイ装置２０及び撮像装置６０Ａとの間の通信が有効であるとする。

　ステップＳ５１の処理において視認画面Ｓに関する基準データが記憶部３３に記憶されていると判断されると、制御部３４Ｂは、撮像装置６０Ａの撮像動作を開始する（Ｓ５３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置６０Ａで撮像される。このとき、オートフォーカス制御部６３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部６１を制御し、撮像装置６０Ａはピントが合った被写体を撮像する。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部６２に送られ、画像処理部６２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置６０Ａから端末３０Ｂの制御部３４Ｂに送られる（Ｓ５４）。

　ステップＳ５５では、画像データ抽出部３４２Ｂは、まず、撮像装置６０Ａで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部３４２Ｂは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。尚、第七実施形態の文字入力の処理において、ステップＳ５６以下の各処理の内容は第三実施形態のものと同様である。

　次に、第七実施形態の端末装置４Ａにおいて視認画面Ｓを用いた画面表示の処理について説明する。

　第七実施形態の端末装置４Ａにおいて視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートは、図２２に示す第三実施形態のものと略同様である。第七実施形態において視認画面Ｓを用いた画面表示の処理が第三実施形態において視認画面Ｓを用いた画面表示の処理と異なるのは、撮像装置６０Ａでの処理（ステップＳ７３、Ｓ７４）と、画像データ抽出部３４２Ｂによる画像データの抽出処理（ステップＳ７５）とである。したがって、以下では、図２２に示すフローチャートを用いて、第七実施形態において視認画面Ｓを用いた画面表示の処理のうち第三実施形態において視認画面Ｓを用いた画面表示の処理と異なる事項について説明する。尚、ここでは、端末３０Ｂにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ａは電源オンの状態にあり、端末３０Ｂとディスプレイ装置２０及び撮像装置６０Ａとの間の通信が有効であるとする。

　ステップＳ７１の処理において視認画面Ｓに関する基準データが記憶部３３に記憶されていると判断されると、制御部３４Ｂは、撮像装置６０Ａの撮像動作を開始する（Ｓ７３）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置６０Ａで撮像される。このとき、オートフォーカス制御部６３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部６１を制御し、撮像装置６０Ａはピントが合った被写体を撮像する。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部６２に送られ、画像処理部６２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置６０Ａから端末３０Ｂの制御部３４Ｂに送られる（Ｓ７４）。

　ステップＳ７５では、画像データ抽出部３４２Ｂは、まず、撮像装置６０Ａで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部３４２Ｂは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置６０ＡからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。尚、第七実施形態の画面表示の処理において、ステップＳ７６以下の各処理の内容は第三実施形態のものと同様である。

　第七実施形態の端末装置は、第三実施形態の端末装置と同様の作用・効果を奏する。特に、第七実施形態では、撮像装置が、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力することにより、より正確に被写体である指（指先）にピントを合わせて、その被写体を撮像することができるので、制御部は、その撮像して得られた画像データ及び距離データに基づいて、より正確に基準データを生成したり、文字入力の処理等を行ったりすることができる。

［第八実施形態］
　次に、本発明の第八実施形態である端末装置について説明する。図２７は本発明の第八実施形態である端末装置の概略ブロック図である。尚、第八実施形態において、上述した第七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第八実施形態である端末装置４Ｂは、図２７に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｂと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０Ａとを備える。ケーブル５０は、ディスプレイ装置２０及び撮像装置６０Ａと端末３０Ｂとの間を接続するものである。

　第八実施形態の端末装置４Ｂが第七実施形態の端末装置４Ａと異なる主な点は、ディスプレイ装置２０及び撮像装置６０Ａと端末３０Ｂとを、無線ではなく、ケーブル５０を用いて有線で接続している点である。第八実施形態の端末装置４Ｂのその他の構成は、第七実施形態の端末装置４Ａのものと同様である。

　端末３０Ｂはインターフェースとしての接続端子（不図示）を有する。この接続端子にケーブル５０が接続される。ディスプレイ装置２０及び撮像装置６０Ａへの電力はこのケーブル５０を介して端末３０Ｂから供給される。

　第八実施形態の端末装置は、上記第七実施形態のものと同様の作用・効果を奏する。

［第九実施形態］
　次に、本発明の第九実施形態である端末装置について説明する。図２８は本発明の第九実施形態である端末装置の概略ブロック図である。尚、本第九実施形態の端末装置の概略斜視図は、図１３に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図１３を第九実施形態の端末装置の概略斜視図としても用いることにする。また、第九実施形態において、上記第七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第九実施形態の端末装置５Ａは、図１３及び図２８に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｃと、通信部４０と、ユーザの前方を撮像するための撮像装置６０Ａとを備える。また、端末３０Ｃは、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｃとを備え、制御部３４Ｃは、表示制御部３４１と、画像データ抽出部３４２Ｂと、操作判定部３４３と、位置データ生成部３４４Ｃと、基準データ生成部３４５と、入力制御部３４６と、ずれ補正部３４７Ｃとを備える。

　この第九実施形態の端末装置５Ａが第七実施形態の端末装置４Ａと異なる主な点は、制御部３４Ｃがずれ補正部３４７Ｃを備えている点である。また、第九実施形態では、記憶部３３に記憶されている視認画面Ｓに関する基準データに基づいて得られる視認画面Ｓに対応する平面を「基準画面Ｋ」と称することにする。

　ユーザは、視認画面Ｓを見て例えば文字入力を行う際に、実際に操作する画面（以下、「操作画面Ｔ」とも称する。）を、基準データに基づいて得られる基準画面Ｋより手前に位置していたり、奥に位置していたりするように認識して、その操作画面Ｔに対して指による操作を行うことがある。すなわち、操作画面Ｔと基準画面Ｋとの間にずれが生ずることがある。このずれが大きいと、制御部３４Ｃは、ユーザが指で操作したときに、その指の位置が基準画面Ｋ上でどの位置に対応するのかを正確に判断することができない可能性がある。ずれ補正部３４７Ｃは、ユーザが操作画面Ｔに対して指で操作して得られた指の位置データを基準画面Ｋ上での位置データに換算する処理を行うものである。ここで、ユーザが操作画面Ｔに対して指で操作して得られた指の位置データは位置データ生成部３４４Ｃにより生成されたものである。

　次に、ずれ補正部３４７Ｃによる位置データの換算処理を詳しく説明する。この換算処理は、位置データのＸ座標、Ｙ座標に対して個別に行われる。図２９は第九実施形態においてずれ補正部３４７Ｃが位置データのＸ座標を基準画面Ｋ上での位置データのＸ座標に換算する処理を説明するための図、図３０は第九実施形態においてずれ補正部３４７Ｃが位置データのＹ座標を基準画面Ｋ上での位置データのＹ座標に換算する処理を説明するための図である。ここで、図２９及び図３０では、操作画面Ｔが基準画面Ｋよりも奥に位置しているとユーザが認識している場合を示している。

　図２９及び図３０において、点Ｃｃはカメラ部６１の中心位置、点Ｍｃは元画面Ｍの中心位置、点Ｅｃはユーザの瞳の中心位置である。点ｐｃは基準画面Ｋの中心位置、点Ｐｃは操作画面Ｔの中心位置である。このとき、点Ｐｃ、点ｐｃ、点Ｍｃ、点Ｅｃは同一直線上にある。また、Ｗはカメラ部６１の中心位置と元画面Ｍの中心位置とのＸ軸方向の距離、Ｈはカメラ部６１の中心位置と元画面Ｍの中心位置とのＹ軸方向の距離、Ｌは元画面Ｍと基準画面ＫとのＺ軸方向の距離、αはユーザの瞳と元画面ＭとのＺ軸方向の距離である。Ｗ、Ｈ及びαの値は予め記憶部３３に記憶されており、Ｌの値は基準データを生成した際に求められており、記憶部３３に記憶されている。

　いま、ユーザが操作画面Ｔ上の点Ｐを指で操作したとする。このとき、点Ｐと点Ｍｃとを結ぶ直線が基準画面Ｋと交わる点をｐ０、点Ｐと点Ｃｃとを結ぶ直線が基準画面Ｋと交わる点をｐ１とする。この第九実施形態では、位置データ生成部３４４Ｃは、実際の指の位置を基準画面Ｋ上に射影したときのＸＹ座標を指の位置データとして取得する。したがって、位置データ生成部３４４Ｃは、点Ｐの位置データとして点ｐ１の位置データを算出している。また、点Ｐと元画面ＭとのＺ軸方向の距離、すなわち、操作画面Ｔと元画面ＭとのＺ軸方向の距離Ｚは、この点Ｐの位置データを生成した際に用いた画像データと関連付けられている距離データから得られる。点ｐ０は、操作画面Ｔ上の点Ｐに対応する基準画面Ｋ上の位置であるので、ずれ補正部３４７Ｃが行うべきことは、点ｐ１の位置データから点ｐ０の位置データを求めることである。尚、以下では、点Ｐの位置座標を（Ｘ，Ｙ）、点ｐ０の位置座標を（ｘ０，ｙ０）、点ｐｃの位置座標を（ｘｃ，ｙｃ）、点Ｐｃの座標を（Ｘｃ，Ｙｃ）、点ｐ１の位置座標を（ｘ１，ｙ１）とする。ここで、点ｐｃは基準画面Ｋの中心位置であるので、この位置座標（ｘｃ，ｙｃ）は既知であり、記憶部３３に記憶されている。また、点ｐｃと点Ｃｃとを結ぶ直線が操作画面Ｔを交わる点をＰｄとし、点Ｐｄと点ＰとのＸ軸方向の距離をｄＸ、点Ｐｄと点ＰとのＹ軸方向の距離をｄＹとする。

　ｘ０をＸで表す式は次のようにして求めることができる。まず、図２９において、三角形ｐｃ－Ｐｄ－Ｐｃと三角形ｐｃ－Ｃｃ－Ｍｃに注目すると、ｄＸ：Ｗ＝（Ｚ－Ｌ）：Ｌより、
　　ｄＸ＝Ｗ×（Ｚ－Ｌ）／Ｌ
である。また、三角形Ｃｃ－Ｐｄ－Ｐと三角形Ｃｃ－ｐｃ－ｐ１に注目すると、｛（Ｘ－Ｘｃ）＋ｄＸ｝：（ｘ１－ｘｃ）＝Ｚ：Ｌより、
　　Ｘ－Ｘｃ＝（ｘ１－ｘｃ）×Ｚ／Ｌ－ｄＸ
　　　　　　＝（ｘ１－ｘｃ）×Ｚ／Ｌ－Ｗ×（Ｚ－Ｌ）／Ｌ
である。更に、三角形Ｅｃ－Ｐｃ－Ｐと三角形Ｅｃ－ｐｃ－ｐ０に注目すると、（Ｘ－Ｘｃ）：（ｘ０－ｘｃ）＝（Ｚ＋α）：（Ｌ＋α）より、
　　ｘ０－ｘｃ＝（Ｘ－Ｘｃ）×（Ｌ＋α）／（Ｚ＋α）
　　　　　　　＝｛（ｘ１－ｘｃ）×Ｚ／Ｌ－Ｗ×（Ｚ－Ｌ）／Ｌ｝
　　　　　　　　　　　　　　　　　　　　　×（Ｌ＋α）／（Ｚ＋α）
である。したがって、
　　ｘ０＝（ｘ０－ｘｃ）＋ｘｃ
　　　　＝｛（ｘ１－ｘｃ）×Ｚ／Ｌ－Ｗ×（Ｚ－Ｌ）／Ｌ｝
　　　　　　　　　　　　　　　　　×（Ｌ＋α）／（Ｚ＋α）＋ｘｃ　・・・・（１）
となる。一方、図３０において同様に考えると、ｙ０をＹで表す式は、
　　ｙ０＝（ｙ０－ｙｃ）＋ｙｃ
　　　　＝｛（ｙ１－ｙｃ）×Ｚ／Ｌ－Ｈ×（Ｚ－Ｌ）／Ｌ｝
　　　　　　　　　　　　　　　　　×（Ｌ＋α）／（Ｚ＋α）＋ｙｃ　・・・・（２）
となる。尚、上記（１）式、（２）式はともに、操作画面Ｔが基準画面Ｋよりも手前に位置しているとユーザが認識している場合にも成り立つ。

　ずれ補正部３４７Ｃは、位置データ生成部３４４Ｃで生成された点ｐ１の位置データ（ｘ１，ｙ１）の値と、点Ｐと元画面ＭとのＺ軸方向の距離Ｚの値とを、上記（１）式、（２）式に代入することにより、点ｐ０の位置データ（ｘ０，ｙ０）を得ることができる。

　入力制御部３４６は、ユーザが指で操作を行ったときに、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータ、及び、ずれ補正部３４７Ｃで求められた当該指の位置データ（ｘ０，ｙ０）と、記憶部３３に記憶されている基準画面Ｋ（視認画面Ｓ）に関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行う。

　第九実施形態の端末装置は、第七実施形態の端末装置と同様の作用・効果を奏する。特に、第九実施形態では、ユーザが視認画面に対して指で指示を与える際に、ユーザの指の位置が基準画面Ｋの位置より手前であったり、奥であったりして、ユーザが認識している操作画面Ｔと、基準画面Ｋとの間にずれが生じるような場合でも、すれ補正部が、基準画面Ｋ上におけるユーザの指の位置を求めて、入力制御部は、その指による指示の内容を正確に認識することができる。

　尚、第九実施形態では、位置データ生成部３４４Ｃが、実際にユーザが操作した指の位置を基準画面Ｋ上に射影したときのＸＹ座標を指の位置データとして取得しているが、上述した各実施形態でも同様に、位置データ生成部３４４は、実際にユーザが操作した指の位置を基準画面Ｋ上に射影したときのＸＹ座標を指の位置データとして取得するようにしてもよい。

［第十実施形態］
　次に、本発明の第十実施形態である端末装置について説明する。図３１は本発明の第十実施形態である端末装置の概略ブロック図である。尚、第十実施形態において、上述した第九実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十実施形態である端末装置５Ｂは、図３１に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｃと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０Ａとを備える。ケーブル５０は、ディスプレイ装置２０及び撮像装置６０Ａと端末３０Ｃとの間を接続するものである。

　第十実施形態の端末装置５Ｂが第九実施形態の端末装置５Ａと異なる主な点は、ディスプレイ装置２０及び撮像装置６０Ａと端末３０Ｃとを、無線ではなく、ケーブル５０を用いて有線で接続している点である。第十実施形態の端末装置５Ｂのその他の構成は、第九実施形態の端末装置５Ａのものと同様である。

　端末３０Ｃはインターフェースとしての接続端子（不図示）を有する。この接続端子にケーブル５０が接続される。ディスプレイ装置２０及び撮像装置６０Ａへの電力はこのケーブル５０を介して端末３０Ｃから供給される。

　第十実施形態の端末装置は、上記第九実施形態のものと同様の作用・効果を奏する。

［第十一実施形態］
　次に、本発明の第十一実施形態である端末装置について説明する。図３２は本発明の第十一実施形態である端末装置の概略ブロック図である。尚、第十一実施形態において、第九実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十一実施形態である端末装置６Ａは、図３２に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｃと、通信部４０と、ユーザの前方を撮像するための撮像装置６０Ａと、マイク部（音入力装置）７０と、スピーカ部（音出力装置）８０とを備える。ここで、マイク部７０、スピーカ部８０は第五実施形態におけるものと同様である。

　第十一実施形態の端末装置６Ａが第九実施形態の端末装置５Ａと異なる主な点は、この端末装置６Ａがマイク部７０とスピーカ部８０とを備えている点、端末３０Ｃの制御部３４Ｃがマイク部７０から入力された音声を表す電気信号の内容に応じた処理を実行する点、制御部３４Ｃがスピーカ部８０より発する音を制御する点である。第十一実施形態の端末装置６Ａのその他の構成は、第九実施形態の端末装置５Ａのものと同様である。

　第十一実施形態の端末装置は、上記第九実施形態のものと同様の作用・効果を奏する。特に、第十一実施形態の端末装置では、マイク部とスピーカ部とを眼鏡に設けたことにより、ユーザは、端末を操作することなくマイク部から端末に指示を与えることができると共に、端末からの情報をスピーカ部から音として得ることができる。

［第十二実施形態］
　次に、本発明の第十二実施形態である端末装置について説明する。図３３は本発明の第十二実施形態である端末装置の概略ブロック図である。尚、第十二実施形態において、上述した第十一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十二実施形態である端末装置６Ｂは、図３３に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｃと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０Ａと、マイク部７０と、スピーカ部８０とを備える。ケーブル５０は、ディスプレイ装置２０、撮像装置６０Ａ、マイク部７０及びスピーカ部８０と端末３０Ｃとの間を接続するものである。

　第十二実施形態の端末装置６Ｂが第十一実施形態の端末装置６Ａと異なる主な点は、ディスプレイ装置２０、撮像装置６０Ａ、マイク部７０及びスピーカ部８０と端末３０Ｃとを、無線ではなく、ケーブル５０を用いて有線で接続している点である。第十二実施形態の端末装置６Ｂのその他の構成は、第十一実施形態の端末装置６Ａのものと同様である。

　端末３０Ｃはインターフェースとしての接続端子（不図示）を有する。この接続端子にケーブル５０が接続される。ディスプレイ装置２０、撮像装置６０Ａ、マイク部７０及びスピーカ部８０への電力はこのケーブル５０を介して端末３０Ｃから供給される。

　第十二実施形態の端末装置は、上記第十一実施形態のものと同様の作用・効果を奏する。

［第十三実施形態］
　次に、本発明の第十三実施形態である端末装置について説明する。図３４は本発明の第十三実施形態である端末装置の概略ブロック図である。尚、本第十三実施形態の端末装置の概略斜視図は、図１３に示す第三実施形態の端末装置の概略斜視図と略同じである。このため、ここでは、図１３を第十三実施形態の端末装置の概略斜視図としても用いることにする。また、第十三実施形態において、第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十三実施形態の端末装置７Ａは、図１３及び図３４に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｄと、通信部４０と、ユーザの前方を撮像するための撮像装置６０Ａとを備える。また、端末３０Ｄは、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｄとを備え、制御部３４Ｄは、表示制御部３４１と、画像データ抽出部３４２と、操作判定部３４３と、位置データ生成部３４４と、基準データ生成部３４５Ｄと、入力制御部３４６Ｄと、距離判定部３４８Ｄを備える。更に、撮像装置６０Ａは、カメラ部６１と、画像処理部６２と、カメラ制御部６３Ａとを有する。この撮像装置６０Ａは、第七実施形態におけるものと同様である。

　第十三実施形態の端末装置７Ａが第三実施形態の端末装置２Ａと異なる主な点は、カメラ制御部６３Ａがオートフォーカス制御部６３１を備えている点、制御部３４Ｄの基準データ生成部３４５Ｄが視認画面に関するデータ（基準データ）として空間内における位置及び大きさを特定できるようなデータを生成する点、及び、制御部３４Ｄが、ユーザが視認画面Ｓに対して指で操作を行ったときに、その指の位置が、基準データを用いて得られる視認画面Ｓを表す平面から略一定の距離以内だけ離れているかどうかを判定する距離判定部３４８Ｄを備えている点である。第十三実施形態の端末装置７Ａのその他の構成は、第三実施形態の端末装置２Ａのものと同様である。

　オートフォーカス制御部６３１は、第七実施形態におけるオートフォーカス制御部と同じものであり、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部６１を制御する。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置６０Ａは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置６０Ａで撮像して得られた画像データとそれに関連付けられた距離データは無線通信で撮像装置６０Ａから制御部３４Ｄに送られる。

　基準データ生成部３４５Ｄは、ユーザが視認画面Ｓにおける三つの所定位置、例えば視認画面Ｓの三つの隅において指で操作を行ったときに、操作判定部３４３で各所定位置における操作が所定の操作であると判定した画像データに基づいて位置データ生成部３４４が生成した当該各位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、当該視認画面Ｓに関するデータとして三次元空間内における位置及び大きさを特定できるようなデータを生成し、基準データとして記憶部３３に記憶する。具体的には、上記各位置について、当該指の位置データ（二次元位置データ）と当該距離データ（一次元位置データ）とに基づいてＸＹＺ座標系における座標情報（三次元的なデータ）を構成し、上記三つの位置におけるＸＹＺ座標情報（三次元的なデータ）を基準データとして用いることができる。また、かかる基準データを用いると、ＸＹＺ座標系における視認画面Ｓを表す平面の方程式を算出することもできる。一般に、こうして特定される視認画面Ｓを表す平面は必ずしもＸＹ平面と平行になっているわけではない。尚、第十三実施形態では、視認画面Ｓに関する基準データに基づいて得られる視認画面Ｓに対応する平面を「基準画面」と称することにする。

　距離判定部３４８Ｄは、ユーザが視認画面Ｓに対して指で操作を行った際に撮像装置６０Ａでピントが合った被写体が撮像されたときに、操作判定部３４３で当該指による操作が所定の操作であると判定された画像データに基づいて位置データ生成部３４４で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、視認画面Ｓに関する基準データに基づいて得られる視認画面Ｓに対応する平面（基準画面）とに基づいて、当該指が当該視認画面Ｓに対応する平面（基準画面）から予め定められた略一定の距離以内に存在するかどうかを判定するものである。指が基準画面から略一定の距離以内に存在するかどうかを判断する際における略一定の距離というのは、ユーザが視認画面Ｓに対して操作を適正に行っていると認めることができる距離である。ここでは、上記略一定の距離を、例えば約５ｃｍに設定している。これにより、距離判定部３４８Ｄは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Ｓの位置から極端に手前の位置や奥の位置で操作を行っていると認識し、一方、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていると認識することになる。

　入力制御部３４６Ｄは、ユーザが視認画面Ｓに対して指で操作を行った場合であって距離判定部３４８Ｄで当該指が基準画面から略一定の距離以内に存在すると判定されたときに、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータと、その判定で用いられた画像データに基づいて位置データ生成部３４４で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行う。

　次に、第十三実施形態の端末装置７Ａにおいて基準データを設定する処理について説明する。ここでは、端末３０Ｄにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。

　第十三実施形態の端末装置７Ａにおける基準データの設定処理の手順を説明するためのフローチャートは、図１９に示す第三実施形態のものと略同様である。第十三実施形態における基準データの設定処理が第三実施形態における基準データの設定処理と異なるのは、撮像装置６０Ａでの処理（ステップＳ３２、Ｓ３３）と、基準データ生成部３４５Ｄによる基準データの生成処理（ステップＳ３８）とである。したがって、以下では、図１９に示すフローチャートを用いて、第十三実施形態における基準データの設定処理のうち第三実施形態における基準データの設定処理と異なる事項について説明する。

　まず、ユーザは、端末３０Ｄを操作して、基準データを設定しようとする画面を選択し、その画面を元画面Ｍとしてディスプレイ装置２０に表示させる。このとき、表示制御部３４１は、基準データ設定用の元画面を作成して、ディスプレイ装置２０に表示する（Ｓ３１）。図３５は第十三実施形態において基準データを設定する処理の際に表示される基準データ設定用の元画面Ｍの例を示す図である。図３５（ａ）の例では、基準データ設定用の元画面Ｍは文字入力画面２０１であり、その四隅の位置のうち三つの所定位置に円と数字とを示す画像が追加されている。尚、図３５（ａ）では、文字入力画面２０１の四隅のうち三つの所定位置に円の画像を表示しているが、図３５（ｂ）に示すように、文字入力画面２０１のキーボード画像２１０の四隅のうち三つの所定位置に円の画像を表示するようにしてもよい。ステップＳ３１の処理後、制御部３４Ｄは、撮像装置６０Ａの撮像動作を開始する（Ｓ３２）。ユーザは、基準データ設定用の視認画面Ｓとして、図３５（ａ）に示すように、四隅の位置のうち三つの所定位置に円と数字とを示す画像が追加された文字入力画面２０１を見ると、この基準データ設定用の視認画面Ｓにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置６０Ａで撮像される。このとき、オートフォーカス制御部６３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部６１を制御し、撮像装置６０Ａはピントが合った被写体を撮像する。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部６２に送られ、画像処理部６２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置６０Ａから制御部３４Ｄに送られる（Ｓ３３）。

　ステップＳ３８では、基準データ生成部３４５Ｄは、ステップＳ３７の処理において位置データ生成部３４４で生成された、三つの所定位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、現在表示されている視認画面Ｓに関する基準データを生成して記憶部３３に記憶する。

　次に、第十三実施形態の端末装置７Ａにおいて視認画面Ｓを用いた文字入力の処理について説明する。図３６は第十三実施形態の端末装置７Ａにおいて視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートである。ここでは、端末３０Ｄにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ａは電源オンの状態にあり、端末３０Ｄとディスプレイ装置２０及び撮像装置６０Ａとの間の通信が有効であるとする。

　ユーザは、端末３０Ｄを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末３０Ｄの制御部３４Ｄは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部３３から読み出し、図３６に示す処理フローにしたがって視認画面Ｓを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、制御部３４Ｄは、文字入力画面２００を元画面Ｍとしてディスプレイ装置２０に表示すると共に、この元画面Ｍに対応する視認画面Ｓに関する基準データが記憶部３３に記憶されているかどうかを判断する（Ｓ１２１）。視認画面Ｓに関する基準データが記憶部３３に記憶されていなければ、制御部３４Ｄは、基準データ設定処理用プログラムを記憶部３３から読み出し、基準データの設定処理を行う（Ｓ１２２）。その後、ステップＳ１２１に移行する。尚、第十三実施形態では、視認画面Ｓに関する基準データが記憶部３３に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部３３に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

　一方、ステップＳ１２１の処理において視認画面Ｓに関する基準データが記憶部３３に記憶されていると判断されると、制御部３４Ｄは、撮像装置６０Ｄの撮像動作を開始する（Ｓ１２３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置６０Ａで撮像される。このとき、オートフォーカス制御部６３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部６１を制御し、撮像装置６０Ａはピントが合った被写体を撮像する。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部６２に送られ、画像処理部６２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置６０Ａから制御部３４Ｄに送られる（Ｓ１２４）。

　次に、画像データ抽出部３４２は、撮像装置６０Ａで撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ１２５）。次に、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部３４３は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する（Ｓ１２６）。操作判定部３４３は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部３４１に送る。表示制御部３４１は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１２８）。尚、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　一方、操作判定部３４３は、ステップＳ１２６の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部３４１に送る。このとき例えば、画像データ抽出部３４２から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部３４３は、タップ操作が正常に認識されなかったと判断する。表示制御部３４１は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１２７）。その後は、ステップＳ１３３に移行する。尚、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　ステップＳ１２８の処理の後、位置データ生成部３４４は、操作判定部３４３で指による操作がタップ操作であると判定された画像データに基づいて、撮像装置６０Ａの撮像範囲における当該指（指先）の位置データを生成する（Ｓ１２９）。こうして生成された指の位置データは記憶部３３に記憶される。

　次に、距離判定部３４８Ｄは、位置データ生成部３４４で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指が当該視認画面Ｓに対応する平面（基準画面）から予め定められた略一定の距離以内に存在するかどうかを判定する（Ｓ１３０）。距離判定部３４８Ｄは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていないと判断し、その後、ステップＳ１２７に移行する。一方、ステップＳ１３０の処理において、距離判定部３４８Ｄは、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていると認識し、その後、ステップＳ１３１に移行する。

　ステップＳ１３１では、入力制御部３４６Ｄは、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータと、位置データ生成部３４４で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する。例えば、ユーザがキーボード画像２１０における文字キー画像に対して指でタップ操作を行った場合には、入力制御部３４６Ｄは、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部３４６Ｄは、認識した入力指示の内容に関する信号を表示制御部３４１に送り、表示制御部３４１はその入力指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ１３２）。

　ステップＳ１３２又はステップＳ１２７の処理の後、制御部３４Ｄは、ユーザから視認画面Ｓを用いた文字入力を終了する旨の指示を受けたかどうかを判断する（Ｓ１３３）。文字入力を終了する旨の指示を受けていれば、文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップＳ１２３に移行し、視認画面Ｓを用いた文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、端末３０Ｄを操作して行う。

　次に、第十三実施形態の端末装置７Ａにおいて視認画面Ｓを用いた画面表示の処理について説明する。図３７は第十三実施形態の端末装置７Ａにおいて視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートである。ここでは、端末３０Ｄにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ｄは電源オンの状態にあり、端末３０Ｄとディスプレイ装置２０及び撮像装置６０Ａとの間の通信が有効であるとする。

　ユーザは、端末３０Ｄを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末３０Ｄの制御部３４Ｄは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部３３から読み出し、図３７に示す処理フローにしたがって視認画面Ｓを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、ユーザは、端末３０Ｄを操作して所望の画面をディスプレイ装置２０に表示させる。制御部３４Ｄは、その表示された画面（元画面Ｍ）に対応する視認画面Ｓに関する基準データが記憶部３３に記憶されているかどうかを判断する（Ｓ１４１）。視認画面Ｓに関する基準データが記憶部３３に記憶されていなければ、制御部３４Ｄは、基準データ設定処理用プログラムを記憶部３３から読み出し、基準データの設定処理を行う（Ｓ１４２）。その後、ステップＳ１４１に移行する。尚、第十三実施形態では、視認画面Ｓに関する基準データが記憶部３３に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部３３に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

　一方、ステップＳ１４１の処理において視認画面Ｓに関する基準データが記憶部３３に記憶されていると判断されると、制御部３４Ｄは、撮像装置６０Ａの撮像動作を開始する（Ｓ１４３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置６０Ａで撮像される。このとき、オートフォーカス制御部６３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部６１を制御し、撮像装置６０Ａはピントが合った被写体を撮像する。また、オートフォーカス制御部６３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部６２に送られ、画像処理部６２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは無線通信で撮像装置６０Ａから制御部３４Ｄに送られる（Ｓ１４４）。

　次に、画像データ抽出部３４２は、撮像装置６０Ａで撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ１４５）。次に、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作の内容を判定する。そして、操作判定部３４３は、当該指による操作が正常に認識されたかどうかを判断する（Ｓ１４６）。操作判定部３４３は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部３４１に送る。表示制御部３４１は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１４８）。尚、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　一方、操作判定部３４３は、ステップＳ１４６の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部３４１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部３４２から指が存在している画像データが送られてこなかった場合にも、操作判定部３４３は、タップ操作が正常に認識されなかったと判断する。表示制御部３４１は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１４７）。その後は、ステップＳ１５３に移行する。尚、このとき、表示制御部３４１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。

　ステップＳ１４８の処理の後、位置データ生成部３４４は、操作判定部３４３で指による操作の内容が判定された画像データに基づいて、撮像装置６０Ａの撮像範囲における当該指（指先）の位置データを生成する（Ｓ１４９）。こうして生成された指の位置データは記憶部３３に記憶される。

　次に、距離判定部３４８Ｄは、位置データ生成部３４４で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指が当該視認画面Ｓに対応する平面（基準画面）から予め定められた略一定の距離以内に存在するかどうかを判定する（Ｓ１５０）。距離判定部３４８Ｄは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていないと判断し、その後、ステップＳ１４７に移行する。一方、ステップＳ１５０の処理において、距離判定部３４８Ｄは、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていると認識し、その後、ステップＳ１５１に移行する。

　ステップＳ１５１では、入力制御部３４６Ｄは、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータと、位置データ生成部３４４で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部３３に記憶されている当該視認画面Ｓに関する基準データと、記憶部３３に記憶されている当該視認画面Ｓに対応する元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する。例えば、ユーザが視認画面Ｓに対して指でダブルタップ操作を行った場合には、入力制御部３４６Ｄは、今回の操作がダブルタップ操作であることを特定し、元画面Ｍを拡大（又は縮小）する旨の指示を受けたことを認識する。その後、入力制御部３４６Ｄは、認識した指示の内容に関する信号を表示制御部３４１に送り、表示制御部３４１はその指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ１５２）。

　ステップＳ１５２又はステップＳ１４７の処理の後、制御部３４Ｄは、ユーザから視認画面Ｓを用いた画面表示のための操作を終了する旨の指示を受けたかどうかを判断する（Ｓ１５３）。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップＳ１４３に移行し、視認画面Ｓを用いた画面表示の処理を継続する。尚、ユーザは、視認画面Ｓを用いた画面表示のための操作を終了する旨の指示を、端末３０Ｄを操作して行う。

　第十三実施形態の端末装置は、第三実施形態の端末装置と同様の作用・効果を奏する。特に、第十三実施形態では、基準データ生成部が、基準データとして、視認画面Ｓについて空間内における位置及び大きさを特定できるようなデータを生成することにより、ユーザが、視認画面Ｓに対する指での操作の際に、例えば視認画面Ｓの左側の二つの隅についてはその手前側の位置を操作し、視認画面Ｓの右側の二つの隅についてはその奥側の位置を操作するというような習癖を有する者であっても、そのユーザの習癖に合った基準データを生成することができる。

［第十四実施形態］
　次に、本発明の第十四実施形態である端末装置について説明する。図３８は本発明の第十四実施形態である端末装置の概略ブロック図である。尚、第十四実施形態において、上述した第十三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十四実施形態である端末装置７Ｂは、図３８に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｄと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０Ａとを備える。ケーブル５０は、ディスプレイ装置２０及び撮像装置６０Ａと端末３０Ｄとの間を接続するものである。

　第十四実施形態の端末装置７Ｂが第十三実施形態の端末装置７Ａと異なる主な点は、ディスプレイ装置２０及び撮像装置６０Ａと端末３０Ｄとを、無線ではなく、ケーブル５０を用いて有線で接続している点である。第十四実施形態の端末装置７Ｂのその他の構成は、第十三実施形態の端末装置７Ａのものと同様である。

　端末３０Ｄはインターフェースとしての接続端子（不図示）を有する。この接続端子にケーブル５０が接続される。ディスプレイ装置２０及び撮像装置６０Ａへの電力はこのケーブル５０を介して端末３０Ｄから供給される。

　第十四実施形態の端末装置は、上記第十三実施形態のものと同様の作用・効果を奏する。

［第十五実施形態］
　次に、本発明の第十五実施形態である端末装置について説明する。図３９は本発明の第十五実施形態である端末装置の概略ブロック図である。尚、第十五実施形態において、第十三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十五実施形態である端末装置８Ａは、図３９に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｄと、通信部４０と、ユーザの前方を撮像するための撮像装置６０Ａと、マイク部７０と、スピーカ部８０とを備える。ここで、マイク部７０、スピーカ部８０は第五実施形態におけるものと同様である。

　第十五実施形態の端末装置８Ａが第十三実施形態の端末装置７Ａと異なる主な点は、この端末装置８Ａがマイク部７０とスピーカ部８０とを備えている点、端末３０Ｄの制御部３４Ｄがマイク部７０から入力された音声を表す電気信号の内容に応じた処理を実行する点、制御部３４Ｄがスピーカ部８０より発する音を制御する点である。第十五実施形態の端末装置８Ａのその他の構成は、第十三実施形態の端末装置７Ａのものと同様である。

　第十五実施形態の端末装置は、上記第十三実施形態のものと同様の作用・効果を奏する。特に、第十五実施形態の端末装置では、マイク部とスピーカ部とを眼鏡に設けたことにより、ユーザは、端末を操作することなくマイク部から端末に指示を与えることができると共に、端末からの情報をスピーカ部から音として得ることができる。

［第十六実施形態］
　次に、本発明の第十六実施形態である端末装置について説明する。図４０は本発明の第十六実施形態である端末装置の概略ブロック図である。尚、第十六実施形態において、上述した第十五実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十六実施形態である端末装置８Ｂは、図４０に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｄと、ケーブル５０と、ユーザの前方を撮像するための撮像装置６０Ａと、マイク部７０と、スピーカ部８０とを備える。ケーブル５０は、ディスプレイ装置２０、撮像装置６０Ａ、マイク部７０及びスピーカ部８０と端末３０Ｄとの間を接続するものである。

　第十六実施形態の端末装置８Ｂが第十五実施形態の端末装置８Ａと異なる主な点は、ディスプレイ装置２０、撮像装置６０Ａ、マイク部７０及びスピーカ部８０と端末３０Ｄとを、無線ではなく、ケーブル５０を用いて有線で接続している点である。第十六実施形態の端末装置８Ｂのその他の構成は、第十五実施形態の端末装置８Ａのものと同様である。

　端末３０Ｄはインターフェースとしての接続端子（不図示）を有する。この接続端子にケーブル５０が接続される。ディスプレイ装置２０、撮像装置６０Ａ、マイク部７０及びスピーカ部８０への電力はこのケーブル５０を介して端末３０Ｄから供給される。

　第十六実施形態の端末装置は、上記第十五実施形態のものと同様の作用・効果を奏する。

［第十七実施形態］
　次に、本発明の第十七実施形態である端末装置について説明する。図４１（ａ）は本発明の第十七実施形態である端末装置の概略平面図、図４１（ｂ）はその端末装置の概略右側面図である。図４２は第十七実施形態の端末装置の概略斜視図である。また、図４３は第十七実施形態の端末装置の概略ブロック図である。尚、本第十七実施形態において、上述した第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十七実施形態である端末装置９は、図４１、図４２及び図４３に示すように、ユーザの頭部に装着される装着物としての眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｅと、通信部４０と、ユーザの目を撮像するための撮像装置６０Ｂと、マイク部（音入力装置）７０と、スピーカ部（音出力装置）８０と、タッチパッド部９０とを備える。

　第十七実施形態の端末装置９が第三実施形態の端末装置２Ａと異なる主な点は、この端末装置９が、ユーザの前方を撮像するための撮像装置６０ではなく、ユーザの目を撮像するための撮像装置６０Ｂを備えている点、端末３０Ｅが撮像装置６０Ｂで撮像された画像データに基づいて、ユーザが視認画面Ｓに対して行った操作の内容を認識する点、マイク部７０、スピーカ部８０及びタッチパッド部９０を備えている点である。第十七実施形態の端末装置９のその他の構成は、第三実施形態の端末装置２Ａのものと同様である。

　撮像装置６０Ｂは、図４１及び図４２に示すように、眼鏡１０の柄の部分に設けられている。この撮像装置６０Ｂは、ディスプレイ装置２０の小型プロジェクタ２１及び光学系２２とともに筐体１００の中に配設されている。また、撮像装置６０Ｂは、図４３に示すように、カメラ部６１と、画像処理部６２と、カメラ制御部６３とを備える。

　また、撮像装置６０Ｂは、ユーザの目（少なくともその一部）を撮像することにより、ユーザが視認画面Ｓに対して指で操作を行ったときにユーザの目に映り込んだ元画面及び当該指についての画像を取得するためのものである。ここで、ディスプレイ装置２０に表示される元画面や、視認画面に対して操作を行っているユーザの指は、通常、外部から見える目の部分であって、色の付いた虹彩と瞳孔からなる部分に映り込む。このため、実際、撮像装置６０Ｂは、ユーザの目のうち虹彩と瞳孔からなる部分（又はその一部）を撮像して、元画面及び指についての画像を取得している。第十七実施形態では、撮像装置６０Ｂは、予めユーザの目にピントが合うように構成されている。具体的に、カメラ部６１のレンズの光軸上にユーザの目が位置するように撮像装置６０Ｂを眼鏡１０に取り付け、その目にピントが合うようにピントの位置を調整している。また、この撮像装置６０Ｂが撮像することができる範囲である撮像範囲は、目の少なくとも一部を含む範囲である。図４４（ａ）は目に映り込んだ元画面の例を示す図、図４４（ｂ）は第十七実施形態の端末装置９において撮像装置６０Ｂの撮像範囲の例を示す図である。したがって、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置６０Ｂは、ユーザの目に映り込んだ元画面及び当該指をピントが合った状態で撮像することができる。撮像装置６０Ｂで撮像して得られた画像データは、無線通信で撮像装置６０Ｂから端末３０Ｅに送られ、端末３０Ｅに記憶される。また、第十七実施形態における撮像装置６０Ｂは、静止画像の撮影機能と動画像の撮影機能とを備えており、端末３０Ｅは必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。

　眼鏡１０には、図４３に示すように、マイク部７０、骨伝導型のスピーカ部８０、タッチパッド部９０が設けられている。図４１及び図４２では、図を簡略化するため、これら各部は省略して示している。マイク部７０は、端末３０Ｅに対する入力装置であって、ユーザの音声を電気信号に変換してその電気信号を端末３０Ｅに出力するものである。マイク部７０を用いることにより、ユーザの音声による指示で端末３０Ｅを操作することができる。マイク部７０から入力された音声を表す電気信号は、通信部４０を介して端末３０Ｅの制御部３４Ｅに送られ、制御部３４Ｅがその電気信号の内容を解析することになる。また、スピーカ部８０は、端末３０Ｅの出力装置であって、端末３０Ｅから出力された電気信号を音に変換してその音を骨の振動によりユーザに伝達する骨伝導型のものである。一般に、スピーカ部８０としては、骨の振動を利用してユーザに音を伝えるものに限らず、音をユーザの耳を介してユーザに伝達する通常のスピーカ、イヤホン、ヘッドホン等を用いることも可能である。タッチパッド部９０は、端末３０Ｅに対する入力装置であって、ユーザがタッチ操作を行うことにより、端末３０Ｅに各種の指示を与えるものである。

　ここで、第十七実施形態の端末装置９で使用するタッチパッド部９０について詳しく説明する。図４５はタッチパッド部９０の取付け場所を説明するための図であり、図４６はタッチパッド部９０の構成を説明するための図である。タッチパッド部９０は、図４５（ａ）及び（ｂ）に示すように眼鏡１０の右側の柄に取り付けられ、又は、図４５（ｃ）に示すように右眼用レンズ部１１の下部に取り付けられる。ここで、図４５（ａ）は柄に取り付けられたタッチパッド部９０を有する端末装置９の概略斜視図、図４５（ｂ）はその端末装置９の概略側面図である。また、図４５（ｃ）はレンズ部に取り付けられたタッチパッド部９０を有する端末装置９の概略斜視図である。このタッチパッド部９０は当該部分に固定して取り付けられるが、眼鏡（装着物）１０に着脱可能に設けるようにしてもよい。また、タッチパッド部９０としては、図４６（ａ）に示すようにマウス機能を有するものを用いることができるが、図４６（ｂ）に示すように簡易キーボード機能を有するもの、又は、図４６（ｃ）に示すようにマウス機能と簡易キーボード機能の両方を有するものを用いてもよい。更に、タッチパッド部９０としては、これらに限らず、番号パネルや操作パネル等を有するものを用いてもよい。

　端末３０Ｅは、図４３に示すように、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｅとを有する。記憶部３３には、例えば、表示部３１に表示されている画面の内容をディスプレイ装置２０に表示するようにディスプレイ装置２０を制御するためのディスプレイ装置制御用プログラム、視認画面Ｓが文字入力画面２００である場合にその文字入力画面２００に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラム、視認画面Ｓに対して行われた操作に基づいて視認画面Ｓに対応する元画面Ｍの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラム等が記憶されている。また、記憶部３３に記憶されているデータには、例えば、各種の元画面Ｍの画像データ、各元画面Ｍに関するデータ（具体的には、当該元画面Ｍの大きさ、形状、内容、構成等を示すデータ）が含まれる。

　制御部３４Ｅは、中央演算処理装置（ＣＰＵ）等を備えており、端末３０Ｅの全般を制御すると共にディスプレイ装置２０及び撮像装置６０Ｂをも制御する。例えば、制御部３４Ｅは、ユーザにより表示部３１においてタッチ操作がなされたとき、又は、タッチパッド部９０が操作されたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。制御部３４Ｅは、マイク部７０から音声が入力されたときに、その入力された音声を表す電気信号の内容を認識し、その認識した内容に応じた処理を実行する。また、制御部３４Ｅは、スピーカ部８０により発する音を制御する。更に、制御部３４Ｅは、上記ディスプレイ装置制御用プログラムを実行することにより、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する。具体的に、この制御部３４Ｅは、図４３に示すように、表示制御部３４１と、画像データ抽出部３４２と、操作判定部３４３と、入力制御部３４６Ｅと、操作位置特定部３４９Ｅとを備える。

　表示制御部３４１は、表示部３１及びディスプレイ装置２０での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部３４１は、記憶部３３に記憶されているディスプレイ装置制御用プログラムを実行して、表示部３１に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示する。これにより、眼鏡１０をかけたユーザはその元画面Ｍに対応する視認画面Ｓを空中に浮かんでいるように見ることができる。

　画像データ抽出部３４２は、ユーザの目に映り込んだ元画面Ｍを撮像装置６０Ｂが撮像したときに、その撮像して得られた一連の画像データの中から、指が存在している画像データを抽出するものである。画像データの中に指が存在しているかどうかの判断には、一般の画像認識の手法が用いられる。また、操作判定部３４３、操作位置特定部３４９Ｅでは、画像データ抽出部３４２で抽出された画像データに基づいて処理が行われることになる。

　操作判定部３４３は、ユーザの目に映り込んだ元画面Ｍ及び指を撮像装置６０Ｅが撮像したときに、その撮像して得られた一連の画像データであって画像データ抽出部３４２で抽出されたものに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるのかを判定するものである。この判定に際しては、例えば一般の画像認識の手法が用いられる。これにより、操作判定部３４３は、当該指による操作が、タップ操作、ダブルタップ操作、長押し操作等のうちいずれの操作であるかを認識することができる。その認識した当該指による操作の内容に関するデータは記憶部３３に記憶される。尚、操作判定部３４３が操作内容を正確に認識できるようにするためには、ユーザは視認画面Ｓ上で各種のタッチ操作をゆっくりと且つオーバーアクション気味に行うことが望ましい。

　操作位置特定部３４９Ｅは、ユーザの目に映り込んだ元画面Ｍ及び指を撮像装置６０Ｂが撮像したときに、その撮像して得られた一連の画像データであって画像データ抽出部３４２で抽出されたものに基づいて当該指による操作の対象となった位置が当該元画面Ｍ内におけるどの位置であるのかを特定するものである。具体的に、第十七実施形態では、操作位置特定部３４９Ｅは、まず、一般の画像認識の手法を用い、画像データに基づいて当該画像に含まれる元画面Ｍ及び指を特定する。次に、その特定した元画面Ｍの範囲内のどこに指が位置しているのかを調べることにより、元画面Ｍ内における当該指による操作の対象となった位置を表すデータを作成する。この作成したデータは記憶部３３に記憶される。

　入力制御部３４５Ｅは、ユーザが視認画面Ｓに対して指で操作を行ったときに、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部３４９Ｅで得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部３３に記憶されている当該元画面Ｍに関するデータとに基づいて、当該視認画面Ｓに対して行われた当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部３１に表示する画面の制御及びディスプレイ装置２０に表示する元画面Ｍの制御を行うものである。

　実際、入力制御部３４５Ｅは、ユーザが視認画面Ｓに対して指でタッチ操作を行うと、その視認画面Ｓがタッチパネルに表示されているときと同様に、当該タッチ操作に対応する指示を認識する。例えば、視認画面Ｓが図１５に示す文字入力画面２００である場合、ユーザがその文字入力画面２００に対して指で所望の文字キー画像をタップする操作を行ったものとする。この場合、入力制御部３４５Ｅは、操作判定部３４３で得られた当該指による操作の内容に関するデータに基づいて、今回の操作がタップ操作であると認識する。また、入力制御部３４５Ｅは、その文字入力画面２００に対応する元画面Ｍに関するデータに基づいて、当該文字入力画面２００の内容（例えば、当該文字入力画面２００におけるキーボード画像２１０の構成や、各文字キー画像の配置等）を認識することができる。このため、入力制御部３４５Ｅは、操作位置特定部３４９Ｅで得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータに基づいて、そのデータが表す位置が、文字入力画面２００におけるどの位置に対応するのかを調べることにより、操作された文字キーを特定することができる。こうして、入力制御部３４５Ｅは、ユーザによりタップ操作が行われたこと、及び、その操作の対象が上記特定した文字キーであることから、今回の操作では、当該文字キーが表す文字を入力するという指示が行われたと認識することができる。この結果、入力制御部３４５Ｅは、文字入力画面２００の表示領域２２０に当該文字キーが表す文字を入力された元画面Ｍをティスプレイ装置２０に表示することになる。

　また、入力制御部３４５Ｅは、ユーザが視認画面Ｓに対して指でダブルタップ操作を行うと、その視認画面Ｓに対応する元画面Ｍを拡大又は縮小するという指示を認識し、ユーザが視認画面Ｓに対して指で長押し操作を行うと、元画面Ｍとしてオプションメニューの画面を表示するという指示を認識し、そして、ユーザが視認画面Ｓに対して指でドラッグ操作又はフリック操作を行うと、元画面Ｍをスクロールして表示するという指示を認識する。

　このように、第十七実施形態の端末装置９では、ユーザは、自己が見ている視認画面Ｓに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。

　尚、第十七実施形態では、ユーザは、空中に浮いているように見える視認画面Ｓに対して指でタッチ操作を行うので、通常のタッチパネルに表示された画面に対してタッチ操作する場合には行うことのできない態様でタッチ操作を行うこともできる。通常、ユーザは、図１７（ａ）に示すように、視認画面Ｓの正面側から一本の指でタッチ操作を行うが、図１７（ｂ）に示すように、視認画面Ｓの裏面側から一本の指でタッチ操作を行うことができる。また、ユーザは、図１８（ａ）に示すように、視認画面Ｓの正面側から複数の指でタッチ操作を行ったり、図１８（ｂ）に示すように、視認画面Ｓの裏面側から複数の指でタッチ操作を行ったりすることができる。

　次に、第十七実施形態の端末装置９において視認画面Ｓを用いた文字入力の処理について説明する。図４７は第十七実施形態の端末装置９において視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートである。ここでは、端末３０Ｅにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ｂは電源オンの状態にあり、端末３０Ｅとディスプレイ装置２０及び撮像装置６０Ｂとの間の通信が有効であるとする。

　ユーザは、端末３０Ｅを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末３０Ｅの制御部３４Ｅは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部３３から読み出し、図４７に示す処理フローにしたがって視認画面Ｓを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、制御部３４Ｅは、文字入力画面２００を元画面Ｍとしてディスプレイ装置２０に表示すると共に、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２２１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部３４Ｅに対してユーザが操作している位置を知らせるためである。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｅに送られる（Ｓ２２２）。

　次に、画像データ抽出部３４２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２２３）。すなわち、画像データ抽出部３４２は、ユーザが指で操作を行っている内容を表す画像データだけを抽出する。次に、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部３４３は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する（Ｓ２２４）。操作判定部３４３は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部３４１に送る。表示制御部３４１は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２２６）。尚、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部３４Ｅは、文字入力のための操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部８０から発するようにしてもよい。

　一方、操作判定部３４３は、ステップＳ２２４の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部３４１に送る。このとき例えば、画像データ抽出部３４２から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部３４３は、タップ操作が正常に認識されなかったと判断する。表示制御部３４１は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２２５）。その後は、ステップＳ２３０に移行する。尚、このとき、表示制御部３４１は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部３４Ｅは、文字入力のための操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部８０から発するようにしてもよい。

　ステップＳ２２６の処理の後、操作位置特定部３４９Ｅは、操作判定部３４３で指による操作がタップ操作であると判定された画像データに基づいて、当該指による操作の対象となった位置が当該元画面Ｍ内におけるどの位置であるのかを特定し、当該元画面内における当該指による操作の対象となった位置を表すデータを生成する（Ｓ２２７）。こうして生成された操作の対象となった位置を表すデータは記憶部３３に記憶される。

　次に、入力制御部３４５Ｅは、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部３４９Ｅで得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部３３に記憶されている当該元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する（Ｓ２２８）。例えば、ユーザがキーボード画像２１０における文字キー画像に対して指でタップ操作を行った場合には、入力制御部３４５Ｅは、その指による操作の対象となった位置を表すデータから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部３４５Ｅは、認識した入力指示の内容に関する信号を表示制御部３４１に送り、表示制御部３４１はその入力指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ２２９）。

　ステップＳ２２９又はステップＳ２２５の処理の後、制御部３４Ｅは、ユーザから視認画面Ｓを用いた文字入力を終了する旨の指示を受けたかどうかを判断する（Ｓ２３０）。文字入力を終了する旨の指示を受けていれば、視認画面Ｓを用いた文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップＳ２２１に移行し、視認画面Ｓを用いた文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、例えば、端末３０Ｅの操作により、音声での指示により又はタッチパッド部９０のタッチ操作により行う。

　次に、第十七実施形態の端末装置９において視認画面Ｓを用いた画面表示の処理について説明する。図４８は第十七実施形態の端末装置９において視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートである。ここでは、端末３０Ｅにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ｂは電源オンの状態にあり、端末３０Ｅとディスプレイ装置２０及び撮像装置６０Ｂとの間の通信が有効であるとする。

　ユーザは、端末３０Ｅを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末３０Ｅの制御部３４Ｅは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部３３から読み出し、図４８に示す処理フローにしたがって視認画面Ｓを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、ユーザは、端末３０Ｅを操作して所望の画面をディスプレイ装置２０に表示させる。一方、制御部３４Ｅは、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２４１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｅに送られる（Ｓ２４２）。

　次に、画像データ抽出部３４２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２４３）。すなわち、画像データ抽出部３４２は、ユーザが指で操作を行っている内容を表す画像データだけを抽出する。次に、操作判定部３４３は、画像データ抽出部３４２で抽出された画像データに基づいて当該指による操作の内容を判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部３４３は、当該指による操作が正常に認識されたかどうかを判断する（Ｓ２４４）。操作判定部３４３は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部３３に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部３４１に送る。表示制御部３４１は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２４６）。
尚、表示制御部３４１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部３４Ｅは、指による操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部８０から発するようにしてもよい。

　一方、操作判定部３４３は、ステップＳ２４４の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部３４１に送る。このとき例えば、画像データ抽出部３４２から指が存在している画像データが予め定めた所定の時間内に送られてこなかった場合にも、操作判定部３４３は、指による操作が正常に認識されなかったと判断する。表示制御部３４１は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２４５）。その後は、ステップＳ２５０に移行する。尚、このとき、表示制御部３４１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部３４Ｅは、指による操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部８０から発するようにしてもよい。

　ステップＳ２４６の処理の後、操作位置特定部３４９Ｅは、操作判定部３４３で指による操作の内容が判定された画像データに基づいて、当該指による操作の対象となった位置が当該元画面Ｍ内におけるどの位置であるのかを特定し、当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータを生成する（Ｓ２４７）。こうして生成された操作の対象となった位置を表すデータは記憶部３３に記憶される。

　次に、入力制御部３４５Ｅは、操作判定部３４３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部３４９Ｅで得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部３３に記憶されている当該元画面Ｍに関するデータとに基づいて、当該指による操作に対応する指示の内容を認識する（Ｓ２４８）。例えば、ユーザが視認画面Ｓに対して指でダブルタップ操作を行った場合には、入力制御部３４５Ｅは、今回の操作がダブルタップ操作であることを特定し、元画面Ｍを拡大（又は縮小）する旨の指示を受けたことを認識する。その後、入力制御部３４５Ｅは、認識した指示の内容に関する信号を表示制御部３４１に送り、表示制御部３４１はその指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ２４９）。

　ステップＳ２４９又はステップＳ２４５の処理の後、制御部３４Ｅは、ユーザから画面表示のための操作を終了する旨の指示を受けたかどうかを判断する（Ｓ２５０）。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップＳ２４１に移行し、画面表示の処理を継続する。尚、ユーザは、視認画面Ｓを用いた画面表示のための操作を終了する旨の指示を、例えば、端末３０Ｅの操作により、音声での指示により又はタッチパッド部９０のタッチ操作により行う。

　尚、上記の例では、ユーザが文字入力を行う旨を指示することにより制御部３４Ｅが文字入力の処理を行い、また、ユーザが画面表示のための操作を行う旨を指示することにより制御部３４Ｅが画面表示の処理を行う場合について説明したが、制御部３４Ｅは、文字入力の処理と画面表示の処理とを自動的に切り替えて行うようにしてもよい。

　第十七実施形態の端末装置は、上記第一実施形態のものと同様の作用・効果を奏する。すなわち、第十七実施形態の端末装置では、端末と装着物としての眼鏡とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物としての眼鏡の部品点数を少なくして、眼鏡の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

　特に、第十七実施形態の端末装置では、ユーザの目を撮像することによりユーザが視認画面に対して指で操作を行ったときにユーザの目に映り込んだ元画面及び当該指についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する。そして、入力制御部は、ユーザが視認画面に対して指で操作を行ったときに、操作判定部で得られた当該指による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置に表示する元画面の制御を行う。このため、ユーザは、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、第十七実施形態の端末装置を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

　尚、上記の第十七実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。

　また、上記の第十七実施形態では、端末装置がマイク部、スピーカ部及びタッチパッド部を備えている場合について説明したが、端末装置は、マイク部、スピーカ部及びタッチパッド部の全部又は一部を備えていなくてもよい。

　また、上記の第十七実施形態では、撮像装置が予めユーザの目にピントが合うように構成されている場合について説明したが、撮像装置としてはオートフォーカス機能を有するものを用いてもよい。この場合、撮像装置のカメラ制御部は、ユーザの目に自動的にピントを合わせるオートフォーカス制御部を有する。このオートフォーカス制御部は、一般に、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部を制御するものである。例えば、撮像装置のカメラ部としては、撮像範囲の中央に一つのフォーカスポイントを有するものを用いる。そして、カメラ部のレンズの光軸上にユーザの目が位置するように撮像装置を眼鏡に取り付ける。オートフォーカス制御部は、撮像が開始されると、フォーカスポイント上の被写体、すなわち、ユーザの目にピントが合うようにピントを合わせる。このため、撮像装置は、ユーザの目にピントが合った状態で画像を取得することができる。また、オートフォーカス制御部は、被写体である目を認識し、その認識した目に自動的にピントを合わせるようにしてもよい。

　更に、第十七実施形態では、操作位置特定部が、一般の画像認識の手法を用いて、画像データに基づいて当該画像に含まれる元画面及び指を特定し、次に、その特定した元画面の範囲内のどこに指が位置しているのかを調べることにより、元画面内における当該指による操作の対象となった位置を表すデータを作成する場合について説明した。しかしながら、操作位置特定部としては、次のような処理を行うものを用いることもできる。すなわち、操作位置特定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指の位置を求め、その求めた撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指の位置に基づいて当該元画面内における当該指による操作の対象となった位置を特定するようにしてもよい。

　この操作位置特定部が行う処理の内容を詳しく説明する。この場合、撮像装置の撮像範囲内において、図４４（ｂ）に示すように、左右方向をＸ軸方向、上下方向をＹ軸方向としてＸＹ座標系が設定される。このＸＹ座標系の原点は任意の位置に取られる。操作位置特定部は、まず、画像データに基づいて元画面の画像を認識し、ＸＹ座標系において元画面の画像の四隅の各位置についての位置データを取得する。この取得した四隅の各位置についての位置データは撮像範囲内における元画面の範囲を表すデータとなる。ここで、図４９に操作位置特定部が元画面の範囲を特定する上で望ましい元画面の例を示す。元画面としては、図４９（ａ）に示すように予め四隅の位置に大きな丸印等を表示したものや、図４９（ｂ）に示すように枠を太線で表したものを用いることにより、操作位置特定部が元画面の画像を認識し易くなる。次に、操作位置特定部は、画像データに基づいてユーザの指を認識し、ＸＹ座標系におけるユーザの指の位置データを取得する。その後、操作位置特定部は、ＸＹ座標系における四隅の各位置についての位置データと、ＸＹ座標系におけるユーザの指の位置データとに基づいて、例えば元画面の左下の点を原点とするｘｙ座標系におけるユーザの指の位置データを算出する。こうして算出されたｘｙ座標系におけるユーザの指の位置データが元画面内における指による操作の対象となった位置を特定するデータとなる。

［第十八実施形態］
　次に、本発明の第十八実施形態である端末装置について説明する。図５０は本発明の第十八実施形態である端末装置の概略ブロック図である。尚、本第十八実施形態において、上述した第十七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十八実施形態である端末装置９Ａは、図５０に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｆと、通信部４０と、ユーザの目を撮像するための撮像装置６０Ｂと、マイク部７０と、スピーカ部８０と、タッチパッド部９０とを備える。また、端末３０Ｆは、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｆとを備え、制御部３４Ｆは、表示制御部３４１と、虹彩・瞳孔画像データ生成部３５１と、画像差分抽出部３５２と、画像データ抽出部３４２と、操作判定部３４３と、入力制御部３４６Ｅと、操作位置特定部３４９Ｅとを有する。

　この第十八実施形態の端末装置９Ａが第十七実施形態の端末装置９と異なる主な点は、端末３０Ｆの制御部３４Ｆが虹彩・瞳孔画像データ生成部３５１及び画像差分抽出部３５２を備えている点である。第十八実施形態の端末装置９Ａのその他の構成は、第十七実施形態の端末装置９のものと同様である。

　虹彩・瞳孔画像データ生成部３５１は、ディスプレイ装置２０に元画面Ｍを表示する前にユーザの目を撮像装置６０Ｂで撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部３３に記憶するものである。ここで、撮像装置６０Ｂがその画像データを撮像するタイミングは、元画面Ｍがディスプレイ装置２０に表示される直前であるのが望ましい。虹彩・瞳孔画像データ生成部３５１が生成する虹彩及び瞳孔の画像データに含まれるユーザの虹彩及び瞳孔の状態は、ユーザが視認画面Ｓに対して操作を行うときの状態とほぼ同じであるようにする必要があるからである。また、画像差分抽出部３５２は、ユーザの目に映り込んだ元画面Ｍ及び指を撮像装置６０Ｂが撮像したときに、その撮像して得られた画像データと、記憶部３３に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成するものである。すなわち、差分を抽出した画像データは、画像認識を行う上で不要となるユーザの虹彩や瞳孔の画像が除去され、元画面Ｍと指だけの画像データとなる。第十八実施形態では、画像データ抽出部３４２は、画像差分抽出部３５２で生成された一連の画像データを用いて画像データの抽出処理を行う。

　次に、第十八実施形態の端末装置９Ａにおいて視認画面Ｓを用いた文字入力の処理について説明する。図５１は第十八実施形態の端末装置９Ａにおいて視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートである。尚、図５１のフローチャートにおいて、上述した第十七実施形態における図４７のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する

　ここでは、端末３０Ｆにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ｂは電源オンの状態にあり、端末３０Ｆとディスプレイ装置２０及び撮像装置６０Ｂとの間の通信が有効であるとする。

　ユーザは、端末３０Ｆを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末３０Ｆの制御部３４Ｆは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部３３から読み出し、図５１に示す処理フローにしたがって視認画面Ｓを用いた文字入力の処理を行う。

　図５１に示す処理フローにしたがい、まず、制御部３４Ｆは、例えば、スピーカ部８０から「数秒間、元画面が表示される方向を見て下さい。」という音声を発生させる。これにより、ユーザがその音声による指示にしたがい、元画面が表示される方向を見ることになる。このとき、制御部３４Ｆは、ディスプレイ装置２０を一時的に何も表示されない状態にすると共に、撮像装置６０Ｂを制御して撮像装置６０Ｂでユーザの目を撮像する。そして、虹彩・瞳孔画像データ生成部３５１は、撮像装置６０Ｂによりユーザの目を撮像して得られた画像データに基づいて、虹彩及び瞳孔の画像データを生成する（Ｓ２２０１）。この生成された虹彩及び瞳孔の画像データは、記憶部３３に記憶される。こうして虹彩及び瞳孔の画像データが作成されると、表示制御部３４１は、ディスプレイ装置２０に元画面Ｍとして文字入力画面２００を表示する（Ｓ２２０２）。これにより、ユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。その後、制御部３４Ｆは、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２２１）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｆに送られる（Ｓ２２２）。

　次に、画像差分抽出部３５２は、撮像装置６０Ｂで撮像して得られた画像データと、記憶部３３に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行う（Ｓ２２０３）。これにより、虹彩及び瞳孔の画像が取り除かれた画像データが得られる。次に、画像データ抽出部３４２は、画像差分抽出部３５２で作成された画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２２３）。ここで、画像データ抽出部３４２で抽出された画像データには指が存在しているので、その画像データは、ユーザの目に映り込んだ元画面Ｍ及び指についての画像を含んでいる。その後は、ステップＳ２２４に移行する。ステップＳ２２４以降の処理は、第十七実施形態における図４７のフローチャートによる処理と同様である。

　次に、第十八実施形態の端末装置９Ａにおいて視認画面Ｓを用いた画面表示の処理について説明する。図５２は第十八実施形態の端末装置９Ａにおいて視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートである。尚、この図５２のフローチャートにおいて、上述した第十七実施形態における図４８のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

　ユーザは、端末３０Ｆを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末３０Ｆの制御部３４Ｆは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部３３から読み出し、図５２に示す処理フローにしたがって視認画面Ｓを用いた画面表示の処理を行う。

　図５２に示す処理フローにしたがい、まず、制御部３４Ｆは、例えば、スピーカ部６０から「数秒間、元画面が表示される方向を見て下さい。」という音声を発生させる。これにより、ユーザがその音声による指示にしたがい、元画面が表示される方向を見ることになる。このとき、制御部３４Ｆは、ディスプレイ装置２０を一時的に何も表示されない状態にすると共に、撮像装置６０Ｂを制御して撮像装置６０Ｂでユーザの目を撮像する。そして、虹彩・瞳孔画像データ生成部３５１は、撮像装置６０Ｂによりユーザの目を撮像して得られた画像データに基づいて、虹彩及び瞳孔の画像データを生成する（Ｓ２４０１）。この生成された虹彩及び瞳孔の画像データは、記憶部３３に記憶される。次に、ユーザは、端末３０Ｆを操作して所望の画面をディスプレイ装置２０に表示させる。これにより、表示制御部３４１は、ディスプレイ装置２０に当該画面を元画面Ｍとして表示し（Ｓ２４０２）、ユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。その後、制御部３４Ｆは、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２４１）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｆに送られる（Ｓ２４２）。

　次に、画像差分抽出部３５２は、撮像装置６０Ｂで撮像して得られた画像データと、記憶部３３に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行う（Ｓ２４０３）。これにより、虹彩及び瞳孔の画像が取り除かれた画像データが得られる。次に、画像データ抽出部３４２は、画像差分抽出部３５２で作成された画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２４３）。ここで、画像データ抽出部３４２で抽出された画像データには指が存在しているので、その画像データは、ユーザの目に映り込んだ元画面Ｍ及び指についての画像を含んでいる。その後は、ステップＳ２４４に移行する。ステップＳ２４４以降の処理は、第十七実施形態における図４８のフローチャートによる処理と同様である。

　第十八実施形態の端末装置は上記第十七実施形態のものと同様の作用・効果を奏する。

　特に、第十八実施形態の眼鏡型端末には、ディスプレイ装置に元画面を表示する前にユーザの目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されている虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部とが備えられており、画像データ抽出部は、その画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行う。これにより、画像差分抽出部で生成された画像データからは、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指が存在している画像データを抽出する処理を容易に行うことができる。

　ところで、ユーザがコンタクトレンズを装着している場合、画像差分抽出部は虹彩及び瞳孔の画像に加えてコンタクトレンズの画像が取り除かれた画像データを生成するようにしてもよい。すなわち、虹彩・瞳孔画像データ生成部として、ディスプレイ装置に元画面を表示する前に、コンタクトレンズを装着しているユーザの目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して記憶部に記憶するものを用い、画像差分抽出部としては、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されているコンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成するものを用いるようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指が存在している画像データを抽出する処理を容易に行うことができる。

　尚、上記の第十八実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。

［第十九実施形態］
　次に、本発明の第十九実施形態である端末装置について説明する。図５３は本発明の第十九実施形態である端末装置の概略ブロック図である。尚、本第十九実施形態において、上述した第十七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第十九実施形態である端末装置９Ｂは、図５３に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｇと、通信部４０と、ユーザの目を撮像するための撮像装置６０Ｂと、マイク部７０と、スピーカ部８０と、タッチパッド部９０とを備える。また、端末３０Ｇは、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｇとを備え、制御部３４Ｇは、表示制御部３４１と、画像変換部３５３と、画像データ抽出部３４２と、操作判定部３４３と、入力制御部３４６Ｅと、操作位置特定部３４９Ｅとを有する。

　この第十九実施形態の端末装置９Ｂが第十七実施形態の端末装置９と異なる主な点は、端末３０Ｇの制御部３４Ｇが画像変換部３５３を備えている点である。第十九実施形態の端末装置９Ｂのその他の構成は、第十七実施形態の端末装置９のものと同様である。

　画像変換部３５３は、本来球面の形状を持つユーザの目に映り込んだ元画面Ｍ及び指についての画像が平面上に映り込んだ画像となるように、撮像装置６０Ｂで撮像して得られた画像データに対して画像変換を行うものである。例えば、この画像変換は、目（眼球表面）の曲率等を用いて予め作成された画像変換式により行われる。第十九実施形態では、画像データ抽出部３４２は、画像変換部３５３で画像変換が行われた後の一連の画像データを用いて所定の処理を行う。

　次に、第十九実施形態の端末装置９Ｂにおいて視認画面Ｓを用いた文字入力の処理について説明する。図５４は第十九実施形態の端末装置９Ｂにおいて視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートである。尚、この図５４のフローチャートにおいて、上述した第十七実施形態における図４７のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

　ここでは、端末３０Ｇにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ｂは電源オンの状態にあり、端末３０Ｇとディスプレイ装置２０及び撮像装置６０Ｂとの間の通信が有効であるとする。

　ユーザは、端末３０Ｇを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末３０Ｇの制御部３４Ｇは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部３３から読み出し、図５４に示す処理フローにしたがって視認画面Ｓを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　図５４に示す処理フローにしたがい、まず、制御部３４Ｇは、文字入力画面２００を元画面Ｍとしてディスプレイ装置２０に表示すると共に、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２２１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｇに送られる（Ｓ２２２）。

　次に、画像変換部３５３は、撮像装置６０Ｂで撮像して得られた画像データに対して、本来球面の形状を持つユーザの目に映り込んだ元画面Ｍ及び指についての画像が平面上に映り込んだ画像となるように画像変換を行う（Ｓ２２０４）。この画像変換後の画像データは画像データ抽出部３４２に送られる。そして、画像データ抽出部３４２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２２３）。その後は、ステップＳ２２４に移行する。ステップＳ２２４以降の処理は、第十七実施形態における図４７のフローチャートによる処理と同様である。

　次に、第十九実施形態の端末装置９Ｂにおいて視認画面Ｓを用いた画面表示の処理について説明する。図５５は第十九実施形態の端末装置９Ｂにおいて視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートである。尚、この図５５のフローチャートにおいて、上述した第十七実施形態における図４８のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

　ユーザは、端末３０Ｇを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末３０Ｇの制御部３４Ｇは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部３３から読み出し、図５５に示す処理フローにしたがって視認画面Ｓを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、ユーザは、端末３０Ｇを操作して所望の画面をディスプレイ装置２０に表示させる。一方、制御部３４Ｇは、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２４１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｇに送られる（Ｓ２４２）。

　次に、画像変換部３５３は、撮像装置６０Ｂで撮像して得られた画像データに対して、本来球面の形状を持つユーザの目に映り込んだ元画面Ｍ及び指についての画像が平面上に映り込んだ画像となるように画像変換を行う（Ｓ２４０４）。この画像変換後の画像データは画像データ抽出部３４２に送られる。そして、画像データ抽出部３４２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２４３）。その後は、ステップＳ２４４に移行する。ステップＳ２４４以降の処理は、第十七実施形態における図４８のフローチャートによる処理と同様である。

　第十九実施形態の端末装置は上記第十七実施形態のものと同様の作用・効果を奏する。

　特に、第十九実施形態の端末装置には、本来球面の形状を持つユーザの目に映り込んだ元画面及び指についての画像が平面上に映り込んだ画像となるように、撮像装置で撮像して得られた画像データに対して画像変換を行う画像変換部が備えられており、画像データ抽出部は、画像変換部で画像変換が行われた一連の画像データを用いて画像データの抽出処理を行う。これにより、画像データ抽出部によって抽出される一連の画像データでは、歪みが補正されているので、操作位置特定部は、元画面内における指による操作の対象となった位置を正確に特定することができるという利点がある。

　尚、この第十九実施形態における画像変換部を、上記第十八実施形態における端末装置の端末に設けるようにしてもよい。

　また、上記の第十九実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。

［第二十実施形態］
　次に、本発明の第二十実施形態である端末装置について説明する。図５６は本発明の第二十実施形態である端末装置の概略ブロック図である。尚、本第二十実施形態において、上述した第十七実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第二十実施形態である端末装置９Ｃは、図５６に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０と、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ｈと、通信部４０と、ユーザの目を撮像するための撮像装置６０Ｂと、マイク部７０と、スピーカ部８０と、タッチパッド部９０とを備える。また、端末３０Ｈは、表示部３１と、通信部３２と、記憶部３３と、制御部３４Ｈとを備え、制御部３４Ｈは、表示制御部３４１と、目存在・不存在判定部３５４と、報知制御部３５５と、画像データ抽出部３４２と、操作判定部３４３と、入力制御部３４６Ｅと、操作位置特定部３４９Ｅとを有する。

　この第二十実施形態の端末装置９Ｃが第十七実施形態の端末装置９と異なる主な点は、端末３０Ｈの制御部３４Ｈが目存在・不存在判定部３５４と報知制御部３５５とを備えている点である。第二十実施形態の端末装置９Ｃのその他の構成は、第十七実施形態の端末装置９のものと同様である。

　目存在・不存在判定部３５４は、一般の画像認識の手法を用いて撮像装置６０Ｂで撮像して得られた画像データにユーザの目の画像が存在しているかどうかを判定し、ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたことを検知するものである。また、報知制御部３５５は、目存在・不存在判定部３５４によりユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたことが検知されたときに、スピーカ部（報知装置）８０を制御してそのスピーカ部８０から音を発生させるものである。ユーザの目が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたということは、ユーザが目を閉じている、例えば寝ていると考えられる。このため、例えばユーザが自動車を運転している場合、報知制御部３５５は、目存在・不存在判定部３５４での検知結果に基づいてユーザの居眠りを認識し、スピーカ部８０から警報音を発生させることにより、居眠り運転防止を図ることができる。

　次に、第二十実施形態の端末装置９Ｃにおいて視認画面Ｓを用いた文字入力の処理について説明する。図５７は第二十実施形態の端末装置９Ｃにおいて視認画面Ｓを用いた文字入力の処理の手順を説明するためのフローチャートである。尚、この図５７のフローチャートにおいて、上述した第十七実施形態における図４７のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

　ここでは、端末３０Ｈにおいてディスプレイ装置制御用プログラムが実行中である場合を考える。すなわち、ディスプレイ装置２０、通信部４０及び撮像装置６０Ｂは電源オンの状態にあり、端末３０Ｈとディスプレイ装置２０及び撮像装置６０Ｂとの間の通信が有効であるとする。

　ユーザは、端末３０Ｈを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において文字入力処理用プログラムのアイコンをタップし、その文字入力処理用プログラムを選択する。端末３０Ｈの制御部３４Ｈは、文字入力処理用プログラムが選択された旨の信号を受けると、文字入力処理用プログラムを記憶部３３から読み出し、図５７に示す処理フローにしたがって視認画面Ｓを用いた文字入力の処理を行う。尚、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　図５７に示す処理フローにしたがい、まず、制御部３４Ｈは、文字入力画面２００を元画面Ｍとしてディスプレイ装置２０に表示すると共に、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２２１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｈに送られる（Ｓ２２２）。

　次に、目存在・不存在判定部３５４は、その送られた画像データについて、一般の画像認識の手法を用いて目の画像が存在しているかどうかを判断する（Ｓ２２０５）。目存在・不存在判定部３５４は、目の画像が画像データに存在していると判定すると、当該画像データを画像データ抽出部３４２に送出する。その後は、ステップＳ２２３に移行する。一方、目存在・不存在判定部３５４は、目の画像が画像データに存在していないと判定すると、当該画像データを画像データ抽出部３４２に送出しない。そして、この場合、目存在・不存在判定部３５４は、ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたかどうかを判断する（Ｓ２２０６）。ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されていなければ、ステップＳ２２０５に移行する。一方、目存在・不存在判定部３５４は、ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたと判定すると、その旨の信号を報知制御部３５５に送信する。報知制御部３５５は、その信号を受け取ると、ユーザが居眠りをしていると認識し、スピーカ部８０を制御してスピーカ部８０から所定の警告音を発生させる（Ｓ２２０７）。その後は、ステップＳ２２３に移行する。

　ステップＳ２２３では、画像データ抽出部３４２は、目存在・不存在判定部３５４から送られた画像データ（ユーザの目の画像が存在している画像データ）について、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する。その後は、ステップＳ２２４に移行する。ステップＳ２２４以降の処理は、第十七実施形態における図４７のフローチャートによる処理と同様である。

　次に、第二十実施形態の端末装置９Ｃにおいて視認画面Ｓを用いた画面表示の処理について説明する。図５８は第二十実施形態の端末装置９Ｃにおいて視認画面Ｓを用いた画面表示の処理の手順を説明するためのフローチャートである。尚、この図５８のフローチャートにおいて、上述した第十七実施形態における図４８のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

　ユーザは、端末３０Ｈを操作して表示部３１にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面において画面表示処理用プログラムのアイコンをタップし、その画面表示処理用プログラムを選択する。端末３０Ｈの制御部３４Ｈは、画面表示処理用プログラムが選択された旨の信号を受けると、画面表示処理用プログラムを記憶部３３から読み出し、図５８に示す処理フローにしたがって視認画面Ｓを用いた画面表示の処理を行う。尚、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

　まず、ユーザは、端末３０Ｈを操作して所望の画面をディスプレイ装置２０に表示させる。一方、制御部３４Ｈは、撮像装置６０Ｂを制御してユーザの目を撮像する撮像動作を開始する（Ｓ２４１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置６０Ｂで撮像され、その撮像装置６０Ｂで得られた画像データが画像処理部６２に送られる。そして、画像処理部６２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが無線通信で撮像装置６０Ｂから制御部３４Ｈに送られる（Ｓ２４２）。

　次に、目存在・不存在判定部３５４は、その送られた画像データについて、一般の画像認識の手法を用いて目の画像が存在しているかどうかを判断する（Ｓ２４０５）。目存在・不存在判定部３５４は、目の画像が画像データに存在していると判定すると、当該画像データを画像データ抽出部３４２に送出する。その後は、ステップＳ２４３に移行する。一方、目存在・不存在判定部３５４は、目の画像が画像データに存在していないと判定すると、当該画像データを画像データ抽出部３４２に送出しない。そして、この場合、目存在・不存在判定部３５４は、ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたかどうかを判断する（Ｓ２４０６）。ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されていなければ、ステップＳ２４０５に移行する。一方、目存在・不存在判定部３５４は、ユーザの目の画像が存在していない画像データが撮像装置６０Ｂで一定時間継続して取得されたと判定すると、その旨の信号を報知制御部３５５に送信する。報知制御部３５５は、その信号を受け取ると、ユーザが居眠りをしていると認識し、スピーカ部８０を制御してスピーカ部８０から所定の警告音を発生させる（Ｓ２４０７）。その後は、ステップＳ２４３に移行する。

　ステップＳ２４３では、画像データ抽出部３４２は、目存在・不存在判定部３５４から送られた画像データ（ユーザの目の画像が存在している画像データ）について、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置６０Ｂで撮像して得られた一連の画像データの中から指が存在している画像データを抽出する。その後は、ステップＳ２４４に移行する。ステップＳ２４４以降の処理は、第十七実施形態における図４８のフローチャートによる処理と同様である。

　第二十実施形態の端末装置は上記第十七実施形態のものと同様の作用・効果を奏する。

　特に、第二十実施形態の端末装置には、撮像装置で撮像して得られた画像データにユーザの目の画像が存在しているかどうかを判定し、ユーザの目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、目存在・不存在判定部がユーザの目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知したときに、スピーカ部を制御してそのスピーカ部から音を発生させる報知制御部とが備えられている。これにより、例えば、自動車の運転者が本第二十実施形態の端末装置を利用する場合、報知制御部は、目存在・不存在判定部によりその運転者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、スピーカ部からアラームを発生させることによって居眠り運転を防止することができる。

　尚、この第二十実施形態における目存在・不存在判定部及び報知制御部を、第十八実施形態又は第十九実施形態における端末装置の端末に設けるようにしてもよい。また、第二十実施形態における目存在・不存在判定部及び報知制御部を、第十九実施形態における画像変換部とともに、第十八実施形態における端末装置の端末に設けるようにしてもよい。

　また、上記の第二十実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。

［第二十一実施形態］
　次に、本発明の第二十一実施形態である端末装置について説明する。図５９（ａ）は本発明の第二十一実施形態である端末装置の概略平面図、図５９（ｂ）はその端末装置の概略右側面図である。図６０は図５９に示す端末装置の概略斜視図である。尚、本第二十一実施形態では、上述した第三実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第二十一実施形態の端末装置２Ｃは、図５９及び図６０に示すように、眼鏡１０と、眼鏡１０に設けられたディスプレイ装置２０Ａと、眼鏡１０と別体に構成された、表示部３１を有する端末３０Ａと、通信部４０と、ユーザの前方を撮像するための撮像装置６０とを備える。

　上記の各実施形態では、ディスプレイ装置が、小型プロジェクタと、光学系と、ホログラムシートとを備える場合について説明したが、本第二十一実施形態の端末装置２Ｃでは、ディスプレイ装置２０Ａとして、画像を、ホログラムシートの代わりに、ハーフミラーに投影するものを用いる。すなわち、第二十一実施形態の端末装置２Ｃが上記の第三実施形態の端末装置２Ａと異なる点は、ディスプレイ装置の構成だけであり、その他の点については、第二十一実施形態の端末装置２Ｃは第三実施形態の端末装置２Ａと全く同じである。

　ディスプレイ装置２０Ａは、図５９及び図６０に示すように、液晶パネル（表示デバイス）を有する小型プロジェクタ（不図示）と、光（映像）の一部を反射する光学系（不図示）と、ハーフミラー２４とを備える。ハーフミラー２４は、ユーザの顔の前側であってユーザの視野の範囲内に配置される。このハーフミラー２４としては、様々な大きさ・形状のものを用いることができる。ここでは、ハーフミラー２４は、眼鏡１０のレンズ部１１の前に配置されたプリズムの中に埋め込まれている。この場合、光学系は、このプリズムのみ、又は、このプリズムとレンズ等の組合せにより構成される。また、ディスプレイ装置２０Ａと撮像装置６０はそれぞれ、眼鏡１０に着脱可能に設けるようにしてもよい。尚、ハーフミラー２４を、眼鏡１０のレンズ部１１の前に配置されたプリズムと一体化し、又は眼鏡１０のレンズ部１１の前に配置されたプリズムに貼り付けるようにしてもよい。また、ハーフミラー２４は、眼鏡１０のレンズ部１１に貼り付けられ、又は眼鏡１０のレンズ部１１に埋め込まれ若しくは一体化されていてもよい。

　小型プロジェクタの液晶パネルに表示された画像や映像は、光学系を介してハーフミラー２４に投影される。これにより、このハーフミラー２４には極小な元画面が表示される。ユーザは、眼鏡１０をかけて第二十一実施形態の端末装置２Ｃを使用すると、図５９及び図６０に示すように、ハーフミラー２４に表示される極小な元画面の像である半透明の視認画面Ｓを空中に浮かんでいるように見ることができる。尚、ここでは、ハーフミラー２４の全体に小型プロジェクタの液晶パネルに表示された画像や映像が投影されるが、ハーフミラー２４の一部に画像や映像を投影するようにしてもよい。

　第二十一実施形態の端末装置は上記第三実施形態のものと同様の作用・効果を奏する。

　尚、本第二十一実施形態で説明した、画像をハーフミラーに投影するディスプレイ装置は、第三実施形態の端末装置に限らず、上述した他の実施形態の端末装置にも適用することができる。特に、画像をハーフミラーに投影するディスプレイ装置２０Ａを第十七乃至第二十のいずれかの実施形態の端末装置に適用する場合には、撮像装置６０Ｂの撮像レンズを、ディスプレイ装置２０Ａのハーフミラー２４の近傍に取り付けるようにしてもよい。例えば、このような構成を第十七実施形態の端末装置に適用した場合を説明する。図６１（ａ）は画像をハーフミラーに投影するディスプレイ装置を備えると共に撮像レンズがハーフミラーの近傍に取り付けられた第十七実施形態の端末装置の概略平面図、図６１（ｂ）はその端末装置の概略右側面図である。図６２は図６１に示す端末装置の概略斜視図である。図６１に示すように、撮像レンズをハーフミラー２４の近傍に取り付けたことにより、ユーザの目に向かう撮像レンズの光軸の方向と、ユーザが元画面Ｍを見るときの視線方向とのずれを最小限に抑えることができる。このため、操作位置特定部による元画面Ｍ内における操作位置の特定を正確に行うことができる。尚、この場合も、ディスプレイ装置２０Ａと撮像装置６０Ｂは、眼鏡１０に着脱可能に設けるようにしてもよい。

　また、上記の第二十一実施形態では、ディスプレイ装置及び撮像装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置及び撮像装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。

［第二十二実施形態］
　次に、本発明の第二十二実施形態である端末装置について説明する。図６３は本発明の第二十二実施形態である端末装置の概略斜視図である。尚、本第二十二実施形態では、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

　第二十二実施形態の端末装置１Ｃは、図６３に示すように、ユーザの頭部に装着される装着物としてのフェイスシールド１０００と、フェイスシールド１０００に設けられたディスプレイ装置２０と、フェイスシールド１００と別体に構成された、表示部３１を有する端末３０と、通信部４０とを備える。

　上記の各実施形態では、ユーザの頭部に装着される装着物が眼鏡である場合について説明したが、本第二十二実施形態の端末装置１Ｃでは、装着物としてフェイスシールドを用いる。すなわち、第二十二実施形態の端末装置１Ｃが上記の第一実施形態の端末装置１Ａと異なる点は、眼鏡の代わりにフェイスシールド１０００を用いた点だけであり、その他の点については、第二十二実施形態の端末装置１Ｃは第一実施形態の端末装置１Ａと全く同じである。

　図６３に示すように、フェイスシールド１０００は、ユーザの顔の表面の一部又は全部を覆うように構成された透明なシールド部１００１と、そのシールド部１００１を固定するフレーム１００２とを有する。この場合、ディスプレイ装置２０のホログラムシート２３は、例えば、シールド部１００１の所定箇所に貼り付けられ、又はシールド部１００１に埋め込まれ若しくは一体化される。図６３の例では、ホログラムシート２３として小さな長方形状のものを用い、そのホログラムシート２３を横長の状態にしてシールド部１００１の上部であってやや右側に貼り付けている。

　ところで、フェイスシールド１０００のシールド部１００１は、眼鏡のレンズ部に比べて広い面積を有しているので、ホログラムシート２３として大きなサイズのものを用いることにより、画像を投影する範囲を容易に拡大することができる。図６４は第二十二実施形態の端末装置に貼り付けられる大きなサイズのホログラムシート２３の例を示す図である。この図６４に示す例では、ホログラムシート２３として大きな長方形状のものを用いて、そのホログラムシート２３を横長の状態にしてシールド部１００１の下部に貼り付けている。このホログラムシート２３の全体に、小型プロジェクタ２１の液晶パネルに表示された画像や映像を投影することにより、ユーザは大きな視認画面を空中に浮かんでいるように見ることができる。また、この場合、他者がホログラムシートに投影された大きな投影画面を見ることができないようにするため、ホログラムシート２３の取り付け位置を含むシールド部１００１の一部を半透明又は非透過性の素材で作製したり、当該シールド部１００１の一部に半透明又は非透過性のフィルムを貼り付けたりすることが望ましい。一例として、図６５にフェイスシールド１０００のシールド部１００１の一部が半透明又は非透過性であるように構成された図６４の端末装置を示す。図６５では、フェイスシールド１０００のシールド部１００１の下半分に半透明のフィルム１００３を貼り付けている。

　第二十二実施形態の端末装置は上記第一実施形態のものと同様の作用・効果を奏する。

　尚、上記の第二十二実施形態では、ディスプレイ装置と端末とを無線で接続する場合について説明したが、ディスプレイ装置と端末とを、ケーブルを用いて有線で接続するようにしてもよい。

　また、第一実施形態の端末装置に限らず、上述した他の実施形態についても、眼鏡の代わりにフェイスシールドを用いることができる。例えば、図６６は装着物としてフェイスシールド１０００を用いた第二実施形態の端末装置の概略斜視図である。また、図６７は装着物としてフェイスシールド１０００を用いると共にディスプレイ装置２０Ａ及び撮像装置６０と端末３０Ａとを無線で接続した第二十一実施形態の端末装置の概略斜視図であり、図６８は装着物としてフェイスシールド１０００を用いると共にディスプレイ装置２０Ａ及び撮像装置６０と端末３０Ａとを有線で接続した第二十一実施形態の端末装置の概略斜視図である。ここで、図６７及び図６８に示す端末装置では、ディスプレイ装置２０Ａと撮像装置６０は、フェイスシールド１０００に着脱可能に構成することができる。

［他の実施形態］
　尚、本発明は上記の各実施形態に限定されるものではなく、その要旨の範囲内において種々の変形が可能である。

　例えば、上記の各実施形態における特徴的な構成を他の実施形態に転用するようにしてもよい。すなわち、上記の各実施形態における特徴的な構成を自由に組み合わせることにより構成される端末装置も本発明を構成する。

　上記の第三乃至第二十二の各実施形態では、ユーザが視認画面に対して指で操作を行う場合について説明したが、例えば、ユーザはスタイラスやペン等の入力指示具を用いて視認画面に対して操作を行うようにしてもよい。この場合、操作判定部は、ユーザの目に映り込んだ元画面及び入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、ユーザの目に映り込んだ元画面及び入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定することになる。

　上記の第三乃至第二十二の各実施形態において、ユーザは、視認画面に対して指でタッチ操作を行う場合に、指先に所定のマークを付しておくようにしてもよい。マークとしては、円や四角形等の単純な図形や記号等を用いることができる。ここで、指先にマークを付す方法としては、マークを直接、指先に描く方法だけでなく、マークを記したシールを指先に貼り付ける方法、マークを記したサック又はリングを指先に装着する方法等を用いることができる。具体的に、図９（ａ），図１０（ａ）に示すように、視認画面の表側から指でタッチ操作を行う場合には、マークを指の爪側に付しておくようにすればよい。一方、図９（ｂ），図１０（ｂ）に示すように、視認画面の表側だけでなく裏側からも指でタッチ操作する場合には、マークを指の爪側と、指先又は指の腹側（指紋のある部分）との両側に付しておくようにすればよい。尚、視認画面の裏側からのみ指でタッチ操作を行う場合には、マークを指先又は指の腹側にだけ付しておくようにしてもよい。この場合、画像データ抽出部は、マークが存在している画像データを、指が存在している画像データとして抽出する。そして、操作判定部は、マークの動きに基づいて指による操作がどのような内容の操作であるかを判定し、操作位置特定部は、マークの位置を指による操作の対象となった位置として特定する。実際、画像データの解析・処理に際しては、指自体の認識よりも単純な図形等のマークの認識の方が容易且つ正確に行うことができるので、画像認識の精度の向上を図ることができる。

　上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ（投影装置）と、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部としてのホログラムシート又はハーフミラーとを備える場合について説明したが、ホログラムシート又はハーフミラーの代わりに、例えば、半透明スクリーン、透過型スクリーン、ホログラム光学素子を用いるようにしてもよい。

　上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ（投影装置）と、レンズやプリズム等の光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部とを備える場合について説明したが、光学系は、導光板や導波路を含むものであってもよい。すなわち、光学系は、レンズ、反射鏡、プリズム、導光板や導波路等のうちその一部又は全部から構成されるものを用いてもよい。また、導光板や導波路の代わりに、その他の光学系を用いてもよい。

　上記の各実施形態では、ディスプレイ装置の小型プロジェクタとして液晶パネルを有するものを用いた場合について説明したが、小型プロジェクタとしては、液晶パネルの代わりに、有機ＥＬ（Electro-Luminescence）パネルや無機ＥＬパネル等の表示デバイスを有するものを用いてもよい。

　また、上記の各実施形態では、ディスプレイ装置として、小型プロジェクタ、光学系、ホログラムシート等を有するものを用いた場合について説明したが、ディスプレイ装置は、小型プロジェクタ、光学系、ホログラムシート等を含まず、透過型又は透明型の表示デバイスのみで構成されていてもよい。この透過型又は透明型の表示デバイスは、ユーザの顔の前側であってユーザの視野の範囲内に配置される。透過型又は透明型の表示デバイスとしては、例えば、透過型若しくは透明型の液晶パネル、透過型若しくは透明型の有機ＥＬパネル、又は、透過型若しくは透明型の無機ＥＬパネルを用いることができる。この場合でも、ユーザは透過型又は透明型の表示デバイスに表示された元画面そのものを見ると、その元画面に対応する視認画面を空中に浮かんでいるように認識することになる。尚、透過型又は透明型の表示デバイスについては、その表示デバイスの画面の背景等の状況によりユーザが画面の内容を認識しにくい場合、または外部から画面が覗かれるのを避けたい場合には、表示デバイスの外側にカバーを付けるようにしてもよい。これにより、表示デバイスの画面を見やすいようにすると共に他人の視線を遮断することができる。また、カバーの代わりに、エレクトロクロミック材料を使った電子カーテンを使用してもよい。

　また、上記の各実施形態では、ディスプレイ装置として、小型プロジェクタ、光学系、ホログラムシート等を有するものを用いた場合について説明したが、ディスプレイ装置は、小型プロジェクタ、光学系、ホログラムシート等を含まず、透明型又は透過型ではない表示デバイスのみで構成されていてもよい。この表示デバイスは、ユーザの顔の前側であってユーザの視野の範囲内に配置される。透明型又は透過型ではない表示デバイスとしては、例えば通常の液晶パネル、有機ＥＬパネル、無機ＥＬパネルを用いることができる。

　上記の各実施形態において、ディスプレイ装置と撮像装置とはそれぞれ、ユーザの頭部に装着される装着物に着脱可能に設けるようにしてもよい。

　また、上記の各実施形態において、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ（投影装置）と、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部（ホログラムシート、ハーフミラー等）とを備える場合、投影部は、ユーザの頭部に装着される装着物に着脱可能に設けるようにしてもよい。図８１は眼鏡１０のレンズ部１１に着脱可能に貼り付けられるホログラムシートの例を示す図である。図８１に示すように、ユーザはそのホログラムシートを眼鏡１０のレンズ部１１の所望の位置に何度でも貼り替えることができる。ここで、図８１に示すように、ホログラムシートとしては、様々な大きさ・形状のものを用いることができる。尚、この例では、ホログラムシートを眼鏡１０の片眼部分に貼り付けているが、眼鏡１０の両眼部分に貼り付けるようにしてもよい。また、図８２は眼鏡１０のレンズ部１１に着脱可能に取り付けられるホログラムシートの例を示す図である。図８２の例では、眼鏡１０のレンズ部１１とほぼ同じ形状のアタッチメントを用い、このアタッチメントの一部の面又は全面にホログラムシートが貼り付けられている。ユーザはそのアタッチメントを眼鏡１０に着脱可能に取り付けることができる。すなわち、ホログラムシートはアタッチメントを利用することにより眼鏡１０に着脱可能に設けられる。尚、この例では、アタッチメントを眼鏡１０の片眼部分に取り付けているが、眼鏡１０の両眼部分に取り付けるようにしてもよい。

　更に、上記の各実施形態において、ディスプレイ装置が、表示デバイスを有する小型プロジェクタ（投影装置）と、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部（ホログラムシート、ハーフミラー等）とを備える場合、小型プロジェクタ、又は、小型プロジェクタ及び光学系は、ユーザの頭部に装着される装着物に着脱可能に設けるようにしてもよい。また、これらと共に撮像装置も装着物に着脱可能に設けるようにしてもよい。尚、同時に別途、投影部を装着物に着脱可能に設けるようにしてもよい。

　上記の各実施形態では、ディスプレイ装置に一つの元画面を表示する場合について説明したが、本発明は、これに限定されるものではなく、ディスプレイ装置に二つの元画面を表示するようにしてもよい。この場合、ユーザは二つの視認画面を空中に浮かんでいるように見ることになる。例えば、文字入力画面のキーボード画像を二つに分け、キーボード画像を右側キーボード画像と左側キーボード画像とから構成する場合には、ユーザは、右側キーボード画像と左側キーボード画像を空中に浮かんでいるように認識し、両手の指で文字の入力を行うことができる。

　上記の各実施形態では、本発明の端末装置が一つのディスプレイ装置を備える場合について説明したが、本発明の端末装置は二つのディスプレイ装置を備えていてもよい。図６９（ａ）はホログラムシートを有するタイプの二つのディスプレイ装置を備える端末装置の概略斜視図、図６９（ｂ）はハーフミラーを有するタイプの二つのディスプレイ装置を備える端末装置の概略斜視図である。図６９（ａ）では、一方のディスプレイ装置２０におけるプロジェクタ２１及び光学系２２を眼鏡１０の右側の柄に取り付け、そのディスプレイ装置２０におけるホログラムシート２３を右眼用のレンズ部１１に貼り付けている。そして、他方のディスプレイ装置２０におけるプロジェクタ２１及び光学系２２を眼鏡１０の左側の柄に取り付け、そのディスプレイ装置２０におけるホログラムシート２３を左眼用のレンズ部１１に貼り付けている。ここで、ホログラムシート２３としては小さな長方形状のものを用い、二つのホログラムシート２３，２３をそれぞれ、横長の状態にしてレンズ部１１の右上部、左上部に貼り付けている。また、図６９（ｂ）では、一方のディスプレイ装置２０ａにおけるハーフミラーは、眼鏡１０の右側のレンズ部１１の前に配置されたプリズムの中に埋め込まれ、他方のディスプレイ装置２０ａにおけるハーフミラーは、眼鏡１０の左側のレンズ部１１の前に配置されたプリズムの中に埋め込まれている。図６９（ａ）及び（ｂ）のいずれの端末装置でも、ユーザは、一方のディスプレイ装置による視認画面を右眼で認識し、他方のディスプレイ装置による視認画面を左目で認識することになる。また、各ディスプレイ装置に対応して撮像装置を設けている場合には、各撮像装置はそれぞれの側の目を撮像することになる。

　また、ディスプレイ装置が二つ設けられている場合、各ディスプレイ装置におけるホログラムシートとしては、様々な大きさ・形状のものを用いることができる。図７０は二つのディスプレイ装置を備える端末装置における眼鏡のレンズ部に貼り付けられるホログラムシートの例を示す図である。図７０（ａ）に示す例では、ホログラムシートとして小さな長方形状のものを用いて、二つのホログラムシートをそれぞれ、縦長の状態にしてレンズ部の右上部又は左上部に貼り付けている。図７０（ｂ）に示す例では、ホログラムシートとして大きな長方形状のものを用いて、二つのホログラムシートをそれぞれ、横長の状態にしてレンズ部の右上部又は左上部に貼り付けている。また、図７０（ｃ）に示す例では、二つのホログラムシートをそれぞれ、右眼用レンズ部又は左眼用レンズ部の全面に貼り付けている。

　上記の第四乃至第二十一の各実施形態では、画像処理部が撮像装置に設けられている場合について説明したが、この画像処理部は、撮像装置ではなく、端末の制御部に設けるようにしてもよい。

　上記の各実施形態では、筐体に設けられた電池等の電源部からディスプレイ装置等に電力を供給したり、端末からケーブルを介してディスプレイ装置等に電源を供給したりする場合について説明したが、ユーザの頭部に装着される装着物に透過型の太陽電池を取り付け、この太陽電池からディスプレイ装置等に電源を供給するようにしてもよい。この太陽電池を装着物に取り付けるには様々な方法が考えられる。図７１乃至図７３は装着物としての眼鏡を備える端末装置において太陽電池の取り付け方法を説明するための図、図７４及び図７５は装着装置としてのフェイスシールドを備える端末装置において太陽電池の取り付け方法を説明するための図である。

　図７１に示す端末装置では、太陽電池３０１を眼鏡１０のレンズ部１１と一体化させている。図７２に示す端末装置では、太陽電池３０２を眼鏡１０の二つのレンズ部１１，１１の形状と同じ形状に形成し、眼鏡１０のレンズ部１１，１１にその前側から取り付けている。この太陽電池３０２はレンズ部１１，１１に対して着脱可能である。また、図７３に示す端末装置でも、太陽電池３０３を眼鏡１０の二つのレンズ部１１，１１の形状と同じ形状に形成し、眼鏡１０のレンズ部１１，１１にその前側から取り付けている。この太陽電池３０３は図７３（ｃ）に示すように、跳ね上げ可能である。図７３（ａ）及び（ｂ）では、太陽電池３０３を跳ね上げた状態が示されている。尚、跳ね上げ式の太陽電池３０３は、眼鏡１０に固定して取り付けられるが、着脱可能に構成してもよい。

　図７４に示す端末装置では、太陽電池３０４をフェイスシールド１０００のつばの形状に形成し、フェイスシールド１０００のフレーム１００２に取り付けている。ここで、図７４（ａ）は端末装置を斜め上から見た図を示し、図７４（ｂ）は端末装置を横から見た図を示す。また、図７５に示す端末装置では、太陽電池３０５をフェイスシールド１０００のシールド部１００１の一部に取り付けている。具体的には、太陽電池３０５をシールド部１００１の略半分の大きさに形成し、シールド部１００１の下部に取り付けている。

　尚、太陽電池を装着物に取り付ける場合、その太陽電池が発電した電気を貯めておく電源部を設けることが必要である。端末とディスプレイ装置とを無線で接続した場合にあっては、電源部は、筐体又は装着物に設けられる。一方、端末とディスプレイ装置とを有線で接続した場合にあっては、電源部は、筐体又は装着物と端末との両方又はいずれか一方に設けられる。特に、電源部が端末のみに設けられたときは、発電の際に端末側に電気を貯めておき、端末からディスプレイ装置に有線で電力を供給することになる。

　上記の第十七乃至第二十の各実施形態では、端末装置がタッチパッド部を備える場合について説明したが、そのタッチパッド部を他の実施形態の端末装置に設けるようにしてもよい。例えば、装着物としてフェイスシールドを用いた端末装置に、タッチパッド部を設けることができる。図７６は装着物としてフェイスシールド１０００を用いた端末装置においてタッチパッド部９０の取り付け場所を説明するための図である。タッチパッド部９０は、図７６（ａ）に示すようにフレーム１００２の右側に取り付けたり、図７６（ｂ）に示すようにシールド部１００１の右下側に取り付けたりすることができる。尚、タッチパッド部９０は当該部分に固定して取り付けられるが、着脱可能に構成してもよい。また、端末装置が二つのディスプレイ装置を備える場合には、タッチパッド部を、簡易キーボード機能を有するものと、操作パネル等の機能を有するものとの二つに分け、それらをそれぞれ、例えばフレーム１００２の左側、右側に取り付けるようにしてもよい。

　また、上記の第三乃至第二十二の各実施形態において、端末の記憶部に、当該端末以外の他の携帯端末（携帯電話、スマートフォン、スマートウォッチ、タブレット端末、デジタルオーディオプレイヤーやラップトップコンピュータ等）についての操作画面や、当該端末以外の他の情報端末（パーソナルコンピュータ等）についての操作画面や、家庭電気製品（照明、テレビ、エアコンやセキュリティシステム等）についてのリモコン画面や、電装装置（カーステレオ、カーナビゲーション、車載ＡＶ機器やエアコン等）についてのコントロールパネル画面を元画面として記憶しておくようにしてもよい。この場合、ユーザが、端末を操作することにより元画面として上記操作画面等をディスプレイ装置に表示させ、その元画面に対応する視認画面に対して指で操作を行ったときに、端末の制御部（遠隔制御部）はその操作の内容を示す指令信号（コマンド）を生成し、通信部を介してその生成した指令信号を上記携帯端末等に無線送信する。これにより、上記携帯端末等をリモートで操作することができる。すなわち、本発明の端末装置はエアコン等の遠隔制御可能な装置についてのリモートコントローラ（リモコン）として使用することもできる。図７７は元画面としてエアコンについてのリモートコントローラの操作部に対応する画面（リモコン画面）を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。図７７に示すように、ユーザがその視認画面に対して設定温度を下げることを指示するボタンを指で操作すると、端末の制御部は設定温度を下げる旨のコマンドを生成し、通信部を介してそのコマンドを赤外線通信によりエアコンに送信し、これにより、ユーザはエアコンの設定温度を容易に下げることができる。また、図７８は、携帯電話で電話をかける際の操作画面についての元画面の例を示す図である。ユーザは、図７８（ａ）又は（ｂ）に示すような電話番号を入力するための元画面に対応する視認画面に対して、所望の電話番号を入力すると、端末の制御部は当該電話番号に対して電話をかける旨のコマンドを生成し、通信部を介してそのコマンドを携帯電話に送信し、これにより、ユーザは携帯電話を手で持たずに電話をかけることができる。

　上記の各実施形態では、端末としてスマートフォンやタブレット端末等の携帯端末を用いた場合について説明したが、本発明の端末装置では、端末として、スマートフォンやタブレット端末に限らず、例えば、スマートウォッチ、デジタルオーディオプレイヤー、パーソナルコンピュータ、カーナビゲーション、車載ＡＶ機器、専用端末等を用いるようにしてもよい。

　上記の各実施形態において、端末を、ディスプレイ装置の画面上での各種の操作（例えば、ポインタの動作、文字の入力等）を指示するためのタッチパッド部として使用するようにしてもよい。すなわち、端末にタッチパッド機能を持たせるようにしてもよい。例えば、端末としてスマートフォンやタブレット端末を用いている場合には、その端末の表示部にタッチパッドの画像を表示し、表示部の画面自体をタッチパッド部として使用することができる。図７９は端末としてスマートフォンを用いている場合にその端末の画面をタッチパッド部として使用している様子を示す図である。ここで、ユーザは、指や入力指示具を用いて表示部３１の画面（タッチパッド部）を操作する。具体的に、端末３０Ａには、表示部３１の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を入力制御部３４６に出力する位置検知部が備えられている。また、端末３０Ａの記憶部３３には、表示部３１に表示されるタッチパッドの画像に関するデータが記憶されている。入力制御部３４６は、ディスプレイ装置２０に元画面Ｍが表示されている場合、表示部３１にタッチパッドの画像が表示され、ユーザがタッチパッドの画像上で接触操作を行ったときに、位置検知部から送られる当該接触操作に対する接触位置情報及び記憶部３３に記憶されているタッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、ディスプレイ装置２０に表示されている元画面Ｍの制御を行う。また、端末としてパーソナルコンピュータを用いている場合には、そのパーソナルコンピュータに付帯するタッチパッドやキーボードをタッチパッド部として使用することができる。尚、タッチパッド部としては、マウス機能を有するもの、簡易キーボード機能を有するもの、又は、マウス機能と簡易キーボード機能の両方を有するものを用いることができる。また、タッチパッド部としては、これらに限らず、番号パネルや操作パネル等を有するものを用いてもよい。

　上記の各実施形態において、端末を、ディスプレイ装置の画面上に表示されたカーソルを移動したりその画面上に表示された対象を選択したりするマウスとして使用するようにしてもよい。すなわち、端末にマウス機能を持たせるようにしてもよい。この場合、端末には、当該端末の移動方向を検知すると共に当該端末の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を入力制御部に出力する移動情報出力部が備えられている。また、端末の記憶部には、端末の移動情報とディスプレイ装置に表示されるカーソルに関連する操作との対応関係を表すデータが記憶されている。入力制御部は、ディスプレイ装置に元画面が表示されている場合、ユーザが端末を移動させたときに、移動情報出力部から送られる当該移動に対する移動情報及び記憶部に記憶されている上記対応関係を表すデータに基づいてカーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、ディスプレイ装置に表示されている元画面の制御を行う。例えば、上記対応関係を表すデータには、端末を表示部の画面の右（左）方向に動かすことがカーソルを右（左）方向に移動させることに対応すること、端末を表示部の画面の上（下）方向に動かすことがカーソルを上（下）方向に移動させることに対応すること、端末を表示部の画面の垂直方向に短く一回動かすことがタップ操作を行うことに対応すること、端末を表示部の画面の垂直方向に短く二回動かすことがダブルタップ操作を行うことに対応すること、端末を表示部の画面の垂直方向に長く動かすことがスワイプ操作を行うことに対応すること等の内容が含まれている。これにより、ユーザは、端末をその画面の右（左）方向に動かすことにより、カーソルが右（左）方向に移動すべきことを端末に指示し、端末をその画面の上（下）方向に動かことにより、カーソルが上（下）方向に移動すべきことを端末に指示することができる。図８０は端末としてスマートフォンを用いている場合にその端末をマウスとして使用してカーソルの移動を指示している様子を示す図である。尚、端末がマウス機能だけでなく、上述のタッチパッド機能を有する場合には、ユーザは、マウス機能を利用してカーソルの移動を端末に指示し、タッチパッド機能を利用してタップ、ダブルタップ、スワイプ、ドラッグ等を端末に指示することも可能である。

　上記の各実施形態の端末装置では、ユーザの頭部に装着される装着物として眼鏡又はフェイスシールドを用いた場合について説明したが、本発明の端末装置では、装着物として、例えば、ヘッドセット型端末、ヘッドマウンテッドディスプレイ（ＨＭＤ）型端末、ゴーグル型端末を用いることも可能である。

　以上説明したように、本発明の端末装置では、使用者の頭部に装着される装着物と表示部を搭載する端末とを別体に構成したので、端末として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末として既存の携帯端末等を用いることにより、装着物の部品点数を少なくして、装着物の構成を簡易なものとすることができる。また、端末として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。したがって、本発明は、例えば眼鏡やフェイスシールド等のような使用者の頭部に装着する装着物を有する端末装置に適用することができる。

１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ，３Ａ，３Ｂ，４Ａ，４Ｂ，５Ａ，５Ｂ，６Ａ，６Ｂ，７Ａ，７Ｂ，８Ａ，８Ｂ，９，９Ａ，９Ｂ，９Ｃ　端末装置
１０　眼鏡
１１　レンズ部
１０００　フェイスシールド
１００１　シールド部
１００２　フレーム
１００３　半透明のフィルム
２０，２０Ａ　ディスプレイ装置（表示装置）
２１　小型プロジェクタ
２２　光学系
２３　ホログラムシート
２４　ハーフミラー
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０Ｅ，３０Ｆ，３０Ｇ，３０Ｈ　端末
３１　表示部
３２　通信部
３３　記憶部
３４，３４Ａ，３４Ｂ，３４Ｃ，３４Ｄ，３４Ｅ，３４Ｆ，３４Ｇ，３０Ｈ　制御部
３４１　表示制御部
３４２，３４２Ｂ　画像データ抽出部
３４３　操作判定部
３４４，３４４Ｃ　位置データ生成部
３４５，３４５Ｄ　基準データ生成部
３４６，３４６Ｄ，３４６Ｅ　入力制御部
３４７Ｃ　ずれ補正部
３４８Ｄ　距離判定部
３４９Ｅ　操作位置特定部
３５１　虹彩・瞳孔画像データ生成部
３５２　画像差分抽出部
３５３　画像変換部
３５４　目存在・不存在判定部
３５５　報知制御部
４０　通信部
５０　ケーブル
６０，６０Ａ，６０Ｂ　撮像装置
６１　カメラ部
６２　画像処理部
６３，６３Ａ　カメラ制御部
６３１　オートフォーカス制御部
７０　マイク部
８０　スピーカ部
９０　タッチパッド部
１００　筐体
２００　文字入力画面
２０１　文字入力画面（基準データ設定用の元画面）
２１０　キーボード画像
２２０　表示領域
２２１　検索画面
２２１１　キーワード入力部
２２１２　検索結果表示部
３０１，３０２，３０３，３０４，３０５　太陽電池
Ｍ　元画面
Ｓ　視認画面
Ｋ　基準画面
Ｔ　操作画面

Claims

　使用者の頭部に装着される装着物と、
　前記装着物に設けられた、前記使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置と、
　前記装着物と別体に構成された、表示部を搭載する端末と、
　を具備し、
　前記端末が、前記表示装置と無線又は有線で接続されており、前記表示部に表示されている画面を前記元画面として前記表示装置に表示するように前記表示装置を制御する機能を有することを特徴とする端末装置。
　前記表示装置は表示デバイスを有する投影装置とホログラムシート又はハーフミラーとを備え、前記ホログラムシート又はハーフミラーは前記使用者の顔の前側であって前記使用者の視野の範囲内に配置されており、
　前記元画面は前記投影装置からの画像を前記ホログラムシート又はハーフミラーに投影することにより前記ホログラムシート又はハーフミラーに表示されることを特徴とする請求項１記載の端末装置。
　前記表示装置は、表示デバイスを有する投影装置と、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影される投影部とを備えており、
　前記投影部は、半透明スクリーン、透過型スクリーン、ホログラムシート、ホログラムフィルム、ホログラム光学素子又はハーフミラーであることを特徴とする請求項１記載の端末装置。
　前記表示装置は、表示デバイスを有する投影装置と、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影される投影部とを備えており、
　前記光学系は、レンズ、反射鏡、プリズム、導光板や導波路のうちその一部又は全部から構成されるものであることを特徴とする請求項１記載の端末装置。
　前記表示装置は透過型又は透明型の表示デバイスであり、前記表示デバイスは前記使用者の顔の前側であって前記使用者の視野の範囲内に配置されていることを特徴とする請求項１記載の端末装置。
　前記装着物に設けられた各種の装置が外部と無線通信を行うための通信部を更に具備しており、
　前記端末は外部と無線通信を行う機能を有し、前記表示装置は前記通信部を介して前記端末と無線通信を行うことを特徴とする請求項１、２、３、４又は５記載の端末装置。
　前記端末及び前記表示装置はそれぞれ、無線通信を行う際に相手から送られる識別情報に基づいて認証を行った後にデータの通信を行うことを特徴とする請求項６記載の端末装置。
　前記端末は、前記表示部に表示されている画面を前記元画面として前記表示装置に表示する場合、前記使用者によってなされた前記表示装置の画面表示に関する設定にしたがって、前記表示部に表示されている画面を簡略化した画面、前記表示部に表示されている画面の一部、又は、前記表示部に表示されている画面において文字及び／又は図表を拡大した画面を前記表示装置に表示することを特徴とする請求項１、２、３、４、５、６又は７記載の端末装置。
　前記端末は、前記表示部に表示されている画面を前記元画面として前記表示装置に表示する場合、前記使用者によってなされた前記表示部の画面に関する設定にしたがって、前記表示部における当該画面の表示をそのまま維持する又は前記表示部を消灯することを特徴とする請求項１、２、３、４、５、６、７又は８記載の端末装置。
　前記端末は、前記表示部に表示されている画面を前記元画面として前記表示装置に表示する場合、使用者により前記表示装置に表示すべき画面が指定されたときに、前記表示部に現在表示されている画面とは別に、その指定された画面を前記表示装置に表示することを特徴とする請求項１、２、３、４、５、６、７、８又は９記載の端末装置。
　前記端末は、携帯端末であり、自らの位置に関する位置情報を取得する機能と、前記記憶部に記憶された地図情報及び前記位置情報に基づいて前記使用者を現在の位置から前記使用者が設定した目的地に導くための画面を作成して前記表示部に表示する機能とを有することを特徴とする請求項１乃至１０の何れか一項記載の端末装置。
　前記端末は、携帯端末であり、自らの位置に関する位置情報を取得する機能と、前記記憶部に記憶された地図情報及び前記位置情報に基づいて現在の位置の周辺にある店舗を検索し、その検索して得られた店舗に関する情報を前記表示部に表示する機能とを有することを特徴とする請求項１乃至１１の何れか一項記載の端末装置。
　前記表示装置は、前記装着物に着脱可能に設けられていることを特徴とする請求項１乃至１２の何れか一項記載の端末装置。
　前記装着物には、前記視認画面に対して使用者が指又は所定の入力指示具で操作を行ったときにその操作を行った指又は入力指示具を撮像し、その撮像して得られた画像データを前記端末に無線又は有線で出力する撮像装置が設けられており、
　前記端末は、
　前記元画面に関するデータを含む各種のデータを記憶する記憶部と、
　使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
　使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データに基づいて前記撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の位置データを生成する位置データ生成部と、
　使用者が前記視認画面における一又は複数の所定位置において指又は入力指示具で操作を行ったときに、前記操作判定部で前記各所定位置における操作が所定の操作であると判定された前記画像データに基づいて前記位置データ生成部で生成された当該指又は入力指示具の位置データを用いて、当該視認画面の位置及び大きさを特定するための当該視認画面に関するデータを生成して基準データとして前記記憶部に記憶する基準データ生成部と、
　使用者が前記視認画面に対して指又は入力指示具で操作を行ったときに、前記操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び前記位置データ生成部で生成された当該指又は入力指示具の位置データと、前記記憶部に記憶されている当該視認画面に関する前記基準データと、前記記憶部に記憶されている当該視認画面に対応する前記元画面に関するデータとに基づいて、前記撮像範囲内で当該視認画面の範囲を特定し、当該指又は入力指示具による操作がその特定した当該視認画面の範囲内のどの位置で行われたのかを調べることにより、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示部に表示する画面の制御及び前記表示装置に表示する前記元画面の制御を行う入力制御部と、
　を備えることを特徴とする請求項１、２、３、４又は５記載の端末装置。
　前記端末は、前記撮像装置を制御して前記撮像装置の前記撮像範囲を調整する機能、及び、前記撮像装置を制御して被写体にピントが合う奥行き方向の範囲である被写界深度を調整する機能を有することを特徴とする請求項１４記載の端末装置。
　前記装着物には、前記使用者の目を撮像することにより、前記使用者が前記視認画面に対して指又は所定の入力指示具で操作を行ったときに前記使用者の目に映り込んだ前記元画面及び当該指又は入力指示具についての画像を取得し、その取得した画像データを前記端末に無線又は有線で出力する撮像装置が設けられており、
　前記端末は、
　前記元画面に関するデータを含む各種のデータを記憶する記憶部と、
　前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
　前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する操作位置特定部と、
　前記使用者が前記視認画面に対して前記指又は入力指示具で操作を行ったときに、前記操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、前記操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、前記記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示部に表示する画面の制御及び前記表示装置に表示する前記元画面の制御を行う入力制御部と、
　を備えることを特徴とする請求項１、２、３、４又は５記載の端末装置。
　前記操作位置特定部は、前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、前記撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び前記撮像範囲内における当該指又は入力指示具の位置を求め、その求めた前記撮像範囲内における当該元画面の範囲及び前記撮像範囲内における当該指又は入力指示具の位置に基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することを特徴とする請求項１６記載の端末装置。
　前記端末には、前記撮像装置で撮像して得られた一連の画像データの中から、前記指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、
　前記操作判定部は、前記画像データ抽出部で抽出された一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、前記操作位置特定部は、前記画像データ抽出部で抽出された一連の画像データに基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することを特徴とする請求項１６又は１７記載の端末装置。
　前記端末は、
　前記表示装置に前記元画面を表示する前に前記使用者の目を前記撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して前記記憶部に記憶する虹彩・瞳孔画像データ生成部と、
　前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データと前記記憶部に記憶されている前記虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、前記虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、
　を更に備えており、
　前記画像データ抽出部は、前記画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項１８記載の端末装置。
　前記端末は、
　前記表示装置に前記元画面を表示する前に、コンタクトレンズを装着している前記使用者の目を前記撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して前記記憶部に記憶する虹彩・瞳孔画像データ生成部と、
　前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データと前記記憶部に記憶されている前記コンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、前記コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、
　を更に備えており、
　前記画像データ抽出部は、前記画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項１８記載の端末装置。
　前記端末は、
　前記撮像装置で撮像して得られた画像データに前記使用者の目の画像が存在しているかどうかを判定し、前記使用者の目の画像が存在していない画像データが前記撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、
　前記目存在・不存在判定部により前記使用者の目の画像が存在していない画像データが前記撮像装置で前記一定時間継続して取得されたことが検知されたときに、報知装置を制御して前記報知装置から音又は振動を発生させる報知制御部と、
　を更に備えていることを特徴とする請求項１６乃至２０の何れか一項記載の端末装置。
　前記端末には、前記表示部の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を前記入力制御部に出力する位置検知部が備えられており、
　前記表示部に表示されるタッチパッドの画像に関するデータが前記記憶部に記憶されており、
　前記入力制御部は、前記表示装置に元画面が表示されている場合、前記表示部に前記タッチパッドの画像が表示され、前記使用者が前記タッチパッドの画像上で接触操作を行ったときに、前記位置検知部から送られる当該接触操作に対する接触位置情報及び前記記憶部に記憶されている前記タッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、前記表示装置に表示されている元画面の制御を行うことを特徴とする請求項１４乃至２１の何れか一項記載の端末装置。
　前記端末には、当該端末の移動方向を検知すると共に当該端末の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を前記入力制御部に出力する移動情報出力部が備えられており、
　前記端末の移動情報と前記表示装置上に表示されるカーソルに関連する操作との対応関係を表すデータが前記記憶部に記憶されており、
　前記入力制御部は、前記表示装置に元画面が表示されている場合、前記使用者が前記端末を移動させたときに、前記移動情報出力部から送られる当該移動に対する移動情報及び前記記憶部に記憶されている前記対応関係を表すデータに基づいて前記カーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、前記表示装置に表示されている元画面の制御を行うことを特徴とする請求項１４乃至２２の何れか一項記載の端末装置。
　前記表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、
　前記端末は、前記リモートコントローラの操作部に対応する画面を元画面として前記表示装置に表示させ、その元画面に対応する視認画面に対して操作が行われたときに、その操作の内容を示す指令信号を生成し、その生成した指令信号を前記遠隔制御可能な装置に無線送信する遠隔制御部を更に備えることを特徴とする請求項１４乃至２３の何れか一項記載の端末装置。
　前記表示装置及び前記撮像装置は、前記装着物に着脱可能に設けられていることを特徴とする請求項１４乃至２４の何れか一項記載の端末装置。
　前記表示装置の一部は前記装着物に着脱可能に設けられていることを特徴とする請求項２、３又は４記載の端末装置。
　前記端末に対する入力装置であるタッチパッド部を更に具備しており、
　前記タッチパッド部が前記装着部に着脱可能に設けられていることを特徴とする請求項１乃至２６記載の何れか一項記載の端末装置。
　前記端末から出力された電気信号を音に変換してその音を耳を介して又は骨伝導により前記使用者に伝達する音出力装置を更に具備しており、
　前記音出力装置が前記装着物に設けられていることを特徴とする請求項１乃至２７の何れか一項記載の端末装置。
　前記使用者の音声を電気信号に変換してその電気信号を前記端末に出力する音入力装置を更に具備しており、
　前記音入力装置が前記装着物に設けられていることを特徴とする請求項１乃至２８の何れか一項記載の端末装置。