JP7031112B1 - 眼鏡型端末 - Google Patents

Abstract

【課題】視野内に表示される画面に対して文字入力等の操作を容易且つ正確に行うことができる眼鏡型端末を提供する。【解決手段】眼鏡型端末１において、ユーザの目に映り込んだ元画面及び指を撮像装置３０が撮像したときに、操作判定部７３は、その撮像して得られた画像データに基づいて当該指による操作の内容を判定し、操作位置特定部７４は、その撮像して得られた画像データに基づいて当該元画面内における当該指の位置を表すデータを生成する。入力制御部７５は、操作判定部７３で判定して得られた操作の内容に関するデータ及び操作位置特定部７４で生成された位置を表すデータと、記憶部９０に記憶されている当該元画面に関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面の制御を行う。【選択図】図３

Description

本発明は、身に着けて使用する眼鏡型端末に関するものである。

近年、身に着けて使用する端末、例えばグーグル社のグーグルグラスのような眼鏡型端末が開発・販売されている（例えば、特許文献１参照。）。このグーグルグラスは、眼鏡本体の右眼ガラスの眼前にプリズムを使用した極小型ディスプレイが配置されている。グーグルグラスのユーザは現実の周囲の景色とともに、同時に、このディスプレイに表示される画面を視認することができる。この眼鏡型端末を着用して、例えば街を歩くと、ユーザは右目の視野内に浮かんでいるように見える画面に表示される情報、例えば近辺の地図を見ることができる。また、例えば、そのユーザの近辺にある商店やレストラン等は、そのユーザに対してその画面に広告を表示することも可能である。この眼鏡型端末を使用することにより、新たなデジタルライフが始まろうとしている。

特開平１１－９８２２７号公報

ところで、現在、開発・販売されている眼鏡型端末では、眼鏡型端末のユーザが表示される画面を操作するときには、音声により指示したり、或いは、眼鏡の柄の根元部分に設けられたタッチパッドをタップしたりしている。しかしながら、ユーザが視野内に浮かんでいるように見える画面（視認画面）に対して文字入力を行う場合、例えば音声による操作では、言葉には同音異義語が多々あり、また発音には個人差があるので、誰でもが正確な文字入力を行うことができるわけではない。また、音声による操作では、外部の雑音等により、眼鏡型端末がその音声の内容を正確に認識できないことがある。更に、眼鏡の柄の部分に設けられたタッチパッドは、文字入力を行うことができるほど大きくはない。このため、従来の眼鏡型端末は視野内に表示される画面を用いて、例えばメールの文字入力等を行うことが困難であるという問題があった。

本発明は上記事情に基づいてなされたものであり、視野内に表示される画面に対して文字入力等の操作を容易且つ正確に行うことができる眼鏡型端末を提供することを目的とするものである。

上記の目的を達成するための本発明は、使用者によって眼鏡のように装着される本体部と、本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が本体部を装着して視認画面に対して各種の操作を行うために使用される眼鏡型端末において、元画面に関するデータを含む各種のデータを記憶する記憶部と、本体部に設けられた、使用者の目を撮像することにより、使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得するための撮像装置と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する操作位置特定部と、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う入力制御部と、を備えることを特徴とするものである。

このように、本発明の眼鏡型端末では、使用者の目を撮像することにより使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する。そして、入力制御部は、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

ここで、操作位置特定部は、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指又は入力指示具の位置を求め、その求めた撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指又は入力指示具の位置に基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定するようにしてもよい。

また、本発明の眼鏡型端末において、撮像装置は予め使用者の目にピントが合うように構成されていてもよく、又は、撮像装置は使用者の目に自動的にピントを合わせるオートフォーカス制御部を有するものであってもよい。いずれの場合でも、撮像装置は、使用者の目に映り込んだ元画面及び指又は入力指示具をピントが合った状態で撮像することができる。

また、本発明の眼鏡型端末には、撮像装置で撮像して得られた一連の画像データの中から、指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、操作判定部は、画像データ抽出部で抽出された一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、画像データ抽出部で抽出された一連の画像データに基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することが望ましい。これにより、画像データ抽出部によって抽出される一連の画像データには、指又は指示具が存在している画像データだけが含まれるので、操作判定部及び操作位置特定部はそれぞれ、その処理を効率よく行うことができる。

この場合、本発明の眼鏡型端末には、表示装置に元画面を表示する前に使用者の目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されている虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、が更に備えられており、画像データ抽出部は、画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指又は入力指示具が存在している画像データを抽出する処理を容易に行うことができる。

特に、使用者がコンタクトレンズを装着している場合、画像差分抽出部は虹彩及び瞳孔の画像に加えてコンタクトレンズの画像が取り除かれた画像データを生成することが好ましい。すなわち、本発明の眼鏡型端末には、表示装置に元画面を表示する前に、コンタクトレンズを装着している使用者の目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、使用者の目に映り込んだ元画面及び指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されているコンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、が更に備えられており、画像データ抽出部は、画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指又は入力指示具が存在している画像データを抽出する処理を容易に行うことができる。

また、本発明の眼鏡型端末には、本来球面の形状を持つ使用者の目に映り込んだ元画面及び指又は入力指示具についての画像が平面上に映り込んだ画像となるように、撮像装置で撮像して得られた画像データに対して画像変換を行う画像変換部が更に備えられており、画像データ抽出部は、画像変換部で画像変換が行われた一連の画像データを用いて画像データの抽出処理を行うことが望ましい。これにより、画像データ抽出部によって抽出される一連の画像データでは、歪みが補正されているので、操作位置特定部は、元画面内における指又は入力指示具による操作の対象となった位置を正確に特定することができる。

更に、本発明の眼鏡型端末には、撮像装置で撮像して得られた画像データに使用者の目の画像が存在しているかどうかを判定し、使用者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、目不存在判定部により使用者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、報知装置を制御して報知装置から音又は振動を発生させる報知制御部とが更に備えられていることが望ましい。これにより、例えば、自動車の運転者が本発明の眼鏡型端末を装着する場合、報知制御部は、目存在・不存在判定部によりその運転者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、運転者が寝ていると判断して、報知装置からアラームやバイブレーションを発生させることによって居眠り運転を防止することができる。

また、本発明の眼鏡型端末は、表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、リモートコントローラの操作部に対応する画面を元画面として表示装置に表示させ、その元画面に対応する視認画面に対して操作が行われたときに、その操作の内容を示す指令信号を生成し、その生成した指令信号を遠隔制御可能な装置に無線送信する遠隔制御部を更に備えていてもよい。

また、本発明の眼鏡型端末において、表示装置は透過型又は透明型の表示デバイスであり、その表示デバイスは使用者の顔の前側であって使用者の視野の範囲内に配置されるようにしてもよい。

本発明の眼鏡型端末において、表示装置は、表示デバイスを有するプロジェクタと、光学系と、その表示デバイスに表示された元画面が光学系を介して投影される投影部とを備えるものであってもよく、この場合、投影部としては、例えば、半透明スクリーン、透過型スクリーン、ホログラムシート、ホログラムフィルム、ホログラム光学素子又はハーフミラーを用いることができる。

また、本発明の眼鏡型端末において、表示装置は、表示デバイスを有するプロジェクタと、光学系と、その表示デバイスに表示された元画面が光学系を介して投影される投影部とを備えるものであってもよく、この場合、光学系としては、例えば、プリズム、導光板又は導波路を用いることができる。

また、本発明の眼鏡型端末において、通常、本体部としては眼鏡が用いられるが、本体部は眼鏡に限らず、フェイスシールドであってもよい。更に、本体部は使用者が眼鏡のように耳にかけて使用するのではなく、使用者が耳以外の頭部のいずれかの部位に装着して使用するものであってもよい。

更に、本発明の眼鏡型端末は、本体部と別体に構成された、表示部を搭載する端末装置を更に備えており、その端末装置が、表示装置と無線又は有線で接続されており、表示部に表示されている画面を元画面として表示装置に表示するように表示装置を制御する機能を有していてもよい。このように、本体部と端末装置とを別体に構成することにより、端末装置として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末装置として既存の携帯端末等を用いることにより、本体部の部品点数を少なくして、本体部の構成を簡易なものとすることができる。また、端末装置として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

また、端末装置には、表示部の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を入力制御部に出力する位置検知部が備えられており、表示部に表示されるタッチパッドの画像に関するデータが記憶部に記憶されており、入力制御部は、表示装置に元画面が表示されている場合、表示部にタッチパッドの画像が表示され、使用者がタッチパッドの画像上で接触操作を行ったときに、位置検知部から送られる当該接触操作に対する接触位置情報及び記憶部に記憶されているタッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、表示装置に表示されている元画面の制御を行うようにしてもよい。

更に、端末装置には、当該端末装置の移動方向を検知すると共に当該端末装置の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を入力制御部に出力する移動情報出力部が備えられており、端末装置の移動情報と表示装置上に表示されるカーソルに関連する操作との対応関係を表すデータが記憶部に記憶されており、入力制御部は、表示装置に元画面が表示されている場合、使用者が端末装置を移動させたときに、移動情報出力部から送られる当該移動に対する移動情報及び記憶部に記憶されている対応関係を表すデータに基づいてカーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、表示装置に表示されている元画面の制御を行うようにしてもよい。

本発明に係る眼鏡型端末では、使用者の目を撮像することにより使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、撮像装置で得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、撮像装置で得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定し、そして、入力制御部は、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

図１（ａ）は本発明の第一実施形態である眼鏡型端末の概略平面図、同図（ｂ）はその眼鏡型端末の概略右側面図である。 図２（ａ）は第一実施形態の眼鏡型端末の概略斜視図、図２（ｂ）はその眼鏡型端末においてディスプレイ装置に元画面を投影している様子を説明するための概略図である。 図３は第一実施形態の眼鏡型端末の概略ブロック図である。 図４は文字入力画面の一例を示す図である。 図５は文字入力画面に表示される検索画面の一例を示す図である。 図６（ａ）は目に映り込んだ元画面の例を示す図、図６（ｂ）は撮像装置の撮像範囲の例を示す図である。 図７はタッチパッド部の取付け場所を説明するための図である。 図８はタッチパッド部の構成を説明するための図である。 図９は視認画面に対して行われるタッチ操作の態様を説明するための図である。 図１０は視認画面に対して行われるタッチ操作の態様を説明するための図である。 図１１は第一実施形態の眼鏡型端末における文字入力の処理の手順を説明するためのフローチャートである。 図１２は第一実施形態の眼鏡型端末における画面表示の処理の手順を説明するためのフローチャートである。 図１３は本発明の第二実施形態である眼鏡型端末の概略ブロック図である。 図１４は第二実施形態の眼鏡型端末における文字入力の処理の手順を説明するためのフローチャートである。 図１５は第一実施形態の眼鏡型端末における画面表示の処理の手順を説明するためのフローチャートである。 図１６は本発明の第三実施形態である眼鏡型端末の概略ブロック図である。 図１７は第三実施形態の眼鏡型端末における文字入力の処理の手順を説明するためのフローチャートである。 図１８は第三実施形態の眼鏡型端末における画面表示の処理の手順を説明するためのフローチャートである。 図１９は本発明の第四実施形態である眼鏡型端末の概略ブロック図である。 図２０は第四実施形態の眼鏡型端末における文字入力の処理の手順を説明するためのフローチャートである。 図２１は第四実施形態の眼鏡型端末における画面表示の処理の手順を説明するためのフローチャートである。 図２２は本発明の眼鏡型端末における本体部のレンズ部に貼り付けられるホログラムシートの例を示す図である。 図２３は本発明の眼鏡型端末においてオートフォーカス機能を有する撮像装置の概略ブロック図である。 図２４は操作位置特定部が元画面の範囲を特定する上で望ましい元画面の例を示す図である。 図２５（ａ）は画像をハーフミラーに投影するディスプレイ装置を備える眼鏡型端末の概略平面図、図２５（ｂ）はそのディスプレイ装置を備える眼鏡型端末の概略右側面図である。 図２６は図２５に示す眼鏡型端末の概略斜視図である。 図２７（ａ）は撮像レンズがハーフミラーの近傍に取り付けられた眼鏡型端末の概略平面図、図２７（ｂ）はその眼鏡型端末の概略右側面図である。 図２８は図２７に示す眼鏡型端末の概略斜視図である。 図２９（ａ）はホログラムシートを有するタイプの二つのディスプレイ装置を備える眼鏡型端末の概略斜視図、図２９（ｂ）はハーフミラーを有するタイプの二つのディスプレイ装置を備える眼鏡型端末の概略斜視図である。 図３０は二つのディスプレイ装置を備える眼鏡型端末における本体部のレンズ部に貼り付けられるホログラムシートの例を示す図である。 図３１は元画面としてエアコンのリモコン画面を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。 図３２は携帯電話で電話をかける際の操作画面についての元画面の例を示す図である。 図３３は本体部がフェイスシールドである眼鏡型端末の概略斜視図である。 図３４（ａ）は本発明の第五実施形態である眼鏡型端末の概略平面図、図３４（ｂ）はその眼鏡型端末の概略右側面図である。 図３５は第五実施形態の眼鏡型端末の概略斜視図である。 図３６は第五実施形態の眼鏡型端末の概略ブロック図である。 図３７は第五実施形態の眼鏡型端末においてディスプレイ装置制御用プログラムにしたがってディスプレイ装置に画面を表示する処理の手順を説明するためのフローチャートである。 図３８は表示部の画面の一部をディスプレイ装置に表示する場合の視認画面の例を示す図である。 図３９は表示部の画面に表示されている文字を拡大して得られる画面をディスプレイ装置に表示する場合の視認画面の例を示す図である。 図４０は道案内用アプリケーションプログラムの画面をディスプレイ装置に元画面として表示した場合の視認画面の例を示す図である。 図４１は本発明の第六実施形態である眼鏡型端末の概略斜視図である。 図４２は第六実施形態の眼鏡型端末の概略ブロック図である。 図４３は第六実施形態の眼鏡型端末においてディスプレイ装置制御用プログラムにしたがってディスプレイ装置に画面を表示する処理の手順を説明するためのフローチャートである。 図４４は第五実施形態において端末装置としてスマートフォンを用いている場合にその端末装置の画面をタッチパッド部として使用している様子を示す図である。 図４５は第五実施形態において端末装置としてスマートフォンを用いている場合にその端末装置をマウスとして使用してカーソルの移動を指示している様子を示す図である。

以下に、図面を参照して、本願に係る発明を実施するための形態について説明する。

［第一実施形態］
まず、本発明の第一実施形態である眼鏡型端末について説明する。図１（ａ）は本発明の第一実施形態である眼鏡型端末の概略平面図、同図（ｂ）はその眼鏡型端末の概略右側面図である。図２（ａ）は第一実施形態の眼鏡型端末の概略斜視図、図２（ｂ）はその眼鏡型端末においてディスプレイ装置に元画面を投影している様子を説明するための概略図である。また、図３は第一実施形態の眼鏡型端末の概略ブロック図である。

第一実施形態の眼鏡型端末は、ユーザ（使用者）が眼鏡のように装着して使用する、例えばグーグル社のグーグルグラスのようなウェアラブル端末である。この眼鏡型端末１は、図１、図２（ａ）及び図３に示すように、レンズが取り付けられるレンズ部を備える本体部（眼鏡）１０と、本体部１０に設けられたディスプレイ装置（表示装置）２０と、ユーザの目を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０と、通信部８０と、記憶部９０とを備える。

本体部１０は、図１及び図２（ａ）に示すように、二つのレンズ部１１，１１を有する一般的な眼鏡である。レンズ部１１に取り付けるレンズは、視力を矯正するための凸レンズや凹レンズであってもよいし、視力矯正機能を持たないただのガラスやプラスチック等であってもよいし、また、太陽光から目を保護するためのサングラス用のレンズであってもよい。

ディスプレイ装置２０は、図１及び図２（ａ）に示すように、例えば、液晶パネル（表示デバイス）を有する小型プロジェクタ２１と、光学系２２と、光（映像）の一部を反射するホログラムシート（又はホログラムフィルム）２３とを備える。ここで、ホログラムシート（又はホログラムフィルム）２３は、液晶パネルに表示された画像が光学系２２を介して投影される投影部としての役割を果たす。小型プロジェクタ２１及び光学系２２は一つの筐体１００の中に配設され、その筐体１００は本体部１０の柄の部分に取り付けられている。また、この筐体１００の中には撮像装置３０も配設されている。第一実施形態では、筐体１００は本体部１０に着脱可能である。すなわち、小型プロジェクタ２１、光学系２２、撮像装置３０は本体部１０に着脱可能に構成されている。

小型プロジェクタ２１としては、例えば、透過型液晶方式（ＬＣＤ）プロジェクタ又は反射型液晶方式（ＬＣＯＳ）プロジェクタを用いることができる。ホログラムシート２３は、本体部１０における右眼用のレンズ部１１に貼り付けられている。ここでは、ホログラムシート２３としては長方形状（例えば縦１ｃｍ、横１．５ｃｍ）のものを用い、そのホログラムシート２３を横長の状態にしてレンズ部１１の上部であってやや右側に貼り付けている。小型プロジェクタ２１の液晶パネルに表示された画像や映像は、図２（ｂ）に示すように、光学系２２を介してホログラムシート２３に投影される。特に、第一実施形態では、ホログラムシート２３の全体に小型プロジェクタ２１の液晶パネルに表示された画像や映像を投影することにしている。すなわち、ホログラムシート２３それ自体が小型プロジェクタ２１による画像等の投影範囲となっている。図１に示すように、ユーザはホログラムシート２３によって反射された画像や映像を見ることができる。実際、このホログラムシート２３には極小な画面が表示される。ユーザは、眼鏡型端末１を使用すると、ホログラムシート２３に表示される極小な画面の像である半透明の画面を空中に浮かんでいるように見ることができる。この浮かんでいるように見える半透明の画面は、ユーザにとっては、８フィート離れて視る２５インチの画面に相当するものである。第一実施形態では、この浮かんでいるように見える画面が半透明である場合について説明するが、一般に、この画面は半透明でなくてもよい。また、第一実施形態では、この浮かんでいるように見える画面が、図１及び図２に示すようにユーザの視野の右上の位置に表示される場合について説明するが、一般に、この画面は、ユーザの視野の中央や左上や右下等の位置に表示するようにしてもよい。尚、以下では、このホログラムシート２３に表示される極小の画面のことを「元画面」、眼鏡型端末１を使用するユーザに空中に浮かんでいるように見える画面のことを「視認画面」とも称する。

尚、一般には、ホログラムシート（又はホログラムフィルム）２３の代わりに、例えば、半透明スクリーンや透過型スクリーンを用いることも可能である。

具体的に、ディスプレイ装置２０には、文字入力画面等の各種の画面が表示される。図４は文字入力画面の一例を示す図である。図４に示すように、文字入力画面２００は、キーボード画像２１０と、入力した文字等を表示するための表示領域２２０とを有する。キーボード画像２１０には、各文字（記号を含む）と対応付けられた複数の文字キー画像と、特定の機能が付与された複数の機能キー画像とが設けられている。図４の例では、キーボード画像２１０における文字キー画像の配列として、ＱＷＥＲＴＹ配列を採用している。尚、キーボード画像２１０は、ひらがな５０音配列のキーボード画像、各国の言語のキーボード画像、テンキー画像、又は、携帯電話或いはスマートフォンのキー配列と同様のキー画像等であってもよい。また、表示領域２２０には、例えば検索画面が表示される。図５は文字入力画面２００の表示領域２２０に表示される検索画面の一例を示す図である。この検索画面２２１は、インターネットのサイトを検索するためのものであり、キーワード入力部２２１１と、検索結果を表示する検索結果表示部２２１２とを有する。ユーザは、文字入力画面２００を視認画面Ｓとして見ているときに、そのキーボード画像２１０のキー画像を利用して、キーワード入力部２２１１にキーワードを入力することができる。

第一実施形態の眼鏡型端末では、後に詳述するように、ユーザは視認画面Ｓに対して指でタッチ操作を行うことにより、各種の指示を制御部７０に与えることができる。そして、制御部７０は、その指示の内容を認識し、その認識した指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行うことになる。ここで、第一実施形態では、タッチ操作とは、通常のタッチパネルに対して行われるタッチ操作と同様に、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作等の各種の操作をいうものとする。

撮像装置３０は、図１及び図２に示すように、本体部１０の柄の部分に設けられている。第一実施形態では、撮像装置３０は、ディスプレイ装置２０の小型プロジェクタ２１及び光学系２２とともに筐体１００の中に配設されている。この撮像装置３０は、図３に示すように、カメラ部３１と、画像処理部３２と、カメラ制御部３３とを備える。カメラ部３１はレンズや撮像素子を有するものである。画像処理部３２は、カメラ部３１で撮像して得られた画像データに基づいてその撮像した画像の色や階調の補正処理を行ったり、画像データの圧縮等の画像処理を行ったりするものである。カメラ制御部３３は、画像処理部３２を制御したり、制御部７０との間で画像データのやり取りを制御したりする。尚、本実施形態では、画像処理部３２は撮像装置３０に設けられている場合について説明するが、この画像処理部３２は、撮像装置３０ではなく、制御部７０に設けるようにしてもよい。

また、撮像装置３０は、ユーザの目（少なくともその一部）を撮像することにより、ユーザが視認画面Ｓに対して指で操作を行ったときにユーザの目に映り込んだ元画面及び当該指についての画像を取得するためのものである。ここで、ディスプレイ装置２０に表示される元画面や、視認画面に対して操作を行っているユーザの指は、通常、外部から見える目の部分であって、色の付いた虹彩と瞳孔からなる部分に映り込む。このため、実際、撮像装置３０は、ユーザの目のうち虹彩と瞳孔からなる部分（又はその一部）を撮像して、元画面及び指についての画像を取得している。第一実施形態では、撮像装置３０は、予めユーザの目にピントが合うように構成されている。具体的に、カメラ部３１のレンズの光軸上にユーザの目が位置するように撮像装置３０を本体部１０に取り付け、その目にピントが合うようにピントの位置を調整している。また、この撮像装置３０が撮像することができる範囲である撮像範囲は、目の少なくとも一部を含む範囲である。図６（ａ）は目に映り込んだ元画面の例を示す図、図６（ｂ）は撮像装置３０の撮像範囲の例を示す図である。したがって、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置３０は、ユーザの目に映り込んだ元画面及び当該指をピントが合った状態で撮像することができる。撮像装置３０で撮像して得られた画像データは制御部７０に送られ、制御部７０により記憶部９０に記憶される。また、第一実施形態の撮像装置３０は、静止画像の撮影機能と動画像の撮影機能とを備えており、制御部７０は必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。

本体部１０には、図３に示すように、タッチパッド部４０、マイク部５０、骨伝導型のスピーカ部６０、各種のセンサ部、及びバッテリー部等が設けられている。図１及び図２では、図を簡略化するため、これら各部は省略して示している。タッチパッド部４０は、ユーザがタッチ操作を行うことにより、制御部７０に各種の指示を与えるものである。マイク部５０は、眼鏡型端末１を音声による指示で操作するために、ユーザの音声を入力するものである。マイク部５０から入力された音声情報は、制御部７０に送られ、制御部７０がその音声情報を解析することになる。また、スピーカ部６０は、骨の振動を利用してユーザに音声情報を伝えるものである。一般に、スピーカ部６０としては、骨の振動を利用してユーザに音声情報を伝えるものに限らず、通常のスピーカ、イヤホン、ヘッドホン等を用いるようにしてもよい。各種のセンサ部及びバッテリー部等は本願発明とは直接関係がないので、本実施形態ではこれらについての詳細な説明は省略する。

ここで、第一実施形態の眼鏡型端末で使用するタッチパッド部４０について詳しく説明する。図７はタッチパッド部４０の取付け場所を説明するための図であり、図８はタッチパッド部４０の構成を説明するための図である。タッチパッド部４０は、図７（ａ）及び（ｂ）に示すように本体部１０の右側の柄に取り付けられ、又は、図７（ｃ）に示すように右眼用レンズ部１１の下部に取り付けられる。ここで、図７（ａ）は柄に取り付けられたタッチパッド部４０を有する眼鏡型端末の概略斜視図、図７（ｂ）はその眼鏡型端末の概略側面図である。また、図７（ｃ）はレンズ部に取り付けられたタッチパッド部４０を有する眼鏡型端末の概略斜視図である。このタッチパッド部４０は当該部分に固定して取り付けられるが、着脱可能に構成してもよい。また、タッチパッド部４０としては、図８（ａ）に示すようにマウス機能を有するものを用いることができるが、図８（ｂ）に示すように簡易キーボード機能を有するものを用いてもよい。更に、タッチパッド部４０としては、これらに限らず、番号パネルや操作パネル等を有するものを用いてもよい。

第一実施形態の眼鏡型端末１では、制御部７０、通信部８０及び記憶部９０を、撮像装置３０とともに筐体１００の中に配設し、その筐体１００を本体部１０に取り付けている。また、詳しくは後述するが、記憶部９０には、元画面に関するデータを含む各種のデータが記憶される。尚、第一実施形態では、制御部７０、通信部８０、記憶部９０及び撮像装置３０を筐体１００の中に配設し、その筐体１００を本体部１０に取り付けている場合について説明するが、制御部７０、通信部８０、記憶部９０及び撮像装置３０は筐体を介さずに直接、本体部１０に取り付けるようにしてもよい。また、制御部７０、通信部８０、記憶部９０及び撮像装置３０のうち一部を筐体１００の中に配設してその筐体１００を本体部１０に取り付け、残りを直接、本体部１０に取り付けるようにしてもよい。

制御部７０は、中央演算処理装置（ＣＰＵ）等を備えており、眼鏡型端末１の全般を制御する。例えば、制御部７０は、元画面Ｍをディスプレイ装置２０に表示するのを制御したり、撮像装置３０による撮像を制御したりする。また、制御部７０は、タッチパッド部４０が操作されたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行したり、マイク部５０から音声が入力されたときに、その入力された音声情報の内容を認識し、その認識した内容に応じた処理を実行したりする。更に、制御部７０は、スピーカ部６０により発する音声情報を制御する。具体的に、この制御部７０は、図３に示すように、表示制御部７１と、画像データ抽出部７２と、操作判定部７３と、操作位置特定部７４と、入力制御部７５とを備える。

表示制御部７１は、ユーザがマイク部５０による音声指示、或いはタッチパッド部４０の操作による指示を行ったときに、その指示の内容に応じて、ディスプレイ装置２０に表示すべき元画面Ｍの内容を選択し、その選択した元画面Ｍの表示を制御する。これにより、ディスプレイ装置２０にはユーザの指示した元画面Ｍが表示され、ユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。

画像データ抽出部７２は、ユーザの目に映り込んだ元画面Ｍを撮像装置３０が撮像したときに、その撮像して得られた一連の画像データの中から、指が存在している画像データを抽出するものである。画像データの中に指が存在しているかどうかの判断には、一般の画像認識の手法が用いられる。また、操作判定部７３、操作位置特定部７４では、画像データ抽出部７２で抽出された画像データに基づいて処理が行われることになる。

操作判定部７３は、ユーザの目に映り込んだ元画面Ｍ及び指を撮像装置３０が撮像したときに、その撮像して得られた一連の画像データであって画像データ抽出部７２で抽出されたものに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるのかを判定するものである。この判定に際しては、例えば一般の画像認識の手法が用いられる。これにより、操作判定部７３は、当該指による操作が、タップ操作、ダブルタップ操作、長押し操作等のうちいずれの操作であるかを認識することができる。その認識した当該指による操作の内容に関するデータは記憶部９０に記憶される。尚、操作判定部７３が操作内容を正確に認識できるようにするためには、ユーザは視認画面Ｓ上で各種のタッチ操作をゆっくりと且つオーバーアクション気味に行うことが望ましい。

操作位置特定部７４は、ユーザの目に映り込んだ元画面Ｍ及び指を撮像装置３０が撮像したときに、その撮像して得られた一連の画像データであって画像データ抽出部７２で抽出されたものに基づいて当該指による操作の対象となった位置が当該元画面Ｍ内におけるどの位置であるのかを特定するものである。具体的に、本実施形態では、操作位置特定部７４は、まず、一般の画像認識の手法を用い、画像データに基づいて当該画像に含まれる元画面Ｍ及び指を特定する。次に、その特定した元画面Ｍの範囲内のどこに指が位置しているのかを調べることにより、元画面Ｍ内における当該指による操作の対象となった位置を表すデータを作成する。この作成したデータは記憶部９０に記憶される。

入力制御部７５は、ユーザが視認画面Ｓに対して指で操作を行ったときに、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部７４で得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部９０に記憶されている当該元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行うものである。

実際、入力制御部７５は、ユーザが視認画面Ｓに対して指でタッチ操作を行うと、その視認画面Ｓがタッチパネルに表示されているときと同様に、当該タッチ操作に対応する指示を認識する。例えば、視認画面Ｓが図４に示す文字入力画面２００である場合、ユーザがその文字入力画面２００に対して指で所望の文字キー画像をタップする操作を行ったものとする。この場合、入力制御部７５は、操作判定部７３で得られた当該指による操作の内容に関するデータに基づいて、今回の操作がタップ操作であると認識する。また、入力制御部７５は、その文字入力画面２００に対応する元画面Ｍに関するデータに基づいて、当該文字入力画面２００の内容（例えば、当該文字入力画面２００におけるキーボード画像２１０の構成や、各文字キー画像の配置等）を認識することができる。このため、入力制御部７５は、操作位置特定部７４で得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータに基づいて、そのデータが表す位置が、文字入力画面２００におけるどの位置に対応するのかを調べることにより、操作された文字キーを特定することができる。こうして、入力制御部７５は、ユーザによりタップ操作が行われたこと、及び、その操作の対象が上記特定した文字キーであることから、今回の操作では、当該文字キーが表す文字を入力するという指示が行われたと認識することができる。この結果、入力制御部７５は、文字入力画面２００の表示領域２２０に当該文字キーが表す文字を入力された元画面Ｍをティスプレイ装置２０に表示することになる。

また、入力制御部７５は、ユーザが視認画面Ｓに対して指でダブルタップ操作を行ったときに、その視認画面Ｓに対応する元画面Ｍを拡大又は縮小するという指示を認識し、ユーザが視認画面Ｓに対して指で長押し操作を行うと、元画面Ｍとしてオプションメニューの画面を表示するという指示を認識し、そして、ユーザが視認画面Ｓに対して指でドラッグ操作又はフリック操作を行うと、元画面Ｍをスクロールして表示するという指示を認識する。

このように、第一実施形態の眼鏡型端末１では、ユーザは、自己が見ている視認画面Ｓに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。

尚、第一実施形態では、ユーザは、空中に浮いているように見える視認画面Ｓに対して指でタッチ操作を行うので、通常のタッチパネルに表示された画面に対してタッチ操作する場合には行うことのできない態様でタッチ操作を行うこともできる。図９及び図１０は視認画面Ｓに対して行われるタッチ操作の態様を説明するための図である。通常、ユーザは、図９（ａ）に示すように、視認画面Ｓの正面側から一本の指でタッチ操作を行うが、図９（ｂ）に示すように、視認画面Ｓの裏面側から一本の指でタッチ操作を行うことができる。また、ユーザは、図１０（ａ）に示すように、視認画面Ｓの正面側から複数の指でタッチ操作を行ったり、図１０（ｂ）に示すように、視認画面Ｓの裏面側から複数の指でタッチ操作を行ったりすることができる。

通信部８０は、外部との間で情報の通信を行うものである。記憶部９０には、各種のプログラムやデータ等が記憶されている。記憶部９０に記憶されているプログラムには、例えば、元画面Ｍが文字入力画面２００である場合にその文字入力画面２００に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラムと、視認画面Ｓに対して行われた操作に基づいて視認画面Ｓに対応する元画像Ｍの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラムとが含まれている。また、記憶部９０に記憶されているデータには、例えば、各種の元画面Ｍの画像データや、各元画面Ｍに関するデータ（具体的には、当該元画面Ｍの大きさ、形状、内容、構成等を示すデータ）が含まれる。更に、この記憶部９０は作業用のメモリとしても使用される。

次に、第一実施形態の眼鏡型端末１における文字入力の処理について説明する。図１１は第一実施形態の眼鏡型端末１における文字入力の処理の手順を説明するためのフローチャートである。ここでは、予めディスプレイ装置２０に元画面Ｍとして文字入力画面２００が表示されているものとする。

ユーザは、マイク部５０から音声で文字入力を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により文字入力を行う旨を指示する。制御部７０は、その指示を受けると、文字入力処理用プログラムを記憶部９０から読み出し、図１１に示す処理フローにしたがって文字入力の処理を行う。尚、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに手動により又は自動的に開始されるようにしてもよい。

図１１に示す処理フローにしたがい、まず、制御部７０は、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ２１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部７０に対してユーザが操作している位置を知らせるためである。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０に送られる（Ｓ２２）。

次に、画像データ抽出部７２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２３）。すなわち、画像データ抽出部７２は、ユーザが指で操作を行っている内容を表す画像データだけを抽出する。次に、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部７３は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する（Ｓ２４）。操作判定部７３は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部７１に送る。表示制御部７１は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２６）。尚、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部７０は、文字入力のための操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

一方、操作判定部７３は、ステップＳ２４の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部７１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合にも、操作判定部７３は、タップ操作が正常に認識されなかったと判断する。表示制御部７１は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２５）。その後は、ステップＳ３０に移行する。尚、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部７０は、文字入力のための操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ２６の処理の後、操作位置特定部７４は、操作判定部７３で指による操作がタップ操作であると判定された画像データに基づいて、当該指による操作の対象となった位置が当該元画面Ｍ内におけるどの位置であるのかを特定し、当該元画面内における当該指による操作の対象となった位置を表すデータを生成する（Ｓ２７）。こうして生成された操作の対象となった位置を表すデータは記憶部９０に記憶される。

次に、入力制御部７５は、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部７４で得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部９０に記憶されている当該元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識する（Ｓ２８）。例えば、ユーザがキーボード画像２１０における文字キー画像に対して指でタップ操作を行った場合には、入力制御部７５は、その指による操作の対象となった位置を表すデータから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部７５は、認識した入力指示の内容に関する信号を表示制御部７１に送り、表示制御部７１はその入力指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ２９）。

ステップＳ２９又はステップＳ２５の処理の後、制御部７０は、ユーザから文字入力を終了する旨の指示を受けたかどうかを判断する（Ｓ３０）。文字入力を終了する旨の指示を受けていれば、文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップＳ２１に移行し、文字入力の処理を継続する。尚、ユーザは、文字入力を終了する旨の指示を、例えば音声やタッチパッド部４０のタッチ操作により行う。

次に、第一実施形態の眼鏡型端末１における画面表示の処理について説明する。図１２は第一実施形態の眼鏡型端末１における画面表示の処理の手順を説明するためのフローチャートである。

ユーザは、マイク部５０から音声で画面表示のための操作を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により画面表示のための操作を行う旨を指示する。制御部７０は、その指示を受けると、画面表示処理用プログラムを記憶部９０から読み出し、図１２に示す処理フローにしたがって画面表示の処理を行う。尚、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに手動により又は自動的に開始されるようにしてもよい。

図１２に示す処理フローにしたがい、まず、制御部７０は、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ４１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０に送られる（Ｓ４２）。

次に、画像データ抽出部７２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ４３）。すなわち、画像データ抽出部７２は、ユーザが指で操作を行っている内容を表す画像データだけを抽出する。次に、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作の内容を判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部７３は、当該指による操作が正常に認識されたかどうかを判断する（Ｓ４４）。操作判定部７３は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部７１に送る。表示制御部７１は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ４６）。尚、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部７０は、指による操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

一方、操作判定部７３は、ステップＳ４４の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部７１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合にも、操作判定部７３は、指による操作が正常に認識されなかったと判断する。表示制御部７１は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ４５）。その後は、ステップＳ５０に移行する。尚、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部７０は、指による操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ４６の処理の後、操作位置特定部７４は、操作判定部７３で指による操作の内容が判定された画像データに基づいて、当該指による操作の対象となった位置が当該元画面Ｍ内におけるどの位置であるのかを特定し、当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータを生成する（Ｓ４７）。こうして生成された操作の対象となった位置を表すデータは記憶部９０に記憶される。

次に、入力制御部７５は、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部７４で得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部９０に記憶されている当該元画面Ｍに関するデータとに基づいて、当該指による操作に対応する指示の内容を認識する（Ｓ４８）。例えば、ユーザが視認画面Ｓに対して指でダブルタップ操作を行った場合には、入力制御部７５は、今回の操作がダブルタップ操作であることを特定し、元画面Ｍを拡大（又は縮小）する旨の指示を受けたことを認識する。その後、入力制御部７５は、認識した指示の内容に関する信号を表示制御部７１に送り、表示制御部７１はその指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ４９）。

ステップＳ４９又はステップＳ４５の処理の後、制御部７０は、ユーザから画面表示のための操作を終了する旨の指示を受けたかどうかを判断する（Ｓ５０）。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップＳ４１に移行し、画面表示の処理を継続する。尚、ユーザは、画面表示のための操作を終了する旨の指示を、例えば音声やタッチパッド部４０のタッチ操作により行う。

尚、上記の例では、ユーザが文字入力を行う旨を指示することにより制御部７０が文字入力の処理を行い、また、ユーザが画面表示のための操作を行う旨を指示することにより制御部７０が画面表示の処理を行う場合について説明したが、制御部は、文字入力の処理と画面表示の処理とを自動的に切り替えて行うようにしてもよい。

第一実施形態の眼鏡型端末では、ユーザの目を撮像することによりユーザが視認画面に対して指で操作を行ったときにユーザの目に映り込んだ元画面及び当該指についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する。そして、入力制御部は、ユーザが視認画面に対して指で操作を行ったときに、操作判定部で得られた当該指による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置に表示する元画面の制御を行う。このため、ユーザは、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、第一実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

［第二実施形態］
次に、本発明の第二実施形態である眼鏡型端末について説明する。図１３は本発明の第二実施形態である眼鏡型端末の概略ブロック図である。尚、本第二実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第二実施形態である眼鏡型端末１ａは、図１３に示すように、レンズが取り付けられるレンズ部を備える本体部１０と、本体部１０に設けられたディスプレイ装置２０と、ユーザの目を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０ａと、通信部８０と、記憶部９０とを備える。また、制御部７０ａは、表示制御部７１と、虹彩・瞳孔画像データ生成部７０１と、画像差分抽出部７０２と、画像データ抽出部７２と、操作判定部７３と、操作位置特定部７４と、入力制御部７５とを有する。

この第二実施形態の眼鏡型端末１ａが第一実施形態の眼鏡型端末１と異なる主な点は、制御部７０ａが虹彩・瞳孔画像データ生成部７０１及び画像差分抽出部７０２を備えている点である。

虹彩・瞳孔画像データ生成部７０１は、ディスプレイ装置２０に元画面Ｍを表示する前にユーザの目を撮像装置３０で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部９０に記憶するものである。ここで、撮像装置３０が画像データを撮像するタイミングは、元画面Ｍがディスプレイ装置２０に表示される直前であるのが望ましい。虹彩・瞳孔画像データ生成部７０１が生成する虹彩及び瞳孔の画像データに含まれるユーザの虹彩及び瞳孔の状態は、ユーザが視認画面Ｓに対して操作を行うときの状態とほぼ同じであるようにする必要があるからである。また、画像差分抽出部７０２は、ユーザの目に映り込んだ元画面Ｍ及び指を撮像装置３０が撮像したときに、その撮像して得られた画像データと、記憶部９０に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成するものである。すなわち、差分を抽出した画像データは、画像認識を行う上で不要となるユーザの虹彩や瞳孔の画像が除去され、元画面Ｍと指だけの画像データとなる。第二実施形態では、画像データ抽出部７２は、画像差分抽出部７０２で生成された一連の画像データを用いて画像データの抽出処理を行う。

次に、第二実施形態の眼鏡型端末１ａにおける文字入力の処理について説明する。図１４は第二実施形態の眼鏡型端末１ａにおける文字入力の処理の手順を説明するためのフローチャートである。尚、この図１４のフローチャートにおいて、上述した第一実施形態における図１１のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

ユーザは、マイク部５０から音声で文字入力を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により文字入力を行う旨を指示する。制御部７０ａは、その指示を受けると、文字入力処理用プログラムを記憶部９０から読み出し、図１４に示す処理フローにしたがって文字入力の処理を行う。

図１４に示す処理フローにしたがい、まず、制御部７０ａは、スピーカ部６０から「数秒間、元画面が表示される方向を見て下さい。」という音声を発生させる。これにより、ユーザがその音声による指示にしたがい、元画面が表示される方向を見ることになる。このとき、制御部７０ａは、撮像装置３０を制御して撮像装置３０でユーザの目を撮像する。そして、虹彩・瞳孔画像データ生成部７０１は、撮像装置３０によりユーザの目を撮像して得られた画像データに基づいて、虹彩及び瞳孔の画像データを生成する（Ｓ２０１）。この生成された虹彩及び瞳孔の画像データは、記憶部９０に記憶される。こうして虹彩及び瞳孔の画像データが作成されると、表示制御部７１は、ディスプレイ装置２０に元画面Ｍとして文字入力画面２００を表示する（Ｓ２０２）。これにより、ユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。その後、制御部７０ａは、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ２１）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０ａに送られる（Ｓ２２）。

次に、画像差分抽出部７０２は、撮像装置３０で撮像して得られた画像データと、記憶部９０に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行う（Ｓ２０３）。これにより、虹彩及び瞳孔の画像が取り除かれた画像データが得られる。次に、画像データ抽出部７２は、画像差分抽出部７０２で作成された画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２３）。ここで、画像データ抽出部７２で抽出された画像データには指が存在しているので、その画像データは、ユーザの目に映り込んだ元画面Ｍ及び指についての画像を含んでいる。その後は、ステップＳ２４に移行する。ステップＳ２４以降の処理は、第一実施形態における図１１のフローチャートによる処理と同様である。

次に、第二実施形態の眼鏡型端末１ａにおける画面表示の処理について説明する。図１５は第二実施形態の眼鏡型端末１ａにおける画面表示の処理の手順を説明するためのフローチャートである。尚、この図１５のフローチャートにおいて、上述した第一実施形態における図１２のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

ユーザは、マイク部５０から音声で画面表示のための操作を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により画面表示のための操作を行う旨を指示する。制御部７０ａは、その指示を受けると、画面表示処理用プログラムを記憶部９０から読み出し、図１５に示す処理フローにしたがって画面表示の処理を行う。

図１５に示す処理フローにしたがい、まず、制御部７０ａは、スピーカ部６０から「数秒間、元画面が表示される方向を見て下さい。」という音声を発生させる。これにより、ユーザがその音声による指示にしたがい、元画面が表示される方向を見ることになる。このとき、制御部７０ａは、撮像装置３０を制御して撮像装置３０でユーザの目を撮像する。そして、虹彩・瞳孔画像データ生成部７０１は、撮像装置３０によりユーザの目を撮像して得られた画像データに基づいて、虹彩及び瞳孔の画像データを生成する（Ｓ４０１）。この生成された虹彩及び瞳孔の画像データは、記憶部９０に記憶される。こうして虹彩及び瞳孔の画像データが作成されると、表示制御部７１は、ディスプレイ装置２０に元画面Ｍを表示する（Ｓ４０２）。これにより、ユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。その後、制御部７０ａは、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ４１）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０ａに送られる（Ｓ４２）。

次に、画像差分抽出部７０２は、撮像装置３０で撮像して得られた画像データと、記憶部９０に記憶されている虹彩及び瞳孔の画像データとに基づいて、それらの差分を抽出する処理を行う（Ｓ４０３）。これにより、虹彩及び瞳孔の画像が取り除かれた画像データが得られる。次に、画像データ抽出部７２は、画像差分抽出部７０２で作成された画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ４３）。ここで、画像データ抽出部７２で抽出された画像データには指が存在しているので、その画像データは、ユーザの目に映り込んだ元画面Ｍ及び指についての画像を含んでいる。その後は、ステップＳ４４に移行する。ステップＳ４４以降の処理は、第一実施形態における図１２のフローチャートによる処理と同様である。

第二実施形態の眼鏡型端末では、上記第一実施形態のものと同様の効果を奏する。すなわち、第二実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

特に、第二実施形態の眼鏡型端末には、ディスプレイ装置に元画面を表示する前にユーザの目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して記憶部に記憶する虹彩・瞳孔画像データ生成部と、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されている虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部とが備えられており、画像データ抽出部は、その画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行う。これにより、画像差分抽出部で生成された画像データからは、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指が存在している画像データを抽出する処理を容易に行うことができる。

ところで、ユーザがコンタクトレンズを装着している場合、画像差分抽出部は虹彩及び瞳孔の画像に加えてコンタクトレンズの画像が取り除かれた画像データを生成するようにしてもよい。すなわち、虹彩・瞳孔画像データ生成部として、ディスプレイ装置に元画面を表示する前に、コンタクトレンズを装着しているユーザの目を撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して記憶部に記憶するものを用い、画像差分抽出部としては、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた画像データと記憶部に記憶されているコンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成するものを用いるようにしてもよい。これにより、画像差分抽出部で生成された画像データからは、コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれているので、画像データ抽出部は、指が存在している画像データを抽出する処理を容易に行うことができる。

［第三実施形態］
次に、本発明の第三実施形態である眼鏡型端末について説明する。図１６は本発明の第三実施形態である眼鏡型端末の概略ブロック図である。尚、本第三実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第三実施形態である眼鏡型端末１ｂは、図１６に示すように、レンズが取り付けられるレンズ部を備える本体部１０と、本体部１０に設けられたディスプレイ装置２０と、ユーザの目を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０ｂと、通信部８０と、記憶部９０とを備える。また、制御部７０ｂは、表示制御部７１と、画像変換部７０３と、画像データ抽出部７２と、操作判定部７３と、操作位置特定部７４と、入力制御部７５とを有する。

この第三実施形態の眼鏡型端末１ｂが第一実施形態の眼鏡型端末１と異なる主な点は、制御部７０ｂが画像変換部７０３を備えている点である。

画像変換部７０３は、本来球面の形状を持つユーザの目に映り込んだ元画面Ｍ及び指についての画像が平面上に映り込んだ画像となるように、撮像装置３０で撮像して得られた画像データに対して画像変換を行うものである。例えば、この画像変換は、目（眼球表面）の曲率等を用いて予め作成された画像変換式により行われる。第三実施形態では、画像データ抽出部７２は、画像変換部７０３で画像変換が行われた後の一連の画像データを用いて所定の処理を行う。

次に、第三実施形態の眼鏡型端末１ｂにおける文字入力の処理について説明する。図１７は第三実施形態の眼鏡型端末１ｂにおける文字入力の処理の手順を説明するためのフローチャートである。尚、この図１７のフローチャートにおいて、上述した第一実施形態における図１１のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

ディスプレイ装置２０には、元画面Ｍとして文字入力画面２００が予め表示されているものとする。ユーザは、マイク部５０から音声で文字入力を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により文字入力を行う旨を指示する。制御部７０ｂは、その指示を受けると、文字入力処理用プログラムを記憶部９０から読み出し、図１７に示す処理フローにしたがって文字入力の処理を行う。

図１７に示す処理フローにしたがい、まず、制御部７０ｂは、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ２１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０ｂに送られる（Ｓ２２）。

次に、画像変換部７０３は、撮像装置３０で撮像して得られた画像データに対して、本来球面の形状を持つユーザの目に映り込んだ元画面Ｍ及び指についての画像が平面上に映り込んだ画像となるように画像変換を行う（Ｓ２０４）。この画像変換後の画像データは画像データ抽出部７２に送られる。そして、画像データ抽出部７２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ２３）。その後は、ステップＳ２４に移行する。ステップＳ２４以降の処理は、第一実施形態における図１１のフローチャートによる処理と同様である。

次に、第三実施形態の眼鏡型端末１ｂにおける画面表示の処理について説明する。図１８は第三実施形態の眼鏡型端末１ｂにおける画面表示の処理の手順を説明するためのフローチャートである。尚、この図１８のフローチャートにおいて、上述した第一実施形態における図１２のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

ディスプレイ装置２０には、元画面Ｍが予め表示されているものとする。ユーザは、マイク部５０から音声で画面表示のための操作を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により画面表示のための操作を行う旨を指示する。制御部７０ｂは、その指示を受けると、画面表示処理用プログラムを記憶部９０から読み出し、図１８に示す処理フローにしたがって画面表示の処理を行う。

図１８に示す処理フローにしたがい、まず、制御部７０ｂは、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ４１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０ｂに送られる（Ｓ４２）。

次に、画像変換部７０３は、撮像装置３０で撮像して得られた画像データに対して、本来球面の形状を持つユーザの目に映り込んだ元画面Ｍ及び指についての画像が平面上に映り込んだ画像となるように画像変換を行う（Ｓ４０４）。この画像変換後の画像データは画像データ抽出部７２に送られる。そして、画像データ抽出部７２は、その送られた画像データについて、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する（Ｓ４３）。その後は、ステップＳ４４に移行する。ステップＳ４４以降の処理は、第一実施形態における図１２のフローチャートによる処理と同様である。

第三実施形態の眼鏡型端末では、上記第一実施形態のものと同様の効果を奏する。すなわち、第三実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

特に、第三実施形態の眼鏡型端末には、本来球面の形状を持つユーザの目に映り込んだ元画面及び指についての画像が平面上に映り込んだ画像となるように、撮像装置で撮像して得られた画像データに対して画像変換を行う画像変換部が備えられており、画像データ抽出部は、画像変換部で画像変換が行われた一連の画像データを用いて画像データの抽出処理を行う。これにより、画像データ抽出部によって抽出される一連の画像データでは、歪みが補正されているので、操作位置特定部は、元画面内における指による操作の対象となった位置を正確に特定することができるという利点がある。

［第四実施形態］
次に、本発明の第四実施形態である眼鏡型端末について説明する。図１９は本発明の第四実施形態である眼鏡型端末の概略ブロック図である。尚、本第四実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第四実施形態である眼鏡型端末１ｃは、図１９に示すように、レンズが取り付けられるレンズ部を備える本体部１０と、本体部１０に設けられたディスプレイ装置２０と、ユーザの目を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０ｃと、通信部８０と、記憶部９０とを備える。また、制御部７０ｃは、表示制御部７１と、目存在・不存在判定部７０４と、報知制御部７０５と、画像データ抽出部７２と、操作判定部７３と、操作位置特定部７４と、入力制御部７５とを有する。

この第四実施形態の眼鏡型端末１ｃが第一実施形態の眼鏡型端末１と異なる主な点は、制御部７０ｃが目存在・不存在判定部７０４と報知制御部７０５とを備えている点である。

目存在・不存在判定部７０４は、一般の画像認識の手法を用いて撮像装置３０で撮像して得られた画像データにユーザの目の画像が存在しているかどうかを判定し、ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されたことを検知するものである。また、報知制御部７０５は、目存在・不存在判定部７０４によりユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されたことが検知されたときに、スピーカ部（報知装置）６０を制御してそのスピーカ部６０から音を発生させるものである。ユーザの目が存在していない画像データが撮像装置３０で一定時間継続して取得されたということは、ユーザが目を閉じている、例えば寝ていると考えられる。このため、例えばユーザが自動車を運転している場合、報知制御部７０５は、目存在・不存在判定部７０４での検知結果に基づいてユーザの居眠りを認識し、スピーカ部６０から警報音を発生させることにより、居眠り運転防止を図ることができる。

次に、第四実施形態の眼鏡型端末１ｃにおける文字入力の処理について説明する。図２０は第四実施形態の眼鏡型端末１ｃにおける文字入力の処理の手順を説明するためのフローチャートである。尚、この図２０のフローチャートにおいて、上述した第一実施形態における図１１のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

ディスプレイ装置２０には、元画面Ｍとして文字入力画面２００が予め表示されているものとする。ユーザは、マイク部５０から音声で文字入力を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により文字入力を行う旨を指示する。制御部７０ｃは、その指示を受けると、文字入力処理用プログラムを記憶部９０から読み出し、図２０に示す処理フローにしたがって文字入力の処理を行う。

図２０に示す処理フローにしたがい、まず、制御部７０ｃは、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ２１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、ユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０ｃに送られる（Ｓ２２）。

次に、目存在・不存在判定部７０４は、その送られた画像データについて、一般の画像認識の手法を用いて目の画像が存在しているかどうかを判断する（Ｓ２０５）。目存在・不存在判定部７０４は、目の画像が画像データに存在していると判定すると、当該画像データを画像データ抽出部７２に送出する。その後は、ステップＳ２３に移行する。一方、目存在・不存在判定部７０４は、目の画像が画像データに存在していないと判定すると、当該画像データを画像データ抽出部７２に送出しない。そして、この場合、目存在・不存在判定部７０４は、ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されたかどうかを判断する（Ｓ２０６）。ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されていなければ、ステップＳ２０５に移行する。一方、目存在・不存在判定部７０４は、ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されたと判定すると、その旨の信号を報知制御部７０５に送信する。報知制御部７０５は、その信号を受け取ると、ユーザが居眠りをしていると認識し、スピーカ部６０を制御してスピーカ部６０から所定の警告音を発生させる（Ｓ２０７）。その後は、ステップＳ２０４に移行する。

ステップＳ２３では、画像データ抽出部７２は、目存在・不存在判定部７０４から送られた画像データ（ユーザの目の画像が存在している画像データ）について、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する。その後は、ステップＳ２４に移行する。ステップＳ２４以降の処理は、第一実施形態における図１１のフローチャートによる処理と同様である。

次に、第四実施形態の眼鏡型端末１ｃにおける画面表示の処理について説明する。図２１は第四実施形態の眼鏡型端末１ｃにおける画面表示の処理の手順を説明するためのフローチャートである。尚、この図２１のフローチャートにおいて、上述した第一実施形態における図１２のフローチャートと同一内容を表す処理については、同一のステップ符号を付すことにより、その詳細な説明を省略する。

ディスプレイ装置２０には、元画面Ｍが予め表示されているものとする。ユーザは、マイク部５０から音声で画面表示のための操作を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により画面表示のための操作を行う旨を指示する。制御部７０ｃは、その指示を受けると、画面表示処理用プログラムを記憶部９０から読み出し、図２１に示す処理フローにしたがって画面表示の処理を行う。

図２１に示す処理フローにしたがい、まず、制御部７０ｃは、撮像装置３０を制御してユーザの目を撮像する撮像動作を開始する（Ｓ４１）。ユーザは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作の際、ユーザの目には元画面Ｍ、又は元画面Ｍ及び操作を行っている指が映り込むことになる。そして、そのユーザの目は撮像装置３０で撮像され、その撮像装置３０で得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０ｃに送られる（Ｓ４２）。

次に、目存在・不存在判定部７０４は、その送られた画像データについて、一般の画像認識の手法を用いて目の画像が存在しているかどうかを判断する（Ｓ４０５）。目存在・不存在判定部７０４は、目の画像が画像データに存在していると判定すると、当該画像データを画像データ抽出部７２に送出する。その後は、ステップＳ４３に移行する。一方、目存在・不存在判定部７０４は、目の画像が画像データに存在していないと判定すると、当該画像データを画像データ抽出部７２に送出しない。そして、この場合、目存在・不存在判定部７０４は、ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されたかどうかを判断する（Ｓ４０６）。ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されていなければ、ステップＳ４０５に移行する。一方、目存在・不存在判定部７０４は、ユーザの目の画像が存在していない画像データが撮像装置３０で一定時間継続して取得されたと判定すると、その旨の信号を報知制御部７０５に送信する。報知制御部７０５は、その信号を受け取ると、ユーザが居眠りをしていると認識し、スピーカ部６０を制御してスピーカ部６０から所定の警告音を発生させる（Ｓ４０７）。その後は、ステップＳ４０４に移行する。

ステップＳ４３では、画像データ抽出部７２は、目存在・不存在判定部７０４から送られた画像データ（ユーザの目の画像が存在している画像データ）について、一般の画像認識の手法を用いて指が存在しているかどうかを判断し、撮像装置３０で撮像して得られた一連の画像データの中から指が存在している画像データを抽出する。その後は、ステップＳ４４に移行する。ステップＳ４４以降の処理は、第一実施形態における図１２のフローチャートによる処理と同様である。

第四実施形態の眼鏡型端末では、上記第一実施形態のものと同様の効果を奏する。すなわち、第四実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

特に、第四実施形態の眼鏡型端末には、撮像装置で撮像して得られた画像データにユーザの目の画像が存在しているかどうかを判定し、ユーザの目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、目存在・不存在判定部がユーザの目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことを検知したときに、スピーカ部を制御してそのスピーカ部から音を発生させる報知制御部とが備えられている。これにより、例えば、自動車の運転者が本第四実施形態の眼鏡型端末を装着する場合、報知制御部は、目存在・不存在判定部によりその運転者の目の画像が存在していない画像データが撮像装置で一定時間継続して取得されたことが検知されたときに、スピーカ部からアラームを発生させることによって居眠り運転を防止することができる。

［第五実施形態］
次に、本発明の第五実施形態である眼鏡型端末について説明する。図３４（ａ）は本発明の第五実施形態である眼鏡型端末の概略平面図、図３４（ｂ）はその眼鏡型端末の概略右側面図である。図３５は第五実施形態の眼鏡型端末の概略斜視図である。また、図３６は第五実施形態の眼鏡型端末の概略ブロック図である。尚、第五実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第五実施形態の眼鏡型端末１ｄは、図３４、図３５及び図３６に示すように、レンズが取り付けられるレンズ部１１を備える本体部（眼鏡）１０と、本体部１０に設けられたディスプレイ装置２０と、ユーザの目を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、通信部８０と、本体部１０と別体に構成された、表示部３１０を有する端末装置３００とを備える。ここで、端末装置３００は、ディスプレイ装置２０や撮像装置３０等の各部と無線で接続されている。尚、端末装置３００については、その説明を簡略化するために、本発明と直接的に関係のある部分を詳述し、それ以外の部分の説明を省略する。

この第五実施形態の眼鏡型端末１ｄが第一実施形態の眼鏡型端末１と異なる主な点は、眼鏡型端末１ｄが、本体部１０と別体に構成された、表示部３１０を有する端末装置３００を備えている点、端末装置３００が、ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０及びスピーカ部６０を制御する点、そして、端末装置３００が、表示部３１０に表示されている画面を元画面としてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する機能を有する点である。第五実施形態の眼鏡型端末１ｄのその他の構成は、第一実施形態の眼鏡型端末１のものと同様である。

ディスプレイ装置２０は、図３４及び図３５に示すように、例えば、液晶パネル（表示デバイス）を有する小型プロジェクタ２１と、光学系２２と、光（映像）の一部を反射するホログラムシート（又はホログラムフィルム）２３とを備える。小型プロジェクタ２１及び光学系２２は一つの筐体１００の中に配設され、その筐体１００は眼鏡（本体部１０）の柄の部分に取り付けられている。また、この筐体１００の中には撮像装置３０も配設されている。ここで、撮像装置３０は、図３６に示すように、カメラ部３１と、画像処理部３２と、カメラ制御部３３とを備える。筐体１００は本体部１０に着脱可能である。すなわち、小型プロジェクタ２１、光学系２２、撮像装置３０は本体部１０に着脱可能に構成されている。

また、筐体１００には、通信部８０と、電池等の電源部（不図示）と、電源スイッチ（不図示）とが設けられている。通信部８０は、本体部１０に設けられた各種の装置（ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０及びスピーカ部６０）が端末装置３００との間で無線通信を行うためのものである。ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０及びスピーカ部６０の制御は無線通信で端末装置３００によって行われる。このため、第五実施形態では、第一実施形態と異なり、筐体１００に制御部等を設けていない。電源部は、本体部１０に設けられた各種の装置（ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０、スピーカ部６０及び通信部８０）に電力を供給するためのものである。また、電源スイッチは電源部からディスプレイ装置２０や撮像装置３０等の各部への電力供給をオン・オフするものである。この電源スイッチは筐体１００表面の所定箇所に取り付けられている。

第五実施形態では、端末装置３００が、ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０及びスピーカ部６０を制御する。ここでは、端末装置３００として、スマートフォンやタブレット端末等の既存の携帯端末を用いることにする。端末装置３００は、図３６に示すように、表示部３１０と、通信部３２０と、制御部７００と、記憶部９００とを有する。表示部３１０は端末装置３００の表面に設けられた液晶表示装置である。また、表示部３１０の画面にはタッチパネルが設けられている。このタッチパネルには、表示部３１０の画面に対して接触操作（タッチ操作）が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を制御部７００に出力する位置検知部が備えられている。表示部３１０の画面上には、ホーム画面、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。ユーザはこれらの画面上でタッチ操作を行うことにより、各種の指示を端末装置３００に与えることができる。

また、端末装置３００は外部との間で無線通信を行う機能を有しており、この機能は通信部３２０によって実現される。もちろん、端末装置３００は、この通信部３２０及び筐体１００に設けられた通信部８０を介してディスプレイ装置２０や撮像装置３０等と無線通信を行うことができる。この点で、端末装置３００はディスプレイ装置２０や撮像装置３０等と無線で接続されている。ここで、端末装置３００とディスプレイ装置２０や撮像装置３０等との間の無線通信の方式としては、例えばBluetooth（登録商標）を用いることができる。また、セキュリティ確保の観点から、端末装置３００、ディスプレイ装置２０及び撮像装置３０はそれぞれ、無線通信を行う際に相手から送られる識別情報に基づいて認証を行った後にデータの通信を行うことにしている。

端末装置３００の記憶部９００には、各種のプログラムやデータ等が記憶されている。記憶部９００に記憶されているプログラムには、例えば、元画面Ｍが文字入力画面である場合にその文字入力画面に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラムと、視認画面Ｓに対して行われた操作に基づいて視認画面Ｓに対応する元画像Ｍの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラムとが含まれている。また、記憶部９００に記憶されているデータには、例えば、各種の元画面Ｍの画像データ、各元画面Ｍに関するデータ（具体的には、当該元画面Ｍの大きさ、形状、内容、構成等を示すデータ）が含まれる。

特に、第五実施形態では、例えば、端末装置３００がディスプレイ装置２０を制御するための特別なディスプレイ装置制御用プログラムが記憶部９００に記憶されている。このディスプレイ装置制御用プログラムは、表示部３１０に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する機能を制御部７００に実現させるためのアプリケーションプログラムである。ディスプレイ装置制御用プログラムが制御部７００によって実行されると、表示部３１０に表示されている画面がその表示部３１０だけでなくディスプレイ装置２０にも表示されることになる。

また、ディスプレイ装置制御用プログラムが実行されたときには、当該プログラムの設定画面が表示部３１０に表示される。この設定画面には、ディスプレイ装置２０の画面表示に関する設定を行うための複数のボタンが設けられている。具体的に、ディスプレイ装置２０の画面表示に関する設定を行うためのボタンとしては、表示部３１０に表示されている画面を簡略化した画面をディスプレイ装置２０に表示すべきことを指示するボタンＢ１と、表示部３１０に表示されている画面の一部をディスプレイ装置２０に表示すべきことを指示するボタンＢ２と、表示部３１０に表示されている画面において文字や図表（図、写真、表等）を拡大した画面をディスプレイ装置２０に表示すべきことを指示するボタンＢ３とがある。また、ディスプレイ装置制御用プログラムの設定画面には、表示部３１０に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示する際に表示部３１０を消灯すべきことを設定するボタンＢ４と、当該プログラムを終了することを指示するボタンＢ５とが設けられている。ボタンＢ４を用いることにより、表示部３１０に表示されている画面の内容をディスプレイ装置２０に表示する際に、表示部３１０における当該画面の表示をそのまま維持するか、表示部３１０を消灯するかを設定することができる。尚、端末装置３００の表示部３１０が点灯している場合に、ユーザは、端末装置３００の電源ボタンを押すことによって、表示部３１０を消灯することができる。逆に、端末装置３００の表示部３１０が消灯している場合、ユーザは、端末装置３００の電源ボタンを押すことによって、表示部３１０の消灯状態を解除することができる。

このように、ディスプレイ装置制御用プログラムが実行されると、ディスプレイ装置２０には、表示部３１０に表示されている画面が表示されるので、結果として、表示部３１０とディスプレイ装置２０には同じ画面が表示されることになる。しかしながら、ディスプレイ装置制御用プログラムの設定画面を使用すると、ユーザは、ディスプレイ装置２０に、表示部３１０に表示されている画面の内容と異なる内容の画面を表示すべきことを指定することが可能である。例えば、ディスプレイ装置制御用プログラムの設定画面には、ディスプレイ装置２０に表示すべき画面を指定する欄が設けられている。ユーザがこの欄を利用してディスプレイ装置２０に表示すべき画面を指定すると、制御部７００は、表示部３１０に現在表示されている画面とは別に、ユーザが指定した画面をディスプレイ装置２０に表示する。すなわち、この場合、表示部３１０とディスプレイ装置２０にはそれぞれ異なる画面が表示される。

制御部７００は、中央演算処理装置（ＣＰＵ）等を備えており、端末装置３００の全般を制御すると共に、ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０、スピーカ部６０をも制御する。例えば、制御部７００は、ユーザにより表示部３１０においてタッチ操作がなされたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行する。また、制御部７００は、上記ディスプレイ装置制御用プログラムを実行することにより、表示部３１０に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示するようにディスプレイ装置２０を制御する。更に、制御部７００は、元画面Ｍをディスプレイ装置２０に表示するのを制御したり、撮像装置３０による撮像を制御したりする。

具体的に、制御部７００は、図３６に示すように、表示制御部７１０と、画像データ抽出部７２と、操作判定部７３と、操作位置特定部７４と、入力制御部７５とを備える。第五実施形態の眼鏡型端末１ｄでも、第一実施形態の眼鏡型端末１と同様に、ユーザが視認画面Ｓに対して指で操作を行ったときに、入力制御部７５は、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、操作位置特定部７４で得られた当該元画面Ｍ内における当該指による操作の対象となった位置を表すデータと、記憶部９０に記憶されている当該元画面Ｍに関するデータとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示部３１０に表示する画面の制御及びディスプレイ装置２０に表示する元画面Ｍの制御を行う。このため、ユーザは、自己が見ている視認画面Ｓに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。

表示制御部７１０は、表示部３１０及びディスプレイ装置２０での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部７１０は、記憶部９００に記憶されているディスプレイ装置制御用プログラムを実行して、表示部３１０に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示する。これにより、ユーザは、第五実施形態の眼鏡型端末１ｄを使用すると、その元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。但し、ユーザがディスプレイ装置制御用プログラムの設定画面で各種の設定を行った場合には、表示制御部７１０はその設定にしたがって表示部３１０及びディスプレイ装置２０の制御を行う。

第五実施形態の眼鏡型端末１ｄでは、表示部３１０の画面にはタッチパネルが設けられているので、ユーザは表示部３１０の画面に対して指でタッチ操作を行うことにより、各種の指示を端末装置３００の制御部７００に与えることができる。また、ディスプレイ装置制御用プログラムが実行されて、表示部３１０に表示されている画面がディスプレイ装置２０に表示された場合、ユーザは、その視認画面Ｓに対して指でタッチ操作を行うことにより、各種の指示を端末装置３００の制御部７００に与えることができる。

次に、第五実施形態の眼鏡型端末１ｄにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理について説明する。図３７は第五実施形態の眼鏡型端末１ｄにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理の手順を説明するためのフローチャートである。

まず、ユーザは、筐体１００に設けられた電源スイッチをオンにする。これにより、ディスプレイ装置２０及び通信部８０は電源オンの状態になる。ここでは、ユーザは眼鏡（本体部１０）をかけた状態で操作を行うものとする。次に、ユーザは、端末装置３００を操作して表示部３１０にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面においてディスプレイ装置制御用プログラムのアイコンをタップし、そのディスプレイ装置制御用プログラムを選択する。端末装置３００の制御部７００は、ディスプレイ装置制御用プログラムが選択された旨の信号を受けると、ディスプレイ装置制御用プログラムを起動する（Ｓ６１）。ディスプレイ装置制御用プログラムが起動すると、制御部７００は、そのディスプレイ装置制御用プログラムにしたがって処理を行う。具体的に、制御部７００は、まず、端末装置３００とディスプレイ装置２０との接続状態を確認する処理を行う（Ｓ６２）。接続が確認されると、制御部７００は、ディスプレイ装置２０に対して識別情報の送信を要求し、ディスプレイ装置２０から送られる識別情報に基づいて認証処理を行う（Ｓ６３）。こうして、ディスプレイ装置２０に対する認証がなされると、制御部７００は、ディスプレイ装置制御用プログラムの設定画面を表示部３１０に表示する。そして、現在、表示部３１０に表示されている画面に関するデータを無線でディスプレイ装置２０に送信し、その表示部３１０に表示されている画面を元画面Ｍとしてディスプレイ装置２０に表示させる（Ｓ６４）。これにより、ユーザは、眼鏡（本体部１０）を通してその元画面Ｍに対応する視認画面Ｓを空中に浮かんでいるような感覚で見ることができる。その後、ユーザが端末装置３００を操作して、例えば、所望のアプリケーションプログラムを選択すると、制御部７００はそのアプリケーションプログラムを実行し、そのアプリケーションプログラムの画面を表示部３１０に表示すると共に、その画面に関するデータを無線でディスプレイ装置２０に送信して、表示部３１０に表示されている画面と同じ画面をディスプレイ装置２０に表示する。こうして、ユーザは、眼鏡（本体部１０）を通してそのアプリケーションプログラムの画面に対する視認画面Ｓを、空中に浮かんでいるように見ることができる。

ところで、表示部３１０に表示されている画面をディスプレイ装置２０に表示したときに、例えば、ユーザは元画面Ｍに表示された文字等が細かくて、その元画面Ｍに対応する視認画面Ｓの内容を認識し難いと感じることがある。この場合、ユーザは、ディスプレイ装置制御用プログラムの設定画面を表示部３１０に表示し、その設定画面においてボタンＢ２又はボタンＢ３をタップすることができる。ユーザがボタンＢ２をタップすると、制御部７００は、表示部３１０に表示されている画面の一部に関するデータをディスプレイ装置２０に送信し、これにより、その表示部３１０に表示されている画面の一部がディスプレイ装置２０に表示されるようになる。図３８は表示部３１０の画面の一部をディスプレイ装置２０に表示する場合の視認画面Ｓの例を示す図である。図３８の例では、表示部３１０に表示されている画面の略半分をディスプレイ装置２０に表示しており、ユーザはディスプレイ装置２０に表示された略半分の画面を見ると、その略半分の画面に対応する視認画面Ｓを認識することができる。この場合、ディスプレイ装置２０に表示された略半分の画面は、画面の全体がディスプレイ装置２０に表示された場合におけるその略半分の画面に比べて大きく表示されるので、ユーザは視認画面Ｓの内容を認識し易くなる。一方、表示部３１０に文字や図表を含む画面が表示されている場合、ユーザがボタンＢ３をタップすると、制御部７００は、表示部３１０に表示されている画面において文字や図表を拡大した画面に関するデータをディスプレイ装置２０に送信し、これにより、その表示部３１０に表示されている画面において文字や図表が拡大された画面がディスプレイ装置２０に表示されるようになる。図３９は表示部３１０の画面に表示されている文字を拡大して得られる画面をディスプレイ装置２０に表示する場合の視認画面Ｓの例を示す図である。この場合、図３９に示すように、ユーザは、文字が拡大された画面を視認画面Ｓとして見ることができるので、その画面の文字を正確に認識することができる。尚、図３９では文字だけを含む画面の例を示しているが、図表を含む画面が表示部３１０に表示されている場合には、ユーザは、文字だけでなく図表も拡大された画面を視認画面Ｓとして見ることができるので、文字と図表の内容を正確に認識することができる。

また、図３８及び図３９の例において、ユーザが視認画面Ｓに対して指で所定の操作、例えばドラッグ操作又はフリック操作を行ったときに、制御部７００は、撮像装置３０で撮像された画像データ等に基づいてドラッグ操作又はフリック操作が行われたことを認識すると、表示部３１０に表示されている画面をスクロールするという内容の画面をディスプレイ装置２０に表示するようにしてもよい。ユーザは、そのスクロールする画面を見ることにより、それまでディスプレイ装置２０に表示されていなかった画面の他の部分を見ることができる。

ディスプレイ装置２０への画面表示を終了する場合、ユーザは、端末装置３００の表示部３１０にディスプレイ装置制御用プログラムの設定画面を表示し、その設定画面上に設けられた、ディスプレイ装置制御用プログラムを終了すべきことを指示するボタンＢ５をタップする。制御部７００は、ディスプレイ装置制御用プログラムを終了する旨の信号を受けると（Ｓ６５）、そのディスプレイ装置制御用プログラムを終了する（Ｓ６６）。あるいは、ユーザが視認画面Ｓ（ディスプレイ装置制御用プログラムの設定画面）に対して指でボタンＢ５をタップ操作したときに、制御部７００はボタンＢ５でタッチ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。これにより、制御部７００は画面に関するデータをディスプレイ装置２０に送信するのを停止し、ディスプレイ装置２０の画面には何も表示されなくなる。最後に、ユーザは筐体１００に設けられた電源スイッチをオフにする。尚、アプリケーションプログラムの画面上の所定箇所（例えば下の隅の位置）に所定のアイコンを表示しておき、ユーザが視認画面Ｓに対して指でそのアイコンをタップ操作したときに、制御部７００が当該アイコンに対してタップ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。

次に、第五実施形態の端末装置１ｄの具体的な使用例を説明する。ここでは、端末装置３００が携帯端末であり、その端末装置３００には自らの位置に関する位置情報を取得するＧＰＳ（Global Positioning System）機能が備わっている場合を考える。

最初の例では、記憶部９００に記憶された地図情報及び上記ＧＰＳ機能で得られた位置情報に基づいて、ユーザの現在の位置からユーザが設定した目的地に導くための画面を作成して表示部３１０に表示する機能を制御部７００に実現させるための道案内用アプリケーションプログラムが端末装置３００にインストールされているものとする。この場合、ディスプレイ装置制御用プログラムの実行中に、ユーザが端末装置３００を操作して上記道案内用アプリケーションプログラムの実行を指示すると、制御部７００は、上記道案内用アプリケーションプログラムを起動し、その道案内用アプリケーションプログラムの画面としてユーザをユーザが設定した目的地に導くための画面を表示部３１０に表示すると共にディスプレイ装置２０に元画面Ｍとして表示する。図４０は道案内用アプリケーションプログラムの画面をディスプレイ装置２０に元画面Ｍとして表示した場合の視認画面Ｓの例を示す図である。この図４０は、ユーザを目的地に導くための画面として、ユーザが進むべき方向を示す矢印の画像が表示される。ユーザは視認画面Ｓを見て、そこに表示された矢印の向きにしたがって進むことにより目的地に到達することができる。

また、上記の例では、制御部７００が、道案内用アプリケーションプログラムを実行した際に、ユーザを目的地に導くための画面（例えば矢印画像の画面）を表示部３１０及びディスプレイ装置２０に表示する場合について説明したが、制御部７００は、道案内用アプリケーションプログラムを実行した際に、ユーザの現在地を記した地図情報、又は、ユーザの現在地及び目的地を記した地図情報を表示部３１０に表示し、ユーザを目的地に導くための画面（例えば矢印画像の画面）をディスプレイ装置２０に表示するようにしてもよい。

次の例では、記憶部９００に記憶された地図情報及び上記ＧＰＳ機能で得られた位置情報に基づいて現在の位置の周辺にある店舗を検索し、その検索して得られた店舗に関する情報を表示部３１０に表示する機能を制御部７００に実現させるための店舗検索用アプリケーションプログラムが端末装置３００にインストールされているものとする。この場合、ディスプレイ装置制御用プログラムの実行中に、ユーザが端末装置３００を操作して上記店舗検索用アプリケーションプログラムの実行を指示すると、制御部７００は、上記店舗検索用アプリケーションプログラムを起動し、その店舗検索用アプリケーションプログラムの画面として現在位置の周囲にある店舗に関する情報を含む画面を表示部３１０に表示すると共にディスプレイ装置２０に元画面Ｍとして表示する。ユーザはその元画面Ｍに対応する視認画面Ｓを見て、現在位置の周辺にある店舗に関する情報を得ることができる。

尚、上記の各例において、地図情報は必ずしも予め記憶部９００に記憶しておく必要はない。例えば、制御部７００は、道案内用アプリケーションプログラム又は店舗検索用アプリケーションプログラムを起動した際に、インターネット上の所定のサイトにアクセスして、そのサイトにある地図情報を利用するようにしてもよい。

第五実施形態の眼鏡型端末では、上記第一実施形態のものと同様の効果を奏する。すなわち、第五実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

特に、第五実施形態の眼鏡型端末では、眼鏡としての本体部とその本体部に設けられたディスプレイ装置や撮像装置等の各部を制御する制御部を有する端末装置とを別体に構成したので、端末装置として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができる。このように端末装置として既存の携帯端末等を用いることにより、眼鏡としての本体部の部品点数を少なくして、本体部の構成を簡易なものとすることができる。また、端末装置として例えば市販のスマートフォン等を用いることにより、使い慣れているスマートフォン等を使用して操作することができるので、操作性の向上を図ることができる。

尚、第五実施形態で説明した、本体部と端末装置とを別体に構成すると共に端末装置とディスプレイ装置や撮像装置等の各部とを無線で接続するという構成は、第一実施形態の眼鏡型端末に限らず、上述した他の実施形態（第二実施形態、第三実施形態、第四実施形態）の眼鏡型端末にも適用することができる。

［第六実施形態］
次に、本発明の第六実施形態である眼鏡型端末について説明する。図４１は本発明の第六実施形態である眼鏡型端末の概略斜視図、図４２は第六実施形態の眼鏡型端末の概略ブロック図である。尚、第六実施形態において、上述した第五実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第六実施形態である眼鏡型端末１ｅは、図４１及び図４２に示すように、レンズが取り付けられるレンズ部１１を備える本体部（眼鏡）１０と、本体部１０に設けられたディスプレイ装置２０と、ユーザの目を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、本体部１０と別体に構成された、表示部３１０を有する端末装置３００と、ディスプレイ装置２０と端末装置３００との間を接続するケーブル５００とを備える。尚、端末装置３００については、その説明を簡略化するために、本発明と直接的に関係のある部分を詳述し、それ以外の部分の説明を省略する。

第六実施形態の眼鏡型端末１ｅが第五実施形態の眼鏡型端末１ｄと異なる主な点は、ディスプレイ装置２０と端末装置３００とを、ケーブル５００を用いて有線で接続している点である。第六実施形態の眼鏡型端末１ｅのその他の構成は、第五実施形態の眼鏡型端末１ｄのものと同様である。

ディスプレイ装置２０は、図４１に示すように、小型プロジェクタ２１と、光学系２２と、ホログラムシート２３とを備える。小型プロジェクタ２１及び光学系２２は筐体１００の中に配設され、その筐体１００は眼鏡（本体部１０）の柄の部分に取り付けられている。筐体１００は眼鏡に着脱可能である。また、筐体１００表面の所定箇所には、ディスプレイ装置２０にケーブル５００を接続するための接続端子（不図示）が設けられている。第六実施形態では、ディスプレイ装置２０の制御は、ケーブル５００を用いた有線通信で端末装置３００によって行われる。また、ディスプレイ装置２０への電力は、ケーブル５００を介して端末装置３００から供給される。このため、第六実施形態では、上記第五実施形態における電源部及び電源スイッチは筐体１００に設けられていない。尚、この場合であっても、電源部を筐体１００に設けるようにしてもよい。

端末装置３００は、図４２に示すように、表示部３１０と、通信部３２０と、制御部７００と、記憶部９００と、インターフェースとしての接続端子（不図示）とを有する。表示部３１０の画面にはタッチパネルが設けられている。端末装置３００の接続端子にはケーブル５００が接続される。ディスプレイ装置２０と端末装置３００とはケーブル５００で接続されており、端末装置３００はこのケーブル５００を介してディスプレイ装置２０、撮像装置３０、タッチパッド部４０と、マイク部５０と、スピーカ部６０と通信することができる。例えば、端末装置３００の接続端子及び筐体１００に設けられた接続端子としてはＨＤＭＩ（登録商標）端子を、ケーブル５００としてはＨＤＭＩ（登録商標）ケーブルを用いることができる。また、端末装置３００の接続端子及び筐体１００に設けられた接続端子としてはＵＳＢ端子を、ケーブル５００としてはＵＳＢケーブルを用いることができる。

記憶部９００には、各種のプログラムやデータ等が記憶されている。例えば、文字入力処理用プログラム、画面表示処理用プログラム、各種の元画面Ｍの画像データ、各元画面Ｍに関するデータ（具体的には、当該元画面Ｍの大きさ、形状、内容、構成等を示すデータ）が記憶部９００に記憶されている。また、上記第五実施形態と同様に、端末装置３００がディスプレイ装置２０を制御するための特別なディスプレイ装置制御用プログラムが記憶部９００に記憶されている。このディスプレイ装置制御用プログラムが制御部７００によって実行されると、表示部３１０に表示されている画面がその表示部３１０だけでなくディスプレイ装置２０にも表示されることになる。尚、ディスプレイ装置制御用プログラムの設定画面は、上記第五実施形態におけるものと同様であるので、ここでは、その詳細な説明を省略する。

制御部７００は、端末装置３００の全般を制御すると共に、ディスプレイ装置２０、撮像装置３０、タッチパッド部４０、マイク部５０、スピーカ部６０をも制御する。この制御部７００は、図４２に示すように、表示制御部７１０と、画像データ抽出部７２と、操作判定部７３と、操作位置特定部７４と、入力制御部７５とを備える。表示制御部７１０は、表示部３１０及びディスプレイ装置２０での表示に関する制御を行う。具体的に、ユーザがディスプレイ装置制御用プログラムの起動を指示すると、表示制御部７１０は、記憶部９００に記憶されているディスプレイ装置制御用プログラムを実行して、表示部３１０に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示する。これにより、眼鏡（本体部１０）をかけたユーザはその元画面Ｍに対応する視認画面Ｓを、空中に浮かんでいるように見ることができる。

次に、第六実施形態の眼鏡型端末１ｅにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理について説明する。図４３は第六実施形態の眼鏡型端末１ｅにおいてディスプレイ装置制御用プログラムにしたがってディスプレイ装置２０に画面を表示する処理の手順を説明するためのフローチャートである。

ユーザは眼鏡（本体部１０）をかけた状態で次の操作を行う。まず、ユーザは、端末装置３００のホーム画面よりディスプレイ装置２０への電力供給を開始するための設定を行う。これにより、端末装置３００からケーブル５００を介してディスプレイ装置２０へ電力が供給され、ディスプレイ装置２０の電源がオンになる。尚、筐体１００に電源部が設けられている場合には、筐体１００に設けられた電源部が、ディスプレイ装置２０に供給する電力の全部又は一部を賄うことになる。その場合には、電源スイッチを筐体１００に設け、その電源スイッチを押すとディスプレイ装置２０の電源がオンの状態になるようにしてもよい。次に、ユーザは、端末装置３００を操作して表示部３１０にメニュー画面を表示させる。そして、ユーザは、そのメニュー画面においてディスプレイ装置制御用プログラムのアイコンをタップし、そのディスプレイ装置制御用プログラムを選択する。端末装置３００の制御部７００は、ディスプレイ装置制御用プログラムが選択された旨の信号を受けると、ディスプレイ装置制御用プログラムを起動する（Ｓ７１）。ディスプレイ装置制御用プログラムが起動すると、制御部７００は、そのディスプレイ装置制御用プログラムにしたがって処理を行う。具体的に、制御部７００は、まず、端末装置３００とディスプレイ装置２０との接続状態を確認する処理を行う（Ｓ７２）。接続が確認されると、制御部７００は、ディスプレイ装置制御用プログラムの設定画面を表示部３１０に表示する。そして、現在、表示部３１０に表示されている画面に関するデータを、ケーブル５００を介してディスプレイ装置２０に送信し、その表示部３１０に表示されている画面の内容を元画面Ｍの内容としてディスプレイ装置２０に表示させる（Ｓ７３）。これにより、ユーザは、眼鏡（本体部１０）を通してその元画面Ｍに対応する視認画面Ｓを空中に浮かんでいるような感覚で見ることができる。その後、ユーザが端末装置３００を操作して、例えば、所望のアプリケーションプログラムを選択すると、制御部７００はそのアプリケーションプログラムを実行し、そのアプリケーションプログラムの画面を表示部３１０に表示すると共に、その画面に関するデータを、ケーブル５００を介してディスプレイ装置２０に送信して、表示部３１０に表示されている画面と同じ画面をディスプレイ装置２０に表示する。こうして、ユーザは、眼鏡（本体部１０）を通してそのアプリケーションプログラムの画面に対する視認画面Ｓを、空中に浮かんでいるように見ることができる。

ディスプレイ装置２０への画面表示を終了する場合、ユーザは、端末装置３００の表示部３１０にディスプレイ装置制御用プログラムの設定画面を表示し、その設定画面上に設けられた、ディスプレイ装置制御用プログラムを終了する旨のボタンＢ５をタップする。制御部７００は、ディスプレイ装置制御用プログラムを終了する旨の信号を受けると（Ｓ７４）、そのディスプレイ装置制御用プログラムを終了する（Ｓ７５）。あるいは、ユーザが視認画面Ｓ（ディスプレイ装置制御用プログラムの設定画面）に対して指でボタンＢ５をタップ操作したときに、制御部７００はボタンＢ５でタッチ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。これにより、制御部７００は画面に関するデータをディスプレイ装置２０に送信するのを停止し、ディスプレイ装置２０の画面には何も表示されなくなる。最後に、ユーザは端末装置３００のホーム画面よりディスプレイ装置２０への電力供給を停止するための設定を行う。これにより、ディスプレイ装置２０の電源がオフになる。尚、アプリケーションプログラムの画面上の所定箇所（例えば下の隅の位置）に所定のアイコンを表示しておき、ユーザが視認画面Ｓに対して指でそのアイコンをタップ操作したときに、制御部７００が当該アイコンに対してタップ操作が行われたことを認識して、ディスプレイ装置制御用プログラムを終了するようにしてもよい。

第六実施形態の眼鏡型端末は、上記第五実施形態のものと同様の効果を奏する。すなわち、第六実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。また、眼鏡としての本体部とその本体部に設けられたディスプレイ装置や撮像装置等の各部を制御する制御部を有する端末装置とを別体に構成したことにより、端末装置として、例えばスマートフォンやタブレット端末等の既存の携帯端末等を用いることができるので、本体部の部品点数を少なくして、本体部の構成を簡易なものとすることができると共に、操作性の向上を図ることができる。

尚、第六実施形態で説明した、本体部と端末装置とを別体に構成すると共に端末装置とディスプレイ装置や撮像装置等の各部とを有線で接続するという構成は、第一実施形態の眼鏡型端末に限らず、上述した他の実施形態（第二実施形態、第三実施形態、第四実施形態）の眼鏡型端末にも適用することができる。

［他の実施形態］
尚、本発明は上記の各実施形態に限定されるものではなく、その要旨の範囲内において種々の変形が可能である。

例えば、第三実施形態における画像変換部を第二実施形態の眼鏡型端末に設けるようにしてもよい。また、第四実施形態における目存在・不存在判定部及び報知制御部を第二実施形態の眼鏡型端末、又は第三実施形態の眼鏡型端末に設けるようにしてもよい。更に、第三実施形態における画像変換部と第四実施形態における目存在・不存在判定部及び報知制御部とを第二実施形態の眼鏡型端末に設けるようにしてもよい。

上記の第五実施形態及び第六実施形態では、端末装置としてスマートフォンやタブレット端末等の携帯端末を用いた場合について説明したが、本発明の眼鏡型端末では、端末装置として、スマートフォンやタブレット端末に限らず、例えば、スマートウォッチ、デジタルオーディオプレイヤー、パーソナルコンピュータ、カーナビゲーション、車載ＡＶ機器、専用端末等を用いるようにしてもよい。

上記の各実施形態では、ユーザが視認画面に対して指で操作を行う場合について説明したが、例えば、ユーザはスタイラスやペン等の入力指示具を用いて視認画面に対して操作を行うようにしてもよい。この場合、操作判定部は、ユーザの目に映り込んだ元画面及び入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、ユーザの目に映り込んだ元画面及び入力指示具を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定することになる。

上記の各実施形態において、ユーザは、視認画面に対して指でタッチ操作を行う場合に、指先に所定のマークを付しておくようにしてもよい。マークとしては、円や四角形等の単純な図形や記号等を用いることができる。ここで、指先にマークを付す方法としては、マークを直接、指先に描く方法だけでなく、マークを記したシールを指先に貼り付ける方法、マークを記したサック又はリングを指先に装着する方法等を用いることができる。具体的に、図９（ａ），図１０（ａ）に示すように、視認画面の表側から指でタッチ操作を行う場合には、マークを指の爪側に付しておくようにすればよい。一方、図９（ｂ），図１０（ｂ）に示すように、視認画面の表側だけでなく裏側からも指でタッチ操作する場合には、マークを指の爪側と、指先又は指の腹側（指紋のある部分）との両側に付しておくようにすればよい。尚、視認画面の裏側からのみ指でタッチ操作を行う場合には、マークを指先又は指の腹側にだけ付しておくようにしてもよい。この場合、画像データ抽出部は、マークが存在している画像データを、指が存在している画像データとして抽出する。そして、操作判定部は、マークの動きに基づいて指による操作がどのような内容の操作であるかを判定し、操作位置特定部は、マークの位置を指による操作の対象となった位置として特定する。実際、画像データの解析・処理に際しては、指自体の認識よりも単純な図形等のマークの認識の方が容易且つ正確に行うことができるので、画像認識の精度の向上を図ることができる。

上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタと、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部としてのホログラムシート（又はホログラムフィルム）とを備え、ホログラムシートが本体部のレンズ部に貼り付けられている場合について説明したが、ホログラムシートは、レンズ部に埋め込まれ若しくは一体化されていてもよい。

上記の各実施形態では、ディスプレイ装置におけるホログラムシート（又はホログラムフィルム）として小さな長方形状のものを用い、そのホログラムシートを横長の状態にしてレンズ部の上部であってやや右側に貼り付けており、そして、そのホログラムシートの全体に小型プロジェクタの液晶パネルに表示された画像や映像を投影する場合について説明したが、ホログラムシートとしては、様々な大きさ・形状のものを用いることができる。図２２は本発明の眼鏡型端末における本体部のレンズ部に貼り付けられるホログラムシートの例を示す図である。図２２（ａ）に示す例では、ホログラムシートとして小さな長方形状のものを用いて、そのホログラムシートを縦長の状態にしてレンズ部の上部であってやや右側に貼り付けている。図２２（ｂ）に示す例では、ホログラムシートとして大きな長方形状（例えば縦１．５ｃｍ、横２．５ｃｍ）のものを用いて、そのホログラムシートを横長の状態にしてレンズ部の上部であってやや右側に貼り付けている。また、図２２（ｃ）に示す例では、ホログラムシートをレンズ部の全面に貼り付けている。これらの例においても、当該ホログラムシートの全体に小型プロジェクタの液晶パネルに表示された画像や映像が投影される。もちろん、例えば、図２２（ｃ）に示すようにホログラムシートをレンズ部の全面に貼り付け、そのホログラムシートの一部に画像や映像を投影するようにしてもよい。

上記の各実施形態では、撮像装置が予めユーザの目にピントが合うように構成されている場合について説明したが、撮像装置としてはオートフォーカス機能を有するものを用いてもよい。図２３は本発明の眼鏡型端末においてオートフォーカス機能を有する撮像装置の概略ブロック図である。オートフォーカス機能を有する撮像装置３０ａは、図２３に示すように、カメラ部３１と、画像処理部３２と、カメラ制御部３３ａとを備える。カメラ部３１及び画像処理部３２は上記の各実施形態におけるものと同様である。カメラ制御部３３ａは、ユーザの目に自動的にピントを合わせるオートフォーカス制御部３３１を有する。

このオートフォーカス制御部３３１は、一般に、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部３１を制御するものである。この場合、例えば、撮像装置３０ａのカメラ部３１としては、撮像範囲の中央に一つのフォーカスポイントを有するものを用いる。そして、カメラ部３１のレンズの光軸上にユーザの目が位置するように撮像装置３０ａを本体部１０に取り付ける。オートフォーカス制御部３３１は、撮像が開始されると、フォーカスポイント上の被写体、すなわち、ユーザの目にピントが合うようにピントを合わせる。このため、撮像装置３０ａは、ユーザの目にピントが合った状態で画像を取得することができる。また、オートフォーカス制御部３３１は、被写体である目を認識し、その認識した目に自動的にピントを合わせるようにしてもよい。尚、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部３１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。

また、上記の各実施形態では、操作位置特定部が、一般の画像認識の手法を用いて、画像データに基づいて当該画像に含まれる元画面及び指を特定し、次に、その特定した元画面の範囲内のどこに指が位置しているのかを調べることにより、元画面内における当該指による操作の対象となった位置を表すデータを作成する場合について説明した。しかしながら、操作位置特定部としては、次のような処理を行うものを用いることもできる。すなわち、操作位置特定部は、ユーザの目に映り込んだ元画面及び指を撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指の位置を求め、その求めた撮像範囲内における当該元画面の範囲及び撮像範囲内における当該指の位置に基づいて当該元画面内における当該指による操作の対象となった位置を特定するようにしてもよい。

この操作位置特定部が行う処理の内容を詳しく説明する。この場合、撮像装置の撮像範囲内において、図６に示すように、左右方向をＸ軸方向、上下方向をＹ軸方向としてＸＹ座標系が設定される。このＸＹ座標系の原点は任意の位置に取られる。操作位置特定部は、まず、画像データに基づいて元画面の画像を認識し、ＸＹ座標系において元画面の画像の四隅の各位置についての位置データを取得する。この取得した四隅の各位置についての位置データは撮像範囲内における元画面の範囲を表すデータとなる。ここで、図２４に操作位置特定部が元画面の範囲を特定する上で望ましい元画面の例を示す。元画面としては、図２４（ａ）に示すように予め四隅の位置に大きな丸印等を表示したものや、図２４（ｂ）に示すように枠を太線で表したものを用いることにより、操作位置特定部が元画面の画像を認識し易くなる。次に、操作位置特定部は、画像データに基づいてユーザの指を認識し、ＸＹ座標系におけるユーザの指の位置データを取得する。その後、操作位置特定部は、ＸＹ座標系における四隅の各位置についての位置データと、ＸＹ座標系におけるユーザの指の位置データとに基づいて、例えば元画面の左下の点を原点とするｘｙ座標系におけるユーザの指の位置データを算出する。こうして算出されたｘｙ座標系におけるユーザの指の位置データが元画面内における指による操作の対象となった位置を特定するデータとなる。

上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタと、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部としてのホログラムシート（又はホログラムフィルム）とを備える場合について説明したが、ホログラムシート（又はホログラムフィルム）の代わりに、例えば、半透明スクリーンや透過型スクリーンを用いるようにしてもよい。

上記の各実施形態では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタと、光学系と、プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部としてのホログラムシート（又はホログラムフィルム）とを備える場合について説明したが、ホログラムシート（又はホログラムフィルム）の代わりに、例えば、ホログラム光学素子を用いるようにしてもよい。

上記の各実施形態では、ディスプレイ装置が、液晶パネル（表示デバイス）を有する小型プロジェクタと、光学系と、光（映像）の一部を反射するホログラムシート（又はホログラムフィルム）とを備える場合について説明したが、例えば、ディスプレイ装置としては、画像をハーフミラーに投影するものを用いてもよい。図２５（ａ）は画像をハーフミラーに投影するディスプレイ装置を備える眼鏡型端末の概略平面図、図２５（ｂ）はそのディスプレイ装置を備える眼鏡型端末の概略右側面図である。図２６は図２５に示す眼鏡型端末の概略斜視図である。図２５及び図２６に示す眼鏡型端末が上記の第一実施形態の眼鏡型端末と異なる点は、ディスプレイ装置の構成だけであり、その他の点については、図２５及び図２６に示す眼鏡型端末は第一実施形態の眼鏡型端末と全く同じである。図２５及び図２６においては、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付している。

図２５及び図２６に示すディスプレイ装置２０ａは、表示デバイスを有する小型プロジェクタと、光学系と、小型プロジェクタの表示デバイスに表示された元画面が光学系を介して投影される投影部としてのハーフミラーとを備える。この場合、ハーフミラーは、本体部１０のレンズ部１１の前に配置されたプリズム（光学系）の中に埋め込まれている。また、ディスプレイ装置２０ａと撮像装置３０はそれぞれ、本体部１０に着脱可能に構成することができる。尚、ハーフミラーを、本体部１０のレンズ部１１の前に配置されたプリズムと一体化し、又は本体部１０のレンズ部１１の前に配置されたプリズムに貼り付けるようにしてもよい。また、ハーフミラーは、本体部１０のレンズ部１１に貼り付けられ、又は本体部１０のレンズ部１１に埋め込まれ若しくは一体化されていてもよい。

また、ディスプレイ装置として画像をハーフミラーに投影するものを用いる場合には、撮像装置３０の撮像レンズを、ディスプレイ装置２０ａのハーフミラーの近傍に取り付けるようにしてもよい。図２７（ａ）は撮像レンズがハーフミラーの近傍に取り付けられた眼鏡型端末の概略平面図、図２７（ｂ）はその眼鏡型端末の概略右側面図である。図２８は図２７に示す眼鏡型端末の概略斜視図である。この場合、ユーザの目に向かう撮像レンズの光軸の方向と、ユーザが元画面Ｍを見るときの視線方向とのずれを最小限に抑えることができる。これにより、操作位置特定部による元画面Ｍ内における操作位置の特定を正確に行うことができる。尚、この場合も、ディスプレイ装置２０ａと撮像装置３０は、本体部１０に着脱可能に構成することができる。

尚、上記図２５、図２６及び図２７に示すディスプレイ装置２０ａにおいて、光学系は、プリズムに限られず、導光板や導波路であってもよい。また、導光板や導波路の代わりに、その他の光学系を用いてもよい。

また、上記図２５、図２６及び図２７に示すディスプレイ装置２０ａにおいて、ハーフミラーの代わりに、例えば、半透明スクリーン、透過型スクリーン、ホログラム光学素子を用いてもよい。

上記の各実施形態では、ディスプレイ装置が、液晶パネル（表示デバイス）を有する小型プロジェクタと、光学系と、光（映像）の一部を反射するホログラムシート（又はホログラムフィルム）とを備える場合について説明したが、この場合、ディスプレイ装置と撮像装置はそれぞれ、本体部に着脱可能に構成するようにしてもよい。

上記の各実施形態では、ディスプレイ装置の小型プロジェクタとして液晶パネルを有するものを用いた場合について説明したが、小型プロジェクタとしては、液晶パネルの代わりに、有機ＥＬ（Electro-Luminescence）ディスプレイや無機ＥＬディスプレイ等の表示デバイスを有するものを用いてもよい。

また、上記の各実施形態では、ディスプレイ装置として、小型プロジェクタ、光学系、ホログラムシート等を有するものを用いた場合について説明したが、ディスプレイ装置は、小型プロジェクタ、光学系、ホログラムシート等を含まず、透過型又は透明型の表示デバイスのみで構成されていてもよい。この透過型又は透明型の表示デバイスは、ユーザの顔の前側であってユーザの視野の範囲内に配置される。透過型又は透明型の表示デバイスとしては、例えば、透過型若しくは透明型の液晶パネル、透過型若しくは透明型の有機ＥＬパネル、又は、透過型若しくは透明型の無機ＥＬパネルを用いることができる。この場合でも、ユーザは透過型又は透明型の表示デバイスに表示された元画面そのものを見ると、その元画面に対応する視認画面を空中に浮かんでいるように認識することになる。

また、上記の各実施形態では、ディスプレイ装置として、小型プロジェクタ、光学系、ホログラムシート等を有するものを用いた場合について説明したが、ディスプレイ装置は、小型プロジェクタ、光学系、ホログラムシート等を含まず、透明型又は透過型ではない表示デバイスのみで構成されていてもよい。この表示デバイスは、ユーザの顔の前側であってユーザの視野の範囲内に配置される。透明型又は透過型ではない表示デバイスとしては、例えば、通常の液晶パネル、有機ＥＬディスプレイ、無機ＥＬディスプレイを用いることができる。

尚、上述したように、ディスプレイ装置が、有機ＥＬディスプレイや無機ＥＬディスプレイ等（表示デバイス）を有する小型プロジェクタと、光学系と、光（映像）の一部を反射するホログラムシート（又はホログラムフィルム）とを備える場合、ディスプレイ装置が透過型又は透明型の表示デバイスのみで構成されている場合、ディスプレイ装置が透過型又は透明型ではない表示デバイスのみで構成されている場合、ディスプレイ装置と撮像装置をそれぞれ、本体部に着脱可能に構成するようにしてもよい。

上記の各実施形態では、ディスプレイ装置に一つの元画面を表示する場合について説明したが、本発明は、これに限定されるものではなく、ディスプレイ装置に二つの元画面を表示するようにしてもよい。この場合、ユーザは二つの視認画面を空中に浮かんでいるように見ることになる。例えば、文字入力画面のキーボード画像を二つに分け、キーボード画像を右側キーボード画像と左側キーボード画像とから構成する場合には、ユーザは、右側キーボード画像と左側キーボード画像を空中に浮かんでいるように認識し、両手の指で文字の入力を行うことができる。

上記の各実施形態では、本発明の眼鏡型端末が一つのディスプレイ装置を備える場合について説明したが、本発明の眼鏡型端末は二つのディスプレイ装置を備えていてもよい。図２９（ａ）はホログラムシートを有するタイプの二つのディスプレイ装置を備える眼鏡型端末の概略斜視図、図２９（ｂ）はハーフミラーを有するタイプの二つのディスプレイ装置を備える眼鏡型端末の概略斜視図である。図２９（ａ）では、一方のディスプレイ装置２０におけるプロジェクタ２１及び光学系２２を本体部１０の右側の柄に取り付け、そのディスプレイ装置２０におけるホログラムシート２３を右眼用のレンズ部１１に貼り付けている。そして、他方のディスプレイ装置２０におけるプロジェクタ２１及び光学系２２を本体部１０の左側の柄に取り付け、そのディスプレイ装置２０におけるホログラムシート２３を左眼用のレンズ部１１に貼り付けている。ここで、ホログラムシート２３としては小さな長方形状のものを用い、二つのホログラムシート２３，２３をそれぞれ、横長の状態にしてレンズ部１１の右上部、左上部に貼り付けている。また、図２９（ｂ）では、一方のディスプレイ装置２０ａにおけるハーフミラーは、本体部１０の右側のレンズ部１１の前に配置されたプリズムの中に埋め込まれ、他方のディスプレイ装置２０ａにおけるハーフミラーは、本体部１０の左側のレンズ部１１の前に配置されたプリズムの中に埋め込まれている。図２９（ａ）及び（ｂ）のいずれの眼鏡型端末でも、ユーザは、一方のディスプレイ装置による視認画面を右眼で認識し、他方のディスプレイ装置による視認画面を左目で認識することになる。また、各ディスプレイ装置に対応して撮像装置を設けており、各撮像装置３０はそれぞれの側の目を撮像することになる。尚、二つのディスプレイ装置を備える眼鏡型端末では、タッチパッド部を、簡易キーボード機能を有するものと、操作パネル等の機能を有するものとの二つに分け、それらをそれぞれ、本体部の左側の柄、右側の柄に取り付けるようにしてもよい。

また、ディスプレイ装置が二つ設けられている場合、各ディスプレイ装置におけるホログラムシートとしては、様々な大きさ・形状のものを用いることができる。図３０は二つのディスプレイ装置を備える眼鏡型端末における本体部のレンズ部に貼り付けられるホログラムシートの例を示す図である。図３０（ａ）に示す例では、ホログラムシートとして小さな長方形状のものを用いて、二つのホログラムシートをそれぞれ、縦長の状態にしてレンズ部の右上部又は左上部に貼り付けている。図３０（ｂ）に示す例では、ホログラムシートとして大きな長方形状のものを用いて、二つのホログラムシートをそれぞれ、横長の状態にしてレンズ部の右上部又は左上部に貼り付けている。また、図３０（ｃ）に示す例では、二つのホログラムシートをそれぞれ、右眼用レンズ部又は左眼用レンズ部の全面に貼り付けている。

また、上記の各実施形態では、眼鏡型端末がタッチパッド部、マイク部及びスピーカ部を備えている場合について説明したが、眼鏡型端末は、タッチパッド部、マイク部及びスピーカ部の全部又は一部を備えていなくてもよい。

また、上記の各実施形態において、記憶部に、携帯電話、スマートフォン、タブレット端末、デジタルオーディオプレイヤーやラップトップコンピュータ等の携帯端末についての操作画面や、パーソナルコンピュータ等の情報端末についての操作画面や、照明、テレビ、エアコンやセキュリティシステム等の家庭電気製品についてのリモコン画面や、カーステレオ、カーナビゲーション、車載ＡＶ機器やエアコン等の電装装置についてのコントロールパネル画面を元画面として記憶しておくようにしてもよい。この場合、ユーザが、音声により又はタッチパッド部を用いた操作等を行うことにより元画面として上記操作画面等をディスプレイ装置に表示させ、その元画面に対応する視認画面に対して指で操作を行ったときに、制御部（遠隔制御部）はその操作の内容を示す指令信号（コマンド）を生成し、通信部を介してその生成した指令信号を上記携帯端末等に無線送信する。これにより、上記携帯端末等をリモートで操作することができる。すなわち、本発明の眼鏡型端末はエアコン等の遠隔制御可能な装置についてのリモートコントローラ（リモコン）として使用することもできる。図３１は元画面としてエアコンについてのリモートコントローラの操作部に対応する画面（リモコン画面）を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。図３１に示すように、ユーザがその視認画面に対して設定温度を下げることを指示するボタンを指で操作すると、制御部は設定温度を下げる旨のコマンドを生成し、通信部を介してそのコマンドを赤外線通信によりエアコンに送信し、これにより、ユーザはエアコンの設定温度を容易に下げることができる。また、図３２は、携帯電話で電話をかける際の操作画面についての元画面の例を示す図である。ユーザは、図３２（ａ）又は（ｂ）に示すような電話番号を入力するための元画面に対応する視認画面に対して、所望の電話番号を入力すると、制御部は当該電話番号に対して電話をかける旨のコマンドを生成し、通信部を介してそのコマンドを携帯電話に送信し、これにより、ユーザは携帯電話を手で持たずに電話をかけることができる。

上記の各実施形態では、本体部が眼鏡である場合について説明したが、本体部はフェイスシールドであってもよい。図３３は本体部がフェイスシールドである眼鏡型端末の概略斜視図である。図３３に示すように、本体部１０ａとしてのフェイスシールドは、ユーザの顔の表面の一部又は全部を覆うように構成された透明なシールド部１２と、そのシールド部１２を固定するフレーム１３とを有する。この場合、ディスプレイ装置のホログラムシート２３は、例えば、シールド部１２の所定箇所に貼り付けられ、又はシールド部１２に埋め込まれ若しくは一体化される。また、タッチパッド部４０は、図３３（ａ）に示すように右側のフレーム１３に取り付けたり、図３３（ｂ）に示すようにシールド部の右下側に取り付けたりすることができる。

上記の第五実施形態又は第六実施形態において、端末装置を、ディスプレイ装置の画面上での各種の操作（例えば、ポインタの動作、文字の入力等）を指示するためのタッチパッド部として使用するようにしてもよい。すなわち、端末装置にタッチパッド機能を持たせるようにしてもよい。例えば、端末装置としてスマートフォンやタブレット端末を用いている場合には、その端末装置の表示部にタッチパッドの画像を表示し、表示部の画面自体をタッチパッド部として使用することができる。図４４は第五実施形態において端末装置としてスマートフォンを用いている場合にその端末装置の画面をタッチパッド部として使用している様子を示す図である。ここで、ユーザは、指や入力指示具を用いて表示部３１０の画面（タッチパッド部）を操作する。具体的に、端末装置３００には、表示部３１０の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を入力制御部７５に出力する位置検知部が備えられている。また、端末装置３００の記憶部９００には、表示部３１０に表示されるタッチパッドの画像に関するデータが記憶されている。入力制御部７５は、ディスプレイ装置２０に元画面Ｍが表示されている場合、表示部３１０にタッチパッドの画像が表示され、ユーザがタッチパッドの画像上で接触操作を行ったときに、位置検知部から送られる当該接触操作に対する接触位置情報及び記憶部９００に記憶されているタッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、ディスプレイ装置２０に表示されている元画面Ｍの制御を行う。また、端末装置としてパーソナルコンピュータを用いている場合には、そのパーソナルコンピュータに付帯するタッチパッドやキーボードをタッチパッド部として使用することができる。尚、タッチパッド部としては、マウス機能を有するもの、簡易キーボード機能を有するもの、又は、マウス機能と簡易キーボード機能の両方を有するものを用いることができる。また、タッチパッド部としては、これらに限らず、番号パネルや操作パネル等を有するものを用いてもよい。

上記の第五実施形態又は第六実施形態において、端末装置を、ディスプレイ装置の画面上に表示されたカーソルを移動したりその画面上に表示された対象を選択したりするマウスとして使用するようにしてもよい。すなわち、端末装置にマウス機能を持たせるようにしてもよい。この場合、端末装置には、当該端末装置の移動方向を検知すると共に当該端末装置の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を入力制御部に出力する移動情報出力部が備えられている。また、端末装置の記憶部には、端末装置の移動情報とディスプレイ装置に表示されるカーソルに関連する操作との対応関係を表すデータが記憶されている。入力制御部は、ディスプレイ装置に元画面が表示されている場合、ユーザが端末装置を移動させたときに、移動情報出力部から送られる当該移動に対する移動情報及び記憶部に記憶されている上記対応関係を表すデータに基づいてカーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、ディスプレイ装置に表示されている元画面の制御を行う。例えば、上記対応関係を表すデータには、端末装置を表示部の画面の右（左）方向に動かすことがカーソルを右（左）方向に移動させることに対応すること、端末装置を表示部の画面の上（下）方向に動かすことがカーソルを上（下）方向に移動させることに対応すること、端末装置を表示部の画面の垂直方向に短く一回動かすことがタップ操作を行うことに対応すること、端末装置を表示部の画面の垂直方向に短く二回動かすことがダブルタップ操作を行うことに対応すること、端末装置を表示部の画面の垂直方向に長く動かすことがスワイプ操作を行うことに対応すること等の内容が含まれている。これにより、ユーザは、端末装置をその画面の右（左）方向に動かすことにより、カーソルが右（左）方向に移動すべきことを端末装置に指示し、端末装置をその画面の上（下）方向に動かことにより、カーソルが上（下）方向に移動すべきことを端末装置に指示することができる。図４５は第五実施形態において端末装置としてスマートフォンを用いている場合にその端末装置をマウスとして使用してカーソルの移動を指示している様子を示す図である。尚、端末装置がマウス機能だけでなく、上述のタッチパッド機能を有する場合には、ユーザは、マウス機能を利用してカーソルの移動を端末装置に指示し、タッチパッド機能を利用してタップ、ダブルタップ、スワイプ、ドラッグ等を端末装置に指示することも可能である。

上記の各実施形態では、本発明の眼鏡型端末を、ユーザが眼鏡をかけるように頭部に装着する場合について説明したが、本発明の眼鏡型端末は、ディスプレイ装置や撮像装置等を備えるものであれば、耳にかけて使用する端末に限られるものではなく、頭部の例えば、後頭部、前頭部或いは頭頂部にかけて使用するもの、具体的には、ヘッドセット型端末、ヘッドマウンテッドディスプレイ（ＨＭＤ）型端末、ゴーグル型端末であってもよい。この点で、本発明の眼鏡型端末とは、広い意味で、ユーザが頭部に装着して使用する端末のことである。

以上説明したように、本発明の眼鏡型端末では、使用者の目を撮像することにより使用者が視認画面に対して指又は所定の入力指示具で操作を行ったときに使用者の目に映り込んだ元画面及び当該指又は入力指示具についての画像を取得するための撮像装置が本体部に設けられており、操作判定部は、撮像装置で得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、操作位置特定部は、撮像装置で得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定し、そして、入力制御部は、操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。したがって、本発明は、使用者が眼鏡のように装着して使用する眼鏡型端末に適用することができる。

１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ 眼鏡型端末
１０，１０ａ 本体部
１１ レンズ部
１２ シールド部
１３ フレーム
２０，２０ａ ディスプレイ装置（表示装置）
２１ 小型プロジェクタ
２２ 光学系
２３ ホログラムシート（又はホログラムフィルム）
３０，３０ａ 撮像装置
３１ カメラ部
３２ 画像処理部
３３，３３ａ カメラ制御部
３３１ オートフォーカス制御部
４０ タッチパッド部
５０ マイク部
６０ スピーカ部（報知装置）
７０，７０ａ，７０ｂ，７０ｃ，７００ 制御部
７１，７１０ 表示制御部
７２ 画像データ抽出部
７３ 操作判定部
７４ 操作位置特定部
７５ 入力制御部
７０１ 虹彩・瞳孔画像データ生成部
７０２ 画像差分抽出部
７０３ 画像変換部
７０４ 目存在・不存在判定部
７０５ 報知制御部
８０ 通信部
９０，９００ 記憶部
１００ 筐体
２００ 文字入力画面
２１０ キーボード画像
２２０ 表示領域
２２１ 検索画面
２２１１ キーワード入力部
２２１２ 検索結果表示部
３００ 端末装置
３１０ 表示部
３２０ 通信部
５００ ケーブル
Ｍ 元画面
Ｓ 視認画面

Claims (24)

1. 使用者によって眼鏡のように装着される本体部と、前記本体部に設けられた、前記使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、前記使用者が前記本体部を装着して前記視認画面に対して各種の操作を行うために使用される眼鏡型端末において、
   前記元画面に関するデータを含む各種のデータを記憶する記憶部と、
   前記本体部に設けられた、前記使用者の目を撮像することにより、前記使用者が前記視認画面に対して指又は所定の入力指示具で操作を行ったときに前記使用者の目に映り込んだ前記元画面及び当該指又は入力指示具についての画像を取得するための撮像装置と、
   前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
   前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて当該指又は入力指示具による操作の対象となった位置が当該元画面内におけるどの位置であるのかを特定する操作位置特定部と、
   前記使用者が前記視認画面に対して前記指又は入力指示具で操作を行ったときに、前記操作判定部で得られた当該指又は入力指示具による操作の内容に関するデータと、前記操作位置特定部で得られた当該元画面内における当該指又は入力指示具による操作の対象となった位置を表すデータと、前記記憶部に記憶されている当該元画面に関するデータとに基づいて、当該視認画面に対して行われた当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示装置に表示する前記元画面の制御を行う入力制御部と、
   を備えることを特徴とする眼鏡型端末。
2. 前記操作位置特定部は、前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた一連の画像データに基づいて、前記撮像装置が撮像することができる範囲である撮像範囲内における当該元画面の範囲及び前記撮像範囲内における当該指又は入力指示具の位置を求め、その求めた前記撮像範囲内における当該元画面の範囲及び前記撮像範囲内における当該指又は入力指示具の位置に基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することを特徴とする請求項１記載の眼鏡型端末。
3. 前記撮像装置は予め前記使用者の目にピントが合うように構成されていることを特徴とする請求項１又は２記載の眼鏡型端末。
4. 前記撮像装置は前記使用者の目に自動的にピントを合わせるオートフォーカス制御部を有することを特徴とする請求項１又は２記載の眼鏡型端末。
5. 前記撮像装置で撮像して得られた一連の画像データの中から、前記指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、
   前記操作判定部は、前記画像データ抽出部で抽出された一連の画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定し、前記操作位置特定部は、前記画像データ抽出部で抽出された一連の画像データに基づいて当該元画面内における当該指又は入力指示具による操作の対象となった位置を特定することを特徴とする請求項１、２、３又は４記載の眼鏡型端末。
6. 前記表示装置に前記元画面を表示する前に前記使用者の目を前記撮像装置で撮像したときに、その撮像して得られた画像データに基づいて虹彩及び瞳孔の画像データを生成して前記記憶部に記憶する虹彩・瞳孔画像データ生成部と、
   前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データと前記記憶部に記憶されている前記虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、前記虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、
   が更に備えられており、
   前記画像データ抽出部は、前記画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項５記載の眼鏡型端末。
7. 前記表示装置に前記元画面を表示する前に、コンタクトレンズを装着している前記使用者の目を前記撮像装置で撮像したときに、その撮像して得られた画像データに基づいてコンタクトレンズ、虹彩及び瞳孔の画像データを生成して前記記憶部に記憶する虹彩・瞳孔画像データ生成部と、
   前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データと前記記憶部に記憶されている前記コンタクトレンズ、虹彩及び瞳孔の画像データとに基づいてそれらの差分を抽出する処理を行うことにより、前記コンタクトレンズ、虹彩及び瞳孔の画像が取り除かれた画像データを生成する画像差分抽出部と、
   が更に備えられており、
   前記画像データ抽出部は、前記画像差分抽出部で生成された一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項５記載の眼鏡型端末。
8. 本来球面の形状を持つ前記使用者の目に映り込んだ前記元画面及び前記指又は入力指示具についての画像が平面上に映り込んだ画像となるように、前記撮像装置で撮像して得られた画像データに対して画像変換を行う画像変換部が更に備えられており、
   前記画像データ抽出部は、前記画像変換部で画像変換が行われた一連の画像データを用いて画像データの抽出処理を行うことを特徴とする請求項５、６又は７記載の眼鏡型端末。
9. 前記撮像装置で撮像して得られた画像データに前記使用者の目の画像が存在しているかどうかを判定し、前記使用者の目の画像が存在していない画像データが前記撮像装置で一定時間継続して取得されたことを検知する目存在・不存在判定部と、
   前記目存在・不存在判定部により前記使用者の目の画像が存在していない画像データが前記撮像装置で前記一定時間継続して取得されたことが検知されたときに、報知装置を制御して前記報知装置から音又は振動を発生させる報知制御部と、
   が更に備えられていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
   
10. 前記表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、
    前記リモートコントローラの操作部に対応する画面を元画面として前記表示装置に表示させ、その元画面に対応する視認画面に対して操作が行われたときに、その操作の内容を示す指令信号を生成し、その生成した指令信号を前記遠隔制御可能な装置に無線送信する遠隔制御部を更に備えることを特徴とする請求項１乃至９の何れか一項記載の眼鏡型端末。
11. 前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影される投影部とを備えており、
    前記投影部は、半透明スクリーン、透過型スクリーン、ホログラムシート、ホログラムフィルム、ホログラム光学素子又はハーフミラーであることを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
12. 前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影される投影部とを備えており、
    前記光学系は、プリズム、導光板又は導波路であることを特徴とする請求項１乃至１１の何れか一項記載の眼鏡型端末。
13. 前記表示装置は透過型又は透明型の表示デバイスであり、前記表示デバイスは前記使用者の顔の前側であって前記使用者の視野の範囲内に配置されていることを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
14. 前記本体部は眼鏡であり、
    前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるホログラムシート又はホログラムフィルムとを備え、前記ホログラムシート又はホログラムフィルムは、前記本体部においてレンズが取り付けられるレンズ部に貼り付けられ、又は前記本体部の前記レンズ部に埋め込まれ若しくは一体化されていることを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
15. 前記本体部は眼鏡であり、
    前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるハーフミラーとを備え、前記ハーフミラーは、前記本体部においてレンズが取り付けられるレンズ部の前に配置されたプリズムの中に埋め込まれ若しくは一体化され、又は前記本体部の前記レンズ部の前に配置されたプリズムに貼り付けられていることを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
16. 前記本体部は眼鏡であり、
    前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるハーフミラーとを備え、前記ハーフミラーは、前記本体部においてレンズが取り付けられるレンズ部に貼り付けられ、又は前記本体部の前記レンズ部に埋め込まれ若しくは一体化されていることを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
17. 前記プロジェクタ、前記光学系、及び前記撮像装置は、前記本体部に着脱可能に構成されていることを特徴とする請求項１１、１２、１４乃至１６の何れか一項記載の眼鏡型端末。
18. 前記本体部はフェイスシールドであることを特徴とする請求項１乃至１３の何れか一項記載の眼鏡型端末。
19. 前記本体部は前記使用者が眼鏡のように耳にかけて使用するのではなく、前記使用者が耳以外の頭部のいずれかの部位に装着して使用することを特徴とする請求項１乃至１８の何れか一項記載の眼鏡型端末。
20. 前記使用者がタッチ操作を行うことにより各種の指示を入力するためのタッチパッド部が前記本体部に取り付けられていることを特徴とする請求項１乃至１９の何れか一項記載の眼鏡型端末。
21. 前記本体部と別体に構成された、表示部を搭載する端末装置を更に備えており、
    前記端末装置が、前記表示装置と無線又は有線で接続されており、前記表示部に表示されている画面を前記元画面として前記表示装置に表示するように前記表示装置を制御する機能を有することを特徴とする請求項１乃至２０の何れか一項記載の眼鏡型端末。
22. 前記表示装置及び前記撮像装置は、前記本体部に着脱可能に構成されていることを特徴とする請求項１乃至２１の何れか一項記載の眼鏡型端末。
23. 前記端末装置には、前記表示部の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報を前記入力制御部に出力する位置検知部が備えられており、
    前記表示部に表示されるタッチパッドの画像に関するデータが前記記憶部に記憶されており、
    前記入力制御部は、前記表示装置に元画面が表示されている場合、前記表示部に前記タッチパッドの画像が表示され、前記使用者が前記タッチパッドの画像上で接触操作を行ったときに、前記位置検知部から送られる当該接触操作に対する接触位置情報及び前記記憶部に記憶されている前記タッチパッドの画像に関するデータに基づいて当該接触操作の内容を認識し、その認識した接触操作の内容にしたがって、前記表示装置に表示されている元画面の制御を行うことを特徴とする請求項２１記載の眼鏡型端末。
    
24. 前記端末装置には、当該端末装置の移動方向を検知すると共に当該端末装置の移動量を計測し、その検知した移動方向及びその計測した移動量を示す移動情報を前記入力制御部に出力する移動情報出力部が備えられており、
    前記端末装置の移動情報と前記表示装置上に表示されるカーソルに関連する操作との対応関係を表すデータが前記記憶部に記憶されており、
    前記入力制御部は、前記表示装置に元画面が表示されている場合、前記使用者が前記端末装置を移動させたときに、前記移動情報出力部から送られる当該移動に対する移動情報及び前記記憶部に記憶されている前記対応関係を表すデータに基づいて前記カーソルに関連する操作の内容を認識し、その認識した操作の内容にしたがって、前記表示装置に表示されている元画面の制御を行うことを特徴とする請求項２１又は２３記載の眼鏡型端末。
    

Images