JP6501444B2 - プロジェクション装置を備えた、とりわけ通信機器である電子機器、および、電子機器の動作方法 - Google Patents

Description

本発明は、請求項１の上位概念に記載の構成を有する電気機器に関する。

上述のような、とりわけ通信機器である電子機器は特に、プロジェクション装置を有する通信端末機器の形態として、たとえばポータブルコンピュータまたは携帯電話等の形態で、周知となっている。

このような通信機器は、画像情報の表示を行うために、電気機器の比較的小さい表示面ないしはディスプレイ装置だけが用いられるのではなく、画像情報をユーザの眼に直接投影できるという利点を有する。それゆえ有利には、上述のような電気機器をたとえば眼鏡として構成して使用し、ユーザがこの眼鏡を掛けて、当該ユーザの眼に投影が行われることによってユーザがスクリーン内容を見られるように構成することが可能である。

上述のような電気機器は、「仮想網膜ディスプレイ」という名称でも知られている。ユーザは上述のようなデータ眼鏡を用いて、フェードインされた内容を見ることができる。典型的には、本発明のこのような電気機器をデータ眼鏡として構成するために、表示ないしは投影すべき画像情報を網膜に結像させるレーザスキャナが使用される。

従来のデータ眼鏡の欠点は、データ眼鏡を使用するユーザ側のフィードバックを生成ないしは認識するのが、たとえば、特定の機能を実行したり特定のアクションを行うために、表示されている画像情報の一部領域を選択すべきとするフィードバックの生成ないしは検出が、非常に困難になることである。というのも、非接触で制御を行うのは不可能であるか、または非接触制御にかかる手間が非常に大きいからである。

本発明の課題は、たとえば特定の機能を実行したり特定のアクションを行うために表示中の画像情報の一部領域を選択するフィードバックの生成および検出を容易に実現できるようにすることである。

前記課題は、
プロジェクション装置に対する投影面の相対的な変移または回転の態様で当該投影面の動きを、当該投影面における反射に基づく反射信号を用いて検出する検出装置を備えており、投影ビーム経路と検出放射経路とが少なくとも、当該投影ビーム経路に設置された光学部品において一致する
電気機器により解決される。

プロジェクション装置を備えた本発明の電気機器の概略的な斜視図である。 本発明の電気機器の投影ビーム経路ないしは検出放射経路の概略的な側面図である。 本発明の電気機器の投影ビーム経路ないしは検出放射経路の概略的な側面図である。 本発明の電気機器の概略的なブロック回路図である。 前記電気機器の動作を説明するための概略的な例を示す図である。 網膜表示の概略的な例を示す図である。

従来技術に対する、独立請求項に記載された本発明の電気機器および電気機器動作方法の利点は、仮想的に表示されるがユーザには見えるオブジェクトを、投影されたユーザの眼によって回転および焦点合わせすることにより、表示されている画像情報の特定の一部領域を選択できるようにすることにより、投影された画像情報に関するユーザのフィードバックを簡単に実現できることである。このことが可能であるのは、人間の眼は通常、見ている物ないしは凝視されている物を常に、最大視覚解像度領域ないしは高解像視覚領域（黄斑）において結像させるように、回転および焦点合わせによって自然ないしは自ずと回転するからである。本発明ではこのようにして、オブジェクトを識別することができる。本発明では、観察者の網膜の観測を行う。その際には、ユーザの眼に画像を投影すると同時に、網膜の結像を求める。その際には、マイクロミラーモジュールを通る逆行の光線経路を用いて、網膜における静脈構造ないしは色素領域を検出しなければならない。このようにして、スキャナが光を現在照射している面の場所にある網膜構造が観測される。眼は、見ている物を常に、回転および焦点合わせによって高解像視覚領域（黄斑）に結像するので、１回検出して記憶された、網膜の構造に基づき、網膜の変移ないしは回転の変位ベクトルを計算することにより、表示されている画像情報のうち見ている物を検出ないしは識別することが可能である。

従属請求項と、図面を参照した以下の記載内容とから、本発明の有利な実施形態を導き出すことができる。

有利な実施形態によれば、検出装置は、‐投影面の総面積と比較して‐空間的に拡張して前記投影面に光を照射するための放射源を有する。

本発明ではこのような構成により、特に有利には、投影に使用される可視光の他にさらに、たとえば赤外線放射源と、赤外線感知受光素子とを使用することが可能である。それゆえ本発明では、網膜の結像を検出するために、投影に使用される可視光を必ず使用しなければならないという訳ではない。しかし、上記実施形態に代わる本発明の択一的な実施形態では、投影に使用される光を使用すること、とりわけ青色光、ないしは、投影に使用される光の青色スペクトル成分を使用することも可能である。本発明の電気機器の、この最後に挙げた実施形態では、もちろん、投影面の総面積に対して拡張された空間で前記投影面に光を照射するための光源を（投影光源に追加して）設置しなくてもよい。このような追加的な、検出装置用の放射源を備えた、本発明の電気機器の１つの実施形態では、反射信号を生成するため放射源として、前記投影に使用される可視光生成レーザの他に追加的に設けられる赤外線レーザダイオードを使用することができる。この実施例では、反射信号を生成するために設けられた前記放射源、ないしは、当該放射源によって生成された放射は、前記投影光と共に投影面に投射されて当該投影面によって反射し戻される。しかし、逆に、拡張された空間で前記投影面に（すなわち、投影ビーム経路の外側に）光を照射する放射源を用いる場合には、投影面によって反射された当該放射源の光、とりわけ赤外線は、前記投影ビーム経路の一部を用いて検出され、このように検出することにより、反射信号を角度分解方式ないしは座標分解方式で解析することが可能となる。それゆえ、反射信号の位置分解能により、反射信号の放射から、とりわけ反射された赤外線から、投影された画像ないしは投影された画像情報の画像座標と、投影面ないしは網膜の反射結像とを対応付けることが、どのような場合でも可能となる。

本発明ではさらに追加的に、（ユーザ側の）たとえば瞬き等の付加的な身振りまたは音響信号を検出することにより、ソフトウェア制御のための機能のトリガを行うために、電気機器の表示面内ないしは投影面上に投影された画像情報内にある見ているオブジェクトを使用すべきか否かを通知することも可能である。たとえば、アプリケーションのスピーカ制御のためのボタン等、または選択メニュー等とすることができる。本発明ではこのようにして、ユーザの網膜としての投影面に投影される表示画像情報内の制御シンボルを単に凝視するだけで、他に入力補助を必要とすることなく、表示された画像内容を制御することができる。

本発明では特に有利には、検出装置は検出出力部を有し、この検出出力部により、放射源から出力される放射が投影面に向けられる。このような構成により、本発明では有利には、追加的な前記放射源を用いて投影面の全面に照明ないしは照射されるにもかかわらず、投影面の反射構造ないしは反射パターンに関するフィードバックを位置分解方式で行うことが可能である。

本発明ではさらに有利には、前記検出装置はビームスプリッタを有し、前記ビームスプリッタは検出放射経路に配置されており、少なくとも１つの光学部品と前記ビームスプリッタとの間では、前記投影ビーム経路と前記検出放射経路とが同一であり、前記ビームスプリッタは投影ビーム経路上において、有利には投影光源と前記少なくとも１つの光学部品との間の場所に配置されている。このような構成により、本発明では有利には、前記反射信号の出力結合を容易に行うことができ、このように容易に出力結合できることにより、反射された網膜結像の解析を簡単に行うことができる。

本発明ではさらに有利には、前記検出装置はさらに検光素子を有し、この検光素子は、前記放射源から放射された放射に対して、または、前記投影光源から放射された光の少なくとも一部に対して感度を有する。このような検光素子の構成により、本発明では有利には、投影面の反射構造に関する、位置分解方式の情報、とりわけユーザの網膜の反射構造に関する情報を位置分解方式で得ることができ、これにより、反射信号の時間的推移に基づいて、ユーザが画像情報のどの部分に現在焦点を合わせているかを判定することができる。

本発明ではさらに有利には、前記電気機器が通信機器であり、とりわけポータブル通信端末機器であり、とりわけ、ポータブルコンピュータまたは携帯電話機として構成されている。このような構成により、本発明では有利には、前記電気機器を特に移動用に用いる場合、たとえばコンピュータマウス等のポインタ装置を使用できない場合に、上述の構成の電気機器のプロジェクション装置を使用することができる。

本発明はさらに、装置発明の独立請求項に記載のプロジェクション装置を備えた電気機器の動作方法も対象とする。前記電気機器はとりわけ通信機器である。

本発明の方法では有利には、‐投影面の総面積に対して‐空間的に拡張された当該投影面の領域に対応する反射信号と、記憶された基準反射信号とを比較することにより、有利には、投影面上の画像情報の全領域と基準反射信号とを比較することにより、前記投影面の動きをプロジェクション装置に対する当該投影面の相対的な変移または回転として検出する。

このような構成により、本発明では特に有利には、前記投影面の変移ないしは動きを簡単に検出することが可能となり、これに応じて、投影された画像情報のうち、ユーザ側によって焦点が合わせられた一部画像を検出することができる。

図面に本発明の実施例を示しており、以下の記載にてこれらの実施例を詳細に説明する。

異なる図において同一の構成要素には、常に同一の符号を付している。したがって、同一の構成要素については通常、１回のみ言及ないしは説明する。

図１に、電気機器５の一例である通信機器５を概略的な斜視図で示す。図１では電気機器５は、レーザスキャナプロジェクタ２が組み込まれたデータ眼鏡１として構成されている。この電気機器５では、レーザモジュールとミラー偏向ユニットとがプロジェクションヘッド２内に組み込まれている。駆動制御電子回路もプロジェクションヘッド２に組み込むことができ、または、視界外にある別個のモジュール３内に設置することも可能である。プロジェクションヘッド２と前記別個のモジュール３とが合わさって、本発明の電気機器５を構成する。

図２および３の各図は、本発明の電気機器５の投影ビーム経路（図２）ないしは検出放射経路（図３）の概略的な側面図である。レーザモジュール１０は典型的には複数のレーザ装置を含み、これらのレーザ装置は、可視波長領域のビーム光を複数のマイクロミラー１１ａ，１１ｂに照射し、これらのマイクロミラー１１ａ，１１ｂによって投影光ないしは投影光ビームが投影面１２に向けて偏向される。前記レーザモジュール１０は、以下では投影光源１０とも称する。前記投影面１２は典型的には人間の網膜に相当し、符号１３によって示された投影縁の射線ないしは角度の領域内に人間の眼球があるとする。上述のようなマイクロミラーシステム１１ａ，１１ｂにより、マイクロミラー１１ａ，１１ｂの機械的な偏向によって、投影すべき画像情報を前記投影面１２上に、すなわちユーザの網膜上に走査線方式で表示ないしは投影することが可能となる。マイクロミラー１１ａ，１１ｂは以下では光学部品１１ａ，１１ｂとも称され、ミラーが１つである場合には１つの光学部品とも称される。図２にて矢印により示された、投影光源１０を出発点とする投影光の伝搬経路は、本発明の投影ビーム経路４１に相当する。

図３に、本発明の電気機器５の検出放射経路５１の一実施例を概略的に示す。同図ではさらに、投影光源１０とマイクロミラーシステム１１ａ，１１ｂと投影面１２とが示されている。発光ダイオード１５から、典型的には赤外光である放射が送出され、これもまた投影面１２上に投射ないしは投影される。前記発光ダイオード１５は以下では放射源１５とも称され、この発光ダイオード１５から送出される光はたとえば、約８００ｎｍ〜９５０ｎｍの波長領域内にある光である。放射源１５の光ないしは放射が、有利には赤外光が、散乱性または反射性のオブジェクト２２に当たると、投影面１２上に投射された放射とりわけ赤外線の一部２３が反射し戻され、前記ミラーシステムのミラー１１ａ，１１ｂを介して伝搬する。前記散乱性または反射性のオブジェクト２２はたとえば、ユーザの網膜の静脈構造である（これはたとえば、投影面１２すなわち網膜の前方に存在する静脈構造である）。放射源１５から送出された放射は、図３では符号２１によって示されているのに対し、反射された放射は符号２３によって示されている。放射源１５から送出された放射の反射光２３は、以下では反射信号５２とも称される。この反射信号５２はマイクロミラーシステム１１ａ，１１ｂを介して、ないしは少なくとも１つの光学部品１１ａ，１１ｂを介してビームスプリッタ１４へ供給され、このビームスプリッタ１４はこの光線（典型的には赤外光線）を投影光から分離する。このビームスプリッタ１４はたとえば、可視光に対して透過性であり、検出対象である赤外線に対しては反射性、ないしは一般化して言うと、放射源１５から送出された放射に対して反射性とすることができる。このようなビームスプリッタ１４により、反射された光２３すなわち反射信号５２が受光素子１６へ導光される。この受光素子１６は以下では放射検出器１６とも称される。この放射検出器１６は、前記投影面１２によって反射された光を評価するために用いられる。投影面１２上において観察される場所の位置はミラー１１ａ，１１ｂの調整角度に依存するので、投影中、反射信号５２によって投影面１２の表面全体を走査することができる。レーザプロジェクションデータ眼鏡の場合には、投影面はユーザの網膜上に直に存在する。その場合には、上述の装置によって網膜の赤外線反射性が伝達される。

図４は、本発明の電気機器５の概略的なブロック回路図である。画像ソース６は、投影すべきビデオ信号をビデオ制御装置８ないしはビデオコントローラへ供給し、このビデオコントローラ８ないしはビデオ制御部は、ビデオ情報ないしは画像情報に相当する駆動制御信号を生成するための信号を投影光源１０へ供給する。投影光源１０はこの信号を、前記少なくとも１つの光学部品１１ａ，１１ｂへ送り、当該光学部品１１ａ，１１ｂは投影ビーム経路４１を介してこの投影光を投影面１２へ送る。放射源１５もまた前記ビデオ制御装置８によって制御され、図３に示された実施例では、この放射源１５も投影面１２上へ放射を、とりわけ赤外線を放射する。投影面１２は、前記放射源１５から受け取った放射の少なくとも一部を反射し戻し、この放射は再びミラーシステムによって、ないしは前記少なくとも１つの光学部品１１ａ，１１ｂによって捉えられ、放射検出器１６へ送られる（とりわけビームスプリッタ１４を用いて。図４には特に示されていない）。検出された前記反射信号５２を用いて、ユーザの網膜がどの方向に回転して、画像情報のどの領域ないしはどの部分に焦点が合わせられているかを特定できるように、電気機器５内に設けられたメモリ領域７が基準反射信号を記憶している。この基準反射信号は典型的には、ユーザの網膜の基準反射信号である。その際にはたとえば、本発明の装置のユーザ側の瞬きまたは他の入力動きないしは入力命令によって、上記で行った選択の作動を行うことができる。本発明では、とりわけ赤外線発光ダイオードである前記放射源１０は、パルスモードまたは連続モードで動作することが可能である。本発明ではとりわけ、前記反射光５２ないしは反射信号５２をフィルタリングすることにより、受光素子すなわち放射検出器１６に赤外線成分のみが入射するようにすることができる。このようにして、反射信号の、放射検出器１６において受信された信号と、前記少なくとも１つの光学部品１１ａ，１１ｂのミラー位置とに対応付け、メモリに伝送することができる（赤外線イメージ）。

図５に、画像情報３１の内容を概略的に示す。同図には制御シンボル３６が示されており、これらはアプリケーションソフトウェアによってフェードインされ、ユーザの網膜に結像される。図５の下側には、反射光路すなわち反射経路から得られる網膜の赤外線イメージを表す、メモリ７ないしはメモリ３２の内容を示している。ここでは基本的には色素構造が検出され、この色素構造はとりわけ、網膜のないしは網膜の下にある脈絡膜の静脈構造と、錐体細胞および桿体細胞による色生成とによって得られるものである。しかし、この赤外線イメージでは一部のみを示している。この構造は、ユーザごとに異なり個体差を有するものであり、この構造によって、一種の地図のように、網膜の空間的領域における着色や静脈構造を一義的に識別することができる。本発明の方法で重要なのは、網膜の静脈構造および／または色生成を検出し、これによって黄斑の位置を求めることが可能であるということである。図５では、網膜の静脈構造を検出し、この静脈構造から、同図中の下方の図の領域３３において表示される赤外線反射すなわち反射信号において、黄斑の位置を求めている。黄斑（色素斑とも称する）の直径は、たとえば２ｍｍ程度である。焦点を合わせる場合には、眼はこの領域に合わせられるので、これに基づいて、領域３４に可視光で投影された画像を、たとえば太陽を観察者が凝視していると判定することができる。

本発明の方法では、網膜の静脈構造を検出するために一種の較正ルーチンで、網膜の個体別のイメージを学習し、この個体別イメージから、ユーザの黄斑の位置を求めることができる。この場合にも、黄斑を同じ原理で求めることができる（予め定められた画像領域を凝視し、網膜構造を求め、投影画像中において凝視されたシンボルが存在する位置における反射信号で黄斑を求める）。焦点が合わせられたシンボルの選択を詳細に特定するために、たとえば、眼の瞬きまたは他の付加的な身振りを使用することができる。瞬きは光学的に、たとえば網膜からの反射信号の反射（これは、瞼の開閉によって変調される）によって検出することができ、または、筋肉の動きを測定することにより、たとえば皮膚表面のインピーダンス等を測定することにより検出することができ、または、たとえば音響的または接触によって検出することができる。

図６には単に一例として、色素斑６０（黄斑）を含む網膜の一部領域を示しており、これは、視覚解像度が最大である場所に相当する。色素斑の最内側領域は中心窩６１とも称される（直径約１ｍｍ）。

１ データ眼鏡
２ プロジェクションヘッド
５ 本発明の電気機器
６ 画像ソース
７ メモリ領域
８ ビデオコントローラ
１０ レーザモジュール／投影光源
１１ａ，１１ｂ 光学部品（マイクロミラー）
１２ 投影面
１４ ビームスプリッタ
１５ 放射源
１６ 受光素子
２３，５２ 反射光／反射信号
４１ 投影ビーム経路

Claims (11)

1. 電気機器（５）であって、
   前記電気機器（５）の外部に存在する投影面に画像情報を投影するためのプロジェクション装置を有し、
   投影すべき前記画像情報は、
   ・シーケンシャルで画像形成を行うための投影ビーム経路（４１）に設置された少なくとも１つの光学部品（１１ａ，１１ｂ）を用いて、
   ・目下の、前記投影面上における前記画像情報の総面積より空間的に制限された投影のために、前記投影ビーム経路（４１）に沿って当該投影面に向けて投影がなされる
   電気機器（５）において、
   前記電気機器（５）はさらに検出装置を有し、
   投影中、前記投影面は、前記プロジェクション装置に対する前記投影面の相対的な変移または回転の態様で動き、
   前記検出装置は、前記投影面における反射に基づく反射信号（５２）を用いて、前記投影面の動きを検出するように構成されており、
   前記反射信号（５２）は検出放射経路（５１）に沿って伝搬し、
   前記検出放射経路（５１）と前記投影ビーム経路（４１）とは、少なくとも、前記少なくとも１つの光学部品（１１ａ，１１ｂ）の領域において一致し、
   前記投影面は観察者の網膜であり、前記反射信号（５２）は前記網膜の静脈構造および色生成の情報を含み、
   前記検出装置は、前記網膜の静脈構造および前記色生成の情報に基づいて、前記観察者の黄斑の位置を求めるように構成されている、
   ことを特徴とする電気機器（５）。
2. 前記検出装置は、前記投影面の総面積に対して空間的に拡張して当該投影面に照射するための放射源（１５）を有する、
   請求項１記載の電気機器（５）。
3. 前記検出装置は検出出力部を有し、
   前記放射源（１５）から送出された放射は前記検出出力部によって前記投影面に向けて照射される、
   請求項２記載の電気機器（５）。
4. 前記検出装置はさらに放射検出器（１６）を有し、
   前記放射検出器（１６）は、前記放射源（１５）から放射される放射に対して、または、前記電気機器（５）の投影光源（１０）から放射される光の少なくとも一部に対して感度を有する、
   請求項２または３記載の電気機器（５）。
5. 前記検出装置はビームスプリッタ（１４）を有し、
   前記ビームスプリッタ（１４）は前記検出放射経路（５１）に配置されており、
   前記少なくとも１つの光学部品（１１ａ，１１ｂ）と前記ビームスプリッタ（１４）との間では、前記投影ビーム経路（４１）と前記検出放射経路（５１）とが同一であり、
   前記ビームスプリッタ（１４）は前記投影ビーム経路（４１）上において、前記電気機器（５）の投影光源（１０）と前記少なくとも１つの光学部品（１１ａ，１１ｂ）との間の場所に配置されている、
   請求項１から４までのいずれか１項記載の電気機器（５）。
6. 前記電気機器（５）は通信装置である、
   請求項１から５までのいずれか１項記載の電気機器（５）。
7. 前記電気機器（５）は眼鏡の形態であるか、または、ポータブルコンピュータまたは携帯電話機の形態である、
   請求項１から６までのいずれか１項記載の電気機器（５）。
8. 電気機器（５）の動作方法であって、
   前記電気機器（５）は、当該電気機器（５）の外部に存在する投影面に画像情報（２１）を投影するためのプロジェクション装置を有し、
   投影すべき前記画像情報は、
   ・シーケンシャルで画像形成を行うための投影ビーム経路（４１）に設置された少なくとも１つの光学部品（１１ａ，１１ｂ）を用いて、
   ・目下の、前記投影面上における前記画像情報の総面積より空間的に制限された投影のために、前記投影ビーム経路（４１）に沿って当該投影面に向けて投影される
   電気機器（５）において、
   前記電気機器（５）はさらに検出装置を有し、
   投影中、前記投影面は、前記プロジェクション装置に対する前記投影面の相対的な変移または回転の態様で動き、
   前記投影面における反射に基づく反射信号（５２）を用いて、前記投影面の動きを検出し、
   前記反射信号（５２）は検出放射経路（５１）に沿って伝搬し、
   前記検出放射経路（５１）と前記投影ビーム経路（４１）とは、少なくとも、前記少なくとも１つの光学部品（１１ａ，１１ｂ）の領域において一致し、
   前記投影面は観察者の網膜であり、前記反射信号（５２）は前記網膜の静脈構造および色生成の情報を含み、
   前記検出装置は、前記網膜の静脈構造および前記色生成の情報に基づいて、前記観察者の黄斑の位置を求める、
   ことを特徴とする動作方法。
9. 前記電気機器（５）は、通信装置である、
   請求項８記載の動作方法。
10. 前記投影面の総面積に対して空間的に拡張された当該投影面の領域に対応する反射信号（５２）と、記憶された基準反射信号とを比較することにより、前記投影面の動きを、前記プロジェクション装置に対する当該投影面の相対的な変移または回転の態様で検出する、
    請求項８または９記載の動作方法。
11. 投影面上の画像情報の全領域と前記記憶された基準反射信号とを比較する、
    請求項１０記載の動作方法。

Images