JP4331002B2 - 移動体通信端末 - Google Patents

Description

本発明は、キー入力データに基づいて文字情報の入力、ゲーム等の各種アプリケーションの制御、音や画像の出力などのための所定のデータ処理を実行する携帯電話機等の移動体通信端末に関するものである。

従来の携帯電話機等の移動体通信端末は、複数のキーが配置されたキー操作部が本体部分に設けられていた。利用者は、例えば移動体通信端末を手で保持した状態でキー操作部のキーを指で選択して押下することによりキー入力を行うことができる。このキー入力操作により、移動体通信端末の制御部で所定のデータ処理が実行され、入力した電話番号やメール内容のデータをメモリに格納したり、通話を開始したり、メールを送信したりすることができる。

ところが、上記従来の携帯電話機等の移動体通信端末は、携帯性の確保すべく小型化が図られているため、キー操作部は小型のキーを必要最小限だけ配置した構成になっている。そのため、通常のコンピュータ装置のキーボードに比較してキー入力操作時の操作性が悪いという問題点があった。一方、通常のコンピュータ装置のキーボードと同程度の操作性を達成できるようにキー操作部を構成しようとすると、キー操作部のサイズが大きくなってしまい、移動体通信端末の携帯性を確保することが難しくなってしまうという問題点があった。このように移動体通信端末では、携帯性とキーの操作性との両立を図ることが難しかった。
また、最近の携帯電話機等の移動体通信端末では、本来の通話機能に加えて、ゲームや音楽出力等の多様なアプリケーションプログラムをインストールして実行することができるようになってきている。このようなアプリケーションプログラムを実行する場合、利用者とのインターフェースとなるキーの配列を、そのアプリケーションプログラムの内容に応じたものに切り換えることができると便利である。例えば、ピアノ演奏のアプリケーションプログラムを実行するときはピアノのキー配列上でキーを選択する操作を行ってピアノ演奏を行うことができれば便利である。また、ゲームのアプリケーションプログラムを実行するときは、そのゲームの内容に特化されたキー配列上でキーを選択する操作を行ってゲームを進行することができれば便利である。

本発明は以上の問題点に鑑みてなされたものである。その目的は、携帯性を確保しつつ、操作性に優れ且つ自由度の高いキー配列によるキーの選択操作が可能になる移動体通信端末を提供することがである。

上記目的を達成するために、請求項１の発明は、仮想的なキー配列画像を投影する画像投影手段と、該画像投影手段で投影された該キー配列画像上のどのキーが選択されたかを検知するキー選択検知手段と、該画像投影手段を制御する制御手段と、移動体通信ネットワークを介して通信するための通信手段とを備えた移動体通信端末であって、アプリケーションプログラムの実行を管理するアプリケーションプログラム実行管理手段を備え、上記制御手段は、該アプリケーションプログラム実行管理手段による実行環境上で実行されているアプリケーションプログラムからの指令に基づいて上記画像投影手段の起動及び上記キー配列画像の投影動作を実行するように制御し、上記キー選択検知手段は、該アプリケーションプログラムからの指令に基づいて上記キー選択の検知動作を実行し、上記データ処理手段は、該キー選択検知手段から出力されるキー選択データに基づいて所定のデータ処理を実行し、
上記画像投影手段を、光源と、該光源から出射した光を変調するための空間光変調部と、該空間光変調部から出射される光像を外部の投影面に結像して投影するための投影結像用光学系とを用いて構成し、
上記光源から出射した光を拡散して外部の照射面に均一照射するための拡散照射用光学系を更に備え、上記光源及び上記空間光変調部からなる光生成部を、上記投影結像用光学系に対向する結像用位置と上記拡散照射用光学系に対向する拡散照射用位置との間で移動可能に構成し、投影対象の光像の生成と、拡散照射対象の光の生成とに兼用したことを特徴とするものである。
請求項２の発明は、請求項１の移動体通信端末において、光像を電気信号に変換して画像データを生成するカメラ部を更に備え、上記カメラ部を、上記光生成部の上記拡散照射用位置への移動に連動して上記投影結像用光学系に対向する結像用位置に移動し、該光生成部の該投影結像用光学系への移動に連動して退避位置に移動可能に構成し、該投影結像用光学系を光像の投影と光の拡散照射とに兼用したことを特徴とするものである。
また、請求項３の発明は、請求項１の移動体通信端末において、上記キー選択検知手段は、上記仮想的なキー配列画像上におけるキー選択のためのキー入力操作物のキー入力動作を検知するキー入力動作検知手段と、該キー入力動作検知手段の検知結果に基づいて該キー入力操作物によるキー入力動作に対応するキー選択データを生成するキー選択データ生成手段とにより構成され、光像を電気信号に変換して画像データを生成するカメラ部と、撮像対象の光像を該カメラ部上に結像するためのカメラ結像用光学系とを備え、該カメラ部及び該カメラ結像用光学系を、上記キー入力動作検知手段として兼用したことを特徴とするものである。

請求項１の移動体通信端末では、アプリケーションプログラム実行管理手段による実行環境上で実行されているアプリケーションプログラムからの指令に基づいて、画像投影手段が起動し、利用者が操作可能な面に仮想的なキー配列画像が投影される。利用者は、投影されているキー配列画像上でキーを選択する操作を行う。この利用者によるキーの選択は、上記アプリケーションプログラムからの指令に基づいて実行されるキー選択検知手段の検知動作により検知され、その選択されたキーに対応する所定のデータ処理がデータ処理手段で実行される。
更に、光源から出射した光を空間光変調部で変調し、空間光変調部から出射される光像を投影結像用光学系で外部の投影面に結像して投影する。この空間光変調部での変調を制御することにより、投影面に投影するキー配列画像の種類を切り換えることができる。
また、光源及びその光源から出射した光を変調するための空間光変調部からなる光生成部を、上記投影結像用光学系に対向する結像用位置と上記拡散照射用光学系に対向する拡散照射用位置との間で移動可能に構成し、拡散照射対象の光の生成と投影対象の光像の生成とに兼用している。このように光源及び空間光変調部を兼用することにより、拡散照射対象の光を生成するための光学部品と、投影対象の光像を生成するための光学部品とを個別に設けた場合に比して部品点数を減らすことができる。
請求項３の移動体通信端末では、キー選択検知手段のキー入力動作検知手段に兼用したカメラ結像用光学系及びカメラ部により、上記仮想的なキー配列画像上におけるキー選択のためのキー選択操作物のキー入力動作を３次元的な画像として検知する。この３次元的なキー選択操作物の画像情報に基づいて、画像処理などを行うことにより、キー配列画像上のどのキーが選択されたかを検知することができる。また、通常の風景や人物等の撮像に用いるカメラ結像用光学系及びカメラ部をキー選択検知手段に兼用しているので、キー選択検知手段のうちキー配列画像上でキーを選択する動きをしているキー選択操作物を検知する部分を個別に設けた場合に比して、部品点数を減らすことができる。

なお、上記「キー配列画像」は、移動体通信端末に対して利用者がデータ入力や動作制御のための操作に使用する複数のキーが配列した仮想的な画像である。この「キー配列画像」としては、パーソナルコンピュータで通常使用されるキーボードと同じようなキー配列を有する仮想的なキー配列画像や、ピアノ等の楽器などの鍵盤と同じようなキー配列を有する仮想的なキー配列画像などがある。
また、上記「移動体通信端末」には、ＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communication）方式、ＴＩＡ（Telecommunications Industry Association）方式等の携帯電話機、ＩＭＴ（International Mobile Telecommunications）−２０００で標準化された携帯電話機が含まれる。また、「移動体通信端末」には、ＰＨＳ（Personal Handyphone Service）、自動車電話等の電話機のほか、携帯電話モジュールを付加した移動体通信端末も含まれる。
また、上記移動体通信端末における制御は、それらに設けられたコンピュータで所定のプログラムを実行することによって実現することもできる。このコンピュータで用いるプログラムの受け渡しは、デジタル情報としてプログラムを記録したＦＤ，ＣＤ−ＲＯＭ等の記録媒体を用いて行なってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行なってもよい。

請求項１乃至４の発明によれば、キーボード等の別部材を接続したりすることなく、利用者が操作可能な面上に仮想的なキー配列画像を投影し、そのキー配列画像上でキーを選択する操作を行うことができるので、移動体通信端末の携帯性を確保することができる。しかも、データ処理手段で実行する所定のデータ処理の内容に応じた任意のキー配列画像を投影して用いることができるので、操作性に優れ且つ自由度の高いキー配列によるキーの選択操作が可能になるという効果がある。
特に、請求項２の発明によれば、空間光変調部での変調を制御することにより、投影面に投影するキー配列画像の種類を容易に切り換えることができるという効果がある。
特に、請求項３の発明によれば、拡散照射対象の光を生成するための光学部品と、投影対象の光像を生成するための光学部品とを個別に設けた場合に比して部品点数を減らすことができるという効果がある。
特に、請求項４の発明によれば、キー配列画像上でキーを選択する動きをしているキー選択操作物の３次元的な画像を撮像し、その画像情報を処理してキー選択の検知を行うことができるので、キー選択の検知の精度を高めることができる。しかも、キー選択検知手段のうちキー配列画像上でキーを選択する動きをしているキー選択操作物を検知する部分を個別に設けた場合に比して、部品点数を減らすことができるという効果がある。

以下、本発明の実施の形態を図面を参照しながら説明する。
まず、本実施形態に係る電子機器（移動体通信端末）としての携帯電話機の全体構成について説明する。図１は、本実施形態に係る携帯電話機の概略構成の一例を示すブロック図である。この携帯電話機の本体部分１００は、制御手段としての主制御部１１１、記憶手段としての内部メモリ１１２、通信手段としての無線通信部１１３及びアンテナ１１４を備えている。また、主制御部１１１には、音声処理部１１５を介してマイク１１６及びスピーカ１１７が接続され、画像処理部１１８を介して画像表示部１１９が接続され、更に携帯電話機本体に設けられているキー操作部１２０が接続されている。
また、本実施形態の携帯電話機は、利用者が視認可能な外部投影面（以下、単に「投影面」という）２００に画像を投影するための画像投影手段としての画像投影部１３０と、人物や風景などの画像を撮像する撮像手段としてのカメラ部１４０とを備えている。さらに、同携帯電話機は、利用者が操作可能な投影面２００に投影された仮想的なキー配列画像上のどのキーが選択されたかを検知するキー選択検知手段としてのキー選択検知部１８０を備えている。画像投影部１３０及びキー選択検知部１８０の詳しい構成及び動作については後述する。

上記主制御部１１１は例えばＣＰＵ、キャッシュメモリ、システムバス等で構成され、所定の制御プログラムを実行することにより内部メモリ１１２や無線通信部１１３等の各部との間でデータの送受信を行ったり各部を制御したりする。また、主制御部１１１は、画像投影部１３０による画像投影やキー選択検知部１８０によるキー選択検知を制御する制御手段としても用いられる。更に、主制御部１１１は、キー選択検知部１８０から出力されるキー選択データに基づいて、その選択されたキーに対応する所定のデータ処理を実行するデータ処理手段としても用いられる。このデータ処理としては、例えば選択されたキーに対応する文字データをディスプレイに表示したり内部メモリに記憶したりするデータ処理や、ゲーム等のアプリケーションプログラムの実行内容を変化させたりするデータ処理が挙げられる。

上記内部メモリ１１２は例えばＲＡＭやＲＯＭなどの半導体メモリで構成され、主制御部１１１で実行する制御プログラムや各種データを記憶するものである。また、この内部メモリ１１２は、情報提供サイトなどからダウンロードした画像、音楽、プログラム等のコンテンツデータを記憶するコンテンツデータ記憶手段としても用いられる。更に、この内部メモリ１１２は、スピーカ１１７から出力する音のデータ、画像表示部１１９に表示する画像データ、画像投影部１３０で投影する画像データ、キー選択検知部１８０で検知したキー選択データを記憶するデータ記憶手段としても用いられる。

上記無線通信部１１３は主制御部１１１で制御され、アンテナ１１４を介して、所定の通信方式により通信ネットワークとしての携帯電話通信網の基地局との間で無線通信を行うものである。この無線通信により、特定の携帯電話機等との間で音声電話通信を行ったり、電子メールの送受信や情報提供サイトからのコンテンツダウンロード等のデータ通信を行ったりすることができる。

上記音声処理部１１５は、マイクロフォン１１６から入力された送話音声信号を所定方式で符号化して主制御部１１１に送る。また、この音声処理部１１５は、無線通信部１１３で受信した受話音声信号を復号化してスピーカ１１７から出力する。更に、この音声処理部１１５は、内部メモリ１１２に記憶されている着信メロディやアプリケーションプログラムで用いる効果音等の音信号をスピーカ１１７から出力する。音を出力する音出力手段は、音声処理部１１５及びスピーカ１１７を用いて構成されている。

上記画像処理部１１８は、無線通信部１１３で受信した画像データや、内部メモリ１１２に記憶されているアイコンやメニュー、着信通知画像等の画像データを処理し、液晶ディスプレイ（ＬＣＤ）等からなる画像表示部１１９に表示させる。

上記キー操作部１２０は、データ入力キー（テンキー、＊キー、＃キー）、通話開始キー、終話キー、スクロールキー、多機能キー等を備え、電話の発信や着信のほか、表示部１１９に表示される情報のスクロールや選択等に用いる。
また、このキー操作部１２０は、キー選択検知部１８０が有する複数のキー選択検知機能の少なくとも１つを指定するための指定手段としても用いられる。

図２は、上記画像投影部１３０の一構成例を示すブロック図である。この画像投影部１３０はビーム光源１３１と光学スキャナー１３２とそれらを駆動するための駆動制御部１３３とを用いて構成されている。ビーム光源１３１としては、ＬＤ（半導体レーザ）やＬＥＤ（発光ダイオード）等を用いることができる。ビーム光源１３１から出射されるビーム光の強度は、主制御部１１１から送られてきた制御データに基づいて駆動制御部１３３により制御される。光学スキャナー１３２は、ビーム光源１３１から発したビーム光を２次元的に走査しながら投影面２００に投射する光学装置である。光学スキャナー１３２によるビーム光の走査は、ビーム光源１３１と同様に駆動制御部１３３により駆動制御される。この光学スキャナー１３２としては、例えば小型で高速走査が可能なガルバノミラーを用いたものを使用することができる。また、上記駆動制御部１３３は、画像データを記憶する画像メモリを有し、予め設定登録された投影対象の画像データや、主制御部１１１から制御データとともに送られてきた投影対象の画像データが記憶される。この画像メモリに記憶されている画像データに基づいて、上記ビーム光源１３１及び光学スキャナー１３２が駆動制御される。
上記ビーム光源１３１として互いに波長が異なる複数種類のビーム光（例えば３原色ビーム光）を出射可能なものを用い、各ビーム光を同時に走査して投射すれば、カラー画像を投影面２００上に投影することができる。
また、上記ビーム光源１３１として、互いに独立に強度制御可能な発光点が１列状に並んだ１次元アレイ素子からなる光源を用いることもできる。この場合は、光源から出射されたライン状の光を光学スキャナー１３２で１次元的に走査すればよい。
また、上記ビーム光源１３１として、互いに独立に強度制御可能な発光点が２次元的に並んだ２次元アレイ素子からなる光源を用いることもできる。この場合は、光学スキャナー１３２の代わりに、光源上に表示された２次元的な画像を拡大して投影面２００上に投影する拡大投影光学系を用いる。

図３は、上記画像投影部１３０の他の構成例を示すブロック図である。この画像投影部１３０は、ランプ等の光源１３４と、空間光変調器１３５と、拡大投影光学系１３６と、駆動制御部１３３とを用いて構成されている。
空間光変調器１３５としては、例えば通常の携帯電話機等で使用されている液晶ディスプレイを用いることができる。この場合は、透過型の液晶ディスプレイでの表示モードとは反対に画像を白黒反転させて表示する。このように白黒反転して表示した液晶ディスプレイの表面に光源１３４からの光を照射し、その反射像を拡大投影光学系１３６で拡大して投影面２００上に投影する。なお、この液晶ディスプレイとしては、通常の携帯電話機等で設けられている液晶ディスプレイを兼用してもよい。
また、空間光変調器１３５としては、互いに独立に傾きを制御可能な小型のミラーを２次元的に並べたものを使用することもできる。この場合は、画像データに基づいて、各ミラーの傾きを制御し、各ミラーから投影面２００側へ向かう光の反射光をオン／オフする。この空間光変調器１３５からの反射像は、拡大投影光学系１３６で拡大して投影面２００上に投影される。

図４は、更に他の構成例に係る画像投影部を備えた携帯電話機の内部構成図である。本構成例の画像投影部１３０は、投影対象の光像を生成するための光生成部１３０’と、光生成部１３０’で生成した光像を投影面２００上に結像して投影するための投影結像光学系とを用いて構成されている。この光生成部１３０’としては、後述のＬＥＤ部１３７及び液晶パネル部１３８が兼用され、上記投影結像光学系としては後述のカメラ結像用光学系１５０が兼用されている。ＬＥＤ部１３７から出射した光は、画像データに基づいて制御された液晶パネル部１３８で変調され、これにより、投影対象の光像が生成される。この投影対象の光像は、投影結像用光学系として兼用したカメラ結像用光学系１５０によって投影面２００に投影される。
また、この構成例におけるカメラ機能は、光像を電気信号に変換して画像データを生成するカメラ部１４０と、撮像対象の光像をカメラ部１４０上に結像するためのカメラ結像用光学系１５０とにより実現される。カメラ部１４０は、ＣＭＯＳ型撮像デバイスやＣＣＤ型撮像デバイス等で構成され、これらの撮像デバイスの駆動や撮像した画像データの保存等は主制御部１１１によって制御される。カメラ結像用光学系１５０は、ズーム機能を持たせるように複数のレンズの位置を変化させる駆動機構を有し、この駆動機構は主制御部１１１から制御される。撮像対象の光像は、カメラ結像用光学系１５０でカメラ部１４０の受光面上に結像される。この結像された光像がカメラ部１４０で電気信号に変換されて画像データが生成される。カメラ部１４０で生成された画像データは、内部メモリ１１２等のデータ記憶部に保存される。
更に、この構成例における照明ランプ機能は、光源としてのＬＥＤ部１３７及び空間光変調部としての液晶パネル部１３８からなる光生成部１３０と、その光源から出射した光を拡散して外部の照射面に均一照射するための拡散照射用光学系１５５とにより実現される。ＬＥＤ部１３７は、例えば白色の高輝度発光ダイオードによって構成され、主制御部１１１によって発光のＯＮ／ＯＦＦ等が制御される。液晶パネル部１３８は、主制御部１１１からの制御データに基づいて、２次元的に形成された多数の画素の透過率を互いに独立に制御できるように構成されている。本構成例では、透過型の液晶パネルを用いているが、反射型の液晶パネルを用いてもよい。ＬＥＤ部１３７から出射した光は、全面の画素について光透過率が最大になるように制御された液晶パネル部１３８で均一に透過され、拡散照射対象の光が生成される。この液晶パネル部１３８で生成された拡散照射対象の光が拡散照射用光学系１５５で拡散させて外部の照射面に均一照射される。

図４に示す構成例では、上記カメラ機能及び照明ランプ機能と上記画像投影の機能を切り換えて利用するために、カメラ部１４０及び光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を所定の位置に連動して移動できるように構成されている。
図４（ａ）に示すようにカメラ機能及び照明ランプ機能を利用する場合は、カメラ部１４０及び光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を次の位置に移動させておく。すなわち、光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を、拡散照射用光学系１５５に向けて光を出射する拡散照射用位置Ａに移動させておく。また、カメラ部１４０を、カメラ結像用光学系１５０からの光像を受ける結像用位置Ｂに移動させておく。一方、図４（ｂ）に示すように画像投影の機能を利用する場合は、カメラ部１４０及び光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を、図中の黒塗りの矢印で示す方向に沿って次の位置に移動させておく。すなわち、光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を、カメラ部１４０と入れ替えて結像用位置Ｂに移動させておく。また、カメラ部１４０を、結像用位置Ｂから退避した退避位置Ｃに移動させておく。このように移動させた状態で、例えば待ち受け状態でカメラ結像用光学系１５０が露出した開口を所望の投影面２００に向けて机の上に置いたり、携帯電話機用の充電器にセットしたりしておく。また、利用者は、キー操作部１２０を操作することにより画像投影を行う画像投影モードのいずれかに設定する。

また、図５（ａ）に示すように携帯電話機の画像表示部１１９が２つの液晶ディスプレイ（正面ディスプレイ１１９ａ及び背面ディスプレイ１１９ｂ）で構成されている場合は、一方の背面ディスプレイ１１９ａを画像投影部の光源として兼用してもよい。この場合、背面ディスプレイ１１９ａに表示された画像は、拡大投影光学系１３６によって投影面２００上に投影される。この拡大投影光学系１３６は、携帯電話機本体１００に対して着脱可能に構成されている。通常は携帯電話機本体１００から取り外されており、画像投影に使用するときに、両端部に設けられた装着固定部１３６ａによって携帯電話機本体１００の背面ディスプレイ１１９ｂ上に装着することができる。また、図５（ｂ）のように背面ディスプレイ１１９ｂの画像を投影する場合は、背面ディスプレイ１１９ｂの光量を通常の画像表示時よりも高めるように主制御部１１１で制御するのが好ましい。この場合は、投影された画像の視認性を向上させることができる。また、図５（ａ）及び（ｂ）の構成において、背面ディスプレイ１１９ｂの画像を左右反転して投影する投影光学系１３６を使用する場合がある。この場合は、画像投影時に、通常の画像表示時とは左右反転させて背面ディスプレイ１１９ｂに画像を表示する。これにより、文字情報等の画像を通常の画像表示時と同じ左右正しい向きで投影することができる。

なお、画像投影部１３０の構成は図２〜図５の構成に限定されるものではない。例えば、ホログラム素子を用いて投影するような構成であってもよい。

図６は、上記画像投影部１３０を備えた折り畳み式の携帯電話機１００の本体から離れた位置で利用者が操作可能な投影面上の所定の投影エリアに仮想的なキー配列画像２１０を投影している様子を示した説明図である。この携帯電話機１００は、画像投影部１３０の光出射口を所望の投影面に向けて机の上に置いたり、携帯電話機用の充電器にセットしたりしておく。また、利用者がキー操作部１２０を操作することにより仮想キー操作モードを選択して実行すると、利用者が予め指定した所定の仮想的なキー配列画像２１０が投影エリアに投影される。この画像投影部１３０で投影エリアに投影されたキー配列画像２１０上のどのキーが選択されたかは、キー選択検知部１８０で検知される。

次に、本実施形態の携帯電話機におけるキー選択検知部１８０について説明する。
図７は、上記キー選択検知部１８０の一構成例の概略構成を示すブロック図である。このキー選択検知部１８０は、キー入力動作検知手段としてのキー入力動作検知部１６０と、キー選択データ生成手段としてのキー選択データ生成部１７０とを用いて構成されている。キー入力動作検知部１６０は、仮想的なキー配列画像上におけるキー選択のための指やポインター等のキー入力操作物のキー入力動作を検知するものであり、携帯電話機１００の本体部１００ａのヒンジ部近傍の両端に設けられた２つの光出射・検知部１６１、１６２と、光源駆動部１６３とを用いて構成されている。また、キー選択データ生成部１７０は、キー入力動作検知部１６０の検知結果に基づいてキー入力操作物によるキー入力動作に対応するキー選択データを生成するものである。
本実施形態の携帯電話機で仮想的なキー配列画像を投影してキー入力を行うときは、図６に示すように、蓋部１００ｂを回転軸Ａを中心に矢印Ｂのように１８０度回転させて携帯電話機を設置する。このように設置することにより、利用者が仮想的なキー配列画像上でキー入力操作を行いながら、表示部（液晶ディスプレイ）１１９に表示される文字情報や実行中のゲームなどの画像を確認することができる。
各光出射・検知部１６１、１６２は、レーザ光を出射する半導体レーザ等からなるレーザ光源１６１ａ，１６２ａと、フォトトランジスタやＣＣＤアレイ素子などからなる受光センサ１６１ｂ，１６２ｂとにより構成されている。レーザ光源１６１ａ，１６２ａはそれぞれ、キー配列画像２１０が投影されている投影エリアの面に沿ってその投影エリア上のキー配列画像２１０の全体をカバーするようにレーザ光を扇状にスキャンして出射する。受光センサ１６１ｂ，１６２ｂはそれぞれ、各レーザ光源１６１ａ，１６２ａからのレーザ光が利用者の指３００やポインター部材で遮られて反射してきた反射レーザ光を受光し、検知信号を出力する。
なお、図７の構成の場合、上記２つの受光センサ１６１ｂ，１６２ｂは、それぞれ組になっているレーザ光源からのレーザ光のみを受光する必要があるが、両方のレーザ光源１６１ａ，１６２ａから出射して反射した反射レーザ光を同時に受光して誤検知するおそれがある。例えば、レーザ光源１６１ａから出射して反射した反射レーザ光を、組になっている受光センサ１６１ｂではなく、もう一つの受光センサ１６２ｂで受光して誤検知する場合がある。そこで、上記誤検知を防止するために、各光出射・検知部１６１、１６２で用いるレーザ光の波長を互いに異ならせるのが好ましい。また、レーザ光の波長を異ならせる代わりに又はレーザ光の波長を異ならせるとともに、各光出射・検知部１６１、１６２で用いるレーザ光を互いに異なるコードで変調するようにしてもよい。この場合、各光出射・検知部１６１、１６２ではそれぞれ所定のコードで変調された反射レーザ光のみを受光して復調処理して検知信号として出力することができる。

上記光源駆動部１６３は、前述の主制御部１１１からの制御指令に応じて制御され、上記レーザ光源１６１ａ，１６２ａ及び受光センサ１６１ｂ，１６２ｂに所定の駆動電圧を印加したり駆動電流を供給したりする。また、光源駆動部１６３は、主制御部１１１からの制御指令に応じて、レーザ光源１６１ａ，１６２ａから出射されるレーザ光出射角度を変化させる。

上記キー選択データ生成部１７０は、前述の主制御部１１１からの制御指令に応じて制御され、上記受光センサ１６１ｂ，１６２ｂで反射レーザ光が検知されたときの各レーザ光出射角度θ１、θ２のデータを用いて演算することにより、どのキーが選択されたかを示すキー選択データを生成する。この演算は、上記投影しているキー配列画像の種類に対応する所定の演算用データテーブルや演算アルゴリズムを用いて行われる。
なお、このキー選択データ生成部１７０は、主制御部１１１内に設け、主制御部１１１を兼用するように構成してもよい。

図８はキー配列画像を投影している携帯電話機の部分側面図である。また、図９は上記キー選択検知部１８０におけるキー選択検知の原理を説明する説明図である。
図８及び図９において、例えば指３００やポインター等を符号２１０ａで示す選択対象のキー（例えば、アルファベットの「Ｇ」）の位置に移動させて選択すると、各光出射・検知部１６１、１６２のレーザ光源１６１ａ，１６２ａから角度を走査して出射されるレーザ光Ｌi1、Ｌi2が遮られて反射される。このレーザ光Ｌi1、Ｌi2はそれぞれ所定の出射角度θ１、θ２になったときに反射される。各反射レーザ光Ｌr1、Ｌr2はそれぞれ対応する受光センサ１６１ｂ，１６２ｂで受光される。この受光センサ１６１ｂ，１６２ｂで各反射レーザ光Ｌr1、Ｌr2が検知されたときのレーザ光源１６１ａ，１６２ａの出射角度θ１、θ２のデータが、上記キー選択データ生成部１７０に送られてキー選択データの生成に用いられる。すなわち、上記レーザ光源１６１ａ，１６２ａの出射角度θ１、θ２の値がわかると、選択されたキーの位置（図９中の「Ｇ」キーの画像が投影された位置）が一意的に決まるため、その選択された「Ｇ」キーを識別するキー選択データを生成することができる。
２つのキーや３つ以上のキーを同時に選択した場合も、同様な原理により、各キーの選択を検知して複数のキー選択データを生成することができる。

主制御部１１１は、上記キー選択検知部１８０のキー選択データ生成部１７０から出力されるキー選択データに基づいて、その選択されたキーに対応する所定のデータ処理を実行する。例えば、選択されたキーに対応する文字データを表示部（液晶ディスプレイ）１１９に表示したり内部メモリに記憶したりする。また、上記キー選択データに基づいて、ゲーム等のアプリケーションプログラムの実行内容を変化させる。

なお、上記出射角度θ１、θ２の値からキー選択データを生成するときの演算用データテーブルは、上記画像投影部１３０で投影するキー配列画像との関係で予め設定したものを用いる。または、上記キー配列画像を用いたキー入力を行う前に、そのキー配列画像上の所定の基準キー（四隅のキーや中央のキー）について出射角度を測定し、その値を用いて演算用データテーブルを補正し、上記キー選択データをより正確に求めて生成するようにしてもよい。

また、上記図９の例では、各光出射・検知部１６１、１６２における出射角度θ１、θ２の値を求めているが、図１０に示すように各光出射・検知部１６１、１６２と選択対象のキーとの距離Ｄ１、Ｄ２の値を求めるようにしてもよい。この距離Ｄ１、Ｄ２の値は、例えば、各光出射・検知部１６１、１６２の受光センサ１６１ｂ，１６２ｂで受光する各反射レーザ光Ｌr1、Ｌr2の減衰の程度から求めることができる。また、上記距離Ｄ１、Ｄ２の値は、出射レーザ光Ｌi1、Ｌi2とそれぞれ対応する反射レーザ光Ｌr1、Ｌr2との干渉から求めてもよい。

また、図６〜図１０の例では光出射・検知部１６１、１６２を２箇所に設けているが、３箇所又は４箇所以上に設けて上記キー選択の検知をより正確に行うようにしてもよい。
また、利用者の指がホームポジションにあるときに上記光出射・検知部１６１、１６２からのレーザ光を遮っている場合は、選択対象のキー画像の上で指の上下動に伴う反射レーザ光の受光強度の変化を利用してもよい。例えば、利用者が選択対象のキー画像の上で指を上下動させたとき、受光センサ１６１ｂ，１６２ｂで受光する各反射レーザ光Ｌr1、Ｌr2の強度が一定期間だけゼロレベルになる。この各反射レーザ光Ｌr1、Ｌr2の強度の変化があったときに、そのキーが選択されたと判定し、キー選択データを生成する。

次に、本発明の特徴部に係るキー選択検知部１８０における複数のキー選択検知機能の切り換えについて説明する。本実施形態のキー選択検知部１８０は、複数種類のキー配列画像のそれぞれについてキーの選択を検知するための複数種類のキー選択検知機能を有している。
図７の例では、キー選択検知部１８０のキー選択データ生成部１６４に３種類のキー選択検知機能を持たせている。第１のキー選択検知機能は、パーソナルコンピュータで通常使用される日本語キーボードのキー配列画像に対応したキーボード用認識エンジン１で実現される。また、第２のキー選択検知機能は、英語用に特化されたキーボードのキー配列画像に対応したキーボード用認識エンジン２で実現される。また、第３のキー選択検知機能は、携帯電話機で実行するピアノ演奏用のアプリケーションプログラムで使用するピアノ鍵盤のキー配列画像に対応したピアノ鍵盤用認識エンジンで実現される。各認識エンジンは、各用途のために予め設計された演算用データテーブル及び演算アルゴリズムに基づいて作成されたキー選択認識用演算プログラムで構成される。各認識エンジンは、演算用データテーブル及び演算アルゴリズムのうち少なくとも一方が異なる。

上記キー選択検知機能を切り換えることきは、携帯電話機本体にあるキーを操作し、キー選択認識エンジン指定用の画面を表示部（液晶ディスプレイ）１１９に表示する。そして、上記３つの認識エンジン（キーボード用認識エンジン１、キーボード用認識エンジン２、ピアノ鍵盤用認識エンジン）の中からいずれか一つの認識エンジンを指定し、画面上の確定用アイコン（例えば「ＯＫ」）をクリックする。これにより、利用者が希望するキー選択機能を実現する認識エンジンを指定することができる。画像投影部１３０は、メモリに記憶されている複数種類のキー配列画像の中から、利用者が指定したキー選択検知機能（認識エンジン）に対応したキー配列画像を選択して投影する。

以上、本実施形態によれば、キーボード等の別部材を接続したりすることなく、利用者が操作可能な面上に仮想的なキー配列画像を投影し、そのキー配列画像上でキーを選択する操作を行うことができるので、携帯電話機の携帯性を確保することができる。しかも、主制御部１１１で実行する所定のデータ処理の内容に応じた任意のキー配列画像を投影して用いることができるので、操作性に優れ且つ自由度の高いキー配列によるキーの選択操作が可能になる。
また、
本実施形態によれば、複数種類のキー配列画像のいずれかのキー配列画像上で利用者がキーを選択する操作を行うときに、その利用者によるキーの選択を、利用者が用いたキー配列画像に対応するキー選択検知機能を用いて検知することができる。したがって、複数種類のキー配列画像それぞれついてキーの選択を正確に検知し、その選択したキーに対応する文字情報の表示やゲーム進行などの所定のデータ処理を確実に実行することができる。
また、本実施形態によれば、上記３種類のキー選択検知機能の中から、利用者が希望するキー選択の検知に用いるキー選択検知機能を利用者が指定することができる。
また、本実施形態によれば、上記３種類のキー選択検知機能から選択されたキー選択検知機能に対応する仮想的なキー配列画像を、外部投影面２００上に投影して用いることができるので、仮想的なキー配列画像を印刷等で形成した部材を用意する必要がない。しかも、キー配列画像を投影する場合は、キー選択検知手段によるキー選択検知に適する位置にキー配列画像の位置を調整して投影できるので、キー配列画像の基準位置を合わせる検知や操作を行うことなく、キー選択を精度良く検知することができる。

なお、上記実施形態のキー選択検知部１８０は、レーザ光の反射を利用して携帯電話機本体に対する選択対象キーの位置の角度や距離を求めることによりキー選択を検知するように構成しているが、キー選択検知部は、この構成に限定されるものではない。
例えば、上記仮想的なキー配列画像上でキーを選択している指先やポインタ部材の動きを撮像し、その２次元的な画像又は３次元的な画像をパターン認識し、そのパターン認識結果に基づいてキー選択を検知するように構成してもよい。この場合は、図１１に示すように、上記指先やポインタ部材の動きの撮像に、上記実施形態の携帯電話機１００に設けられているカメラ部１４０を通常画像撮影とキー入力動作撮影とに兼用するように構成してもよい。また、この場合の投影結像光学系１５１は、図１２（ａ）及び（ｂ）に示すようにカメラ結像用光学系１５０とは独立に設けられ、カメラ部１４０は、カメラ結像用光学系１５０が配置されているカメラ位置Ｃに固定配置されている。このカメラ部１４０は、通常の動作モード実行中には人物や風景等の画像の撮影に使用されるとともに、仮想的なキー配列画像上でのキー入力動作モードの実行中にはキー入力動作をしている指先やポインタ部材の動きの撮像に使用される。また、図１２（ａ）及び（ｂ）の構成例において、光生成部１３０’は、拡散照射用位置Ａと投影用位置Ｂとの間で移動可能になっており、投影対象の光像の生成と拡散照射対象の光の生成とに兼用される。

なお、図１１の携帯電話機１００の構成例では、画像投影部１３０から出射したキー配列画像の光像が、携帯電話機本体に設けられたキー操作部１２０の上方を通過し、携帯電話機から離れた投影エリア上に投影される。このキー配列画像上で指先やポインタ部材の動きは、画像投影部１３０に隣接して設けられているカメラ部１４０で撮像される。カメラ部１４０で撮像された２次元的な画像又は３次元的な画像のデータは、携帯電話機内部に設けた画像処理部で処理され、キー選択の検知に用いられる。

また、上記キー選択検知部１８０を、上記レーザのような光ではなく超音波の反射を利用して指先やポインタ部材の位置を測定することによりキー選択を検知するように構成してもよい。

また、上記実施形態において、上記画像投影部１３０により、上記仮想的なキー配列画像だけでなく、上記表示部１１９で表示するような画像を投影するようにしてもよい。例えば、キー配列画像上で行うキー選択に関連した文字情報やゲーム等の画像も投影するようにしてもよい。この文字情報やゲーム等の画像は、例えば携帯電話機と上記仮想的なキー配列画像との間に投影すると視認しやすい。

また、上記実施形態の携帯電話機１００は、プラットフォームに依存しないオブジェクト指向プログラミングによって開発されたアプリケーションプログラムを実行可能に構成してもよい。そして、上記キー選択検知部１８０よるキー選択検知動作や、画像投影部１３０の起動及びその画像投影部１３０によるキー配列画像の投影動作を、アプリケーションプログラムからの指令に基づいて実行するようにしてもよい。このアプリケーションプログラムとしては、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋等のプログラム言語で記述されたアプリケーションプログラムなどが挙げられる。また、これらのアプリケーションプログラムの実行環境は、ＪＡＶＡ（登録商標）のＶＭやＢＲＥＷ（登録商標）等のミドルウェアによって構築される。このアプリケーションプログラムは、携帯電話機１００にプレインストールされているものであってもいいし、通信ネットワークとしての携帯電話通信網を介してダウンロードサーバからダウンロードし携帯電話機１００に保存して登録したものでもよい。

図１３は、アプリケーションプログラムを実行可能な携帯電話機の概略構成の一例を示すブロック図であり、図１４は、その携帯電話機におけるソフトウェア構造の一例を示す説明図である。この携帯電話機は、前述の主制御部１１１等のほか、アプリケーションプログラムの実行環境を管理するアプリケーションプログラム実行管理手段としてのアプリケーションプログラム実行管理部１２５を備えている。このアプリケーションプログラム実行管理部１２５は、システムバス、ＣＰＵやＲＡＭ等で構成され、アプリケーションプログラムを実行するための所定のミドルウェアにしたがって動作する。アプリケーションプログラム実行管理部１２５は、図１４のソフトウェア構造上において中央の「プログラム実行環境」に対応しており、オブジェクト指向プログラミングで開発されたアプリケーションプログラムに利用されるクラスライブラリ、実行環境管理ライブラリ、アプリケーション管理等のソフトウェアを提供し、アプリケーションプログラムの実行環境を管理する。
ここで、アプリケーションプログラムは、クラスライブラリＡＰＩ（アプリケーションインターフェース）を介して上記プログラム実行環境内にある関数等のクラスライブラリを呼び出して使用できるようになっている。この関数等のクラスライブラリの呼び出しの履歴は、アプリケーションプログラムの仮想的な実行環境（仮想マシン：ＶＭ）が終了するまで保持される。また、プログラム実行環境内の実行環境管理ライブラリは、電話機プラットフォームＡＰＩを介して後述の電話機プラットフォーム内の電話機プラットフォームライブラリを呼び出して使用できるようになっている。
上記画像投影及びキー選択検知の制御は、アプリケーションプログラム実行管理部１２５から主制御部１１１を介して画像投影部１３０やキー選択検知部１８０に制御指令を送ることによって実行する。なお、アプリケーションプログラム実行管理部１２５から画像投影部１３０やキー選択検知部１８０に制御指令を直接送ることによって実行するように構成してもよい。

上記構成の携帯電話機において、待ち受け用アプリケーションプログラムやゲームなどのアプリケーションプログラムの実行中に、キー配列画像の画像投影やキー選択検知を行うときは、アプリケーションプログラムからアプリケーションプログラム実行環境に対し、画像投影起動要求指令やキー選択検知要求指令のための所定の関数の呼び出しを行う。この関数の呼び出しを受けたアプリケーションプログラム実行環境は、主制御部１１１に対し、画像投影起動要求指令やキー選択検知要求指令を送る。この画像投影起動要求指令やキー選択検知要求指令を受けた主制御部１１１は、画像投影部１３０に対して起動要求指令及び画像投影用制御データを送るとともに、キー選択検知部１８０に起動要求指令を送る。
画像投影部１３０は、上記起動要求指令に応じて起動し、上記画像投影用制御データに基づいて制御データで指定された所定のキー配列画像の投影を開始する。また、キー選択検知部１８０は、上記起動要求指令に応じて起動し、画像投影部１３０で投影された仮想的なキー配列画像上におけるキー選択を検知することができる待機状態になる。

なお、上記画像投影部１３０及びキー選択検知部１８０の起動や画像投影動作及びキー選択検知動作を実行させるアプリケーションプログラムは、着信通知画像を投影する待ち受け用アプリケーションプログラムであってもいいし、その他の例えばプロジェクタ機能や仮想的なキー配列画像上でのキー選択検知の制御に特化したアプリケーションプログラムであってもよい。

本発明の実施形態に係る携帯電話機の概略構成の一例を示すブロック図。 同携帯電話機の画像投影部の一構成例を示すブロック図。 同画像投影部の他の構成例を示すブロック図。 （ａ）及び（ｂ）は同画像投影部の更に他の構成例を示す携帯電話機の内部構成図。 （ａ）は同画像投影部の更に他の構成例を示すブロック図。（ｂ）は図５の画像投影部を備えた携帯電話機の部分側面図。 キー配列画像を投影している携帯電話機の斜視図。 同携帯電話機のキー選択検知部の一構成例を示すブロック図。 キー配列画像を投影している携帯電話機の側面図。 キー選択検知の原理を示す説明図。 変形例に係るキー選択検知の原理を示す説明図。 他の変形例に係る携帯電話機の斜視図。 （ａ）及び（ｂ）は同携帯電話機の内部構成図。 アプリケーションプログラム実行可能な携帯電話機の概略構成の一例を示すブロック図。 同携帯電話機におけるソフトウェア構造の一例を示す説明図。

符号の説明

１００ 携帯電話機
１００ａ 本体部
１００ｂ 蓋部
１１１ 主制御部
１１３ 無線通信部
１１９ 表示部（液晶ディスプレイ）
１３０ 画像投影部
１４０ カメラ部
１５０ アプリケーションプログラム実行管理部
１８０ キー選択検知部
１６１ 第１の光出射・検知部
１６２ 第２の光出射・検知部
１６３ 光源駆動部
１６４ キー選択データ生成部
２００ 投影面
２１０ 仮想的なキー配列画像
２１０ａ 選択対象のキー
３００ 指

Claims (3)

1. 仮想的なキー配列画像を投影する画像投影手段と、該画像投影手段で投影された該キー配列画像上のどのキーが選択されたかを検知するキー選択検知手段と、該画像投影手段を制御する制御手段と、移動体通信ネットワークを介して通信するための通信手段とを備えた移動体通信端末であって、
   アプリケーションプログラムの実行を管理するアプリケーションプログラム実行管理手段を備え、
   上記制御手段は、該アプリケーションプログラム実行管理手段による実行環境上で実行されているアプリケーションプログラムからの指令に基づいて上記画像投影手段の起動及び上記キー配列画像の投影動作を実行するように制御し、
   上記キー選択検知手段は、該アプリケーションプログラムからの指令に基づいて上記キー選択の検知動作を実行し、
   上記データ処理手段は、該キー選択検知手段から出力されるキー選択データに基づいて所定のデータ処理を実行し、
   上記画像投影手段を、光源と、該光源から出射した光を変調するための空間光変調部と、該空間光変調部から出射される光像を外部の投影面に結像して投影するための投影結像用光学系とを用いて構成し、
   上記光源から出射した光を拡散して外部の照射面に均一照射するための拡散照射用光学系を更に備え、
   上記光源及び上記空間光変調部からなる光生成部を、上記投影結像用光学系に対向する結像用位置と上記拡散照射用光学系に対向する拡散照射用位置との間で移動可能に構成し、投影対象の光像の生成と、拡散照射対象の光の生成とに兼用したことを特徴とする移動体通信端末。
2. 請求項１の移動体通信端末において、
   光像を電気信号に変換して画像データを生成するカメラ部を更に備え、
   上記カメラ部を、上記光生成部の上記拡散照射用位置への移動に連動して上記投影結像用光学系に対向する結像用位置に移動し、該光生成部の該投影結像用光学系への移動に連動して退避位置に移動可能に構成し、該投影結像用光学系を光像の投影と光の拡散照射とに兼用したことを特徴とする移動体通信端末。
3. 請求項１の移動体通信端末において、
   上記キー選択検知手段は、上記仮想的なキー配列画像上におけるキー選択のためのキー入力操作物のキー入力動作を検知するキー入力動作検知手段と、該キー入力動作検知手段の検知結果に基づいて該キー入力操作物によるキー入力動作に対応するキー選択データを生成するキー選択データ生成手段とにより構成され、
   光像を電気信号に変換して画像データを生成するカメラ部と、撮像対象の光像を該カメラ部上に結像するためのカメラ結像用光学系とを備え、
   該カメラ部及び該カメラ結像用光学系を、上記キー入力動作検知手段として兼用したことを特徴とする移動体通信端末。

Images