JP7176020B2 - 携帯端末の制御方法 - Google Patents

Description

本発明は、携帯端末の制御方法に関するものである。

近年のスマートフォンに代表される通信と情報処理技術、カメラ撮像技術と半導体技術の進歩は目覚しく、こうした環境の整備・拡大に伴って、従来の携帯電話での操作よりも円滑に操作するための技術が開発されている。

例えば音声認識機能をスマートフォンに搭載し、音声でスマートフォンを操作するなどの高度なマンマシーンインターフェイスシステムも導入されてきている。また、アイコンによる直観的な操作を可能にするタッチパッドは、スマートフォンで一般的に搭載されている。タッチパッドによる操作が一般的である理由は、その安定した動作と廉価な部品により製造が可能であるところもある。

しかし、これらは操作性に優れているとしても、音声では周囲の雑音や他の人の音声の影響を受ける可能性があり、タッチパッドでは手が滑って近くの別のアイコンを操作してしまう可能性もある。

誤操作の防止に関する技術として、例えば特許文献１には、ユーザの視線検出により、操作に有効な視線範囲にあるか否かを検出する視線有効範囲を設け、キーが操作された場合に、ユーザ視線が有効範囲にない場合に操作を無効とし、誤操作を防止する技術が記載されている。

特開２０１５－２８７３４号公報

特許文献１に記載された技術を用いれば、キーの誤操作を防止できる。しかしながら、このような技術は、スマートフォンの操作性を損なう可能性があり、スマートフォンへの適用は難しい。

本発明の目的は、スマートフォンなどの携帯端末で、操作性を損なうことなく、誤操作を防止する技術を提供することにある。

本発明に係る代表的な携帯端末の制御方法は、前記携帯端末のカメラが撮像した顔の目が向けられた視点を検出する検出ステップと、前記携帯端末の表示部において、前記視点に基づいた位置にカーソルを表示する表示ステップと、前記表示部に表示されたアイコンと、前記表示部の予め設定され、前記表示部の縁に接する複数の領域の中から選択されて設定される第１の領域への入力と、前記視点に基づいた位置とに対して、予め設定された入力条件を満たすか判定する条件判定ステップと、前記携帯端末の表示部の表示制御を行う制御ステップと、を備え、前記制御ステップにおいて、前記条件判定ステップに応じた前記視点に基づいた位置にある前記アイコンに対応するアプリケーションプログラムを実行し、前記表示部に前記実行に応じた表示を行うように表示制御する。

本発明によれば、スマートフォンなどの携帯端末で、操作性を損なうことなく、誤操作を防止する技術を提供することができる。

スマートフォンとその操作の例を示す図である。 スマートフォンにアイコンを表示した例を示す図である。 スマートフォンにテキストを表示した例を示す図である。 タブレット端末の表示の例を示す図である。 タブレット端末に地図を表示した例を示す図である。 タブレット端末に地図を拡大表示した例を示す図である。 タブレット端末に地図の詳細情報を表示した例を示す図である。 タブレット端末に地図を表示した例を示す図である。 タブレット端末に地図の詳細情報を表示した例を示す図である。 キャリブレーションの例を示す図である。 ２つのカメラによる距離測定の例を示す図である。 めがね型装置と携帯端末の例を示す図である。 カメラを使用しない操作の例を示す図である。 複数の指のタッチを検出するタブレット端末の例を示す図である。 タブレット端末の画面の例を示す図である。 タッチパッドに特別な領域を含むスマートフォンの例を示す図である。 スマートフォンの特別な領域の操作の例を示す図である。 携帯端末のハードウェア構成の例を示す図である。 携帯端末のハードウェア構成の例を示す図である。 携帯端末の処理の例を示す図である。

以下、本発明の実施形態の例を、図面を用いて説明する。

図１は、スマートフォン１００とその操作の例を示す図である。図１の例では、スマートフォン１００を操作するユーザ１６０が、電車またはバスなどの交通機関において、つり革１７０につかまって、片手をふさがれた状況であり、片手１６３でスマートフォン１００を保持している。

ユーザ１６０は、スマートフォン１００を操作するために、顔をスマートフォン１００に向けて、目１６１によりスマートフォン１００を見ている。スマートフォン１００は、タッチパッド（表示画面）１１０、カメラ１２０、カメラ１３０、サイドボタン１４０、及びマイク１５０が設けられており、ユーザ１６０はタッチパッド１１０を見ることになる。

カメラ１２０とカメラ１３０は、ユーザ１６０の顔を撮像するものであり、特にユーザ１６０の目１６１を撮像する。そして、２個のカメラでの撮像により顔とタッチパッド１１０との距離を算出し、目１６１の白目と瞳の位置関係から視線を特定して、タッチパッド１１０での視点を得るが、これらについては後で更に説明する。

図１に示したスマートフォン１００の例では、カメラを２個設けたが、顔とタッチパッド１１０との距離を他のセンサにより検出できるのであれば、１個であっても良い。例えば、タッチパッド１１０と同一面のカメラ１２０の代わりにカメラ１２０の位置に赤外線または超音波の距離センサを設けて、ユーザ１６０の顔との距離を測定しても良い。

また、ユーザ１６０がサングラスを着用しているなど目１６１の白目と瞳の位置関係を識別しにくく視点を特定しにくい場合は、その代わりに他の入力が利用されてもよい。ただし、ユーザ１６０の顔そのものがタッチパッド１１０へ向いているかを判定するために、顔の輪郭、例えば髪の毛と耳で構成される輪郭１６２が識別されても良い。

図２は、スマートフォン１００にアイコン２２０を表示した例を示す図である。図２の例は、ホーム画面或いは待ち受け画面と呼ばれる表示であり、タッチパッド１１０にアイコン２２０が表示されている。なお、アイコン２２０－１からアイコン２２０－９までを、いずれのアイコンであるかを特定せずに表す場合、アイコン２２０と表現し、以下では他の符号も同じ表現とする。

アイコン２２０－１からアイコン２２０－９までのそれぞれは、アプリケーションプログラムに対応して予め設定されたアイコンであり、それらの中で選択されたアイコン２２０に対応するアプリケーションプログラムが実行される。カーソル２１０は、ユーザ１６０の視点の位置に表示される。即ち視点をユーザにフィードバックするカーソル位置を示す。

先ずユーザ１６０の視線は、漠然とタッチパッド１１０上の一点を捉える。スマートフォン１００に着信があり、現在受話状態に移行できない旨を自動的に応答するアプリケーションプログラムの起動アイコンがアイコン２２０－８であった場合、ユーザ１６０はカーソル２１０をアイコン２２０－８上に合致させるべく視線を移動させる。

そして、スマートフォン１００は、アイコン２２０－８上に視点があることを特定し、サイドボタン１４０のスイッチオン動作、いわゆる「決定」動作を検出すると、アイコン２２０－８に対応するアプリケーションプログラムを起動する。これにより、片手操作でのアプリケーション選択及び起動が可能となる。

図１では、つり革１７０につかまるというユーザ１６０の行為を例にとったが、荷物を持っている場合、資料を手に持っている場合、或いは子供と手をつないで歩いている場合、片手を怪我している場合など、片手のみによる操作が求められる場面は多く存在し、これらの場合に、以上で説明した操作は有効である。

なお、スマートフォン１００は、視点がアイコン２２０－８上へ移動したことを特定すると、アイコン２２０－８上へカーソル２１０を移動するだけではなく、アイコン２２０－８の表示の色を変更したり、表示のサイズを変更したり、表示の形状を変更したりして、ハイライト表示しても良い。これにより、更に確実にアイコン２２０－８が選択されていることを、ユーザ１６０は確認できる。

また、スマートフォン１００は、カーソル２１０を表示せず、視点がいずれかのアイコン２２０上へ移動したことを特定すると、そのアイコン２２０の表示の色を変更したり、表示のサイズを変更したり、表示の形状を変更したりしても良い。

また、図２の例では、カーソル２１０の形状を矢印としたが、視線の狙っている部分を示すという意味を強調するために、丸と十字を組み合わせたターゲットマークなどであっても良い。

以上の説明では、待ち受け画面におけるアプリケーションプログラムの起動の例を説明したが、アプリケーションプログラム実行中の操作についても、以上で説明した操作の処理は利用可能である。例えば、図２に示したアイコン２２０は電話番号を入力する数字キーであり、電話関係のアプリケーションプログラムを実行中にアイコン２２０の選択により数字が入力されても良い。

また、例えば留守電機能の利用では、合成音声のメッセージにしたがって数字の入力が求められる場合がある。即ち、タッチパッドから数字が入力可能になる状態と、スマートフォンから発せられる合成音声のメッセージを聞く状態とが重なる場合がある。

これに対して、スマートフォン１００はカメラ１２０、１３０によりユーザ１６０の視点により数字キーであるアイコン２２０が選択されるので、メッセージを聞くために耳がタッチパッド１１０に接触しても、数字キーであるアイコン２２０は選択されず、意図しないタッチパッド入力が受け付けられるようなことはない。

また、待ち受け画面またはアプリケーションプログラムを実行中において、スマートフォン１００を懐にしまう動作の途中で、タッチパッド１１０への無意識の接触による意図しない入力が受け付けられることはない。なぜならば、視点によるアイコン２２０の選択がなく、更にサイドボタン１４０のスイッチオン動作もなく、ユーザの決定（実行）の意図条件が満たされていないためである。

以上で説明したように、アプリケーションプログラム或いは数字キーの決定という１つの指示を２種類の操作の組み合わせで入力することにより、誤って１種類の操作が発生してしまっても、誤った指示にまでは至らない。

ここでのポイントは、ユーザの顔認識及び視線や視点検知というスマートフォン内蔵の標準となりつつあるカメラ機能さえ備えていれば、比較的容易なソフトウェア処理により誤入力認識防止及び片手操作のみによる使い勝手向上という大きな効果を得ることができる点である。

スマートフォン１００で他のアプリケーションプログラムを実行する例を説明する。図３は、スマートフォン１００にテキストを表示した例を示す図である。テキストは単語の並びで構成され、例えば単語３２０－１、単語３２０－２、単語３２０－３、単語３２０－４と順番に、ユーザ１６０は視点を移動しながら単語３２０を読み進む。

ここで、ユーザ１６０が単語３２０－４をコピーしたい場合、ユーザ１６０の視点は単語３２０－４にあり、この視点をスマートフォン１００は特定する。そこで、サイドボタン１４０がスイッチオン動作されながら、マイク１５０が音声による操作を受け付ける。この音声による操作は、例えば「コピー」である。

これに対して、スマートフォン１００は、単語３２０－４をコピーしてクリップボードに貼り付ける。また、音声による操作は、他の種類の操作であっても良く、テキスト編集のための操作であっても良い。

以上で説明したように、単語３２０－４の選択とコピーという２つの指示を３種類の操作の組み合わせで入力することにより、誤って１種類の操作が発生してしまっても、誤った指示にまでは至らない。

次に、タブレット端末の例を説明する。図４は、タブレット端末４００の表示の例を示す図である。タブレット端末４００は、タッチパッド（表示画面）４１０、カメラ４２０、カメラ４３０、決定ボタン４４０、及びマイク４９０が設けられており、ユーザはタッチパッド４１０を見ることになる。

これらは、既に説明したスマートフォン１００のタッチパッド１１０、カメラ１２０、カメラ１３０、サイドボタン１４０、及びマイク１５０に相当し、カーソル４７０はカーソル２１０に相当し、アイコン２２０を表示してのアプリケーションプログラムの起動や、アプリケーションプログラム実行中の数字の入力は既に説明したとおりであり、テキストを表示しての単語の処理も既に説明したとおりである。

ただし、アイコン２２０を表示してのアプリケーションプログラムの起動において、決定ボタン４４０が押し込まれる代わりに、マイク４９０が音声による操作として「実行」を受け付けても良い。

このような操作による指示は、情報検索でも利用できる。図４の例では、人４８０－１、人４８０－２、及び人４８０－３の３名が被写体となった写真情報において、ユーザが人４８０－２の人物の情報を知りたい場合、ユーザが視線を人４８０－２の表示に向けて、カーソル４７０が人４８０－２の表示に移動したとき、決定ボタン４４０を押し込むか、マイク４９０に向けて「情報検索せよ」と発声する。

これに対して、タブレット端末４００は、ユーザの視点を特定してカーソル４７０を移動し、決定ボタン４４０が押し込まれるか、マイク４９０で「情報検索せよ」という音声の操作を受け付けると、視点を特定した位置、即ちカーソル４７０を表示している位置の画像を顔認識し、タブレット端末４００内に記憶された情報或いはインターネット上の情報を検索して、見つかった結果を音声合成で出力するか、タッチパッド４１０に表示する。

タブレット端末４００は、ユーザの視点を特定してカーソル４７０を移動し、決定ボタン４４０が押し込まれる操作を受け付けると共に、マイク４９０で「情報検索せよ」という音声の操作を受け付けると、顔認識しても良い。

情報検索の対象は地図情報であっても良い。図５Ａは、タブレット端末４００に地図情報を表示する例を示す図である。図５Ａに示すタブレット端末４００は、図４に示したタブレット端末４００に、ダウンボタン４５０とアップボタン４６０が追加されている。ダウンボタン４５０とアップボタン４６０は、音出力のボリュームの調整に使用されるものであるが、画像のズームの調整にも兼用される。

ユーザが、先ず「アフリカ地図」を表示するよう操作し、図５Ａではタッチパッド４１０にアフリカの地図が表示されている。「アフリカ地図」を表示するための操作は、マイク４９０へ「アフリカ地図」という音声が入力されても良く、この音声と共に決定ボタン４４０が押し込まれるか、タッチパッド４１０の特定領域がタッチされても良い。

そして、ユーザが、アフリカの地図の一部に視点をあわせて、アップボタン４６０を押すと、これらのユーザの操作に対して、タブレット端末４００は、カメラ４２０とカメラ４３０で得られたユーザの画像から視点を特定し、視点位置にあわせてカーソル４７０を表示し、アップボタン４６０が押されたことを検出すると、図５Ｂに示すように、視点位置であるカーソル４７０を中心に地図をズームアップする。

これにより、ユーザは、更に詳細な位置を確認するために見たい部分がズームアップされ、知りたい部分を詳細に観察することができる。

なお、タブレット端末４００は、アップボタン４６０の代わりにダウンボタン４５０が押されたことを検出すると、視点位置であるカーソル４７０を中心に地図をズームダウンする。また、アップボタン４６０或いはダウンボタン４５０が押されたことを検出すると共に、マイク４９０で「ズームアップ」或いは「ズームダウン」という音声の操作を受け付けて、地図のズームアップ或いはズームダウンの処理を実行しても良い。

更に、図５Ｂに示した表示において、タブレット端末４００は、決定ボタン４４０が押されたことを検出すると、視点位置であるカーソル４７０の地図上で指し示す国を特定し、その特定された国に関する情報を、タブレット端末４００内の記憶装置またはインター
ネットから検索して、図５Ｃに示すようにタッチパッド４１０に表示する。

ここで、タブレット端末４００は、決定ボタン４４０が押されたことを検出すると共に、マイク４９０で「詳細情報」という音声の操作を受け付けて、検索の処理と表示の処理を実行しても良い。

地図情報に基づく情報検索では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づき、タブレット端末４００の位置に応じた地図の表示と周辺情報の検索を可能にしても良い。タブレット端末４００は、地図アプリケーションプログラムが起動されると、ＧＰＳに基づき現在位置を中心とした地図を表示する。

図６Ａは、タブレット端末４００に地図情報を表示する例を示す図である。タッチパッド４１０、カメラ４２０、カメラ４３０、決定ボタン４４０、ダウンボタン４５０、アップボタン４６０、カーソル４７０、及びマイク４９０は既に説明したとおりである。タッチパッド４１０には地図をスクロールするための四方向の矢印と現在位置マーク６２０も表示される。

現在位置マーク６２０が地図の中心に表示されている状態において、上矢印６１０に視点があわされて、決定ボタン４４０が押されると、地図が下へスクロールし、図６Ａに示す表示画面が得られる。図６Ａでは、地図の下へのスクロールに応じて、現在位置マーク６２０も下へ移動している。

図６Ａに示した表示画面において、ユーザの視点が百貨店６３０にあわされると、カーソル４７０が百貨店６３０を指し示すように表示され、決定ボタン４４０が押されると、図６Ｂに示した表示画面となる。これにより、ユーザは、これから行こうとする百貨店の各階の情報を事前に得ることが可能となる。

以下に、視点を特定するためのキャリブレーションと距離測定について、図７と図８を用いて説明する。キャリブレーションが開始されると、図７に示すように、タッチパッド１１０またはタッチパッド４１０の表示画面７１０の中で、先ず表示画面７１０－１のように中央に点滅するマーク７１１－１が表示される。

表示画面７１０－１の表示に対して、カメラ１２０、カメラ１３０、カメラ４２０、或いはカメラ４３０による撮像画像７２０－１が取得される。ここで、図８を用いて後で説明するように、２つのカメラ１２０、１３０或いはカメラ４２０、４３０の視差を利用した、被写体７１２即ちユーザまでの距離を測定しても良い。撮像画像７２０－１でのカメラの倍率は、被写体７１２の上半身が収まる程度で良い。

次に、表示画面７１０－２のように左下に点滅するマーク７１１－２が表示される。このとき、「点滅する図形に注目してください」などのメッセージが合成音声で出力されても良い。また、カメラの倍率が上げられて、被写体７１２の目の部分７１３がクローズアップされ、撮像画像７２０－２が取得される。

次に、表示画面７１０－３のように右上に点滅するマーク７１１－３が表示される。撮像画像７２０－２が取得されたカメラの倍率と同じ倍率で、被写体７１２の目の部分７１３がクローズアップされた撮像画像７２０－３が取得され、撮像画像７２０－２と撮像画像７２０－３の目のパターンの相関を求める。

即ち、表示画面７１０の中央から遠い位置へ視線が向う従い、目の輪郭７１４における黒目や虹彩の位置７１５は、目の輪郭７１４の中央から離れるように変位する。表示画面
７１０の端点（マーク７１１－２とマーク７１１－３）を見たときの、目の輪郭７１４－２に対する黒目や虹彩の位置７１５－２と、目の輪郭７１４－３に対する黒目や虹彩の位置７１５－３との変位を基準として、キャリブレーション後の実際に視点を特定するために新たに得られた撮像画像の変位量の、変位の基準に対する割合から、表示画面の端点からの割合が、視点の位置として算出されても良い。

また、マーク７１１－２とマーク７１１－３の間の距離と、撮像画像７２０－１が取得されたときに測定されたスマートフォン１００（或いはタブレット端末４００）とユーザ（被写体７１２）との距離とから、撮像画像７２０－２と撮像画像７２０－３の視線の角度が算出され、新たに得られた撮像画像の変位量の、変位の基準に対する割合から、視線の角度の割合が算出され、視線の角度と新たに得られた撮像画像が取得されたときの距離とから視点の位置が算出されても良い。

なお、図７を用いた説明では、片目についての処理を説明したが、両目それぞれに対して処理を行い、平均化するなどしても良い。また、マーク７１１－１が表示されることなく、マーク７１１－２とマーク７１１－３が表示されても良い。更に、マーク７１１－２とマーク７１１－３の表示と撮像画像７２０－２と撮像画像７２０－３の取得に加えて、表示画面７１０の左上と右下にもマークが表示され、それぞれの撮像画像が取得されても良い。

図８は、２つのカメラによる距離測定の例を示す図である。顔認識により被写体７１２の両眼の中心位置である点８２１が検出され、検出された点８２１を用いた距離測定について説明する。また、説明を簡単にするために、２つのカメラの中で一方の正面に被写体７１２であるユーザが正対した状態での距離測定を説明する。

図８では、携帯端末８１０が被写体７１２を撮像する位置関係を、ｚ軸の上方向から見たｘｙ平面で示している。携帯端末８１０は、スマートフォン１００或いはタブレット端末４００であり、レンズ８１１、レンズ８１２、撮像素子８１３、及び撮像素子８１４が設けられている。

撮像素子８１３には、レンズ８１１を通して、点８２１を含む被写体７１２が結像する。ここで、点８２１は撮像素子８１３上の点８２４となる。撮像素子８１４にも、レンズ８１２を通して、点８２１を含む被写体７１２が結像する。ここで、点８２１は撮像素子８１４上の点８２５となる。

そして、撮像素子８１３における点８２４に相当する位置である撮像素子８１４における点８２６と、点８２５の位置の差が視差８３４に相当する。このように、１つの被写体７１２を２つのカメラで撮像すると、各カメラの撮像素子８１３と撮像素子８１４とでは画像に違いが生じる。

また、点８２１と点８２２と点８２３が形成する大きな三角形と、点８２３と点８２６と点８２５が形成する小さな三角形とには、光学的性質上、相似関係がある。そこで、携帯端末８１０から被写体７１２までの長さ８３１を距離Ｌとし、レンズ間の長さ８３２を距離Ｄとし、焦点距離８３３を距離Ｆとし、視差８３４を距離Ｓとすると、これらの距離の間には、Ｌ：Ｄ＝Ｆ：Ｓという関係が成立する。

この関係から、距離Ｌは、Ｌ＝Ｄ×Ｆ／Ｓで表され、例えばＤ＝５ｃｍ、Ｆ＝３ｍｍ、Ｓ＝０．５ｍｍとすると、Ｌ＝３０ｃｍが得られる。携帯端末８１０であるスマートフォン１００或いはタブレット端末４００では、２つのカメラそれぞれのレンズの位置と撮像素子の位置との関係は固定であるため、以上のように被写体７１２と携帯端末８１０の距
離を算出することが可能となる。

以上で説明したように、被写体であるユーザの目が撮像可能であれば、視点と距離を算出可能であるが、ユーザの個人差により目の開き方や、ユーザと携帯端末との距離のとり方には大きな違いが出る可能性もあるため、目の輪郭と黒目では視点と距離を算出しにくい場合もある。そこで、以下では、めがね型の装置を用いる例を説明する。

図９は、めがね型装置９００と携帯端末９４０の例を示す図である。めがね型装置９００は、めがねの形状をしており、鼻と耳が接触してユーザの顔に固定され、カメラ９２０－１とカメラ９２０－２を有する。カメラ９２０は、ユーザの目の近距離に位置するため、目の輪郭と黒目を撮像しやすい。なお、カメラ９２０は１つであっても良い。

カメラ９２０とユーザの目との距離は、ユーザの顔の形状の個人差はあるものの、めがね型装置９００の形状に応じて、ほぼ一定となり、めがね型装置９００の形状が設計されるときに固定値として設定されても良い。

携帯端末９４０は、スマートフォン１００或いはタブレット端末４００であり、めがね型装置９００と接続コード９３０で接続され、カメラ９２０での撮像画像のデータをめがね型装置９００から得る。図９では、接続コード９３０による有線接続の例を示したが、接続コード９３０が無く、携帯端末９４０とめがね型装置９００とが無線接続されても良い。

携帯端末９４０は、タッチパッド（表示画面）９５０、アップボタン９６０、ダウンボタン９７０、及び決定ボタン９８０が設けられ、これらの動作は既に説明したとおりであるが、２つのカメラは設けられなくても良い。ユーザがタッチパッド９５０を見るために、めがね型装置９００のリム９１０には透明または着色されたレンズがはめ込まれる。

めがね型装置９００のリム９１０－１とリム９１０－２の一方または両方に液晶スクリーンがはめ込まれても良い。液晶スクリーンにアイコンなどを映し出すために、携帯端末９４０は接続コード９３０を介してめがね型装置９００へ画像データを出力しても良い。

めがね型装置９００に液晶スクリーンがはめ込まれた場合の携帯端末９４０は、液晶スクリーンに映し出されたアイコンなどへのユーザの視点を算出する。また、この場合の携帯端末９４０は、タッチパッド９５０を備えなくても良いし、タッチパッド９５０に対して小さい或いは解像度の低いタッチパッドであっても良い。

めがね型装置９００のツル９９０－１とツル９９０－２の一方または両方にイヤフォンを備えても良い。イヤフォンを用いて音で情報をユーザへ伝えるために、携帯端末９４０は接続コード９３０を介してめがね型装置９００へ合成音声データを出力しても良い。このイヤフォンの代わりに、めがね型装置９００はヘッドフォンを備えても良い。ヘッドフォンを備えるために、ユーザの頭上で接触するヘッドバンドを備えても良い。

また、ハンズフリーフォンのようにツル９９０がマイクを備えても良い。マイクからの音声データを得るために、携帯端末９４０は接続コード９３０を介してめがね型装置９００から音声データを入力しても良い。

更に、めがね型装置９００は、液晶スクリーンがはめ込まれ、アップボタン９６０、ダウンボタン９７０、及び決定ボタン９８０が設けられても良く、携帯端末９４０の処理をめがね型装置９００が実行しても良い。この場合のめがね型装置９００は、独立して動作可能であるため、接続コード９３０が無くても良い。

以上の説明では、カメラを使用してユーザの視点を特定したが、カメラを使用しなくても良い。例えば、スマートフォンが鷲掴みにされた場合、ユーザの手の指が無意識にタッチパッドに接触し、ユーザの意図せぬ入力がなされる場合もあるが、これに対して、カメラを使用せず、図１０に示すような操作を検出しても良い。

図１０はカメラを使用しない操作の例を示す図である。スマートフォン１００は、タッチパッド１１０、サイドボタン１４０、及びマイク１５０が設けられている。カメラは設けられていても良いが、使用されない。視点位置の代わりに、片手１６４によるタッチパッド１１０への接触位置を検出し、片手１６３によるサイドボタン１４０の押し込まれる動作を検出して、スマートフォン１００は、検出された操作に対応する処理を実行する。

また、スマートフォン１００は、片手１６４によるタッチパッド１１０への接触位置を検出し、サイドボタン１４０の押し込まれる動作の検出の代わりに、マイク１５０での音声による操作を検出しても良い。これらにより、タッチパッド１１０の操作の検出に加えて別の操作の検出も行うことにより、ユーザの意図しない操作を誤検出する可能性を減らすことができる。

以上の説明では、タッチパッド以外の操作を検出したが、タッチパッドの操作の検出で、ユーザの意図しない操作を誤検出する可能性を減らす例を説明する。図１１Ａは複数の指のタッチを検出するタブレット端末１１００の例を示す図である。タブレット端末１１００は、タッチパッド（表示画面）１１１０及びカメラ１１２０が設けられている。

カメラ１１２０は、タッチパッド１１１０を操作する手１１４０を指まで撮像するようタッチパッド１１１０側に傾けられて設置され、カメラ１１２０の撮像光軸はタッチパッド１１１０の方向に傾き、撮像範囲は画角１１３０のようにタッチパッド１１１０の周辺を含む。

タブレット端末１１００では、手１１４０の１本目の指（例えば人差し指）のタッチを検出し、その状態でタッチした指の移動を検出すると、カーソルを移動させる。そして、手１１４０の２本目の指（例えば親指）により、タッチパッド１１１０内の実行（決定）ボタンの範囲のタッチを検出すると、１本目の指を検出している位置であるカーソルの位置に対応する動作を実行あるいは決定する。

図１１Ｂは、タブレット端末１１００の画面の例を示す図である。アイコン１１５０－１、アイコン１１５０－２、アイコン１１５０－３が、タッチパッド１１１０に表示されており、アイコン１１５０それぞれは、アプリケーションプログラム或いはアプリケーションプログラムに対する指示に対応している。

アイコン１１６０は、実行（決定）ボタンである。例えば、１本目の指でのアイコン１１５０－１へのタッチを検出している状態で、２本目の指でのアイコン１１６０へのタッチを検出すると、タブレット端末１１００は、アイコン１１５０－１に対応するアプリケーションプログラムを起動したり、指示に基づく動作を実行したりする。

アイコン１１６０は、タッチパッド１１１０に表示されなくても良い。この場合の実行（決定）ボタンの範囲は、アイコン１１５０以外の領域となる。また、アイコン１１６０が表示されていない状態で、１本目の指がいずれかのアイコン１１５０を予め設定された時間以上タッチし続けていることを検出すると、アイコン１１６０が表示され、アイコン１１６０への２本目の指のタッチが検出されても良い。

カメラ１１２０が撮像した画像を分析することにより、タッチパッド１１１０にタッチしている指の種類が認識される。この指の種類の認識により、２本目の指のタッチが、親指のタッチであると認識した場合は、いわゆるマウスの左クリックとして検出されて、アイコン１１５０に対応するアプリケーションプログラムが起動されても良い。

また、２本目の指のタッチが、中指のタッチであると認識した場合は、いわゆるマウスの右クリックとして検出されて、アイコン１１５０に対応するアプリケーションプログラムのメニューが表示されたり、アプリケーションプログラムの情報が表示されたりしても良い。また、１本目の指のタッチが中指で行われた場合には、２本目の指のタッチが人差し指で行われた場合にマウスの左クリックとして検出され、２本目のタッチが薬指で行われた場合にマウスの右クリックとして検出されても良い。

指の種類の認識の結果が、ユーザにわかるようにするため、タッチパッド１１１０のタッチ部分の周囲を、認識した指の種類に応じた特定の色とする表示にしてもよい。そして、タッチ部分の周囲の色の表示が、カーソルとみなされても良い。これにより、指の種類の認識の誤りにより、誤った指示となる可能性を減らすことができる。

更に、カメラ１１２０で撮像された手１１４０の画像が、アイコン１１５０及びアイコン１１６０と重畳されてタッチパッド１１１０に表示されても良い。

次に、カメラにより視点を検出するが、図１などに示したサイドボタン１４０及び図４に示した決定ボタン４４０の代わりにタッチパッドを使用する例を説明する。図１２Ａは、タッチパッド１１０の一部を特別な領域とするスマートフォン１００の例を示す図である。

スマートフォン１００は、タッチパッド１１０、カメラ１２０、及びカメラ１３０が設けられている。カメラ１２０及びカメラ１３０については既に説明したとおりである。スマートフォン１００は、サイドボタンとマイクが設けられていても良いが、ここでは使用されない。スマートフォン１００は、タブレット端末４００であっても良い。

サイドボタン１４０及び決定ボタン４４０の代わりにタッチパッド１１０を使用するために、サイドボタン１４０及び決定ボタン４４０の代わりとなる特別領域１２１０がタッチパッド１１０に設定される。特別領域１２１０は、スマートフォン１００が片手で保持された場合に、例えば親指でタッチされる領域である。

ユーザが、スマートフォン１００を片手で把持する場合、そのユーザの癖によってその把持する位置が異なり、そのユーザが右利きか左利きかによってもその把持する位置が異なる。そこで、図１２Ａに示すような特別領域１２１０－１から特別領域１２１０－６までに対して、１つの特別領域１２１０が選択される設定を、スマートフォン１００の電源がオンされた後またはリセットされた後に受け付ける。

図１２Ａにおいて、例えば、特別領域１２１０－１、１２１０－３、１２１０－５は左手で把持された場合用であり、特別領域１２１０－２、１２１０－４、１２１０－６は右手で把持された場合用である。スマートフォン１００を把持する手でタッチされる特別領域１２１０は、タッチパッド１１０の縁に接する領域であることが望ましい。

図１２Ｂは、特別領域１２１０－３が選択される設定を受け付けた例である。視点による位置指定は、特別領域１２１０－３を除くタッチパッド１１０で有効とし、特別領域１２１０－３はタッチ専用とする。このため、特別領域１２１０－３にはアイコン１２３０は配置されない。

そして、既に説明したように、カメラ１２０とカメラ１３０の撮像画像に基づいてユーザの視点が特定され、カーソル２１０が表示される。視点位置であるカーソル２１０の位置は、アイコン１２３０－１からアイコン１２３０－８の上を移動可能である。

カーソル２１０が、アイコン１２３０－６の上に位置したところで、片手１２２０の親指により特別領域１２１０－３のタッチされたことが検出されると、アイコン１２３０－６に対応するアプリケーションが起動されたり、アプリケーションに指示が送られたりする。

なお、特別領域１２１０－３に「決定」や「タッチ」などを表す文字列または特別なアイコンが表示され、ユーザが特別領域であることを理解できるようにしても良い。

以上で説明した視点または１本目の指による第１の操作と、ボタンや音声による第２の操作などの複数の操作を検出することにより、操作の妥当性を確認し、ユーザの意図に即した動作を実現する。妥当性を確認するための操作は、以上で説明した操作に限定されるものではない。

例えば、カメラを使用しての操作の検出として、視点によるアイコン選択状態が数秒間継続したら、実行または決定にあたり、「よろしければ右目のみを３秒間閉じてください」といったメッセージをユーザに投げかけ、そのとおりの動作が検出されれば、実行または決定の動作に移行するようにしても良い。

また、ユーザがサングラスを装着しており、目以外の入力が必要な場合、例えば口唇の形で確認するため、「よろしければ、『お』を発音するときの口の形にしてください」といったメッセージをユーザに投げかけ、そのとおりの動作が検出されるか判定されても良い。

操作を検出するためのスマートフォン１００或いはタブレット端末４００のセンサとしては既に説明したとおりであるが、検出される操作は、入力条件として優先度を持たせても良い。例えば、
（１）視線、視点、或いは目の状況
（２）口唇の形
（３）音声
（４）スイッチ入力
（５）タッチパッドへのタッチ情報
に対して、予め優先度が設定され、任意に組み合わされても良い。

周辺環境に応じて優先度の高い入力条件または優先度の低い入力条件を、後で説明する入力条件管理部が選択する。例えば、周辺環境として暗い環境であると判定されると、カメラが使用される入力条件は選択されず、優先度の低いスイッチ入力とタッチパッドへのタッチ情報が選択されても良い。

図１３は携帯端末８１０の第１のハードウェア構成の例を示す図である。携帯端末８１０は既に説明したとおりスマートフォン１００或いはタブレット端末４００である。カメラ部１３０１は、カメラ１２０、１３０かカメラ４２０、４３０などに対応し、タッチパッド表示部１３０８とタッチパッドセンス部１３１６は、タッチパッド１１０かタッチパッド４１０などに対応する。

マイク部１３１３は、マイク１５０かマイク４９０に対応し、スイッチ入力部１３１５
は、サイドボタン１４０か決定ボタン４４０などに対応する。なお、スマートフォン１００本来の電話機能などのハードウェアは、本実施例の説明とは関係ないので省略している。また、アプリケーションプログラムの起動について特に説明する。

カメラ部１３０１は、２つ以上のカメラの撮像により得た画像情報を顔認識部１３０２へ出力する。顔認識部１３０２は、顔認識して、顔部分の特徴を抽出する。また、顔認識部１３０２は、顔までの距離を算出し、顔を正面に認識できない場合や目を認識できない場合、ユーザへメッセージを出すための動作をしても良い。

視点検出部１３０３は、目の部分の情報と顔までの距離を顔認識部１３０２から入力し、視点の位置を算出する。ここで、視点がタッチパッド表示部１３０８に向けられているかを判定しても良い。そして、視点は絶えず細かな動きを生じる性質があるため、ローパスフィルタ部１３０４は、細動情報をカットし、視点の情報を視点情報管理部１３０５へ出力する。

視点情報管理部１３０５は、タッチパッド表示部１３０８の画面上のどこに視点があるかを、カーソル表示１３０７へ出力し、タッチパッド表示部１３０８を介してユーザにカーソルを表示する。なお、既に説明したようにカーソルの代わりにアイコンのハイライト表示などであっても良い。

一方、視点情報と組みあわされる少なくとも１つ以上の入力としては、マイク部１３１３から入力され、音声認識部１３１４を経て解読される音声入力、サイドボタンなどのスイッチ入力部１３１５からのスイッチ入力、或いはタッチパッドセンス部１３１６から入力される手指のタッチ入力などがある。

これらの入力と、視点情報管理部１３０５からの視点入力とがそろうことで、入力条件管理部１３０９は、アプリケーションプログラム実行部１３１０へ、入力により特定されるアプリケーションプログラムを起動させる。入力条件管理部１３０９は、既に説明したとおり、複数の入力が、予め定められた条件を満たすと判定すると、アプリケーションプログラム実行部１３１０へ指示を出力する。

入力条件管理部１３０９は、アイコンの表示位置と、アイコンに対応するアプリケーションプログラムの識別情報との対応情報を有し、視点情報管理部１３０５からの視点入力に応じた識別情報をアプリケーションプログラム実行部１３１０へ出力しても良い。

あるいは、アプリケーションプログラム実行部１３１０が、アイコンの表示位置と、アイコンに対応するアプリケーションプログラムの識別情報との対応情報を有し、入力条件管理部１３０９は、予め定められた条件を満たすと判定すると、視点情報管理部１３０５からの視点の入力を、アプリケーションプログラム実行部１３１０へ転送しても良い。

入力条件管理部１３０９は、タッチパッド１１０かタッチパッド４１０などの領域と、アプリケーションプログラムへの指示との対応情報を有し、タッチパッドセンス部１３１６からのタッチ位置の入力に応じた指示をアプリケーションプログラム実行部１３１０へ出力しても良い。

入力条件管理部１３０９は、タッチパッド１１０かタッチパッド４１０などの領域として、特別領域１２１０の情報を複数有し、選択された特別領域１２１０－３の情報を有しても良く、アイコン１１６０の決定ボタンの領域を有しても良い。

以上の説明では、入力条件管理部１３０９を独立した制御部として表したが、アプリケ
ーションプログラム実行部１３１０の一部であっても良い。最終的にアプリケーションプログラム実行部１３１０によって、スピーカー部１３１１がユーザに音声で情報を伝達するか、或いは通信制御部１３１２に指令を送り通信させても良い。

なお、図７を用いて既に説明したように、カメラで撮像した目の情報と視点とには個人差があることから、キャリブレーション管理部１３０６は、カメラで撮像した目の情報と視点との関係を管理して、視点情報管理部１３０５へ出力し、視点情報管理部１３０５は、その関係に基づいて視点を特定する。

カメラ部１３０１から視点情報管理部１３０５までは、顔の代わりに指を認識し、指の位置と種類を特定しても良い。入力条件管理部１３０９は、視点情報管理部１３０５からの指の位置と種類の情報を入力としても良く、タッチパッドセンス部１３１６からの入力を視点情報管理部１３０５へ転送し、視点情報管理部１３０５にタッチ位置へカーソルを表示させても良い。

図１４は携帯端末８１０の第２のハードウェア構成の例を示す図である。図１３を用いて説明したハードウェアの各部はソフトウェアで実現してもよい。図１４に示したハードウェア構成の例は、そのソフトウェアでの実現のためのハードウェア構成の例である。なお、図１４に示した携帯端末８１０のハードウェア構成は、一般的なスマートフォンやタブレット端末のハードウェア構成であっても良い。

プロセッサ１４０１はメモリ１４０２に格納されたプログラムを実行し、図１４に示した各部とデータをやり取りして、データを処理する。メモリ１４０２は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プログラムとデータが格納される。

ストレージ１４０３は例えばフラッシュメモリであり、プログラムとデータが格納される。メモリ１４０２とストレージ１４０３との間で、プログラムとデータが転送されても良い。通信部１４０４は接続コード９３０による有線接続、或いは無線電話回線や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で通信する。

メモリ１４０２に格納されたアプリケーションプログラムを実行するプロセッサ１４０１の制御により、通信部１４０４は送受信する。また、メモリ１４０２あるいはストレージ１４０３に格納されるプログラムとデータは、通信部１４０４により受信されても良い。

入力部１４０５は、マイク１４０７などからの入力信号をデータとしてメモリ１４０２或いはストレージ１４０３へ格納する。マイク１４０７は、図１に示したマイク１５０或いは図４に示したマイク４９０であり、音声信号を入力する。カメラ１４０８とカメラ１４０９のそれぞれは、図１に示したカメラ１２０とカメラ１３０或いは図４に示したカメラ４２０とカメラ４３０であり、撮像した映像信号を入力する。

出力部１４０６は、メモリ１４０２或いはストレージ１４０３に格納されたデータを信号に変換し、スピーカー１４１１などへ出力する。タッチパッド１４１０は、図１に示したタッチパッド１１０或いは図４に示したタッチパッド４１０などであり、タッチを検出すると、そのタッチの情報を入力部１４０５へ出力し、出力部から入力した映像信号にしたがって画面を表示する。

図１５は、図１４に示した携帯端末８１０の処理の例を示す図であり、メモリ１４０２に格納されてプロセッサ１４０１が実行するプログラムのフローチャートの例である。携帯端末８１０の電源がオンされる、或いはスリープから解除されると、プロセッサ１４０
１は処理を開始する。

まず、プロセッサ１４０１はキャリブレーションが未済であるかを判定する（ステップ１５０１）。この判定には、例えば、ストレージ１４０３にキャリブレーションが未済であるか否かのフラグが格納され、そのフラグをプロセッサ１４０１が読み出して判定しても良い。携帯端末８１０が製造されたとき、及びリセットされたときには、フラグが未済に設定される。

プロセッサ１４０１は、ステップ１５０１において未済である判定した場合、キャリブレーションを実行し（ステップ１５０２）、未済でないと判定した場合、ステップ１５０２をスキップする。ステップ１５０２におけるキャリブレーションの処理内容は、図７と図８を用いて説明したとおりであり、携帯端末８１０のカメラ１４０８、１４０９が有効にされてユーザが撮像される。更にフラグが済に設定される。

プロセッサ１４０１は、待ち受け画面などとも呼ばれるホーム画面を表示する（ステップ１５０３）。ホーム画面は、図２に示したように、複数のアプリケーションプログラムそれぞれに対応したアイコンを含み、アイコンが操作されることにより、アプリケーションプログラムが起動される。この時点で、携帯端末８１０のカメラ部１３０１或いはカメラ１４０８、１４０９が有効にされていない場合は、有効にされる。

プロセッサ１４０１は、カメラ１４０８、１４０９を制御して撮像し、顔認識する（ステップ１５０４）。この顔認識では、カメラ１４０８、１４０９に向いた顔を認識するための処理を実行し、顔を認識した場合は、目の輪郭における黒目や虹彩の位置を認識する。

ステップ１５０４の顔を認識するための処理を実行した結果として、顔を正面に認識できた場合、顔が携帯端末８１０に向いているとみなして、プロセッサ１４０１はステップ１５０６へ進み、顔を認識できない場合または顔が横を向いていると認識できた場合、顔が携帯端末８１０に向いていないとみなして、プロセッサ１４０１は、ステップ１５１２へ進む。

ステップ１５１２でプロセッサ１４０１は、ユーザの注意を促すメッセージ或いはユーザに顔を向けさせるメッセージを出力する。このメッセージはスピーカー１４１１から出力されても良い。

ステップ１５０６でプロセッサ１４０１は、ステップ１５０４で認識された目の輪郭における黒目や虹彩の位置と、ステップ１５０２のキャリブレーションで記録された目の輪郭における黒目や虹彩の位置との関係から視点を算出する。カメラ１４０８とカメラ１４０９との視差から顔までの距離を算出し、視点の算出に利用しても良い。

プロセッサ１４０１は、算出された視点の細かな変動により誤検出しないように、ローパスフィルタを適用する（ステップ１５０７）。例えば、予め設定された時間間隔で撮像された画像から視点が算出され、予め設定された個数の視点が算出されると、それらの視点の位置が平均化されても良い。

プロセッサ１４０１は、ローパスフィルタの適用された視点に対応する位置へカーソルを表示する（ステップ１５０８）。視点に対応する位置が、ステップ１５０３で表示されたホーム画面のアイコンの位置と一致する場合、位置が一致したアイコンは、ハイライト表示されても良い。

プロセッサ１４０１は、視点により指定されたアイコンを選択する入力があるかを判定する（ステップ１５０９）。この選択の入力は、例えば図１ではサイドボタン１４０による入力である。入力が無いと判定されると、視点により指定されたアイコンは、ユーザが単に見ただけの可能性もあるため、プロセッサ１４０１はステップ１５０４へ戻る。

選択の入力が有ると判定されると、プロセッサ１４０１は、その選択の入力が入力条件を満たすかを判定する（ステップ１５１０）。この入力条件は、優先度のある入力条件として既に説明したとおりであり、予め設定される。例えばサイドボタン１４０による入力であっても、入力条件を満たさないと判定されると、プロセッサ１４０１はステップ１５１２へ進む。

ステップ１５１２でプロセッサ１４０１は、入力条件を満たしていない旨のメッセージ或いは入力が妥当でない旨のメッセージを出力する。このメッセージはスピーカー１４１１から出力されても良い。なお、ステップ１５１２は、ステップ１５０５の判定結果で実行しているか、ステップ１５１０の判定結果で実行しているかを判定しても良い。

ステップ１５１０で入力条件を満たすと判定されると、プロセッサ１４０１は、視点により指定されたアイコンに対応するアプリケーションプログラムを実行する（ステップ１５１１）。アプリケーションプログラムの実行結果としてのメッセージが、スピーカー１４１１から出力されても良いし、実行によるエラーのメッセージがスピーカー１４１１から出力されても良い。

プロセッサ１４０１は、ステップ１５１１でアプリケーションプログラムが実行された後、またはステップ１５１２でメッセージが出力された後、未操作が、予め設定された時間経過したかを判定する。予め設定された時間経過したと判定すると、プロセッサ１４０１は、携帯端末８１０を例えばスリープ状態に移行させ、フローチャートの処理を終了する。

予め設定された時間が経過する前に操作されたと判定すると、プロセッサ１４０１はステップ１５０４へ戻る。なお、ステップ１５１３の未操作の判定は、独立した判定に限定されるものではなく、ステップ１５０６或いはステップ１５０９と連携しても良い。

なお、図１５を用いた以上の説明では、視点を使用する例を説明したが、既に説明したように他の入力条件であっても良く、図１３を用いて説明した各部の動作をプログラムで実現しても良い。

以上で説明したように、携帯端末の制御方法は、ユーザの操作による入力に対して、複数の入力条件を判定して動作するため、ユーザの誤操作により誤って動作する可能性を低減できる。

スマートフォンやタブレット端末などの携帯端末に適用でき、ユーザに操作されるコンピュータにも適用できる。

１００ スマートフォン
１１０ タッチパッド
１２０ カメラ
１３０ カメラ
１４０ サイドボタン
１５０ マイク

Claims (4)

1. 携帯端末の制御方法であって、
   前記携帯端末のカメラが撮像した顔の目が向けられた視点を検出する検出ステップと、
   前記携帯端末の表示部において、前記視点に基づいた位置にカーソルを表示する表示ステップと、
   前記表示部に表示されたアイコンと、前記表示部の縁に接する領域に所定の範囲で予め設定された複数の領域の中から選択されて設定される第１の領域への入力と、前記視点に基づいた位置とに対して、予め設定された入力条件を満たすか判定する条件判定ステップと、
   前記携帯端末の表示部の表示制御を行う制御ステップと、を備え、
   前記制御ステップにおいて、
   前記複数の領域のうち、選択された前記第１の領域には前記アイコンを表示しないように表示制御し、
   前記複数の領域のうち、前記第１の領域以外の領域には前記アイコンを表示するように表示制御し、
   前記第１の領域では、前記視点を検出しないように制御し、
   前記条件判定ステップに応じた前記視点に基づいた位置にある前記アイコンに対応するアプリケーションプログラムを実行し、前記表示部に前記実行に応じた表示を行うように表示制御する、
   ことを特徴とした、制御方法。
2. 請求項１に記載の制御方法において、
   前記第１の領域では、前記視点を検出しない、
   ことを特徴とした、制御方法。
3. 請求項１に記載の制御方法において、
   前記第１の領域に、前記第１の領域として設定されていることを示す表示オブジェクトを表示する、
   ことを特徴とした、制御方法。
4. 請求項１に記載の制御方法において、
   前記複数の領域のうち、同時に選択可能な領域は１つであって、
   片手操作モードにおけるアイコンの表示最大数は、通常操作モードにおけるアイコンの表示最大数より１少ない、
   ことを特徴とした、制御方法。

Images