WO2019156063A1

WO2019156063A1 - 携帯端末、携帯端末の制御方法、および携帯端末のプログラム

Info

Publication number: WO2019156063A1
Application number: PCT/JP2019/004040
Authority: WO
Inventors: 英貴野本
Original assignee: Ｎｅｃプラットフォームズ株式会社
Priority date: 2018-02-08
Filing date: 2019-02-05
Publication date: 2019-08-15
Also published as: JP2019139411A; JP7048339B2; US20210064130A1

Abstract

携帯端末を使用者が操作中か否かの判断を高い精度で行うことを可能にする携帯端末を実現するために、本発明の携帯端末は、表示部を備える携帯端末であって、前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備える。

Description

携帯端末、携帯端末の制御方法、および携帯端末のプログラム

　本発明は、携帯端末、携帯端末の制御方法、および携帯端末のプログラムに関するものである。

　携帯電話、スマートフォン（smart phone）等の携帯端末の使用者が、歩きながら表示画面を見たり操作することで、他人や車と衝突したり、駅のホーム（platform）から転落するなどの事故が起こっていて、社会問題となっている。

　そこで、特許文献１では、携帯端末が移動中に、使用者の目の視線の動きを検知して、使用者が表示部を見ながら移動していると判断されると、携帯端末の機能制限を行う技術を提示している。

特開２０１５－０９９４９３号公報

　特許文献１による技術では、携帯端末の使用者の視線の動きによって、使用者が携帯端末を操作中か否かを判断している。

　しかし、タブレット端末（tablet terminal）の様に、大きい画面の携帯端末の場合には、画面の表示範囲内を見ている場合でも、視線の動きは大きくなる。また、携帯端末の表示画面と使用者の目との距離が近い場合は、遠い場合と比べて視線の動きは大きくなる。

　そのため、特許文献１に提示される様に、携帯端末の使用者の視線の動きを利用して、使用者が携帯端末を操作中か否かの判断を行うと、判定精度が低い問題がある。

　本発明の目的は、上述した課題を鑑み、携帯端末を携帯端末の使用者が操作中か否かの判断を高い精度で行う携帯端末、携帯端末の制御方法、および携帯端末のプログラムを提供することにある。

　上記の目的を達成するために、本発明の携帯端末は、表示部を備える携帯端末であって、前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備える。

　上記の目的を達成するために、本発明の携帯端末の制御方法は、第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する。

　上記の目的を達成するために、本発明の携帯端末のプログラムは、第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる。

　本発明によれば、携帯端末、携帯端末の制御方法、および携帯端末のプログラムは、携帯端末を携帯端末の使用者が操作中か否かの判断を高い精度で行うことが可能となる。

第１および第２の実施形態の構成例を示す図である。第２の実施形態の動作を説明する図である。第３の実施形態の動作を説明する図である。第４および第５の実施形態の構成例を示す図である。第４の実施形態の動作を説明する図である。第５の実施形態の動作を説明する図である。第６および第７の実施形態の構成例を示す図である。第６の実施形態の動作を説明する図である。第７の実施形態の動作を説明する図である。

　次に、本発明の実施の形態について図１を参照して詳細に説明する。

　図１に第１の実施形態の構成を示す。

　本実施形態の携帯端末１０は、表示部１１を備える携帯端末であって、前記表示部１１と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部１２と制御部１３を備える。制御部１３は、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部１１に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末１０を操作中であると判断する。

　この様にすることで、携帯端末の使用者が携帯端末を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第２の実施形態］
　次に、第２の実施形態について図１と図２を参照して説明する。
［構成の説明］
　図１に第２の実施形態の構成を示す。

　本実施形態の構成は第１の実施形態の構成と同じである。

　携帯端末１０は、表示部１１、撮影部１２、および制御部１３を備える。

　本実施形態の携帯端末１０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。

　表示部１１は、スマートフォンのタッチパネル（touch panel）を想定しており、表示手段と、指先が触れることによる入力手段とを兼ねている。しかし、必ずしも入力手段を備えていなくても、本実施形態に示す発明の主旨を損なわない。

　撮影部１２は、カメラ（camera）であって、表示部と同一面に固定されて使用者の顔を撮影できる、いわゆる内側カメラ（inner camera）である。尚、一般的なスマートフォンでは、内側カメラはタッチパネルと同一面に取付けられていることが多い。しかし、撮影部１２は、携帯端末１０の使用者の顔を撮影することが出来て、表示部と相対的に位置が固定されて設置されているカメラであっても良い。

　制御部１３は、ＣＰＵ（Central Processing Unit；中央処理装置）を含み、携帯端末１０のハードウェアを制御し、ソフトウェア処理を行う。
［動作の説明］
　本実施形態の携帯端末１０は、予め決められた時間Ｔ１（第１の所定時間）以内に、携帯端末１０の利用者が表示部１１を時間Ｔ２（第２の所定時間）以上見つめていると、利用者は携帯端末１０を操作中であると判断する。

　また、携帯端末１０は、時間Ｔ１の間に、携帯端末１０の利用者が表示部１１を時間Ｔ２より短い時間しか見ていなければ、利用者は携帯端末１０を操作中でないと判断する。

　この様な携帯端末１０を実現する、携帯端末１０の動作について、図２を参照して説明する。

　携帯端末１０が動作を開始すると、制御部１３は時間ｔ１をゼロに設定し、時間ｔ２をゼロに設定する（Ｓ１０１）。

　時間の計時は、ここでは制御部１３が備える時計機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別に時計機能を備えることでもよい。

　制御部１３は、時間ｔ１の計時を開始する（Ｓ１０２）。

　制御部１３は、撮影部１２を動作して携帯端末１０の使用者の眼球表面の画像を撮影する。そして、制御部１３は、眼球表面に映っている画像を抽出する（Ｓ１０３）。

　眼球表面の画像を抽出することは、現在、多く実現されている技術であるので説明を省略する。

　ステップＳ１０４で、制御部１３は、ｔ１が時間Ｔ１以内であるかどうかを判断する（Ｓ１０４）。

　ここで、時間Ｔ１は、予め決められた時間である。

　ステップＳ１０４でｔ１が時間Ｔ１以内であると判断されると（Ｓ１０４でＹ）、ステップＳ１０５にすすむ。

　ステップＳ１０４でｔ１が時間Ｔ１以内でないと判断されると（Ｓ１０４でＮ）、ステップＳ１１１にすすむ。

　ステップＳ１０５で、制御部１３は、眼球表面画像と表示部１１の画像とが一致するかどうかを判断する（Ｓ１０５）。

　携帯端末１０の使用者が表示部１１を見つめていると、眼球表面画像と表示部１１の画像が一致する。ステップＳ１０５の判断は、携帯端末１０の使用者が表示部１１を見つめているか否かを判断している。

　ステップＳ１０５で、眼球表面画像と表示部１１の画像とが一致すると判断されると（Ｓ１０５でＹ）、ステップＳ１０６にすすむ。

　ステップＳ１０５で、眼球表面画像と表示部１１の画像とが一致しないと判断されると（Ｓ１０５でＮ）、ステップＳ１１０にすすむ。

　ステップＳ１０６で、制御部１３は、ｔ２の計時を行う（Ｓ１０６）。

　ここで、ステップＳ１０６の直前で、ｔ２の計時が停止していた場合はｔ２の計時をゼロから開始し、ｔ２が計時中の場合はｔ２の計時を継続する。

　ステップＳ１０７で、制御部１３は、ｔ２が時間Ｔ２以上であるかどうかを判断する（Ｓ１０７）。

　ここで、時間Ｔ２は、予め決められた時間であり、時間Ｔ１より短く設定されている。

　ステップＳ１０７でｔ２が時間Ｔ２以上であると判断されると（Ｓ１０７でＹ）、ステップＳ１０８にすすむ。

　ステップＳ１０７でｔ２が時間Ｔ２以上でないと判断されると（Ｓ１０７でＮ）、ステップＳ１０３にもどる。

　ステップＳ１０８で、制御部１３は、携帯端末１０が使用者による操作中であると判断する（Ｓ１０８）。

　ステップＳ１０８では、携帯端末１０の使用者が、時間Ｔ１以内に時間Ｔ２以上、表示部１１を見つめている状況である。この状況を携帯端末１０が使用者による操作中であると判断している。

　ステップＳ１０９では、制御部１３は、一定時間が経過するまで待つ（Ｓ１０９）。

　ステップＳ１０９の一定時間は、操作中か否かの判断をどの位の時間間隔で行うかによって決められる。

　ステップＳ１０９のあと、ステップＳ１０１にもどる。

　ステップＳ１１０では、制御部１３は、ｔ２の計時を停止する（Ｓ１１０）。

　ステップＳ１１０の後、ステップＳ１０３に戻る。

　ステップＳ１１１では、制御部１３は、携帯端末１０が使用者による操作中ではないと判断する（Ｓ１１１）。

　ステップＳ１１１では、携帯端末１０の使用者が、時間Ｔ１以内に時間Ｔ２以上、表示部１１を見つめていない状況である。即ち、時間Ｔ１以内に、Ｔ２より短い時間しか表示部１１を見つめていない。この様な状況では、携帯端末１０が使用者による操作中ではないと判断している。

　ステップＳ１１１のあと、ステップＳ１０９にすすむ。

　ステップＳ１０８、およびステップＳ１１１で、制御部１３が行った、携帯端末１０が使用者によって操作中であるか否かの判断は、携帯端末１０のアプリケーションソフトウェア（application software）の動作のための情報などとして利用可能である。

　この様にすることで、本実施形態の携帯端末１０は、携帯端末１０の使用者が携帯端末１０を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第３の実施形態］
　次に、第３の実施形態について図１と図３を参照して説明する。
［構成の説明］
　本実施形態の構成は、図１に示される第１および第２の実施形態の構成と同じであり、制御部１３の動作が、第１および第２の実施形態と異なる。
［動作の説明］
　本実施形態の携帯端末１０は、予め決められた時間Ｔ以内に、携帯端末１０の利用者が表示部１１をＮ回見つめていると、利用者は携帯端末１０を操作中であると判断する。

　また、携帯端末１０は、時間Ｔ以内に、携帯端末１０の利用者が表示部１１をＮ回より少ない回数しか見ていなければ、利用者は携帯端末１０を操作中でないと判断する。

　この様な携帯端末１０を実現する、携帯端末１０の動作について、図３を参照して説明する。

　携帯端末１０が動作を開始すると、制御部１３は時計ｔをゼロに設定し、カウンタ（counter）ｎをゼロに設定する（Ｓ２０１）。

　また、回数を計数するカウンタは、制御部１３が備える計数機能を用いることを想定しているが、携帯端末１０は、制御部１３とは別にカウンタを備えることでもよい。

　制御部１３は、時間ｔの計時を開始する（Ｓ２０２）。

　ステップＳ２０３は、第２の実施形態で説明した図２のステップＳ１０３と同じである（Ｓ２０３）。

　　ステップＳ２０４で、制御部１３は、ｔが時間Ｔ以内であるかどうかを判断する（Ｓ２０４）。

　ここで、時間Ｔは、前述した予め決められた時間である。

　ステップＳ２０４でｔが時間Ｔ以内であると判断されると（Ｓ２０４でＹ）、ステップＳ２０５にすすむ。

　ステップＳ２０４でｔが時間Ｔ以内でないと判断されると（Ｓ２０４でＮ）、ステップＳ２１０にすすむ。

　ステップＳ２０５で、制御部１３は、眼球表面画像と表示部１１の画像とが一致するかどうかを判断する（Ｓ２０５）。

　携帯端末１０の使用者が表示部１１を見つめていると、眼球表面画像と表示部１１の画像が一致する。ステップＳ２０５の判断は、携帯端末１０の使用者が表示部１１を見つめているか否かを判断している。

　ステップＳ２０５で、眼球表面画像と表示部１１の画像とが一致すると判断されると（Ｓ２０５でＹ）、ステップＳ２０６にすすむ。

　ステップＳ２０５で、眼球表面画像と表示部１１の画像とが一致しないと判断されると（Ｓ２０５でＮ）、ステップＳ２０３にもどる。

　ステップＳ２０６で、制御部１３は、カウンタｎを１つ加算する（Ｓ２０６）。

　ステップＳ２０７で、制御部１３は、カウンタｎが回数Ｎであるかどうかを判断する（Ｓ２０７）。

　ここで、回数Ｎは、予め決められた回数である。

　ステップＳ２０７でｎが回数Ｎであると判断されると（Ｓ２０７でＹ）、ステップＳ２０８にすすむ。

　ステップＳ２０７でｎが回数Ｎでないと判断されると（Ｓ２０７でＮ）、ステップＳ２０９にすすむ。

　ステップＳ２０８で、制御部１３は、携帯端末１０が使用者によって操作中であると判断する（Ｓ２０８）。

　ステップＳ２０８では、携帯端末１０の使用者が、時間Ｔ以内にＮ回、表示部１１を見つめている状況である。この状況を携帯端末１０が使用者による操作中であると判断している。

　ステップＳ２０８のあと、ステップＳ２０１にもどる。

　ステップＳ２０９では、制御部１３は、一定時間待機する（Ｓ２０９）。

　この待機時間の設定は、時間Ｔと回数Ｎの設定と共に、携帯端末１０の使用者が携帯端末１０を操作中であるか否かの判断基準として、携帯端末１０の設計時に決定される。

　ステップＳ２０９の後、ステップＳ２０３に戻る。

　ステップＳ２１０では、制御部１３は、携帯端末１０が使用者によって操作中ではないと判断する（Ｓ２１０）。

　ステップＳ２１０では、携帯端末１０の使用者が、時間Ｔ以内に、Ｎ回より少ない回数だけ表示部１１を見つめている状況である。この様な状況では、携帯端末１０が使用者による操作中ではないと判断している。

　ステップＳ２１０のあと、ステップＳ２０１にもどる。

　ステップＳ２０８、およびステップＳ２１０で、制御部１３が行った、携帯端末１０が使用者によって操作中であるか否かの判断は、携帯端末１０のアプリケーションソフトウェア（application software）の動作のための情報などとして利用可能である。

　この様にすることで、本実施形態の携帯端末１０は、携帯端末１０の使用者が携帯端末１０を操作中か否かの判断を、視線の動きのみで行うより高精度で行うことが可能となる。
［第４の実施形態］
　次に、第４の実施形態について図４と図５を参照して説明する。
［構成の説明］
　図４に第４の実施形態の構成を示す。

　携帯端末２０は、表示部２１、撮影部２２、角度検知部２３、および制御部２４を備える。

　本実施形態の携帯端末２０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。

　表示部２１、撮影部２２、および制御部２４は、第２および第３の実施形態の表示部１１、撮影部１２、および制御部１３と同様である。

　角度検知部２３は、ジャイロスコープ（gyroscope）であってもよい。ジャイロスコープは、携帯端末２０の鉛直方向に対する絶対的な傾きの角度を検出する手段である。スマートフォンでは、ジャイロスコープを備える機種も多い。
［動作の説明］
　次に、本実施形態の携帯端末２０の動作について図５を参照して説明する。

　図５は、第２の実施形態の動作を説明する図２に対して、ステップＳ３０１からステップＳ３０５が追加されている。ステップＳ３０６からステップＳ３１６は、第２の実施形態の動作を説明する図２のステップＳ１０１からステップＳ１１１と同じである。

　はじめに、制御部２４は、撮影部２２を動作させて携帯端末２０の使用者の顔画像を撮影する（Ｓ３０１）。

　制御部２４は、角度検知部２３を動作させて、携帯端末２０の鉛直方向に対する絶対的な傾きの角度を検知する（Ｓ３０２）。

　そして、制御部２４は、ステップＳ３０１で撮影した使用者の顔画像を解析して、表示部２１の表面に対する顔の相対角度を計算する（Ｓ３０３）。

　顔の画像から表示部２１の表面に対する顔の相対角度を計算することは、顔画像処理技術を用いた顔の向きの検出として行うことが出来る。

　ステップＳ３０２で検知した、携帯端末２０の絶対的な傾き角度と、ステップＳ３０３で計算した表示部２１に対する顔の相対角度とから、制御部２４は、顔の絶対角度を計算する（Ｓ３０４）。

　次に、制御部２４は、ステップＳ３０４で計算した顔の絶対角度から、顔が所定の角度より下向きかどうかを判断する（Ｓ３０５）。

　ここで、携帯端末２０の使用者の顔が、所定の角度より下向きとは、使用者の顔がうつむいていて、前方を注視していない状態である。また、所定の角度より下向きでない、即ち上向きとは、使用者の顔はうつむかずに前方を向いている状態である。

　ステップＳ３０５で、顔が所定の角度より下向きであると判断されると（Ｓ３０５でＹ）、ステップＳ３０６にすすむ。

　ステップＳ３０５で、顔が所定の角度より下向きでないと判断されると（Ｓ３０５でＮ）、ステップＳ３１６にすすむ。

　ステップＳ３０６からステップＳ３１６は、第２の実施形態の動作を説明する図２のステップＳ１０１からステップＳ１１１と同じであるので、説明を省略する。

　この様に、第２の実施形態の動作に加えて、ステップＳ３０１からステップＳ３０５の動作を加えることで、次の様な効果がある。

　第２の実施形態では、眼球表面画像だけで、携帯端末の使用者が表示部を見つめているかどうかを判断していた。しかし、眼球表面画像は顔画像のごく一部分を使用したものであるため、顔全体の画像を使用して顔のうつむき状態を判断することと比べて、画像抽出処理が複雑で低速になる。

　一方、本実施形態では、まず、眼球表面画像の抽出処理を省略して、顔のうつむき状態を判断することで、使用者の前方注視の状態を高速で判断する。そして、顔がうつむいている場合に、眼球表面画像を用いて、使用者が携帯端末を見つめているかどうかを判断する。

　また、本実施形態の携帯端末２０は、使用者が携帯端末を操作中であるとの判断を、顔のうつむき状態と眼球表面画像の両方を用いて行うため、操作中であるとの判断を、第２の実施形態の携帯端末１０より高精度に行うことができる。

　この様にすることで、本実施形態の携帯端末２０は、第２の実施形態の携帯端末１０と比べて、より高速でかつ高精度に携帯端末の使用者が操作中であるかどうかを判断することができる。
［第５の実施形態］
　次に、第５の実施形態について図４と図６を参照して説明する。
［構成の説明］
　本実施形態の構成は、図４に示される第４の実施形態の構成と同じであり、制御部２４の動作が、第４の実施形態と異なる。
［動作の説明］
　次に、本実施形態の携帯端末２０の動作について図６を参照して説明する。

　ステップＳ４０１からステップＳ４０５は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３０５と同じである。

　また、ステップＳ４０６からステップＳ４１５は、第３の実施形態の動作を説明する図３のステップＳ２０１からステップＳ２１０と同じである。

　この様に、第３の実施形態の動作に加えて、ステップＳ４０１からステップＳ４０５の動作を加えている。そのため、第４の実施形態の携帯端末２０と同様に、使用者が携帯端末を操作中であるとの判断を、顔のうつむき状態と眼球表面画像の両方を用いて行っている。

　この様にすることで、本実施形態の携帯端末２０は、第３の実施形態の携帯端末１０と比べて、より高速でかつ高精度に携帯端末の使用者が操作中であるかどうかを判断することができる。
［第６の実施形態］
　次に、第６の実施形態について図７と図８を参照して説明する。
［構成の説明］
　図７に第６の実施形態の構成を示す。

　携帯端末３０は、表示部３１、撮影部３２、角度検知部３３、移動検知部３４、および制御部３５を備える。

　本実施形態の携帯端末３０は、無線携帯端末であるスマートフォンを想定しているが、必ずしも無線携帯端末である必要はなく、無線機能の無い、携帯ビデオ（video）再生装置等であっても良い。

　表示部３１、撮影部３２、角度検知部３３、および制御部３５は、第４および第５の実施形態の表示部２１、撮影部２２、角度検知部２３および制御部２４と同様である。

　移動検知部３４は、ＧＰＳ（Global Positioning System）を利用して、携帯端末３０の現在地を測定し、現在地が時間とともに変化している場合に、携帯端末３０が移動していると検知するなどでもよい。スマートフォンでは、ＧＰＳ機能を備える機種も多い。
［動作の説明］
　次に、本実施形態の携帯端末３０の動作について図８を参照して説明する。

　図８は、第４の実施形態の動作を説明する図５に対して、ステップＳ５０１とステップＳ５０２が追加されている。ステップＳ５０３からステップＳ５１４、およびステップＳ５１７は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３１２、およびステップＳ３１５と同じである。

　また、図５のステップＳ３１３は削除されて、図８ではステップＳ５１５とステップＳ５１６に置きかえられている。

　更に、図５のステップＳ３１６は削除されて、図８ではステップＳ５０１にもどる。

　はじめに、制御部３５は、表示部３１であるタッチパネルが、携帯端末３０の使用者によって、操作中であるかを判断する（Ｓ５０１）。

　ここで、操作中であるかどうかの判断は、タッチパネルに使用者が接触しているかどうかを検知し、一定時間内に接触を検知すれば操作中と判断する様にしても良い。

　尚、携帯端末３０が、表示部３１とは別にボタンによる入力手段を備えていて、ボタンの操作を検知して、操作中かどうかを判断しても良い。

　ステップＳ５０１で、操作中と判断されると（Ｓ５０１でＹ）、ステップＳ５０２にすすむ。

　ステップＳ５０１で、操作中でないと判断されると（Ｓ５０１でＮ）、ステップＳ５０１にもどる。

　ステップＳ５０２では、制御部３５は、移動検知部３４を動作して、携帯端末３０が移動中であるかどうかを判断する（Ｓ５０２）。

　ステップＳ５０２で、移動中と判断されると（Ｓ５０２でＹ）、ステップＳ５０３にすすむ。

　ステップＳ５０２で、移動中でないと判断されると（Ｓ５０２でＮ）、ステップＳ５０１にもどる。

　ステップＳ５０３からステップＳ５１４、およびステップＳ５１７は、第４の実施形態の動作を説明する図５のステップＳ３０１からステップＳ３１２、およびステップＳ３１５と同じである。

　ステップＳ５１５では、制御部３５は、表示部３１のタッチパネルの入力操作の受け付けを停止する（Ｓ５１５）。

　ステップＳ５１６では、予め定められた一定の時間を経過後に、表示部３１のタッチパネルの入力操作の停止を解除する（Ｓ５１６）。

　この様にすることで、携帯端末３０が移動中で、かつ携帯端末３０の使用者が携帯端末３０を、前方を注視せずに使用中であると判断されると、表示部３１のタッチパネルの入力操作の受け付けが停止される。

　その結果、携帯端末３０の使用者は、止むを得ず携帯端末３０の入力操作をやめて、前方を注視して移動する様になる。そして、携帯端末３０の使用者は、危険を回避することができる。

　以上説明した様に、本実施形態の携帯端末３０は、携帯端末の使用者が携帯端末を操作中か否かの判断を高い精度で行うことで、使用者が歩行などの移動中に入力操作を行なう危険を回避することが出来る。
［第７の実施形態］
　次に、第７の実施形態について図７と図９を参照して説明する。
［構成の説明］
　本実施形態の構成は、図７に示される第６の実施形態の構成と同じであり、制御部３５の動作が、第６の実施形態と異なる。
［動作の説明］
　次に、本実施形態の携帯端末３０の動作について図９を参照して説明する。

　図９は、第５の実施形態の動作を説明する図６に対して、ステップＳ６０１とステップＳ６０２が追加されている。ステップＳ６０３からステップＳ６１４、およびステップＳ６１７は、第５の実施形態の動作を説明する図５のステップＳ４０１からステップＳ４１２、およびステップＳ４１４と同じである。

　また、図６のステップＳ４１３は削除されて、図９ではステップＳ６１５とステップＳ６１６に置きかえられている。

　更に、図６のステップＳ４１５は削除されて、図９ではステップＳ６０１にもどる。

　ステップＳ６０１とステップＳ６０２は、図８に示した第６の実施形態の動作のステップＳ５０１とステップＳ５０２と同じである。

　ステップＳ６０３からステップＳ６１４、およびステップＳ６１７は、第５の実施形態の動作を説明する図６のステップＳ４０１からステップＳ４１２、およびステップＳ４１４と同じである。

　また、ステップＳ６１５とステップＳ６１６は、第６の実施形態の動作を示す図８のステップＳ５１５とステップＳ５１６と同じである。

　この様にすることで、第６の実施形態の携帯端末３０と同様に、携帯端末３０が移動中で、かつ携帯端末３０の使用者が携帯端末３０を、前方を注視せずに使用中であると判断されると、表示部３１のタッチパネルの入力操作の受け付けが停止される。

　以上説明した様に、本実施形態の携帯端末３０は、携帯端末の使用者が携帯端末を操作中か否かの判断を高い精度で行うことで、使用者が歩行などの移動中に入力操作を行なう危険を回避することが出来る。

　尚、本発明は、実施形態の機能を実現する情報処理プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

　　（付記１）
　表示部を備える携帯端末であって、
　前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
　第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。

　　（付記２）
　表示部を備える携帯端末であって、
　前記表示部と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影部と、
　所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。

　　（付記３）
　表示部を備える携帯端末であって、
　前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
　前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
　前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。

　　（付記４）
　表示部を備える携帯端末であって、
　前記表示部と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影部と、
　前記携帯端末の位置の移動を検知する移動検知部と、
　前記表示部の鉛直方向に対する絶対角度を検知する角度検知部を備え、
　前記携帯端末が移動中と検知され、かつ前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御部とを備えることを特徴とする携帯端末。

　　（付記５）
　前記制御部は前記使用者が前記携帯端末を操作中であると判断すると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする付記１乃至付記４のいずれかに記載の携帯端末。

　　（付記６）
　前記制御部はさらに、前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする付記５に記載の携帯端末。

　　（付記７）
　第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。

　　（付記８）
　所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。

　　（付記９）
　携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。

　　（付記１０）
　携帯端末が移動中と検知され、かつ前記携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。

　　（付記１１）
　前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする付記７乃至付記１０のいずれかに記載の携帯端末の制御方法。

　　（付記１２）
　前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする付記１１に記載の携帯端末の制御方法。

　　（付記１３）
　第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。

　　（付記１４）
　所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示部に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。

　　（付記１５）
　携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。

　　（付記１６）
　携帯端末が移動中と検知され、かつ前記携帯端末の使用者の顔の画像と前記携帯端末の表示部の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記使用者の眼球表面の画像が、前記表示部に表示されている画像と一致する回数が所定の回数以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラム。

　　（付記１７）
　前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることをコンピュータに実行させる付記１３乃至付記１６のいずれかに記載の携帯端末のプログラム。

　　（付記１８）
　前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することをコンピュータに実行させる付記１７に記載の携帯端末のプログラム。

　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

　この出願は、２０１８年２月８日に出願された日本出願特願２０１８－０２０７１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０　携帯端末
１１　表示部
１２　撮影部
１３　制御部
２０　携帯端末
２１　表示部
２２　撮影部
２３　角度検知部
２４　制御部
３０　携帯端末
３１　表示部
３２　撮影部
３３　角度検知部
３４　移動検知部
３５　制御部

Claims

　表示手段を備える携帯端末であって、
　前記表示手段と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影手段と、
　第１の所定の時間以内に、前記眼球表面の画像が、前記表示手段に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御手段とを備えることを特徴とする携帯端末。
　表示手段を備える携帯端末であって、
　前記表示手段と相対的に固定され前記携帯端末の使用者の眼球表面の画像を撮影する撮影手段と、
　所定の時間以内に、前記眼球表面の画像が、前記表示手段に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御手段とを備えることを特徴とする携帯端末。
　表示手段を備える携帯端末であって、
　前記表示手段と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影手段と、
　前記表示手段の鉛直方向に対する絶対角度を検知する角度検知手段を備え、
　前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記眼球表面の画像が、前記表示手段に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断する制御手段とを備えることを特徴とする携帯端末。
　表示手段を備える携帯端末であって、
　前記表示手段と相対的に固定され前記携帯端末の使用者の顔と眼球表面の画像とを撮影する撮影手段と、
　前記携帯端末の位置の移動を検知する移動検知手段と、
　前記表示手段の鉛直方向に対する絶対角度を検知する角度検知手段を備え、
　前記携帯端末が移動中と検知され、かつ前記顔の画像と前記絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記眼球表面の画像が、前記表示手段に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断する制御手段とを備えることを特徴とする携帯端末。
　前記制御手段は前記使用者が前記携帯端末を操作中であると判断すると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする請求項１乃至請求項４のいずれかに記載の携帯端末。
　前記制御手段はさらに、前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする請求項５に記載の携帯端末。
　第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示手段に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
　所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示手段に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
　携帯端末の使用者の顔の画像と前記携帯端末の表示手段の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示手段に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
　携帯端末が移動中と検知され、かつ前記携帯端末の使用者の顔の画像と前記携帯端末の表示手段の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記使用者の眼球表面の画像が、前記表示手段に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することを特徴とする携帯端末の制御方法。
　前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とすることを特徴とする請求項７乃至請求項１０のいずれかに記載の携帯端末の制御方法。
　前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰することを特徴とする請求項１１に記載の携帯端末の制御方法。
　第１の所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示手段に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラムを記録した記録媒体。
　所定の時間以内に、携帯端末の使用者の眼球表面の画像が、前記携帯端末の表示手段に表示されている画像と一致する回数が所定の回数に達すると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラムを記録した記録媒体。
　携帯端末の使用者の顔の画像と前記携帯端末の表示手段の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、第１の所定の時間以内に、前記携帯端末の使用者の眼球表面の画像が、前記表示手段に表示されている画像と一致する時間が第１の所定の時間より短い第２の所定時間以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラムを記録した記録媒体。
　携帯端末が移動中と検知され、かつ前記携帯端末の使用者の顔の画像と前記携帯端末の表示手段の鉛直方向に対する絶対角度とから前記顔が所定の角度より下に向いていると判断されて、更に、所定の時間以内に、前記使用者の眼球表面の画像が、前記表示手段に表示されている画像と一致する回数が所定の回数以上であると、前記使用者が前記携帯端末を操作中であると判断することをコンピュータに実行させる携帯端末のプログラムを記録した記録媒体。
　前記使用者が前記携帯端末を操作中であると判断されると、前記使用者による前記携帯端末の操作の受け付けを停止とするプログラムを記録する請求項１３乃至請求項１６のいずれかに記載の記録媒体。
　前記使用者による前記携帯端末の操作の受け付けを停止とした後に、所定の時間を経過すると、前記携帯端末の操作の受け付けを可能に復帰するプログラムを記録する請求項１７に記載の記録媒体。