JP5889397B2 - 情報端末、入力受付制御方法及び入力受付制御プログラム - Google Patents

情報端末、入力受付制御方法及び入力受付制御プログラム Download PDF

Info

Publication number
JP5889397B2
JP5889397B2 JP2014506200A JP2014506200A JP5889397B2 JP 5889397 B2 JP5889397 B2 JP 5889397B2 JP 2014506200 A JP2014506200 A JP 2014506200A JP 2014506200 A JP2014506200 A JP 2014506200A JP 5889397 B2 JP5889397 B2 JP 5889397B2
Authority
JP
Japan
Prior art keywords
display
touch panel
input operation
state
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014506200A
Other languages
English (en)
Other versions
JPWO2013141161A1 (ja
Inventor
俊作 山▲崎▼
俊作 山▲崎▼
維香 山崎
維香 山崎
友博 太田
友博 太田
知輝 下坂
知輝 下坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2014506200A priority Critical patent/JP5889397B2/ja
Publication of JPWO2013141161A1 publication Critical patent/JPWO2013141161A1/ja
Application granted granted Critical
Publication of JP5889397B2 publication Critical patent/JP5889397B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報端末、入力受付制御方法及び入力受付制御プログラムに関する。
近年、タッチパネルの機能を備えたディスプレイを有する情報端末が普及している。このような情報端末では、ユーザが意図しない操作の受け付けを防止するために、所定時間が経過したときにタッチパネル及びディスプレイをOFF状態に制御する機能や、ユーザの操作により操作受け付けを不可能にするロック機能が提供される。また、情報端末におけるタッチパネルが備えられた面に設けられた近接センサによりユーザの耳や頬が接近していることが検出された場合に、タッチパネルに対する入力を受け付けない状態に制御する技術が知られている。一方、情報端末に対する入力手段として、ユーザの視線を検出し、視線の移動方向によりポインティングデバイスを移動させる技術が知られている(例えば、特許文献1参照)。
特開2004−21870号公報
上記従来技術では、情報端末において誤操作を防止すべく入力を受け付けない状態に制御させるためには、一定時間が経過するまで待たなければならなかったり、ユーザが意図的に操作をしなければならなかったりするため、利便性に欠けていた。
そこで、本発明は、上記問題点に鑑みてなされたものであり、タッチパネルとしての機能を備えたディスプレイを有する情報端末において、容易且つ適切な制御により誤操作を防止することが可能な情報端末、入力受付制御方法及び入力受付制御プログラムを提供することを目的とする。
上記課題を解決するために、本発明の一側面に係る情報端末は、タッチパネルとしての機能を備えたディスプレイ及び撮像装置を有する情報端末であって、撮像装置により取得されたユーザの顔画像に基づき、ユーザの視線を検出する検出手段と、検出手段により検出された視線の方向がディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断手段と、判断手段によりディスプレイ注視状態であると判断された場合に、タッチパネルに対する入力操作を受付可能に制御し、判断手段によりディスプレイ注視状態でないと判断された場合に、タッチパネルに対する入力操作を受付不可能に制御する制御手段と、を備え、制御手段は、判断手段によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、タッチパネルに対する入力操作を受付不可能に制御し、判断手段によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されなかった場合に、タッチパネルに対する入力操作を受付不可能に制御し、判断手段によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されている場合に、タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する
また、上記課題を解決するために、本発明の一側面に係る入力受付制御方法は、タッチパネルとしての機能を備えたディスプレイを有する情報端末における入力受付制御方法であって、ユーザの視線を検出する検出ステップと、検出ステップにおいて検出された視線の方向がディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断ステップと、判断ステップにおいてディスプレイ注視状態であると判断された場合に、タッチパネルに対する入力操作を受付可能に制御し、判断ステップにおいてディスプレイ注視状態でないと判断された場合に、タッチパネルに対する入力操作を受付不可能に制御する制御ステップと、を有し、制御ステップにおいて、判断ステップにおいてディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、タッチパネルに対する入力操作を受付不可能に制御し、判断ステップにおいてディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されなかった場合に、タッチパネルに対する入力操作を受付不可能に制御し、判断ステップにおいてディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されている場合に、タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する
また、上記課題を解決するために、本発明の一側面に係る入力受付制御プログラムは、タッチパネルとしての機能を備えたディスプレイを有する情報端末に、ユーザの視線を検出する検出機能と、検出機能により検出された視線の方向がディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断機能と、判断機能によりディスプレイ注視状態であると判断された場合に、タッチパネルに対する入力操作を受付可能に制御し、判断機能によりディスプレイ注視状態でないと判断された場合に、タッチパネルに対する入力操作を受付不可能に制御する制御機能と、を実現させ、制御機能は、判断機能によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、タッチパネルに対する入力操作を受付不可能に制御し、判断機能によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されなかった場合に、タッチパネルに対する入力操作を受付不可能に制御し、判断機能によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されている場合に、タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する
上記側面によれば、ユーザの視線がディスプレイに向けられているか否かが判定され、視線がディスプレイに向けられている場合には、タッチパネルに対する入力操作が受け付け可能に制御され、視線がディスプレイに向けられていない場合には、タッチパネルに対する入力操作が受け付け不可能に制御される。これにより、ユーザによる特段の操作や、一定時間の経過を必要とすることなく、適切に入力受付の可否が制御される。
また、視線がディスプレイに向けられていない状態となってから所定時間経過した後にタッチパネルに対する入力操作が不可能に制御されるので、ユーザに入力操作の意図がないことがより精度よく確認できる。また、視線がディスプレイに向けられていない状態となっても、所定時間内においては、入力操作が受け付け可能に制御される。これにより、ユーザによる情報端末の操作中において、視線がディスプレイから一時的に外れてしまっても、直ちに入力不可能に制御されることはない。従って、情報端末の操作中においてユーザに絶えずディスプレイを凝視するといったことは強いられないので、より適切な入力受付可否の制御が実現される。
また、視線がディスプレイに向けられていない状態となってから所定時間経過し、且つタッチパネルに対する入力操作が実施されなくなってから所定時間経過した後に、タッチパネルに対する入力操作が不可能に制御されるので、ユーザに入力操作の意図がないことがより確実に確認される。従って、より適切な入力受付可否の制御が実現される。
また、ユーザがタッチパネルから視線を外す一定時間前に、タッチパネルに対する入力を実施していた場合には、引き続き所定の入力操作が可能に制御される。従って、タッチパネルに対する所定の操作を継続して実施する場合において、ユーザに対して絶えずディスプレイを凝視するといったことを強いることが防止される。
本発明の一側面によれば、タッチパネルとしての機能を備えたディスプレイを有する情報端末において、容易且つ適切な制御により誤操作を防止することが可能となる。
情報端末の構成を概略的に示す図である。 情報端末の機能的構成を示すブロック図である。 情報端末のハードブロック図である。 設定情報記憶部の構成及び記憶されているデータの例を示す図である。 入力受付制御方法の処理内容を示すフローチャートである。 入力受付制御プログラムの構成を示す図である。
本発明に係る情報端末、入力受付制御方法及び入力受付制御プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
図1は、情報端末1の外観における構成を概略的に示す図である。情報端末1は、タッチパネル16としての機能を備えたディスプレイDを有する。情報端末1は、タッチパネル16に対する入力操作を受け付け、受け付けた操作内容に応じた処理を実行する。また、情報端末1は、カメラ11を備える。カメラ11は、情報端末1の筐体におけるディスプレイDが備えられた面に備えられており、ユーザの顔画像を取得できる。
また、情報端末1は、ハードウエアキー20〜20を備えている。情報端末1は、ハードウエアキー20〜20による入力操作を受け付けて、受け付けた操作に応じた処理を実行する。
図2は、情報端末1の機能的構成を示すブロック図である。図2に示すように、情報端末1は、機能的には、カメラ11、視線検出部12(検出手段)、視線判断部13(判断手段)、時計14、時間検出部15、タッチパネル16、タッチ操作監視部17、タッチ入力制御部18(制御手段)、設定情報記憶部19、ハードウエアキー20、キー監視部21及びキー入力制御部22を備える。
図3は、情報端末1のハードウエア構成図である。情報端末1は、物理的には、図2に示すように、CPU101、主記憶装置であるRAM102及びROM103、データ送受信デバイスである通信モジュール104、ハードディスク、フラッシュメモリ等に例示される補助記憶装置105、入力デバイスであるキーボード等の入力装置106、ディスプレイ等の出力装置107などを含むコンピュータシステムとして構成されている。図2に示した各機能は、図3に示すCPU101、RAM102等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとで通信モジュール104、入力装置106、出力装置107を動作させるとともに、RAM102や補助記憶装置105におけるデータの読み出し及び書き込みを行うことで実現される。再び、図2を参照し、情報端末1の各機能部について詳細に説明する。
カメラ11は、工学システムを撮像素子が組みあわされた光学撮像装置であって、情報端末1の筐体におけるディスプレイDが備えられた面に備えられている。カメラ11は、情報端末1を操作するユーザの顔画像を取得できる。カメラ11は、取得したユーザの顔画像を視線検出部12に送出する。
視線検出部12は、カメラ11により取得されたユーザの顔画像に基づき、ユーザの視線を検出する部分である。具体的には、視線検出部12は、ユーザの顔画像から眼球の部分を抽出し、さらに、抽出した眼球部分から瞳孔部分を抽出し、眼球部分と瞳孔部分との相対的な位置関係に基づきユーザの視線及びその方向を検出する。なお、顔画像に基づく視線の検出には、周知のその他の技術が採用されることとしてもよい。
視線判断部13は、視線検出部12により検出された視線の方向がディスプレイDに向けられているディスプレイ注視状態にあるか否かを判断する部分である。視線判断部13は、判断結果をタッチ入力制御部18に送出する。また、視線判断部13は、判断結果をキー入力制御部22に更に送出することとしてもよい。
時計14は、現在時刻を計時する機能部であって、時刻に関する情報を時間検出部15に送出できる。
時間検出部15は、時計14から取得した現在時刻に関する情報をタッチ入力制御部18に送出する。また、時間検出部15は、現在時刻に関する情報をキー入力制御部22に更に送出することとしてもよい。
タッチパネル16は、情報を表示するディスプレイDを構成すると共に、パネル上の位置を示す入力操作を受け付け可能な位置入力装置である。タッチパネル16は、受け付けた入力操作の位置に関する情報をタッチ操作監視部17に送出する。
タッチ操作監視部17は、タッチパネル16からの情報に基づき、タッチパネル16に対する接触状態及び入力操作が行われた位置の情報を取得する部分である。タッチ操作監視部17は、取得したそれらの情報をタッチ入力制御部18に出力する。
タッチ入力制御部18は、視線判断部13によりディスプレイ注視状態であると判断された場合に、タッチパネル16に対する入力操作を受付可能に制御し、視線判断部13によりディスプレイ注視状態でないと判断された場合に、タッチパネルに対する入力操作を受付不可能に制御する部分である。
また、タッチ入力制御部18は、視線判断部13によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、タッチパネルに対する入力操作を受付不可能に制御することとしてもよい。なお、第1の所定時間は、設定情報記憶部19に設定情報として記憶されているので、タッチ入力制御部18は、設定情報記憶部19を参照して制御処理を実施する。
また、タッチ入力制御部18は、視線判断部13によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されなかった場合に、タッチパネルに対する入力操作を受付不可能に制御することとしてもよい。なお、第2の所定時間は、設定情報記憶部19に設定情報として記憶されている。
また、タッチ入力制御部18は、視線判断部13によりディスプレイ注視状態でないと判断された場合において、ディスプレイ注視状態でなくなってから第1の所定時間以内であり、且つディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されている場合に、タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御することとしてもよい。
設定情報記憶部19は、タッチ入力制御部18における制御処理において参照される設定情報を記憶している部分である。図4は、設定情報記憶部19に記憶されている設定情報の例を示す図である。図4(a)は、ディスプレイ注視状態でないディスプレイ非注視状態におけるハードキー入力の受付可否が設定された設定情報の例を示している。また、図4(b)は、タッチ入力制御部18に参照される第1の所定時間及び第2の所定時間に関する設定情報の例である。
ハードウエアキー20は、ユーザの押下操作により機械的に動作する入力装置であって、ユーザによる入力操作を検知して、その操作状態に関する情報をキー監視部21に送出する。
キー監視部21は、ハードウエアキー20からの情報に基づき、ハードウエアキー20に対する入力操作状態に関する情報を取得する部分である。キー監視部21は、取得したそれらの情報をキー入力制御部22に出力する。
キー入力制御部22は、ハードウエアキー20に対する入力操作の受付可否を制御する部分である。具体的には、例えば、キー入力制御部22は、視線判断部13、時間検出部15、設定情報記憶部19及びキー監視部21からの情報に基づき、タッチ入力制御部18によるタッチパネルに対する入力操作の受付可否制御と同様の制御を行うこととしてもよい。
また、タッチ入力制御部18によりタッチパネルに対する入力操作が受付不可能に制御されるときに、キー入力制御部22は、ハードウエアキー20に対する入力操作を受付不可能に制御することができる。具体的には、図4(a)に示したディスプレイ非注視状態のハードキー入力受付可否に関する設定情報が「0」に設定されている場合には、キー入力制御部22は、タッチパネルに対する入力操作が受付不可能に制御されているときに、ハードウエアキー20に対する入力操作を受付不可能に制御する。
次に、図5を参照して、情報端末1における入力受付制御方法について説明する。図5は、入力受付制御方法の処理内容を示すフローチャートである。
まず、視線検出部12は、カメラ11により取得されたユーザの顔画像に基づき、ユーザの視線を検出する(S1)。続いて、視線判断部13は、視線検出部12により検出された視線の方向がディスプレイDに向けられているディスプレイ注視状態にあるか否かを判断する(S2)。ディスプレイ注視状態にあると判断された場合には、処理手順はステップS3に進められる。一方、ディスプレイ注視状態にあると判断されなかった場合には、処理手順はステップS4に進められる。
ステップS3において、タッチ入力制御部18は、タッチパネル16に対する入力操作を受付可能に制御する(S3)。一方、ステップS4において、タッチ入力制御部18は、ディスプレイ注視状態でなくなってから第1の所定時間以内であるか否かを、時間検出部15からの時刻情報を参照して判断する(S4)。ディスプレイ注視状態でなくなってから第1の所定時間以内であると判断された場合には、処理手順はステップS6に進められる。一方、ディスプレイ注視状態でなくなってから第1の所定時間以内であると判断されなかった場合には、処理手順はステップS5に進められる。なお、第1の所定時間がゼロに設定されている場合には、処理手順は、必ずステップS4からステップS5に進められる。
ステップS5において、タッチ入力制御部18は、タッチパネルに対する入力操作を受付不可能に制御する(S5)。処理手順がステップS4からステップS5に進められるような制御が実施されることにより、視線がディスプレイに向けられていない状態となってから所定時間経過した後にタッチパネルに対する入力操作が不可能に制御されるので、ユーザに入力操作の意図がないことがより精度よく確認できる。また、視線がディスプレイに向けられていない状態となっても、所定時間内においては、入力操作が受け付け可能に制御される。これにより、ユーザによる情報端末の操作中において、視線がディスプレイから一時的に外れてしまっても、直ちに入力不可能に制御されることはない。従って、情報端末の操作中においてユーザに絶えずディスプレイを凝視するといったことは強いられないので、より適切な入力受付可否の制御が実現される。
なお、図4(a)に示した設定情報に応じて、ステップS5において、キー入力制御部22は、タッチ入力制御部18によるタッチパネルに対する入力操作を受付不可制御と併せて、ハードウエアキー20に対する入力操作を受付不可能に制御することとしてもよい。
ステップS6において、タッチ入力制御部18は、タッチ操作監視部17からの情報に基づき、ディスプレイ注視状態でなくなってから第2の所定時間内にタッチパネルに対する入力操作が検出されたか否かを判定する(S6)。第2の所定時間内にタッチパネルに対する入力操作が検出されたと判定された場合には、処理手順はステップS7に進められる。一方、第2の所定時間内にタッチパネルに対する入力操作が検出されたと判定されなかった場合には、処理手順はステップS5に進められる。
処理手順がステップS4からステップS6を介してステップS5に進められるような制御が実施されることにより、視線がディスプレイに向けられていない状態となってから所定時間経過し、且つタッチパネルに対する入力操作が実施されなくなってから所定時間経過した後に、タッチパネルに対する入力操作が不可能に制御されるので、ユーザに入力操作の意図がないことがより確実に確認される。従って、より適切な入力受付可否の制御が実現される。
ステップS7において、タッチ入力制御部18は、タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する(S7)。ステップS7に示されるような制御が実施されることにより、ユーザがタッチパネルから視線を外す一定時間前に、タッチパネルに対する入力を実施していた場合には、引き続き所定の入力操作が可能に制御される。従って、タッチパネルに対する所定の操作を継続して実施する場合において、ユーザに対して絶えずディスプレイを凝視するといったことを強いることが防止される。ステップS7において受付可能に制御される所定の入力操作は、例えば、画面をスクロールするためのフリック操作やスライド操作が例示される。このような操作の実施時には、ユーザが画面を注視しているとは限らないので、ディスプレイ注視状態にない場合であっても、タッチパネルに対する入力操作が可能に制御されることが好ましい。
ステップS3、ステップS5及びステップS7の制御処理の後に処理手順はステップS1に戻り、以降の処理が繰り返される。なお、キー入力制御部22は、ハードウエアキー20に対して、ステップS3、ステップS5及びステップS7に示されるようなタッチ入力制御部18と同様の入力受付可否の制御を行うこととしてもよい。
次に、コンピュータを、本実施形態の情報端末1として機能させるための入力受付制御プログラムについて説明する。図6は、入力受付制御プログラム1mの構成を示す図である。
入力受付制御プログラム1mは、表示制御処理を統括的に制御するメインモジュール10m、視線検出モジュール12m、視線判断モジュール13m、時間検出モジュール15m、タッチ操作監視モジュール17m、タッチ入力制御モジュール18m、設定情報記憶モジュール19m、キー監視モジュール21m及びキー入力制御モジュール22mを備えて構成される。そして、各モジュールにより、情報端末1における各機能部のための各機能が実現される。なお、入力受付制御プログラム1mは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図6に示されるように、記録媒体1dのプログラム格納領域1rに記憶される態様であってもよい。
以上説明した本実施形態の情報端末1、入力受付制御方法及び入力受付制御プログラムでは、視線検出部12により検出されたユーザの視線がディスプレイに向けられているか否かが視線判断部13により判定され、視線がディスプレイに向けられている場合には、タッチ入力制御部18によりタッチパネルに対する入力操作が受け付け可能に制御され、視線がディスプレイに向けられていない場合には、タッチパネルに対する入力操作が受け付け不可能に制御される。これにより、ユーザによる特段の操作や、一定時間の経過を必要とすることなく、適切に入力受付の可否が制御される。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
1…情報端末、11…カメラ、12…視線検出部、13…視線判断部、14…時計、15…時間検出部、16…タッチパネル、17…タッチ操作監視部、18…タッチ入力制御部、19…設定情報記憶部、20…ハードウエアキー、21…キー監視部、22…キー入力制御部、1d…記録媒体、1m…入力受付制御プログラム、1r…プログラム格納領域、10m…メインモジュール、12m…視線検出モジュール、13m…視線判断モジュール、15m…時間検出モジュール、17m…タッチ操作監視モジュール、18m…タッチ入力制御モジュール、19m…設定情報記憶モジュール、21m…キー監視モジュール、22m…キー入力制御モジュール、D…ディスプレイ。

Claims (3)

  1. タッチパネルとしての機能を備えたディスプレイ及び撮像装置を有する情報端末であって、
    前記撮像装置により取得されたユーザの顔画像に基づき、ユーザの視線を検出する検出手段と、
    前記検出手段により検出された視線の方向が前記ディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断手段と、
    前記判断手段により前記ディスプレイ注視状態であると判断された場合に、前記タッチパネルに対する入力操作を受付可能に制御し、前記判断手段により前記ディスプレイ注視状態でないと判断された場合に、前記タッチパネルに対する入力操作を受付不可能に制御する制御手段と、を備え、
    前記制御手段は、
    前記判断手段により前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、前記タッチパネルに対する入力操作を受付不可能に制御し、
    前記判断手段により前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから前記第1の所定時間以内であり、且つ前記ディスプレイ注視状態でなくなってから第2の所定時間内に前記タッチパネルに対する入力操作が検出されなかった場合に、前記タッチパネルに対する入力操作を受付不可能に制御し、
    前記判断手段により前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから前記第1の所定時間以内であり、且つ前記ディスプレイ注視状態でなくなってから前記第2の所定時間内に前記タッチパネルに対する入力操作が検出されている場合に、前記タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する、
    情報端末。
  2. タッチパネルとしての機能を備えたディスプレイを有する情報端末における入力受付制御方法であって、
    ユーザの視線を検出する検出ステップと、
    前記検出ステップにおいて検出された視線の方向が前記ディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断ステップと、
    前記判断ステップにおいて前記ディスプレイ注視状態であると判断された場合に、前記タッチパネルに対する入力操作を受付可能に制御し、前記判断ステップにおいて前記ディスプレイ注視状態でないと判断された場合に、前記タッチパネルに対する入力操作を受付不可能に制御する制御ステップと、を有し、
    前記制御ステップにおいて、
    前記判断ステップにおいて前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、前記タッチパネルに対する入力操作を受付不可能に制御し、
    前記判断ステップにおいて前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから前記第1の所定時間以内であり、且つ前記ディスプレイ注視状態でなくなってから第2の所定時間内に前記タッチパネルに対する入力操作が検出されなかった場合に、前記タッチパネルに対する入力操作を受付不可能に制御し、
    前記判断ステップにおいて前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから前記第1の所定時間以内であり、且つ前記ディスプレイ注視状態でなくなってから前記第2の所定時間内に前記タッチパネルに対する入力操作が検出されている場合に、前記タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する、
    入力受付制御方法。
  3. タッチパネルとしての機能を備えたディスプレイを有する情報端末に、
    ユーザの視線を検出する検出機能と、
    前記検出機能により検出された視線の方向が前記ディスプレイに向けられているディスプレイ注視状態にあるか否かを判断する判断機能と、
    前記判断機能により前記ディスプレイ注視状態であると判断された場合に、前記タッチパネルに対する入力操作を受付可能に制御し、前記判断機能により前記ディスプレイ注視状態でないと判断された場合に、前記タッチパネルに対する入力操作を受付不可能に制御する制御機能と、を実現させ
    前記制御機能は、
    前記判断機能により前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから第1の所定時間を超えた場合に、前記タッチパネルに対する入力操作を受付不可能に制御し、
    前記判断機能により前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから前記第1の所定時間以内であり、且つ前記ディスプレイ注視状態でなくなってから第2の所定時間内に前記タッチパネルに対する入力操作が検出されなかった場合に、前記タッチパネルに対する入力操作を受付不可能に制御し、
    前記判断機能により前記ディスプレイ注視状態でないと判断された場合において、前記ディスプレイ注視状態でなくなってから前記第1の所定時間以内であり、且つ前記ディスプレイ注視状態でなくなってから前記第2の所定時間内に前記タッチパネルに対する入力操作が検出されている場合に、前記タッチパネルに対する複数の種類の入力操作のうち、所定の入力操作のみを受付可能に制御する、
    入力受付制御プログラム。
JP2014506200A 2012-03-23 2013-03-15 情報端末、入力受付制御方法及び入力受付制御プログラム Expired - Fee Related JP5889397B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014506200A JP5889397B2 (ja) 2012-03-23 2013-03-15 情報端末、入力受付制御方法及び入力受付制御プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012067288 2012-03-23
JP2012067288 2012-03-23
JP2014506200A JP5889397B2 (ja) 2012-03-23 2013-03-15 情報端末、入力受付制御方法及び入力受付制御プログラム
PCT/JP2013/057454 WO2013141161A1 (ja) 2012-03-23 2013-03-15 情報端末、入力受付制御方法及び入力受付制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2013141161A1 JPWO2013141161A1 (ja) 2015-08-03
JP5889397B2 true JP5889397B2 (ja) 2016-03-22

Family

ID=49222620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014506200A Expired - Fee Related JP5889397B2 (ja) 2012-03-23 2013-03-15 情報端末、入力受付制御方法及び入力受付制御プログラム

Country Status (4)

Country Link
US (1) US20150035776A1 (ja)
EP (1) EP2829954B1 (ja)
JP (1) JP5889397B2 (ja)
WO (1) WO2013141161A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3013861B1 (fr) * 2013-11-27 2017-06-02 Airbus Operations Sas Procede de validation d'une interaction sur une surface tactile par occulometrie
KR20150083553A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 입력 처리 방법 및 장치
KR102254169B1 (ko) * 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108369630A (zh) * 2015-05-28 2018-08-03 视觉移动科技有限公司 用于智能家居的手势控制系统和方法
CN105549849A (zh) * 2015-12-15 2016-05-04 小米科技有限责任公司 处理误操作指令的方法及装置
US10913918B2 (en) 2016-04-14 2021-02-09 Eneos Corporation Refrigerating machine oil
JP7128840B2 (ja) 2017-01-03 2022-08-31 ブリリアント ホーム テクノロジー,インコーポレイテッド タッチ制御溝を備えた家庭用装置コントローラ
WO2019073562A1 (ja) * 2017-10-12 2019-04-18 三菱電機株式会社 表示制御装置、表示制御方法、及び表示制御装置を備える車載機器
USD944216S1 (en) 2018-01-08 2022-02-22 Brilliant Home Technology, Inc. Control panel with sensor area
JP2019135601A (ja) * 2018-02-05 2019-08-15 Kddi株式会社 入力制御装置、入力制御方法及びプログラム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US10761648B2 (en) * 2019-01-16 2020-09-01 Michael D. Marra Gaze detection interlock feature for touch screen devices
USD945973S1 (en) * 2019-09-04 2022-03-15 Brilliant Home Technology, Inc. Touch control panel with moveable shutter
US11715943B2 (en) 2020-01-05 2023-08-01 Brilliant Home Technology, Inc. Faceplate for multi-sensor control device
USD1038895S1 (en) 2021-01-05 2024-08-13 Brilliant Home Technology, Inc. Wall-mountable control device with illuminable feature
WO2024262129A1 (ja) * 2023-06-20 2024-12-26 パナソニックIpマネジメント株式会社 文字入力支援方法、文字入力支援装置及びプログラム
US20260093446A1 (en) * 2024-09-27 2026-04-02 Apple Inc. Interactions with user interfaces

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333737A (ja) * 1997-05-30 1998-12-18 Mitsubishi Heavy Ind Ltd プラント監視制御機構
JP2004159028A (ja) * 2002-11-06 2004-06-03 Hitachi Ltd カメラ内蔵携帯電話機能付き情報処理端末
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US8698727B2 (en) * 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system
JP4526578B2 (ja) * 2008-04-25 2010-08-18 株式会社エヌ・ティ・ティ・ドコモ 携帯装置及びその制御方法
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP2011192231A (ja) * 2010-03-17 2011-09-29 Aisin Aw Co Ltd 車載入力装置及び車載入力装置用入力プログラム
US8489150B2 (en) * 2010-09-13 2013-07-16 Lg Electronics Inc. Mobile terminal and operation control method thereof
US8766936B2 (en) * 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches

Also Published As

Publication number Publication date
EP2829954B1 (en) 2020-08-26
US20150035776A1 (en) 2015-02-05
WO2013141161A1 (ja) 2013-09-26
EP2829954A4 (en) 2015-10-28
EP2829954A1 (en) 2015-01-28
JPWO2013141161A1 (ja) 2015-08-03

Similar Documents

Publication Publication Date Title
JP5889397B2 (ja) 情報端末、入力受付制御方法及び入力受付制御プログラム
US11042291B2 (en) Text input method in touch screen terminal and apparatus therefor
EP3482341B1 (en) Electronic device and operating method thereof
JP6437708B2 (ja) インタラクティブホワイトボードおよび制御方法
US9697513B2 (en) User terminal and payment system
JP5907353B2 (ja) 表示装置、表示制御プログラムおよび画像処理装置
EP3118733B1 (en) Method for recognizing operation mode of user on handheld device, and handheld device
JP6450709B2 (ja) 虹彩認証装置、虹彩認証方法、及びプログラム
US20150153952A1 (en) Techniques for interacting with handheld devices
US20150205994A1 (en) Smart watch and control method thereof
JP6177482B1 (ja) タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム
CN104200145A (zh) 电子设备中的嵌入式验证系统
US10666817B2 (en) Information processing apparatus, information terminal, method of controlling the same, print system, and storage medium that provide a feature of not showing an operation screen when another user is logged in
JP2008097220A (ja) 文字入力装置、文字入力方法およびプログラム
EP2824562B1 (en) Method and apparatus to reduce display lag of soft keyboard presses
US10802620B2 (en) Information processing apparatus and information processing method
WO2015189987A1 (ja) ウェアラブル型情報表示入力システム及びそれに用いる携帯型情報入出力装置および情報入力方法
JP2015179311A (ja) 入力装置、入力制御方法、コンピュータプログラム
US20160349860A1 (en) Display control method, display control program, and display control device
EP2963639A1 (en) Portable electronic device, control method therefor, and program
JP2010258603A (ja) 通信端末及び表示サイズの調整方法
US9377853B2 (en) Information processing apparatus and information processing method
WO2017038287A1 (ja) 通知制御装置、通知制御方法及び通知制御プログラム
CN113703592B (zh) 安全输入方法和装置
US10416884B2 (en) Electronic device, method, and program product for software keyboard adaptation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160216

R150 Certificate of patent or registration of utility model

Ref document number: 5889397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees