JP5857255B2 - 情報処理装置、処理制御方法、プログラム及び記録媒体 - Google Patents

情報処理装置、処理制御方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP5857255B2
JP5857255B2 JP2012535490A JP2012535490A JP5857255B2 JP 5857255 B2 JP5857255 B2 JP 5857255B2 JP 2012535490 A JP2012535490 A JP 2012535490A JP 2012535490 A JP2012535490 A JP 2012535490A JP 5857255 B2 JP5857255 B2 JP 5857255B2
Authority
JP
Japan
Prior art keywords
contact operation
switching
input
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012535490A
Other languages
English (en)
Other versions
JPWO2012104951A1 (ja
Inventor
松本 拓矢
拓矢 松本
梨奈子 亀井
梨奈子 亀井
松井 典弘
典弘 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2012535490A priority Critical patent/JP5857255B2/ja
Publication of JPWO2012104951A1 publication Critical patent/JPWO2012104951A1/ja
Application granted granted Critical
Publication of JP5857255B2 publication Critical patent/JP5857255B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置に関し、特に、ユーザインタフェースの改良に関する。
操作対象装置への非接触操作による入力を可能にすることで、ユーザの利便性を向上させる技術が知られている(例えば、特許文献1)。
特許文献1の技術は、ユーザ(運転者)がハンドルを握る手の形状を所定形状にするという非接触操作により、所望の操作メニュー項目を選択可能にしたものである。具体的には、車載機器(例えば、カーナビゲーションシステム)の操作メニュー項目を音声によりユーザ(運転者)に通知し、所望のメニュー項目名が通知された際に、ユーザが上記非接触操作を行うと、カメラを介して取得した画像に基づきその形状を検出し、そのメニュー項目に対応する処理を行うというものである。
ところで、ユーザの利便性をより向上させるためには、上述のような非接触操作を入力として受け付けるモードと、操作対象の装置が備えるボタンやタッチパネル等に対する接触操作を入力として受け付けるモードとの間で、ユーザが操作時の状況に合わせて入力モードを適宜切り替えられるようにするほうが望ましい。
特開2003−131785号公報
しかしながら、ユーザが、上述のような身体の一部分の形状に基づいて特定される非接触操作を入力として受け付けるモードから接触操作を入力として受け付けるモードへの切替操作を行おうとした際に、特定の非接触操作が検出され、特定の処理が実行されてしまうといったことが生じ得る。
例えば、操作対象装置が、切替操作を行うための特定のボタンを備え、その装置に対し手のひらをかざすような非接触操作を行うことで、特定の処理を行うようなものであるとする。このような装置においては、切替操作を行うために上記特定のボタンを押下しようとしたユーザの手が、手のひらをかざす非接触操作として検出されてしまい、上記特定の処理が実行されてしまうということが考えられる。
このような場合、通常、ユーザは、意図せず実行された特定処理を取り消す(いわゆるアンドゥ(Undo)処理)ための操作を行わなければならなくなる。
そこで、本発明は係る問題に鑑みてなされたものであり、ユーザが、少なくとも身体の一部分の形状により特定される非接触操作を入力として受け付けるモードから、接触操作を入力として受け付けるモードに切り替えるための切替操作を行おうとした際に、意図せず実行された処理を取り消す操作を行わずに済むようにした情報処理装置を提供することを目的とする。
上記課題を解決するために、本発明に係る情報処理装置は、自装置本体への接触操作を検出する接触操作検出手段と、自装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出手段と、前記非接触操作検出手段により検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出手段により検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出手段と、指示に基づいて処理を行う処理手段と、前記入力モードが第1入力モードである場合に、前記非接触操作検出手段が検出した非接触操作を入力として受け付け、受け付けた非接触操作に応じた処理を開始させる第1指示を前記処理手段に行い、当該非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出した場合に、前記第1指示に基づいて前記処理手段により開始された処理により得られた出力の状態を、当該処理を開始する前の状態と同じ状態にさせる第2指示を前記処理手段に行う制御手段とを備えることを特徴とする。
上記課題を解決するために、本発明に係る情報処理装置は、自装置本体への接触操作を検出する接触操作検出手段と、自装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出手段と、前記非接触操作検出手段により検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出手段により検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出手段と、指示に基づいて処理を行う処理手段と、前記入力モードが第1入力モードである場合に、前記非接触操作検出手段が検出した非接触操作を入力として受け付け、前記非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出しなかった場合には、入力として受け付けた前記非接触操作に応じた処理を開始させる指示を前記処理手段に行い、前記非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出した場合には、前記処理手段への前記指示を行わない制御手段とを備えることを特徴とする。
上記構成を備える本発明に係る情報処理装置によれば、ユーザが、少なくとも身体の一部分の形状により特定される非接触操作を入力として受け付けるモードから、接触操作を入力として受け付けるモードに切り替えるための切替操作を行おうとした際に、意図せず実行された処理を取り消す操作を行わずに済むようにできる。
実施の形態1に係る情報処理装置100の外観を示す図 情報処理装置100が非接触操作として検出可能なユーザの手の形状の例を示す図 ユーザが手の形状をPalmサインにした場合に、タッチパネル部110の画面が、レシピ画面G1aから材料画面G2に切り替わる様子を示す図 切替ボタン131を押下しようとしたユーザの手をPalmサインと検出し、材料画面G2をワイプイン表示する様子を示す図 Palmサインの検出から所定時間(例えば数秒程度)以内に、切替ボタン131が押下され、材料画面G2をワイプアウト表示する様子を示す図 レシピ画面G1b及びメモ画面G3の表示例を示す図 レシピ画面G1c及びレシピ画面G1dの表示例を示す図 レシピ画像データ10と部分データ11との関係及び拡大レシピ画像データ20と部分データ21との関係を示す図 縮小レシピ画像データ30と部分データ31との関係を示す図 情報処理装置100の主要部の機能構成を示すブロック図 情報処理装置100の制御部170による制御処理を示すフローチャート 音楽再生用アプリケーションを実行中の情報処理装置100の動作の概要を説明するための図 変形例2に係る情報処理装置200の外観を示す図 クレイドル250に情報処理装置200を装着した状態を示す図 情報処理装置200の主要部の機能構成を示すブロック図 情報処理装置200の制御部220による制御処理を示すフローチャート 情報処理装置300の主要部の機能構成を示すブロック図 情報処理装置300をクレイドル250に装着した状態での加速度センサ311による加速度の検出例を説明するための図 情報処理装置300の制御部320による制御処理を示すフローチャート
以下、本発明に係る情報処理装置の一実施形態を、図面を参照しながら説明する。
≪実施の形態1≫
<外観>
図1は、実施の形態1に係る情報処理装置100の外観を示す図である。
情報処理装置100は、各種アプリケーションを実行可能な、いわゆるパーソナルコンピュータであり、同図に示すように、タッチパネル部110、カメラ121、切替ボタン131及びスピーカ140を含んで構成される。
情報処理装置100は、第1入力モード及び第2入力モードという2つの入力モードを有しており、ユーザが切替ボタン131を押下することで、第1入力モードと第2入力モードとの間で入力モードを切り替えることができる。
第1入力モードは、カメラ121により撮影された画像に基づき検出された非接触操作(詳細は後述する)を入力として受け付けるモードであり、第2入力モードは、タッチパネル部110への接触操作を入力として受け付けるモードである。
例えば、ユーザが、情報処理装置100から離れた位置から操作したい場合には第1入力モードが使用され、情報処理装置100の近くの位置から操作したい場合には第2入力モードが使用されることになる。
<ユーザインタフェース仕様>
以下、図1〜8を用いて、情報処理装置100における表示例及び操作例を説明する。
図1では、タッチパネル部110に、料理のレシピ画面G1aが表示された例を示している。
ここで、レシピ画面G1aは、情報処理装置100がレシピを表示するアプリケーションを実行している場合に表示される画面であり、図8(a)に示す料理のレシピ画像データ10中の部分データ11にボタンB1〜B3を重ねて表示した画面である。
なお、部分データ11の大きさ(以下、「表示サイズ」という)は、タッチパネル部110のサイズ及びボタンの配置に合わせて予め設定されているものとする。
図2は、情報処理装置100が非接触操作として検出可能なユーザの手の形状の例を示す図である。
入力モードが第1入力モードである場合において、ユーザが、自身の手の形状を、図2(a)〜(e)に示すいずれかの形状にし、情報処理装置100がこれを非接触操作として検出したとする。すると、情報処理装置100は、タッチパネル部110の画面を、検出した非接触操作に応じた画面に切り替える。
なお、情報処理装置100は、図2(a)〜(e)に示すいずれかの形状と所定程度類似しているユーザの手の形状を非接触操作として検出する。
また、以下では、図2(a)〜(e)に示す手の形状を、「Palmサイン」、「Fistサイン」、「Peaceサイン」、「Upサイン」、「Downサイン」という。
まず、ユーザが手の形状を図2(a)に示すPalmサインにした場合について説明する。
図3(a)〜(d)は、ユーザが手の形状を、図2(a)に示すPalmサインにした場合に、タッチパネル部110の画面が、レシピ画面G1aから材料画面G2に切り替わる様子を示す図である。
入力モードが第1入力モードである場合において、タッチパネル部110には、図3(a)に示すようにレシピ画面G1aが表示されているときに、ユーザが、自身の手の形状を、図2(a)に示すPalmサインにしたとする。
情報処理装置100がこれを非接触操作として検出すると、情報処理装置100は、図3(b)〜(d)に示すように、タッチパネル部110の画面をレシピ画面G1aから材料画面G2に切り替えて表示する。即ち、情報処理装置100は、レシピ画面G1aに重ねて表示された材料画面G2の一部分の面積が、時間が経過するにつれて徐々に大きくなるように表示する。
このようにして、画面Aから画面Bにタッチパネル部110の画面を切り替えることを、以下では、画面Bをワイプイン表示すると表現する。
なお、入力モードが第2入力モードである場合に、図1に示す「材料」ボタンB1にユーザが指等を接触させた場合にも、図3(a)〜(d)に示すように、タッチパネル部110の画面が、レシピ画面G1aから材料画面G2に切り替わる。
以下では、ユーザがタッチパネル部110上の各ボタンの表示位置に指等を接触させることを、ボタンを選択するということとする。
ここで、入力モードが第1入力モードである場合において、ユーザの手がPalmサインに似た形状になってしまったときには、情報処理装置100は、この手の形状を非接触操作であると検出して材料画面G2をワイプイン表示してしまう可能性がある。
図4(a)〜(c)は、情報処理装置100が、切替ボタン131を押下しようと、自装置に近づけてきたユーザの手の形状をPalmサインと検出し、材料画面G2をワイプイン表示している様子を示す図である。
情報処理装置100は、上記Palmサインの検出から所定時間(例えば数秒程度)以内に切替ボタン131が押下されると、図5(a)〜(c)に示すように、タッチパネル部110の画面をレシピ画面G1aに表示を戻す。即ち、情報処理装置100は、レシピ画面G1aに重ねて表示された材料画面G2の一部分の面積が、時間が経過するにつれて徐々に小さくなるように表示する。
このようにして、画面Bから画面Aにタッチパネル部110の画面を戻すことを、以下では、画面Bをワイプアウト表示すると表現する。
図4、5に示すように、入力モードが第1入力モードである場合において、情報処理装置100が、切替ボタン131を押下しようとしたユーザの手の形状をPalmサインと検出し、ワイプイン表示が開始されたとしても、ユーザが、その検出から所定時間以内に切替ボタン131を押下することによって、タッチパネル部110の画面を元の画面に戻すことができる。
つまり、情報処理装置100によれば、入力モードが第1入力モードである場合において、ユーザは、切替操作を行おうとした際に意図せず実行された処理を取り消すための操作を行わずに済むことになる。
以下では、情報処理装置100におけるその他の操作例と表示例について簡単に説明する。
入力モードが第1入力モードである場合において、図1に示すレシピ画面G1aが表示されているときに、ユーザが手の形状を、図2(b)に示すFistサインにした場合には、図6(a)に示すレシピ画面G1bが、図2(c)に示すPeaceサインにした場合には、図6(b)に示すメモ画面G3が、それぞれワイプイン表示される。
ここで、レシピ画面G1bは、図8(a)に示すレシピ画像データ10中の部分データ12にボタンB1、B3、B4を重ねて表示した画面である。
なお、入力モードが第2入力モードである場合において、図1に示すレシピ画面G1aが表示されているときに、「次へ」ボタンB2が選択された場合にも、レシピ画面G1bがワイプイン表示され、「メモ」ボタンB3が選択された場合にも、メモ画面G3がワイプイン表示される。
つまり、この情報処理装置100は、第2入力モードである場合に、画面の右上に配置されたボタン(図1の例では、「材料」ボタンB1)が選択された際に行われる処理(図1の例では、材料画面G2のワイプイン表示)を、第1入力モードである場合には、ユーザが手の形状をPalmサインにすることで行うことができる。
同様に、第2入力モードである場合に、画面の右下に配置されたボタンが選択された際に行われる処理を、第1入力モードである場合には、ユーザが手の形状をFistサインにすることで行うことができる。また、第2入力モードである場合に、画面の左上に配置されたボタンが選択された際に行われる処理を、第1入力モードである場合には、ユーザが手の形状をPeaceサインにすることで行うことができる。
また、入力モードが第1入力モードである場合において、図1に示すレシピ画面G1aが表示されているときに、ユーザが手の形状を、図2(d)に示すUpサインにした場合には、図7(a)に示すレシピ画面G1cが、図2(e)に示すDownサインにした場合には、図7(b)に示すレシピ画面G1dが、それぞれ表示される。
ここで、レシピ画面G1cは、図8(a)に示すレシピ画像データ10を所定の割合で拡大した拡大レシピ画像データ20(図8(b)参照)の左上端位置を原点とした表示サイズ分の部分データ21にボタンB1a〜B3aを重ねて表示した画面である。
また、レシピ画面G1dは、図8(a)に示すレシピ画像データ10を所定の割合で縮小した縮小レシピ画像データ30(図9参照)の左上端位置を原点とした表示サイズ分の部分データ31にボタンB1b〜B3bを重ねて表示した画面である。なお、この例では、表示サイズが、縮小レシピ画像データ30のサイズより大きくなってしまうため、ここでは、縮小レシピ画像データ30がそのまま表示されることになる。
<構成>
図10は、情報処理装置100の主要部の機能構成を示すブロック図である。
情報処理装置100は、同図に示すように、タッチパネル部110、非接触操作検出部120、切替検出部130、スピーカ140、記憶部150、計時部160、制御部170及び処理部180を備える。
なお、情報処理装置100は、プロセッサ及びメモリを含んで構成されており、制御部170及び処理部180の各機能は、上述のメモリに記憶されているプログラムを上述のプロセッサが実行することにより実現される。
ここで、タッチパネル部110は、ディスプレイ111及び接触操作検出部112を含んで構成される。
ディスプレイ111は、LCD(Liquid Crystal Display)を含み、処理部180からの指示を受けて文字やアイコン等の画像をLCDに表示するものである。
また、接触操作検出部112は、タッチセンサ113を含み、ユーザによる接触を検出し、検出している間、単位時間(例えば、25ms)毎に、その接触位置の座標値(x,y)を制御部170に送出する機能を有する。
タッチセンサ113は、例えば、静電容量方式のタッチセンサにより実現される。
以下では、図1のタッチパネル部110の左上端の座標値は(0,0)であるとし、右下端の座標値は(799,479)であるものとして説明する。
なお、本実施の形態では、接触とは、ユーザの指等の身体やタッチペン等がタッチパネル部110に接触した状態をいう他、ユーザの指等の身体やタッチペン等が、タッチパネル部110の静電容量を所定の閾値以上に変化させるまでタッチパネル部110に近接した状態を含む。
また、非接触操作検出部120は、カメラ121及び照合処理部122を含んで構成される。
カメラ121は、一定のフレームレートで撮影を行い、順次画像データを生成する機能を有する。
また、照合処理部122は、図2(a)〜(e)の形状それぞれの特徴量を登録した各テンプレート情報を記憶している。照合処理部122は、カメラ121が画像データを生成する毎に、その画像データの特徴量を抽出し、抽出した特徴量と各テンプレート情報とを照合し、特定した手の形状を示す情報(以下、「非接触操作識別子」という)を、制御部170に送出する機能を有する。即ち、この非接触操作識別子は、図2(a)〜(e)の手の形状のいずれかを示すものである。
照合処理部122は、専用プロセッサを含み、この専用プロセッサにより、上記機能が実現される。
また、切替検出部130は、ハードウェアボタンである切替ボタン131を含み、切替ボタン131が押下された場合に、入力モードを切り替えることを示す信号(以下、「切替信号」という)を、制御部170に送出する機能を有する。
また、スピーカ140は、処理部180からの指示を受けて音声を出力するものである。
また、記憶部150は、モード情報151を格納するためのメモリ領域である。
ここで、モード情報151は、現在の入力モードを示す情報である。
計時部160は、制御部170からの指示を受けて、予め設定されている所定時間(この例では、数秒程度)の計時を開始し、この所定時間の計時を完了すると、その旨を制御部170に通知する機能を有し、例えば、タイマやカウンタにより実現される。
なお、この所定時間は、ユーザが切替ボタン131を押下しようと、情報処理装置100との距離がユーザの手を検出できる程度の距離(例えば1m程度)まで近づいたときから、切替ボタン131が押されるまでにかかる平均的な時間に基づいて、予め設定されている。
制御部170は、特に、切替検出部130からの切替信号の受領に基づいて記憶部150のモード情報151を更新する機能を有する。また、制御部170は、このモード情報151と、接触操作検出部112又は非接触操作検出部120から受領した情報と、切替検出部130からの切替信号の受領とに基づいて、処理部180の処理の実行を制御する機能を有する。
制御部170は、処理制御部171及び座標通知部172を含んで構成される。
処理制御部171は、特に、処理の開始指示及びアンドゥ処理の実行指示を処理部180に送出する機能を有する。
処理制御部171は、非接触操作検出部120から非接触操作識別子を受領した際に処理の開始指示を送出し、この非接触操作識別子の受領から所定時間以内に切替検出部130から切替信号を受領した際にアンドゥ処理の実行指示を送出する。なお、この所定時間を計時させるため、処理制御部171は、非接触操作検出部120から非接触操作識別子を受領した際に、計時部160に計時の開始を指示する。
ここで、処理の開始指示は、処理部180において実行中のアプリケーションに応じて実行されるべき処理の開始を指示するものであり、モード情報151が第1入力モードを示す場合において非接触操作検出部120から受領した非接触操作識別子が指定される。
例えば、図1に示すように、処理部180においてレシピを表示するアプリケーションが実行されている場合に送出される処理の開始指示は、その指示で指定されている非接触操作識別子が示す非接触操作に応じた画面に、ディスプレイ111の表示を切り替える処理の開始指示に相当する。
また、アンドゥ処理の実行指示は、上記処理の開始指示により処理部180において開始された処理の実行を停止させ、この処理の実行により得られた出力の状態を、この処理を開始する前の状態と同じ状態にすることを指示するものである。
例えば、上述の例のように、処理部180においてレシピを表示するアプリケーションが実行されているとした場合に送出されるアンドゥ処理の実行指示は、上記処理の開始指示に基づく処理の実行開始前に表示されていた図1のレシピ画面G1aに、ディスプレイ111の表示を戻す処理の実行指示に相当する。
また、座標通知部172は、記憶部150のモード情報151が第2入力モードを示す場合において接触操作検出部112から受領した座標値を処理部180に送出する機能を有する。
また、処理部180は、実行中のアプリケーションにおいて、制御部170から受領した座標値及び指示に応じた処理を行う機能を有する。
なお、処理部180は、ディスプレイ111に表示されている各画面における各ボタンのサイズ、形状、配置(座標)や、画面毎に、操作(接触操作及び非接触操作)に応じて実行すべき処理を管理しているものとする。
処理部180は、例えば、レシピを表示するアプリケーションを実行している場合に、制御部170から座標値及び処理の開始指示を受領すると、以下のようにしてワイプイン表示を行う。
即ち、処理部180は、情報処理装置100が備えるメモリ上に、ワイプイン表示を開始する直前にディスプレイ111に表示されている画像(以下、「前画像」という)と、ワイプイン表示が完了した直後にディスプレイ111に表示される画像(以下、「後画像」という)とを記憶しておく。
そして、処理部180は、前画像に合成させるべき後画像の一部分の面積が徐々に大きくなり、計時部160による所定時間の計時が完了した時には後画像が完全に表示されるように、ワイプイン表示を行う、つまり、前画像に後画像の一部分を合成した合成画像の生成と表示とを繰り返す。
また、処理部180は、レシピを表示するアプリケーションを実行している場合に、制御部170からアンドゥ処理の実行指示を受領すると、ワイプイン表示を停止し、以下のようにしてワイプアウト表示を行う。
即ち、処理部180は、アンドゥ処理の実行指示を受領するまでに上記処理の開始指示に基づいて行われたワイプイン表示の場合とは逆順に各合成画像の生成と表示とを繰り返す。
つまり、制御部170からアンドゥ処理の実行指示を受領した際に、ディスプレイ111に表示されていた合成画像における後画像の面積より、前画像に合成させるべき後画像の一部分の面積が徐々に小さくなり、最終的には、前画像が完全に表示されるように、ワイプアウト表示を行う、即ち、前画像に後画像の一部分を合成した合成画像の生成と表示とを繰り返す。
<動作>
次に、上記構成を備える情報処理装置100の動作について、図11を用いて説明する。
図11は、情報処理装置100の制御部170による制御処理を示すフローチャートである。
同図に示す制御処理は、情報処理装置100の電源がONになると開始され、特に図示していないが、電源がOFFになると終了される。
なお、以下の説明を開始する時点で、ディスプレイ111には、レシピ画面G1aが表示されているものとする。
情報処理装置100の電源がONになると、制御部170は、第1入力モードを示すようにモード情報を初期化し(ステップS1)、切替操作がなされたか否かを判定する(ステップS2)。
切替検出部130から切替信号を受領した場合には、制御部170は、切替操作がなされたと判定し(ステップS2:YES)、モード情報を更新する。即ち、制御部170は、モード情報が示す入力モードが、第1入力モードである場合には第2入力モードを示すように、第2入力モードである場合には第1入力モードを示すように、モード情報を更新した上で(ステップS3)、ステップS4の処理に進む。
また、切替検出部130から切替信号を受領していない場合には、制御部170は、切替操作がなされていないと判定し(ステップS2:NO)、特に何も行うことなく、ステップS4の処理に進む。
制御部170は、モード情報が示す入力モードが、第1入力モードと第2入力モードとのいずれであるかを判定し(ステップS4)、第2入力モードである場合には(ステップS4:第2入力モード)、座標通知部172は、接触操作検出部112から、座標値を受領したか否かを判定する(ステップS5)。
座標通知部172は、座標値を受領していない場合に(ステップS5:NO)、再びステップS2から処理を行い、座標値を受領した場合に(ステップS5:YES)、受領した座標値を処理部180に送出する(ステップS6)。
この座標値を受領した処理部180は、受領した座標値が、ディスプレイ111に表示中の画面におけるいずれかのボタンの範囲に含まれるかを判定し、受領した座標値が、その範囲に含まれるボタンに割り当てられている処理を実行することになる。
この例では、ディスプレイ111にレシピ画面G1aが表示されているので、受領した座標値が、例えば、材料ボタンB1の範囲に含まれる場合には、処理部180は、材料画面G2のワイプイン表示を実行することになる。
ステップS6の処理を完了すると、制御部170は、再びステップS2から処理を行う。
一方、ステップS4で、入力モードが第1入力モードである場合には(ステップS4:第1入力モード)、処理制御部171は、非接触操作検出部120から、非接触操作識別子を受領したか否かを判定する(ステップS7)。
処理制御部171は、非接触操作識別子を受領していない場合に(ステップS7:NO)、再びステップS2から処理を行い、非接触操作識別子を受領した場合に(ステップS7:YES)、計時部160に所定時間の計時を開始させる(ステップS8)。
処理制御部171は、ステップS7で受領した非接触操作識別子を指定した処理の開始指示を処理部180に送出する(ステップS9)。
この処理の開始指示を受領した処理部180は、受領した処理の開始指示で指定された非接触操作識別子が示す非接触操作に応じた処理を開始することになる。
この例では、ディスプレイ111にレシピ画面G1aが表示されているので、例えば指定された非接触操作識別子が示す非接触操作がPalmサインである場合には、処理部180は、図4に示すように、材料画面G2のワイプイン表示を開始することになる。
続いて、制御部170は、ステップS2の処理と同様に、切替操作がなされたか否かを判定し(ステップS10)、切替操作がなされていないと判定した場合には(ステップS10:NO)、処理制御部171は、直近に非接触操作が行われてから所定時間が経過したか否かを判定する(ステップS11)。
処理制御部171は、計時部160から通知を受領していない場合に、所定時間が経過していないと判定し(ステップS11:NO)、再びステップS10から処理を行い、計時部160から通知を受領した場合に、所定時間を計時したと判定し(ステップS11:YES)、特に何も行わず、制御部170は、再びステップS2から処理を行う。
また、ステップS10において、制御部170が、切替操作がなされたと判定した場合に(ステップS10:YES)、処理制御部171は、処理部180にアンドゥ処理の実行指示を送出する(ステップS12)。
このアンドゥ処理の実行指示を受領した処理部180は、現在実行中の処理(上述の例では、ワイプイン表示)を停止し、この処理の実行により得られた出力の状態を、その処理を開始する前の状態と同じ状態にすることになる。
上述の例では、材料画面G2のワイプイン表示が実行されているので、処理部180は、この材料画面G2のワイプイン表示を停止して材料画面G2のワイプアウト表示を開始し、最終的に、この材料画面G2のワイプイン表示を開始する前に表示されていたレシピ画面G1aをディスプレイ111に表示することになる。
続いて、処理制御部171は、ステップS3の処理と同様に、モード情報を更新し(ステップS13)、制御部170は、再びステップS2から処理を行う。
≪変形例1≫
上記実施の形態1では、情報処理装置100において、レシピを表示するアプリケーションが実行されている場合を例に、図11を用いて、情報処理装置100の動作を説明した。以下では、情報処理装置100において、音楽再生用アプリケーションが実行されている場合を例に、情報処理装置100の動作を説明する。
<動作>
図12(a)、(b)は、音楽再生用アプリケーションを実行中の情報処理装置100の動作の概要を説明するための図である。
図12(a)では、情報処理装置100が、切替ボタン131を押下しようとしたユーザの手をPalmサインと検出し、同図において斜線部で示す、Titleが「Music A」である選択中の音楽(以下、単に「Music A」という)の再生を開始しようとしている様子を示している。
処理部180において、実際にMusic Aの再生が開始されると、このMusic Aに係る音声が、スピーカ140から出力されることになる。
また、図12(b)は、上記Palmサインの検出から所定時間(例えば数秒程度)以内に、切替ボタン131が押下され、情報処理装置100がMusic Aの再生を停止したときの様子を示している。
このMusic Aの再生の停止により、それまでスピーカ140から出力されていた、Music Aに係る音声の出力が停止することになる。
情報処理装置100において、音楽再生用アプリケーションが実行されている場合における情報処理装置100の制御処理は、図11に示した通りである。
但し、ステップS6で座標通知部172から送出された座標値を受領した処理部180は、受領した座標値が、その範囲に含まれるボタン(例えば、図12(a)の再生ボタンB5)に割り当てられている選択中の音楽(図12(a)の例では、「MUSIC A」)の再生処理を実行することになる。
また、ステップS9で処理制御部171から送出された処理の開始指示を受領した処理部180は、受領した処理の開始指示で指定された非接触操作識別子が示す非接触操作が例えば、Palmサインであれば、選択中の音楽(図12(a)の例では、「MUSIC A」)の再生を開始することになる。
また、ステップS12で処理制御部171から送出されたアンドゥ処理の実行指示を受領した処理部180は、現在実行している音楽(図12(b)の例では、「MUSIC A」)の再生を停止することになる。
≪変形例2≫
実施の形態1では、ユーザが切替ボタン131を押下することで、入力モードの切替が行われる場合を例に説明した。
以下では、クレイドルに対する脱着により、入力モードの切替が行われる場合を例に、実施の形態1に係る情報処理装置100との相違点を中心に説明する。
<外観>
図13は、変形例2に係る情報処理装置200の外観を示す図であり、図14は、クレイドル250に情報処理装置200を装着した状態を示す図である。
図13に示すように、情報処理装置200は、タッチパネル部110と、カメラ121、スピーカ140と、スイッチ211を含んで構成されており、実施の形態1に係る情報処理装置100の切替ボタン131に代えて、スイッチ211を備える点で、情報処理装置100とは異なる。
このスイッチ211は、図14に示すように、情報処理装置200をクレイドル250に装着している場合に押下される。つまり、スイッチ211が押下されていないということは、情報処理装置200がクレイドル250から取り外されていることを示すことになる。
なお、図13に示すスイッチ211の形状及び配置は一例であり、情報処理装置200がクレイドル250に装着された状態で押下される限り、適宜変更することができる。
<構成>
図15は、情報処理装置200の主要部の機能構成を示すブロック図である。
情報処理装置200は、同図に示すように、タッチパネル部110、非接触操作検出部120、切替検出部210、スピーカ140、記憶部150、計時部160、制御部220及び処理部180を備える。
情報処理装置200は、実施の形態1に係る情報処理装置100の切替検出部130、制御部170に代えて、切替検出部210、制御部220を備える点で、情報処理装置100とは異なる。
ここで、切替検出部210は、スイッチ211を含み、スイッチ211が押下されている間、押下されていることを示す信号(以下、「押下信号」という)を、制御部220に送出する機能を有する。
また、制御部220は、基本的には、実施の形態1に係る制御部170と同様の機能を有するが、モード情報151の更新を、切替検出部210からの押下信号の送出状態が変化したか否かに基づいて行う点で制御部170とは異なる。
即ち、押下信号が送出されている状態から送出されていない状態に変化した場合には、情報処理装置200がクレイドル250から取り外されたと考えられ、通常、ユーザは、タッチパネル部110への接触操作を行うと考えられる。
従って、押下信号が送出されていない状態へと変化した場合には、制御部220は、第2入力モードを示すように、モード情報151を更新する。
また、逆に、押下信号が送出されていない状態から送出されている状態に変化した場合には、情報処理装置200がクレイドル250に装着されたと考えられ、通常、ユーザは、非接触操作を行うと考えられる。
従って、押下信号が送出されている状態へと変化した場合には、制御部220は、第1入力モードを示すように、モード情報151を更新する。
<動作>
次に、上記構成を備える情報処理装置200の動作について、図16を用いて説明する。
図16は、情報処理装置200の制御部220による制御処理を示すフローチャートである。
情報処理装置200による制御処理は、図11に示す実施の形態1に係る情報処理装置100の制御処理のステップS1、S2、S10に代えて、ステップS20〜S22を含む点で、情報処理装置100の制御処理とは異なる。
従って、以下では、ステップS20〜S22の処理を中心に説明する。
まず、情報処理装置200の電源がONになると、制御部220は、切替検出部210から押下信号が送出されていない場合には、第2入力モードを示すように、押下信号が送出されている場合には、第1入力モードを示すように、モード情報を初期化する(ステップS20)。
続いて、制御部220は、切替検出部210からの押下信号の送出状態が変化したか否かに基づいて、切替操作がなされたか否かを判定する(ステップS21)。
ステップS21の処理前に切替検出部210から押下信号が送出されていなかった場合において、押下信号の送出が開始されたとき、及びステップS21の処理前に切替検出部210から押下信号が送出されていた場合において、押下信号の送出が停止したときには、切替操作がなされたと判定し(ステップS21:YES)、ステップS3のモード情報の更新処理に進む。
一方、ステップS21の処理前に切替検出部210から押下信号が送出されていなかった場合において、引き続き押下信号が送出されていないとき、及びステップS21の処理前に切替検出部210から押下信号が送出されていた場合において、引き続き、押下信号が送出されているときには、切替操作がなされていないと判定し(ステップS21:NO)、ステップS4の入力モードの判定処理に進む。
以降、ステップS4〜S9の処理は、実施の形態1で説明したように実行し、ステップS9の開始指示の送出処理を完了すると、制御部220は、切替操作がなされたか否かをステップS21の場合と同様に判定する(ステップS22)。
切替操作がなされていないと判定した場合には(ステップS22:NO)、ステップS11の所定時間経過の判定処理に進み、切替操作がなされたと判定した場合には(ステップS22:YES)、ステップS12のアンドゥ処理の実行指示の送出処理に進む。
≪実施の形態2≫
実施の形態1では、図11に示すように、情報処理装置100は、入力モードが第1入力モードである場合において、非接触操作を検出したときに、処理の開始指示に基づいて処理を開始しておき、非接触操作が検出されてから所定時間以内に、切替操作を検出した場合には、アンドゥ処理の実行指示に基づいてアンドゥ処理を実行するものとして説明した。
以下では、非接触操作を検出した場合に、すぐに処理の開始指示に基づいて処理を開始するのではなく、非接触操作が検出されてから所定時間以内に、切替操作を検出しなかった場合に限って、その処理を開始するようにした例を説明する。
このようにすることで、実施の形態1の場合と同様に、ユーザは、入力モードが第1入力モードである場合において、切替操作を行おうとした際に意図せず実行された処理を取り消すための操作を行わずに済むようになる。
また、この例では、入力モードの切替を、実施の形態2に係る情報処理装置が備える加速度センサによる検出値に基づいて行う場合について説明する。
以下では、実施の形態2に係る情報処理装置について、実施の形態1に係る情報処理装置100との相違点を中心に説明する。
<構成>
図17は、情報処理装置300の主要部の機能構成を示すブロック図である。
情報処理装置300は、同図に示すように、タッチパネル部110、非接触操作検出部120、切替検出部310、スピーカ140、記憶部150、計時部160、制御部320及び処理部180を備える。
情報処理装置300は、実施の形態1に係る情報処理装置100の切替検出部130、制御部170に代えて、切替検出部310、制御部320を備える点で、情報処理装置100とは異なる。
ここで、切替検出部310は、加速度センサ311を含み、加速度センサ311が検出した加速度の変化に基づいて、制御部320に切替信号を送出するものである。
加速度センサ311は、例えば、3軸加速度センサにより実現され、図18に示すように情報処理装置300をクレイドル250に装着した状態で、一例として、x軸及びy軸における加速度として略0を、z軸における加速度として略1.0gを検出するものとする。
以下、加速度センサ311が検出したx軸及びy軸における加速度が略0であり、かつz軸における加速度が略1.0gである状態を「装着状態」という。
切替検出部310は、装着状態から、加速度センサ311が検出したz軸における加速度が1.0gより所定閾値以上小さい状態へと変化した場合、及び装着状態でない状態から装着状態へと変化し一定時間(例えば10秒程度)装着状態が継続した場合に、切替信号を送出する。
また、制御部320は、実施の形態1に係る情報処理装置100の制御部170における処理制御部171に代えて、処理制御部321を備える点で、制御部170とは異なる。
処理制御部321は、処理の開始指示を処理部180に送出するタイミングと、アンドゥ処理の実行指示を送出しない点において、処理制御部171と異なる。
処理制御部321は、モード情報151が第1入力モードを示す場合において、非接触操作検出部120からの非接触識別子が受領してから所定時間(この例では、数秒程度)以内に切替検出部310から切替信号を受領しなかったときに限って処理の開始指示を処理部180に送出する。
<動作>
次に、上記構成を備える情報処理装置300の動作について、図19を用いて説明する。
図19は、情報処理装置300の制御部320による制御処理を示すフローチャートである。
情報処理装置300による制御処理は、図11に示す実施の形態1に係る情報処理装置100の制御処理のステップS9の処理を、ステップS11で肯定的な判定(ステップS11:YES)が行われた場合に実行するようにすると共に、ステップS12の処理を行わないようにしたものである。
以下では、この情報処理装置100の制御処理との相違点を中心に、情報処理装置300による制御処理を説明する。
情報処理装置300は、ステップS1〜S8の処理を、情報処理装置100と同様に実行し、ステップS8で計時部160に計時を開始させると、処理制御部321は、切替操作がなされることなく所定時間が経過した場合に(ステップS10:NO、S11:YES)、処理の開始指示の送出処理を行い(ステップS9)、再びステップS2から処理を行う。
一方、所定時間が経過する前に切替操作がなされた場合に(ステップS10:YES)、制御部320は、モード情報の更新処理を行い(ステップS13)、再びステップS2から処理を行う。
≪補足≫
以上、本発明に係る情報処理装置を、各実施の形態及び各変形例に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した各実施の形態及び各変形例で示した通りの情報処理装置に限られないことは勿論である。
(1)各実施の形態及び各変形例に係る情報処理装置が備える非接触操作検出部120はカメラ121で撮影され生成された画像データに基づいて非接触操作を検出するものとして説明した。
しかしながら、非接触操作検出部120を、カメラ121に代えて、レンジセンサを含むように変形し、レンジセンサにより得られた距離画像に基づいて非接触操作を検出するようにしてもよい。
距離画像は、出力された音波や光が検出対象(この例ではユーザ)に当たって戻ってくるまでの時間に基づいてレンジセンサから検出対象までの距離を各画素について求めたものである。
また、レンジセンサに限らず、距離画像を得ることができるセンサ、例えば複数の距離センサを用いるようにしてもよい。
また、例えば、ユーザの手にデータグローブを装着し、データグローブにより検出された手の形状を示すデータを、無線又は有線で情報処理装置に送出するようにし、このデータに基づいて、非接触操作を検出するようにしてもよい。
また、例えば、ユーザの指の関節位置に目印(例えばシール)を付け、非接触操作検出部120が、カメラ121で撮影され生成された画像データにおける目印の位置に基づいて非接触操作を検出するようにしてもよい。
また、各実施の形態、各変形例及び上記説明では、ユーザの手の形状に基づいて特定される非接触操作を検出するものとして説明したが、手以外の他の身体の一部分の形状に基づいて特定される非接触操作を検出するようにしてもよい。また、ユーザの身体の一部分の形状だけでなく、ユーザが、手の形状をPalmサインにして手を振るような動きをした場合に非接触操作を検出するようにするといったように、形状と動きとに基づいて非接触操作を検出するようにしてもよい。
ユーザの身体の一部分の動きは、定期的に、ユーザの身体の一部分の形状を取得し、前後の形状の差異に基づいて検出することが可能である。
(2)実施の形態1、2及び変形例2では、入力として受け付けられた非接触操作に応じて、ディスプレイ111の表示切替処理を行うものとして説明した。
しかしながら、これに限らず、例えば、各非接触操作に1以上の文字を対応付けておき、入力として受け付けられた非接触操作に対応する1以上の文字を、表示中の画面に表示するようにしてもよい。即ち、非接触操作を入力として受け付けた際に、1以上の文字が表示されていない画面から、1以上の文字が表示された画面に切り替えるようにしてもよい。
(3)各実施の形態及び各変形例に係る情報処理装置は、ディスプレイ111と、タッチセンサ113を含む接触操作検出部112とから構成されるタッチパネル部110を備えるものとして説明した。
しかしながら、ディスプレイ111とは別に、接触操作検出部112を配置し、接触操作検出部112をいわゆるタッチパッドとして機能させるようにしてもよい。
また、ディスプレイ111はLCDを含むものとして説明したが、LCDによらず、有機EL(Electro−Luminescence)等を含むようにしてもよい。
また、ディスプレイ111のLCDの形状は、略矩形状であるとして説明したが、例えば、円形状、その他多角形状であってもよい。
また、接触操作検出部112は、タッチセンサ113を含むものとして説明したが、自装置本体への接触操作を検出できればよく、例えば、タッチセンサ113に代えて、ハードウェアボタン群を含むようにしてもよい。
(4)各実施の形態及び各変形例に係るタッチセンサ113は、静電容量方式のタッチセンサにより実現するものとして説明したが、この静電容量方式のタッチセンサとして、多数の電極パターンをプラスチックやガラス等の基板上に形成し、接触点の近傍の複数の電極パターンによる電流量の比率を計測することで判別する投影型や、導電膜と基板とを有して構成され、基板の隅に電極を設け、導電膜による均一な電界を形成し、指等の接触による隅の電極の電流量の比率を計測して接触位置を判別する表面型等、適宜なものを用いることができる。
また、タッチセンサ113は、静電容量方式のタッチセンサにより実現される場合に限らず、電子ペン等の専用のペンを用いる電磁誘導方式や、2層構造の透明電極からなるマトリクススイッチ方式や、2枚の抵抗膜の1枚に電圧を印加し、他方の抵抗膜において操作した位置に応じた電圧を検知する抵抗膜方式や、振動波の跳ね返りを圧電素子の電圧変化によって検出し、指等の接触を検知する表面弾性波方式や、遮光された赤外線により指等が接触した位置を検出する赤外線方式や、画面に光センサを組み込んで接触位置を検知する光センサ方式等のセンサにより実現されてもよい。
(5)入力モードを第1入力モードから第2入力モードへと切り替えるための切替操作は、各実施の形態及び各変形例において説明した例によらず、例えば、タッチパネル部110への接触であってもよい。
また、ユーザの利便性を上げるために、各実施の形態及び各変形例で説明した切替操作を組み合わせてもよい。即ち、例えば、実施の形態1に係る切替ボタン131を含む切替検出部130を、スイッチ211又は加速度センサ311を含むように変形し、スイッチ211が押下された場合、及び情報処理装置がクレイドル250から取りはずされたことを検出した場合に、入力モードを切り替えるようにしてもよい。
また、各実施の形態及び各変形例では、入力モードを第1入力モードから第2入力モードへと切り替えるための切替操作と、入力モードを第2入力モードから第1入力モードへと切り替えるための操作とが同じ操作である場合を例に説明したが、異なる操作であってもよい。
なお、図1に示す切替ボタン131の形状及び配置は一例であり、適宜変更してもよい。
(6)実施の形態2では、加速度センサ311が1.0gより所定閾値以上小さいz軸における加速度を検出することで、クレイドル250に装着した状態(装着状態)の情報処理装置300をユーザが持ち上げたことを検出し、切替検出部310は切替信号を送出するものとして説明した。
しかしながら、加速度センサ311のいずれかの軸における加速度が所定程度変化した場合に、切替信号を送出するように変形してもよい。これにより、クレイドル250がなくても、ユーザによる情報処理装置300の持ち上げを検出して、入力モードを第1入力モードから第2入力モードに切り替えることが可能になる。
なお、更に、一定時間(例えば10秒程度)加速度センサ311が検出した各軸における加速度に変化がない場合に、切替信号を送出するようにしてもよい。これにより、ユーザが、机等の上に情報処理装置を置いた場合に、入力モードを第2入力モードから第1入力モードに切り替えることが可能になる。
(7)実施の形態1、2及び変形例2では、入力モードが第1入力モードである場合において非接触操作が検出されたときに、検出された非接触操作に応じた画面のワイプイン表示を開始し、非接触操作の検出から所定時間以内に切替操作がなされた場合に、ワイプアウト表示を行うものとして説明した。
しかしながら、ワイプイン表示を行うのではなく、非接触操作の検出前に表示されていた画面から、検出された非接触操作に応じた画面へと一気に表示を切り替えるようにしてもよい。また、ワイプアウト表示を行うのではなく、表示中の画面から、ワイプイン表示を開始する前に表示されていた画面へと一気に表示を切り替えるようにしてもよい。
(8)各実施の形態及び各変形例では、計時部160が計時する所定時間は予め定められているものとして説明したが、例えば、ユーザが設定できるようにしてもよい。また、例えば、情報処理装置の運用開始時に、ユーザに切替操作を複数回行わせて、切替操作を行おうとして非接触操作が検出されてから、実際に切替操作が行われるまでにかかった時間の平均値を、所定時間として設定するようにしてもよい。
(9)本発明に係る情報処理装置の形状は、各実施の形態及び各変形例に係る情報処理装置のように板状のものに限らず、一般的なノートパソコンのように折りたたみ可能なものであってもよい。
(10)変形例1では、入力モードが第1入力モードである場合において、非接触操作が検出されてから所定時間以内に切替操作がなされた場合に、アンドゥ処理として、再生中の音楽を停止させる処理を行うものとして説明した。しかしながら、アンドゥ処理として、再生中の音楽を停止させる処理だけを行うのではなく、ディスプレイ111の表示切替処理を行うようにしてもよい。即ち、ディスプレイ111の画面を、音楽の再生処理を開始する前の画面(図12(a)の画面)に戻すようにしてもよい。
(11)各実施の形態及び各変形例において説明した各構成要素のうち、全部又は一部を1チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実現してもよい。
また、各実施の形態及び各変形例において説明した各構成要素は、情報処理装置が有するプロセッサと協働することにより、その機能を実現する。
また、集積回路化の手法は、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field ProgrammableGate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
(12)各実施の形態及び各変形例において説明した情報処理装置の制御処理(図11、16、19参照)をプロセッサに実行させるためのプログラムを、記録媒体に記録し又は各種通信路等を介して、流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等がある。流通、頒布されたプログラムは、機器におけるプロセッサで読み取り可能なメモリ等に格納されることにより利用に供され、そのプロセッサがそのプログラムを実行することにより各実施の形態及び各変形例で示した情報処理装置の各機能が実現される。
(13)各実施の形態及び各変形例に係る情報処理装置に、上記(1)〜(12)の一部又は全部の変形を組み合わせて適用してもよい。
(14)以下、更に本発明の一実施形態に係る情報処理装置の構成及びその変形例と各効果について説明する。
(a)本発明の一実施形態に係る情報処理装置は、自装置本体への接触操作を検出する接触操作検出手段と、自装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出手段と、前記非接触操作検出手段により検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出手段により検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出手段と、指示に基づいて処理を行う処理手段と、前記入力モードが第1入力モードである場合に、前記非接触操作検出手段が検出した非接触操作を入力として受け付け、受け付けた非接触操作に応じた処理を開始させる第1指示を前記処理手段に行い、当該非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出した場合に、前記第1指示に基づいて前記処理手段により開始された処理により得られた出力の状態を、当該処理を開始する前の状態と同じ状態にさせる第2指示を前記処理手段に行う制御手段とを備える。
この情報処理装置に、切替操作を行おうとしたときの例えばユーザの手の形状に基づき特定される非接触操作が入力として受け付けられてしまったとする。この場合でも、この情報処理装置によれば、この受付から所定時間以内にユーザが実際に切替操作を行うことにより、入力として受け付けられた非接触操作に応じた処理により得られた出力の状態を、この処理を開始する前の状態と同じ状態にすることができる。
従って、ユーザは、出力状態を、検出された非接触操作に応じた処理を開始する前の状態に戻すための操作をわざわざ行わなくても済むようになる。
(b)また、前記情報処理装置は、ディスプレイを備え、前記制御手段は、前記第1指示として、前記ディスプレイの画面を切り替えて表示する表示切替処理の開始指示を、前記処理手段に行い、前記第2指示として、前記第1指示に基づいて前記処理手段が前記表示切替処理を開始する直前の前記ディスプレイの画面を、当該ディスプレイに表示する処理の実行指示を、前記処理手段に行うこととしてもよい。
この情報処理装置に、切替操作を行おうとしたときの例えばユーザの手の形状に基づき特定される非接触操作が入力として受け付けられ、この情報処理装置において、ディスプレイの表示切替処理が開始されてしまったとする。この場合でも、この情報処理装置によれば、この受付から所定時間以内にユーザが実際に切替操作を行うことにより、表示切替処理が開始される直前の画面をディスプレイに表示することができる。
従って、ユーザは、この情報処理装置のディスプレイの画面を、表示切替処理を開始する前の画面に戻すための操作をわざわざ行わなくても済むようになる。
(c)また、前記処理手段は、前記制御手段から前記第1指示を受けた時に、当該第1指示に基づく前記表示切替処理を開始し、当該表示切替処理を開始した時から、当該制御手段が当該第1指示に係る非接触操作を入力として受け付けてから前記所定時間以上の時間を経過した時までに亘って、当該表示切替処理として、当該表示切替処理が完了した時に表示させるべき処理後画面が徐々に現れるように、前記第1指示を受ける直前の画面から当該処理後画面に、前記ディスプレイの画面を切り替えて表示する処理を行うこととしてもよい。
この情報処理装置に、切替操作を行おうとしたときの例えばユーザの手の形状に基づき特定される非接触操作が入力として受け付けられてしまったとする。この場合でも、この情報処理装置によれば、この受付から所定時間以内にユーザが実際に切替操作を行うことにより、表示切替処理が完了した時に表示させるべき処理後画面は途中まで表示され、この途中まで表示された画面から、表示切替処理が開始される直前の画面に切り替えて表示されることになる。
これにより、ユーザは、切替操作を行おうとして非接触操作が検出されてこの情報処理装置の画面の切替が生じたものの、ディスプレイの画面を非接触操作が検出される前の画面に戻す操作を行わなくても済むことを、ディスプレイの画面遷移の様子に基づいて、容易に認識することができる。
(d)また、前記処理手段は、前記表示切替処理として、当該表示切替処理を開始する直前の画面から、当該画面における表示物のサイズが変更された画面に、前記ディスプレイの画面を切り替えて表示する処理を行うこととしてもよい。
この情報処理装置によれば、非接触操作により画面中の表示物のサイズを変更して表示することができる。
(e)また、前記切替検出手段は、ハードウェアボタンを含み、前記切替操作の検出を、前記ハードウェアボタンが押下されたことに基づき行うこととしてもよい。
この情報処理装置によれば、切替操作の検出を、ハードウェアボタンの押下という簡単な方法で実現できる。
(f)また、前記切替検出手段は、自装置に生じる加速度を検出する加速度センサを含み、前記切替操作の検出を、前記加速度センサが検出した加速度が所定程度変化したことに基づいて行うこととしてもよい。
この情報処理装置は、加速度センサが検出した加速度の変化に基づいて切替操作を検出する。従って、ユーザは、この情報処理装置を手で持って接触操作を行うために、情報処理装置を持ち上げるだけで、接触操作を入力として受け付ける第2入力モードに切り替えることができる。
(g)また、前記情報処理装置は、クレイドルと脱着自在に構成されており、前記切替検出手段は、前記クレイドルに取り付けられているか否かを検出するためのセンサを含み、前記切替操作の検出を、前記センサによる、前記クレイドルに取り付けられていないことの検出に基づき行うこととしてもよい。
この情報処理装置は、センサによるクレイドルに取り付けられていないことの検出に基づいて切替操作を検出する。従って、ユーザは、この情報処理装置を手で持って接触操作を行うために、情報処理装置をクレイドルから取り外すだけで、接触操作を入力として受け付ける第2入力モードに切り替えることができる。
(h)また、前記接触操作検出手段は、前記ディスプレイと重ねて配置されたタッチセンサを含み、前記切替検出手段は、前記切替操作の検出を、前記入力モードが第1入力モードである場合における前記接触操作検出手段による前記タッチセンサに対する接触操作の検出に基づき行うこととしてもよい。
この情報処理装置は、タッチセンサに対する接触操作の検出に基づいて切替操作を検出する。従って、ユーザは、ディスプレイと重ねて配置されたタッチセンサ、つまりタッチパネルへの接触操作を行うために、このタッチパネルへの接触を行うという直感的な操作により、接触操作を入力として受け付ける第2入力モードに切り替えることができる。
(i)また、前記非接触操作検出手段は、カメラを含み、当該カメラにより撮像された画像に基づく照合処理により、前記非接触操作を検出することとしてもよい。
この情報処理装置によれば、少なくともユーザの身体の一部分の形状に基づいて特定される非接触操作を、カメラにより撮影された画像に基づく照合処理により、比較的簡単に検出できる。
(j)また、前記情報処理装置は、スピーカを備え、前記制御手段は、前記第1指示として、前記スピーカからの音声出力の開始指示を前記処理手段に行い、前記第2指示として、前記第1指示に基づいて前記処理手段が開始した前記スピーカからの音声出力の停止指示を前記処理手段に行うこととしてもよい。
この情報処理装置に、切替操作を行おうとしたときの例えばユーザの手の形状に基づき特定される非接触操作が入力として受け付けられ、スピーカからの音声出力が開始されてしまったとする。この場合でも、この情報処理装置によれば、この受付から所定時間以内にユーザが実際に切替操作を行うことにより、スピーカからの音声出力を停止できる。従って、ユーザは、音声出力を停止させる操作をわざわざ行わなくても済むことになる。
(k)本発明の一実施形態に係る情報処理装置は、自装置本体への接触操作を検出する接触操作検出手段と、自装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出手段と、前記非接触操作検出手段により検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出手段により検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出手段と、指示に基づいて処理を行う処理手段と、前記入力モードが第1入力モードである場合に、前記非接触操作検出手段が検出した非接触操作を入力として受け付け、前記非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出しなかった場合には、入力として受け付けた前記非接触操作に応じた処理を開始させる指示を前記処理手段に行い、前記非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出した場合には、前記処理手段への前記指示を行わない制御手段とを備えることを特徴とする。
この情報処理装置に、切替操作を行おうとしたときの例えばユーザの手の形状に基づき特定される非接触操作が入力として受け付けられてしまったとする。この場合でも、この情報処理装置によれば、この受付から所定時間以内にユーザが実際に切替操作を行うことにより、入力として受け付けられた非接触操作に応じた処理が開始されないようにできる。
従って、ユーザは、この情報処理装置に入力として受け付けられた非接触操作に応じた処理を取り消す操作を行わなくても済むようになると共に、この情報処理装置によれば、非接触操作が意図せず検出されてしまったことをユーザに知らせないようにすることができる。
(15)本発明に係る処理制御方法は、例えば各実施の形態及び各変形例に示した情報処理装置により実現される(特に、図11、16、19を用いて示した制御処理の手順等参照)。
本発明に係る情報処理装置は、ユーザが、自装置本体への非接触操作と接触操作とを切り替えて操作を行う場合に利用される。
100、200、300 情報処理装置
110 タッチパネル部
111 ディスプレイ
112 接触操作検出部
113 タッチセンサ
120 非接触操作検出部
121 カメラ
122 照合処理部
130、210、310 切替検出部
131 切替ボタン
140 スピーカ
150 記憶部
160 計時部
170、220、320 制御部
171、321 処理制御部
172 座標通知部
180 処理部
211 スイッチ
250 クレイドル
311 加速度センサ

Claims (14)

  1. 自装置本体への接触操作を検出する接触操作検出手段と、
    自装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出手段と、
    前記非接触操作検出手段により検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出手段により検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出手段と、
    指示に基づいて処理を行う処理手段と、
    前記入力モードが第1入力モードである場合に、前記非接触操作検出手段が検出した非接触操作を入力として受け付け、受け付けた非接触操作に応じた処理を開始させる第1指示を前記処理手段に行い、
    当該非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出した場合に、前記第1指示に基づいて前記処理手段により開始された処理により得られた出力の状態を、当該処理を開始する前の状態と同じ状態にさせる第2指示を前記処理手段に行う制御手段とを備える
    ことを特徴とする情報処理装置。
  2. 前記情報処理装置は、ディスプレイを備え、
    前記制御手段は、
    前記第1指示として、前記ディスプレイの画面を切り替えて表示する表示切替処理の開始指示を、前記処理手段に行い、
    前記第2指示として、前記第1指示に基づいて前記処理手段が前記表示切替処理を開始する直前の前記ディスプレイの画面を、当該ディスプレイに表示する処理の実行指示を、前記処理手段に行う
    ことを特徴とする請求項1記載の情報処理装置。
  3. 前記処理手段は、
    前記制御手段から前記第1指示を受けた時に、当該第1指示に基づく前記表示切替処理を開始し、当該表示切替処理を開始した時から、当該制御手段が当該第1指示に係る非接触操作を入力として受け付けてから前記所定時間以上の時間を経過した時までに亘って、当該表示切替処理として、当該表示切替処理が完了した時に表示させるべき処理後画面が徐々に現れるように、前記第1指示を受ける直前の画面から当該処理後画面に、前記ディスプレイの画面を切り替えて表示する処理を行う
    ことを特徴とする請求項2記載の情報処理装置。
  4. 前記処理手段は、
    前記表示切替処理として、当該表示切替処理を開始する直前の画面から、当該画面における表示物のサイズが変更された画面に、前記ディスプレイの画面を切り替えて表示する処理を行う
    ことを特徴とする請求項2記載の情報処理装置。
  5. 前記切替検出手段は、ハードウェアボタンを含み、前記切替操作の検出を、前記ハードウェアボタンが押下されたことに基づき行う
    ことを特徴とする請求項2記載の情報処理装置。
  6. 前記切替検出手段は、自装置に生じる加速度を検出する加速度センサを含み、前記切替操作の検出を、前記加速度センサが検出した加速度が所定程度変化したことに基づいて行う
    ことを特徴とする請求項2記載の情報処理装置。
  7. 前記情報処理装置は、クレイドルと脱着自在に構成されており、
    前記切替検出手段は、前記クレイドルに取り付けられているか否かを検出するためのセンサを含み、前記切替操作の検出を、前記センサによる、前記クレイドルに取り付けられていないことの検出に基づき行う
    ことを特徴とする請求項2記載の情報処理装置。
  8. 前記接触操作検出手段は、前記ディスプレイと重ねて配置されたタッチセンサを含み、
    前記切替検出手段は、
    前記切替操作の検出を、前記入力モードが第1入力モードである場合における前記接触操作検出手段による前記タッチセンサに対する接触操作の検出に基づき行う
    ことを特徴とする請求項2記載の情報処理装置。
  9. 前記非接触操作検出手段は、カメラを含み、当該カメラにより撮像された画像に基づく照合処理により、前記非接触操作を検出する
    ことを特徴とする請求項1記載の情報処理装置。
  10. 前記情報処理装置は、スピーカを備え、
    前記制御手段は、
    前記第1指示として、前記スピーカからの音声出力の開始指示を前記処理手段に行い、
    前記第2指示として、前記第1指示に基づいて前記処理手段が開始した前記スピーカからの音声出力の停止指示を前記処理手段に行う
    ことを特徴とする請求項1記載の情報処理装置。
  11. 自装置本体への接触操作を検出する接触操作検出手段と、
    自装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出手段と、
    前記非接触操作検出手段により検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出手段により検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出手段と、
    指示に基づいて処理を行う処理手段と、
    前記入力モードが第1入力モードである場合に、前記非接触操作検出手段が検出した非接触操作を入力として受け付け、
    前記非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出しなかった場合には、入力として受け付けた前記非接触操作に応じた処理を開始させる指示を前記処理手段に行い、
    前記非接触操作を入力として受け付けてから所定時間以内に、前記切替検出手段が前記切替操作を検出した場合には、前記処理手段への前記指示を行わない制御手段とを備える
    ことを特徴とする情報処理装置。
  12. 入力に応じた処理を行う情報処理装置における処理制御方法であって、
    前記情報処理装置本体への接触操作を検出する接触操作検出ステップと、
    前記情報処理装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出ステップと、
    前記非接触操作検出ステップにより検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出ステップにより検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出ステップと、
    前記入力モードが第1入力モードである場合に、前記非接触操作検出ステップにより検出された非接触操作を入力として受け付け、受け付けた非接触操作に応じた処理を開始する第1制御ステップと、
    当該非接触操作を入力として受け付けてから所定時間以内に、前記切替検出ステップにより前記切替操作が検出された場合に、前記第1制御ステップにより開始された処理により得られた出力の状態を、当該処理を開始する前の状態と同じ状態にする第2制御ステップとを含む
    ことを特徴とする処理制御方法。
  13. 入力に応じた処理を行う情報処理装置におけるプロセッサに、制御処理を行わせるためのプログラムであって、
    前記制御処理は、
    前記情報処理装置本体への接触操作を検出する接触操作検出ステップと、
    前記情報処理装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出ステップと、
    前記非接触操作検出ステップにより検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出ステップにより検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出ステップと、
    前記入力モードが第1入力モードである場合に、前記非接触操作検出ステップにより検出された非接触操作を入力として受け付け、受け付けた非接触操作に応じた処理を開始する第1制御ステップと、
    当該非接触操作を入力として受け付けてから所定時間以内に、前記切替検出ステップにより前記切替操作が検出された場合に、前記第1制御ステップにより開始された処理により得られた出力の状態を、当該処理を開始する前の状態と同じ状態にする第2制御ステップとを含む
    ことを特徴とするプログラム。
  14. 入力に応じた処理を行う情報処理装置におけるコンピュータに、制御処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記制御処理は、
    前記情報処理装置本体への接触操作を検出する接触操作検出ステップと、
    前記情報処理装置本体に対し非接触で行われる、少なくともユーザの身体の一部分の形状により特定される非接触操作を検出する非接触操作検出ステップと、
    前記非接触操作検出ステップにより検出された非接触操作を入力として受け付ける第1入力モードから、前記接触操作検出ステップにより検出された接触操作を入力として受け付ける第2入力モードへ入力モードを切り替えるための自装置への接触を伴う切替操作を検出する切替検出ステップと、
    前記入力モードが第1入力モードである場合に、前記非接触操作検出ステップにより検出された非接触操作を入力として受け付け、受け付けた非接触操作に応じた処理を開始する第1制御ステップと、
    当該非接触操作を入力として受け付けてから所定時間以内に、前記切替検出ステップにより前記切替操作が検出された場合に、前記第1制御ステップにより開始された処理により得られた出力の状態を、当該処理を開始する前の状態と同じ状態にする第2制御ステップとを含む
    ことを特徴とする記録媒体。
JP2012535490A 2011-01-31 2011-12-21 情報処理装置、処理制御方法、プログラム及び記録媒体 Expired - Fee Related JP5857255B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012535490A JP5857255B2 (ja) 2011-01-31 2011-12-21 情報処理装置、処理制御方法、プログラム及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011018422 2011-01-31
JP2011018422 2011-01-31
JP2012535490A JP5857255B2 (ja) 2011-01-31 2011-12-21 情報処理装置、処理制御方法、プログラム及び記録媒体
PCT/JP2011/007170 WO2012104951A1 (ja) 2011-01-31 2011-12-21 情報処理装置、処理制御方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2012104951A1 JPWO2012104951A1 (ja) 2014-07-03
JP5857255B2 true JP5857255B2 (ja) 2016-02-10

Family

ID=46602199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012535490A Expired - Fee Related JP5857255B2 (ja) 2011-01-31 2011-12-21 情報処理装置、処理制御方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US9170606B2 (ja)
JP (1) JP5857255B2 (ja)
CN (1) CN103097989B (ja)
WO (1) WO2012104951A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720504B2 (en) * 2013-02-05 2017-08-01 Qualcomm Incorporated Methods for system engagement via 3D object detection
US10078437B2 (en) 2013-02-20 2018-09-18 Blackberry Limited Method and apparatus for responding to a notification via a capacitive physical keyboard
EP2796993B1 (en) * 2013-04-24 2022-06-01 Samsung Electronics Co., Ltd. Display apparatus and control method capable of performing an initial setting
CN104238387B (zh) * 2013-06-21 2017-08-11 上海海拉电子有限公司 一种无线远程遥控和手势控制一体式的控制终端
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
KR102249745B1 (ko) * 2014-06-20 2021-05-10 삼성전자 주식회사 전자 장치 및 이의 제어 방법
US20190095074A1 (en) * 2015-06-29 2019-03-28 Orange Method for controlling the execution of a program configurable into a disabled state and enabled state
CN105278861B (zh) * 2015-11-02 2020-06-16 Oppo广东移动通信有限公司 预设输入模式控制方法及装置
JP6169238B1 (ja) * 2016-09-21 2017-07-26 京セラ株式会社 電子機器、プログラムおよび制御方法
JP6101881B1 (ja) * 2017-01-04 2017-03-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US10775998B2 (en) * 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
JP6209699B1 (ja) * 2017-04-18 2017-10-04 京セラ株式会社 電子機器、プログラムおよび制御方法
JP7003695B2 (ja) * 2018-01-30 2022-01-21 株式会社リコー 情報処理装置、電源状態制御方法、情報処理システム
CN110858094B (zh) * 2018-08-22 2024-07-30 富士胶片商业创新有限公司 操作面板及操作装置
JP2020135096A (ja) 2019-02-14 2020-08-31 セイコーエプソン株式会社 表示方法、表示装置、及び、インタラクティブプロジェクター
JP7340743B2 (ja) * 2019-09-17 2023-09-08 パナソニックIpマネジメント株式会社 情報端末装置、加熱調理器、プログラムおよびレシピ表示方法
JP2021060655A (ja) * 2019-10-03 2021-04-15 株式会社リクルート 順番管理システム、順番管理端末、およびプログラム
JP7287235B2 (ja) * 2019-10-08 2023-06-06 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
US20210395070A1 (en) * 2020-06-19 2021-12-23 Bunn-O-Matic Corporation Dispensing control system for accommodating persons with disabilities and method
US11418863B2 (en) 2020-06-25 2022-08-16 Damian A Lynch Combination shower rod and entertainment system
JP2022171477A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
CN118094608B (zh) * 2024-04-29 2024-08-30 山东水文印务有限公司 水文数据管理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212006A (ja) * 1995-02-03 1996-08-20 Daikin Ind Ltd タッチパネル表示装置の誤入力防止方法およびその装置
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
JP4134524B2 (ja) * 2001-04-09 2008-08-20 松下電器産業株式会社 入力装置
JP2003131785A (ja) 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2005269567A (ja) * 2004-03-22 2005-09-29 Hitachi Ltd 携帯端末
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP2008146374A (ja) * 2006-12-11 2008-06-26 Seiko Epson Corp プロジェクタ
US8082523B2 (en) * 2007-01-07 2011-12-20 Apple Inc. Portable electronic device with graphical user interface supporting application switching
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
EP2153377A4 (en) * 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
JP4697551B2 (ja) 2007-12-21 2011-06-08 ソニー株式会社 通信装置、入力制御方法及び入力制御プログラム
JP5129076B2 (ja) 2008-09-26 2013-01-23 Necパーソナルコンピュータ株式会社 入力装置、情報処理装置、及びプログラム
JP5282661B2 (ja) 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20120299862A1 (en) 2012-11-29
CN103097989B (zh) 2016-03-16
JPWO2012104951A1 (ja) 2014-07-03
WO2012104951A1 (ja) 2012-08-09
US9170606B2 (en) 2015-10-27
CN103097989A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5857255B2 (ja) 情報処理装置、処理制御方法、プログラム及び記録媒体
JP5490225B2 (ja) 携帯型電子装置、携帯型電子装置を動作させるための方法、及び記録媒体
US11656711B2 (en) Method and apparatus for configuring a plurality of virtual buttons on a device
EP2992418B1 (en) Device, method, and graphical user interface for synchronizing two or more displays
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
US9710063B2 (en) Systems and methods for determining haptic effects for multi-touch input
KR20160134799A (ko) 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템, 방법 및 컴퓨터-판독가능 매체
JP5640486B2 (ja) 情報表示装置
CN107066167A (zh) 一种区域选择方法、装置和图形用户界面
TW201329835A (zh) 顯示控制裝置、顯示控制方法及電腦程式
TWI512599B (zh) 電子裝置、螢幕之控制方法及其程式儲存媒體
US20140111452A1 (en) Terminal and method of controlling touch operations in the terminal
US20130321322A1 (en) Mobile terminal and method of controlling the same
JP2018128741A (ja) 制御装置、入力システムおよび制御方法
JP2015060303A (ja) 情報処理装置
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
US20180335864A1 (en) Devices, Systems, and Methods For Using Corrugated Tessellation To Create Surface Features
TW202244714A (zh) 用於單手行動設備控制的使用者介面
JP5855481B2 (ja) 情報処理装置、その制御方法およびその制御プログラム
US20230359278A1 (en) Tactile Feedback
JP2019032762A (ja) 入力装置及び入力方法
TW201232347A (en) Electrical device with touch screen and operating method applying thereof
JP2018180917A (ja) 電子機器、電子機器の制御方法、および電子機器の制御プログラム
TW201516826A (zh) 電子裝置及其應用程式圖示移動方法
JP2013242630A (ja) 入力装置、その制御方法、およびその制御プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140807

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150806

R151 Written notification of patent or utility model registration

Ref document number: 5857255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees