TW201101126A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
TW201101126A
TW201101126A TW099110420A TW99110420A TW201101126A TW 201101126 A TW201101126 A TW 201101126A TW 099110420 A TW099110420 A TW 099110420A TW 99110420 A TW99110420 A TW 99110420A TW 201101126 A TW201101126 A TW 201101126A
Authority
TW
Taiwan
Prior art keywords
information processing
display panel
operating body
proximity
display
Prior art date
Application number
TW099110420A
Other languages
English (en)
Inventor
Reiko Miyazaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201101126A publication Critical patent/TW201101126A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Description

201101126 六、發明說明: 【發明所屬之技術領域】 本發明係有關於一種資訊處理裝置、資訊處理方法及程 式。 【先前技術】 先前,已知有如下資訊處理裝置,其利 測手指、手、觸針等操作體之動作,從而與使用 接狀態、及感測器中捕捉到之操作體之遠距動作等進行檢 測’確定由使用者所輸入之操作。 尤其,使賴控面板式介面之資訊處理裝置,係基於操 作體對顯示面板之接觸狀態而確定由使用者所輸入之操 作。此處’使用㈣於顯示面板上韻圖形使用者介面 (Gm、graphicaluserinterface)之顯示方向後,以對應於 該方向之方式進行操作。 ❹❹’當滑桿物件顯示於GUI顯示之上下方向之情形 夺使用者選擇滑桿之標鐵,辨識⑽顯示之方向後,以 對^於⑽顯示之上下方向之方式進行拖戈操作。 【發明内容】 發明所欲解決之問題 此處’於顯示面板相對使用者之朝向與⑽顯示之朝向 2-致之情形時(例如,顯示面板之上部配置成相對使用 者為左側之情形時),户 予在使用者無法憑直覺輸入與GUI顯 不之方向對應之操作之情形。 顯 145902.doc 201101126 於該情形時,使用者係以對應著GUI顯示之上下方向之 =式’相對顯示面板沿左右方向進行拖良操作。又,使用 ^於更改顯示面板之朝向後,以對應著GUI顯示之上下 方向:方式’相對顯示面板沿上下方向進行拖髮操作。 二可種H況’使用者均不得不進行依賴於〇仍顯示之 方向’ 4^古 ' ,依賴於顯示面板對使用者之朝向之操作, 因此,難以謂之可享受良好之操作環境。 ^ 尤其取代了經由物件間接操作内容,而直接操 内:本身(無需確定顯示面板上之位置而進行操作)。因 右靶實現無需依賴顯示面板對使用者之朝向之操作, 、丨直覺!·生知作便能實現,從而可實現操作環境之提昇。 =而,本發明係提供一種能狗實現不依賴顯示面板對使 之朝向之操作的資訊處理襞置、資訊處理方法及程 解決問題之技術手段 /艮據本發明之^態樣而提供—種資訊處理裝置該資 &裝置具備·知作體檢測部’其檢測接觸顯示面板之 2體之指示方向;以及操作確定部,其基於經檢測之操 :體之指示方向,確定由操作體所輸入之操作之方向。此 ’上述操作體檢測部亦可基於操作體之前端部之朝向, :定操作體之指示方向。藉此,因操作方向基於操作體之 二不方向而確定’故可實現不依賴顯示面板對使用者之朝 向之操作。 朝 上述操作體檢測部亦可檢測接觸顯示面板進行移動之操 145902.doc 201101126 2體之指不方向以及移動方向,且操作確定部亦可基於經 。此處,上述:::定 !二=作體之指示方向與移動方向所定義之角度,確: 由刼作體所輸入驿令 ’疋 之才,干方* ㈣之方向°#此,便可基於由操作體 和不方向以及移動方向所確定之操作之方向 依賴顯示面板對使用者之朝向之拖髮操作。 ❹ Ο 顯====而具備控制顯—之 指于方Γ/ 部可基於經檢測之操作想之 …丨 定使顯示面板之顯示旋轉之操作之方向,顯 :::可:據經確定之操作之方向而使顯示面板之J a此冑了基於依據由操作體之指示方向所確 ㈣之方向進行旋轉之顯示面板之顯示, 顯示面板對操作者之朝向之操作。 又賴 上述操作體檢測部亦可連續檢 於連續檢測出之操作體之指示方向為特定==且 二=於連續檢測出之操作體之指示方向,決定操作 精度方向。藉此’便可提昇操作體之指示方向之檢測 ::根據本發明之第2態樣而提供一種資訊處理方法, 二3如下步驟·檢測接觸顯示面板之操作體之指示方 二’以及’基於經檢測之操作體之指示方向 體所輸入之操作之方向。 疋由刼作 又’根據本發明之第3態樣而提供一種程式,其係使電 145902.doc 201101126 腦執行本發明之第2態樣之資訊處理方法者。 發明之效果 / 根據本發明’可提供-種能夠進行不依_示面板對使 =者之朝向之操作的資訊處理裝置、資訊處理方法及程 【實施方式】 :下,-面參照隨附之圖式,—面詳細說明本發明之較 J施形態’再者,於本說明t及圖式中對於具有實質 複說明。成構成要素^相同之符號而省略重 U·資訊處理裝置100之概要] =係表示本發明之一實施形態之資訊處理裝置⑽之概 要之圖。本發明之一實施形態 檢測丰扣主 貝巩處理裝置100係至少
杈利手私、手、觸針等操作體M 能者。&T ”,員不面板101之接觸狀 二者再者’以下對資訊處理裝置⑽内具顯示 清形進行說明,但資訊處理裝置丨 之 接於顯示面板101。 才了 A由通訊機構連 資訊處理裝置100係檢測接觸顯示面板! 指示方向,並基於經檢測之操作體M之指以體Μ之 操作體_輸入之操作之方向,此處,向,確定由 係例如基於手指之A 11處理裝置100 減予才曰之别端等操作體乂之 操作體M之指示方向。藉此,由於操作之二:向,檢測 Μ之指示方向而確定 、 向藉由操作體 101對使用者之朝向 賴於顯示面板 ^5902.do, 201101126 尤:’資訊處理裝置100係檢測接觸顯 =:斷指示方向以及移動方向,並基於經= …作之指不方向以及移動方向’確定由操作體Μ所輪 抑方向。藉此’無論顯示面板1G1之朝向為橫向 :或疋縱向,均可基於由操作㈣之指示方向以及移動方 2確疋之操作之方向’進行不依賴於顯示面板⑻對使 用者之朝向之拖曳操作。
[2.資訊處理裝置100之功能構成] 圖2係表示本發明之一實施形態之資訊處理裝置100之功 能構成例之方塊圖。資訊處理裝置1〇〇係構成為包含顯示 :板⑼、遠距感測器107、操作體檢測部1〇9、狀態檢測 部⑴、記憶部113、顯示控制部115、及控制部1丨7。 顯示面板HH係起到接觸近接感測器1〇3以及顯示部1〇5 之功能。接觸近接感測器103係捕捉操作體M之接觸.近接 狀態。接觸近接感測器1G3係、為光學式、料容式等之感 測器,以下假設基於顯示面板1〇1之受光狀態,捕捉操作 體Μ之接觸.近接狀態之情形。顯示部1〇5係於顯示控制部 115之控制下,顯示物件、内容、應用程式之處理結果 等。再者,所謂物件係指例如圖符、按鈕、縮圖等構成 GUI之任意之物件。 运距感測器107係包括立體攝影機等,且攝像捕捉特定 之手勢等操作體Μ之遠距動作。 操作體檢測部109係使用接觸近接感測器1〇3以及遠距感 測器107,檢測操作體μ之狀態。操作體檢測部i 〇9係檢測 145902.doc 201101126 操作體M之接觸.近接.移動狀態、及遠距動作。操作體檢 測部竭特別檢測操作㈣之指示方向、及特定之手勢 等。操作體檢測部⑽係檢測操作體M對顯示面板⑻之指 不方向,尤其係檢測接觸顯示面板ι〇ι進行移動之 M之指示方向以及移動方向。再者,亦可於接觸時之同 時,於近接時檢測操作體河之指示方向。 操作體檢測部_基於顯示面板1〇1之受光狀態,檢測 操作體M對顯示面板101有無接觸.近接、操作體Μ之接觸· 近接面積及操作體Μ之指示方向、以及接觸近接手勢。再 者,對於接觸近接感測器103對操作體Μ之檢測方法之詳 細情況將於下文中推 中進订忒明。刼作體檢測部109係基於遠 距感測器107之撮像結果,檢 ^ 檢測遇距手勢。操作體檢測部 1藉由將操作體Μ之接觸·近接·遠距動作與預先登記之 手勢貝汛進行對比,來檢測特定之手勢。 狀〜、檢測。P1U係包括加速度感測器、及迴轉儀感測器 專,且檢測自身裝置之靜止狀態及朝向。顯示控制部ιΐ5 係控制顯示部105對物件、内容、應用程式之處 之顯示。 、〇不令 :記憶部113係記憶有資訊處理程式、應用程式、物件之 資料、及手勢資訊等。控制部117係藉由資訊處理程式之 執灯來控制各部,從而控制資訊處理裝置⑽整體之 作。 控制部1Π係作為基於操作體Μ之指示方向,確定由操 作體Μ所輸入之操作之方向之操作確定部而發揮功能者:、 145902.doc 201101126 此處,控制部117尤其係基於經檢測之操作體%之指示方 向以及移動方向,確定由操作體%所輸入之操作之方向。 又,控制部117係作為如下模式控制部而發揮功能,該 模式控制部係對根據自身裝置之靜止狀態或者朝向,檢測 . 操作體Μ對自身裝置之操作之模式進行控制者。 [3.操作體JV[之檢測方法] 於顯不面板101中,矩陣狀配置有尺(}8像素以及受光感 〇 測器。受光感測器係接受自顯示面板ΗΗ中放射且由操^ 體Μ反射之光後,基於受光狀態,#捉操作體批接觸近 接狀態,藉此,作為接觸近接感測器1〇3發揮功能。繼 而,操作體檢測部109係藉由對接觸近接感測器1〇3之輸出 結果進行數位處理,而生成感測器圖像S。 操作體檢測部109係基於感測器圖像s,算出表現與各像 素對應之受光狀態之亮度值,並使用特定之兩個臨限值 Th 1 Th2 ’對π度值進行二值化處理。三值化處理係將各 Ο 像素之亮度值分類為第1、第2、第3類別,並將感測器圖 像s之區域劃分為與各類別對應之第i、第2、第3區域ai、 A2、A3。第1、第2、第3區域Al、A2、A3係對應於亮度 大、亮度中、亮度小之區域’而分別確定為操作體M之接 觸區域、近接區域、非接觸·非近接區域。 操作體檢測部109係基於第1區域A1之存在,檢測操作體 Μ對顯示面板101之接觸,且基於第2區域A2之存在,檢測 操作體Μ對顯示面板1〇1之近接。又,操作體檢測部1〇9係 藉由算出第1及第2區域A1、Α2之面積,來分別檢測操作 145902.doc 201101126 體Μ之接觸面積以及近接面積。 尤其,操作體檢測部109係算出第1及第2區域A1、八2之 重〜位置G1、G2 ’再戽出連結所算出之重心位置〇丨、G2 彼此之直線(重心線)之方向,並基於第i區域A1之重心位 置G1以及重心線,檢測操作體M之指示方向。操作體^^之 指不方向係定義為沿著重心線指示第i區域A1之重心位置 G1之方向。 以下,一面參照圖3〜圖5,一面說明操作體河之指示方 向之檢測方法。圖3以及圖4係表示顯示面板1〇1上之操作 體Μ之狀態(圖3A、圖4A)、以及感測器圖像“、s2上所確 定之第1及第2區域(圖3B、圖4B)之圖。圖5係表示圖沾之 感測器圖像si上之亮度值分布之圖,且圖5A以及圖化係 分別表示A-A線上以及B_B線上之亮度值分布。 於圖3以及圖4中,表示於顯示面板1〇1上更改操作體μ 之指不方向之情形。該情形通常係操作體河之前端部(手指 尖)接觸於顯示面板101 ’而前端部以外之部分(指腹)與顯 示面板101近接。 圖3所不之狀態係操作體Μ指示著GUI顯示之上方向(參 照圖3A)。於該情形時,操作體檢測部1〇9係基於感測器圖 像si上之亮度值分布,以GUI顯示之上方向,檢測操作體 Μ之指示方向(參照圖3B)。例如,圖5所示之例係藉由AA 線上所檢測出之第1及第2區域a 1、A2,來檢測操作體μ之 接觸以及近接(參照圖5Α),並藉由Β-Β線上所檢測之第2區 域Α2 ’來檢測操作體Μ之近接(參照圖5Β)。 145902.doc -10- 201101126 圖4所示之狀態係操作體Μ指示著(^饥顯示之左上方向 (參照圖4Α)。於該情形時,操作體檢測部1〇9係基於感測 态圖像S2上之亮度值分布,以〇1;1顯示之左上方向,檢測 操作體Μ之指示方向(參照圖4β)。 [4-1·操作方向之確定處理] 以下,對基於接觸顯示面板1〇1進行移動之操作體 Ο Ο I曰示方向以及移動方向,確定由操作體Μ所輸人之操作之 方向之處理進行說明。 圖8係表示操作方向之確定處理之流程圖,且圖7及圖8 係表示操作方向之確定處理之示意圖。 操作體檢測部109係若偵測操作體Μ之接觸(步驟si〇i), 則基於上述操作體M之檢測方法,檢測操作體Μ之指示方 向(S103)。此處,操作心之指示方向亦可於操作體μ移 動之狀態及未移動之狀態之任—狀態下進行檢測。 如圖7Α所示,操作體河之指示方向係基於例如顯示面板 1上虛擬。又疋之座標系而定義為角度θ丨。座標系可無需 依賴顯示面板101之朝向而設定’以下設想對應著顯:面 板101之上下方向以及左右方向,設定通常之正交座標系 之情形。於該情形時’角度θ係定義為正交座標系之第磉 限至第4象限之反時針旋轉。 操作體檢測部1G9係敎是否遍及特定框數連續檢測角 度θ1(議)。各檢測值係保存於例如未圖示之緩衝等之 中。接者’操作體檢測部1〇9於檢測結果之變動未 之臨限值et時⑻G7),衫角度01作為檢測結果之中間= 145902.doc 201101126 等(S109)。 操作體檢測部109係於角度Θ1決 ^ ^ ^ t t 月又决疋之後,檢測操作體Μ 之移動起點與移動終點(su *向叫如—定操作^之移動 社極你雜采乍體M之移動方向係基於連 =作體Μ之移動起點與移動終點之移動向量V,並基於 與角度θι同一之座標系而定義為角度θ2。 情:了於:Π說明,而假設操作_移動於-直線上之 二之接觸IV㈣’移動起點係定義為於未檢測出操作體 地之=:狀態下最初檢測到操作體μ之接觸之點。同樣 2τ县、a ?呆作體Μ伴有接觸之移動 之狀“最初檢測到操作體Μ之非接觸之點。再者,於操 作體Μ曲折移動之情开彡拉 ' 〜4 障形時,可基於移動方向之變化點,於 母:人曲折移動時定義移動起點及移動終點。 控:部117係決定表現操作體河之指示方向以及移動方 β之角度Θ1、02之差值Δθ(=θ】_θ w)(S115)。控制部】17係基 於差值…確定由操作體M所輸入之操作之方向(sm、 'sm)。如圖7C所示,操作方向係基於角⑽與角 度Θ2之差值而確定。 d ^ ^例如I $ Δθ<45°之情形時確定為上方向 =。’ 情形時確定為左方向 。同樣地’操作方向係於135%ΔΘ<180。或者 -180° ^ 1 ^ ^ 0 *> ,月形時確定為下方向(S127),而於 _ 45°之情形時確定為右方向⑻29)。 再者’為提高操作方向之確㈣度,而可於角度範圍為 145902.doc •12· 201101126 例如-30。$ Δθ<30。之情形時確定為上方向之操作方向。 又,亦可根據使用者之用手習慣,調整角度範圍。 圖8係表示如下情形,作為操作方向之確定處理之— . 你i,即’選擇Gm顯示之上下方向所顯示之滑桿〇之標籤 τ ’朝著上方向進行操作之情形。 如圖8A所示,於顯示面板1〇1對使用者之朝向與GUI顯 不之朝向一致之情形時(例如,顯示面板1〇1之上部配置成 ❹㈣使用者為上側之情科),使用者以對應於则顯示之 方向之方式,相對顯示面板1〇1朝著上方向對標鐵T進行 拖矣操作,此處,拖良操作既可以標鐵丁為對象而進行, 亦:於標籤T經選擇之狀態下,於未顯示物件之區域等中 7如,若檢測出操作體敎指示方向以及移動方 〇 1=135。、角度θ2,0。,則差值△㈣5。,如圖7C所示, :疋上方向之操作。藉此’使用者便可朝上方向操作滑桿 如圖8B所不,於顯示面板101對使用者之朝 顯示之朝向不-致之情形時(例如,顯示面板= 對應於G卿示之右方之情形時),使用者係以 向進行拖,操作向之方式,相對顯示面板丨。1朝上方 例如’若檢測出摔作 度β1^。、向以及移動方向為角 定上方Α媒 〇°’則差值Λθ=25。,如圖7C所示,確 °之二作。藉此,即便顯示面板1〇1對使用者之朝 1459〇2.d〇c •13· 201101126 向與GUI顯示之朝向不一致(圖8B),亦與兩朝向一致之情 形(圖8A)相同,可藉由相對顯示面板1〇1朝著上方向進行 拖曳操作,而朝上方向操作滑桿〇。 由此,使用者可無需於辨識Gm顯示之方向後,以對應 於GUI顯示之方向之方式進行拖戈操作,或者於更改顯示 面板101之朝向後進行拖髮操作。因@,可實現無需依賴 GUI顯示之方向、換言之無需依賴顯示面板ι〇ι之朝向之操 作,從而可實現操作環境之提昇。 例如,當#由上/下方向之操作而冑節音量大/小之情形 時,當藉由左/右方向之操作而前/後調節再生時刻之情形 寺以及田對應於上/下/左/右方向之操作使顯示面板^⑴ 進行滾動顯示之情形時,可實現無需依賴顯示面板101之 朝向之直覺性操作。尤其於不指^物件而直接操作内容本 身之情形時(顯示面板1G1上不確定位置而進行拖$操作之 情形時)’可使操作性提昇。 1_4_厶顯不方向之旋轉處理] 以下,對基於操作⑽之指示方向,確定使顯示面 1〇丨之Gm顯示旋轉之操作之方向之處理進行說明。 圖9以及圖1〇係表不顯不方向之旋轉處理之流程圖以 示意圖。於圖10中,矣士 a 士 表不顯不方向朝下方向旋轉之情形 (圖10A)以及朝左方向旋轉之情形(圖1 。 操作體檢測部109係若债測操作㈣之接觸(s2〇i),則基 於上述操作體Μ之檢測方法,檢測操作體m之指示方向 (S203)。此處’操作體M之指示方向無論於操作龍移動 145902.doc •14· 201101126 之狀態抑或是未移動之狀態下均可進行檢測。 如圖10 A、10B所示,操作體Μ之指示方向係基於例如顯 示面板101上虛擬設定之座標系而定義為角度Θ1。以下, 設想對應著顯示面板101之上下方向以及左右方向來設定 通常之正交座標系之情形。於該情形時,角度Θ1係定義為 於正交座標系上自第1象限至第4象限之反時針旋轉。
操作體檢測部109係判定是否遍及特定框數連續檢測角 度ei(S205)。繼而,操作體檢測部109於檢測結果之變動 未達特定之臨限值et(S207)時,決定角度01作為檢測結果 之中間值等(S209)。 控制部117係基於表現操作體μ之指 確定使顯示面板101之GUI顯示旋轉之操作之方向(S211、 S2U、MU)。顯示方向係於例如45。$耵<135。之情形時 確定為下方向⑽7),而於135。以1<225。之情形時二為 右方向(S219)。同樣地,顯示方向係於225〇‘θι<3ι5。之产 形時確定為上方向(S221),@於Ο,—或‘ 3l5°s Θ1<360。之情形時確定為左方向(S223)。 再者’為提高操作方向之確定精度’而 例如心綱2G。之情料確定為下方向之 ^為 又,亦可㈣❹者之用手輯,調整角度範圍。° 此處’ GUI顯示之旋轉後之方 (正當位罟b翁-二 > 我馬對通常使用時 置)之顯不面板101顯示_顯示之上側 即,所謂顯示方向為下方向,係指於正常位置° ’、 1〇1之下部顯示⑽顯示之上侧,所謂顯示方向板 145902.doc 15 201101126 係指於正常位置 示之上 直之顯示面板1 〇 1夕+ ρ τ τ 側。 w傲之左部頒不GUI顯 若確定顯示方向, 則顯示控制部丨丨5於顯千 改之情形時(S22 5於,.,,員不方向必需更 )’以根據經確定之择作之古& 面板101之GUI題- 唯疋之操作之方向’使顯示 l〇5(S227)。再去从 万式控制顯示部 .,t _ ^ ,右指示方向再次變化,則根據更改德 之“方向改變顯示方向。 據更改後 藉此,可藉由基於摔作 _ 101之GU!顯- ㈣體M之指不方向,使顯示面板 lumaUI顯不之方向 ^ , 4A 门進仃旋轉,而實現不依賴GUI顯示之 方向、換言之不依 不面板101之朝向之操作,從而可 只現刼作環境之提昇。 [4-3.基於近接手勢《操作之確定處理] 以下’對基於顯示面板⑼上之操作㈣之近接手勢, 確定由操作體Μ所輪入之操作之處理進行說明。 圖11以及圖12係表示基於近接手勢之操作之確定處理之 流程圖以及示意圖。於圖12中,作為近接手勢之一例係 表示操作體Μ之靜止手勢(圖12Α)、操作體Μ之反覆移動手 勢(圖12Β)、及操作體]ν[之移動手勢(圖12c)。 例如,操作體Μ之靜止手勢係作為於顯示面板1〇1上使 手靜止之動作而檢測。操作體Μ之反覆移動手勢係作為於 顯示面板101上使手於水平方向(以及/或者垂直方向)上反 覆移動之動作而檢測。操作體Μ之移動手勢係作為於顯示 面板101上使手於水平方向(以及/或者垂直方向)上移動之 動作而檢測。 145902.doc -16 - 201101126 以下,料定與操作㈣之靜止手勢、反覆移動手勢、 及移動手㈣應之三簡作之㈣進行說明 其它之近接手勢,確定四個以上之操作。再者 勢中亦可預先對應有手勢資訊以及確定之操作。 操作體檢測部1 09係於偵測到操作體M之近接(S3〇i)後, 判疋疋否遍及特定期間(例如_ ms)内連續檢測操作體Μ 之近接(S303)。若連續檢襲作體Μ之近接,則操作 測部109開始移動狀態之檢測(S3G5),若未連續檢測,則 操作體檢測部109繼續偵測操作體]^1之近接。 細作體Μ之移動狀態係作為於接觸近接感測器1〇3之檢 測範圍内,操作體Μ對顯示面板1〇1之水平移動以及/或者 垂直移動而檢測。操作體Μ之移動狀態係作為例如操作體 Μ之移動量·速度·加速度等而檢測,以下設想檢測操作體μ 之移動速度ν之情形。
操作體檢測部109係判定是否遍及特定框數連續檢測操 作體Μ之移動速度v(S3〇7^。 控制部117係判定操作體μ之移動速度ν之絕對值是否未 達特定之臨限值vt(S3 13)。繼而,若判定結果為肯定,則 控制部117確定對應於靜止手勢之操作(S315)。另一方面, 若確認移動速度ν為臨限值以以上,且移動速度ν之變化具 有一定之反覆性(S3 17中為「Yes」之情形)’則控制部117 確定對應於反覆移動手勢之操作(S3 19)。又,若未確認到 移動速度ν為臨限值vt以上,且移動速度ν之變化中具有一 定之反覆性(S317中為「No」之情形),則控制部117確定 145902.doc •17- 201101126 對應於移動手勢之操作(S321)。 此處,操作體檢測部109亦可於檢測操作體Μ之移動速 度ν之同時,檢測近接面積Aa(S309)。繼而,控制部117可 藉由僅於近接面積Aa滿足特定之臨限值Aat(例如,顯示面 板101之面積之70%)時(S3 11),基於移動速度v確定操作, 而準確確定基於近接手勢之操作。再者,近接面積Aa亦可 於移動速度ν與臨限值vt之比較判定(S3 13、S3 17)之後進 行判定。 藉此’便可基於顯示面板101上之操作體河之近接手 勢,進行各種操作之輸入。由此,使用者無需使操作體以 接觸顯示面板101上之物件(或者資訊處理裝置1〇〇之操作 對象)’便可藉由操作體Μ而快速輸入期望之操作。又可 藉由使靜止手勢對應於消音操作,使反覆移動手勢對應於 再生順序之隨機操作,使移動手勢對應於再生順序之前進 操料,使各近接手勢具有任意之内涵,而令使用者能夠 進行直覺性操作。 Η-4.基於接觸手勢之操作之確定處理] 以下’對基於顯示面板1〇1上之操作體Μ之接觸手勢, 確疋由操作體Μ所輸入之操作之處理進行說明。 沒圖13以及圖14係表示基於接觸手勢之操作之確定處理之 Ά圖以及不意圖。於圖14中,作為接觸手勢之一例 表示指定物件之指點手勢(圖14Α)、指定物= (圖叫、及不指定物件之遮蓋手勢(圖14〜之撳按手勢 例如’指點手勢係為使手指_物件之動作,掀按手 145902.doc 201101126 勢係為使指腹接觸物件之動作。x ’遮蓋手勢係為例如使 複數個手指遮蓋顯示面板101之動作,此處,各接觸手勢 係基於操作體M對顯示面板101之接觸面積(以及/或者接觸 形狀)而檢測。 以下,對確定與指點手勢、撳按手勢、及遮蓋手勢對應 之三個操作之情形進行說明,但亦可基於其它之接觸手 勢,確定四個以上之操作。再者,各接觸手勢中,亦可預 ο 先對應有手勢資訊以及確定之操作。 右檢測出操作體訄之接觸(S401),則操作體檢測部1〇9對 推作體Μ之接觸位置p以及接觸面積At進行檢測(84〇3)。 控制部117係判定操作體M之接觸位置p是否位於特定之 物件之區域内(S405)。接觸位置P與物件區域之關係係基 於记憶部113中所記憶之物件之位置進行判定。又,於接 觸位置P位於複數個物件之區域内之情形時,則檢測不指 定物件之手勢。 〇 繼而,於判定結果為肯定之情形時,控制部m對接觸 面積At與特定之臨限值Atu進行比較(§4〇7)。繼而,若接 觸面積At未達臨限值Attl,則控制部11 7確定與指點手勢 對應之操作(S409),而若接觸面積At為臨限值Atu以上, 則控制部117確定與撳按手勢對應之操作(S4丨丨)。 另一方面,於步驟S405之判定結果為否定之情形時,控 制部117對接觸面積At與特定之臨限值Att2(Atu<Att2)進行 比較(S413)。繼而,控制部117於接觸面積八為臨限值Au2 以上時,確定與遮蓋手勢對應之操作(8415)。 145902.doc -19- 201101126 此處’接觸面積At亦可於接觸位置p與物件區域之比較 判疋(S405)之後進行判定。又,操作體檢測部1 〇9亦可於 檢測接觸面積At之同時’檢測接觸區域之形狀、及操作體 Μ之近接狀態等。繼而,控制部丨17亦可僅於基於接觸區 域之形狀及操作體Μ之近接狀態,偵測到手指尖、指腹等 之接觸時,基於接觸面積At確定操作,藉此,準確確定基 於接觸手勢之操作。 藉此,便可基於顯示面板101上之操作體Mi接觸手 勢,進行各種操作之輸入。尤其’可藉由使局部性操作對❹ 應於手指尖之手勢,使整體性操作對應於手掌之手勢等, 使各接觸手勢具有任意之内涵,而令使用者進行直覺性操 作。 ’、 [4-5.基於接觸·近接狀態之操作之確定處理] 以下,對基於顯示面板101上之操作體M之接觸近接狀 態,確定由操作體Μ所輸入之操作之處理進行說明。 圖15係表示基於接觸.近接狀態之操作之確定處理之流 程圖。 ❹ 於確定處理之開始時,操作體檢測部1〇9偵測操作體Μ 對顯不面板101有無接觸,且於偵測到接觸(s5〇l)時檢 測操作體Μ之接觸位置p以及接觸面積At(S5〇3)。 . 控制部117係判定接觸面積At是否未達臨限值 Att(S5〇5)。於判定結果為否定之情形時,控制部ιΐ7確定 接觸遮蔽操作(與遮蓋手勢對應之操作)(s5i3)。另一方 面’於判定結果為肯定之情形時’控制部117對輸入起點 145902.doc •20· 201101126 與接觸位置P之差是否為臨限值Mt以上進行判定(S5〇7), 且於判定結果為肯定之情料,確定Μ操作(S509)。此 處,若確定拖矣操作,則進行上述操作方向之蜂定處理 - )另方面,若判疋結果為否定,則重新開始處 理。 於處理開始時,操作體檢測部1叫貞測操作㈣對顯示 =板101有無近接(S515)。若㈣到近接,則操作體檢測 〇 部1 〇 9遍及特定時間内連續檢測操作體Μ之近接後(S 5〖7中 為YeSj ) ’開始檢測操作體Μ之移動速度v以及近接面積 Aa(S519),而若未連續檢測到(S5n中為「N。」),則重新 開始處理、其次,控制部117判定近接面積Aa是否為臨限 值Aat以上(S521),且於判定結果為否定之情形時,重新開 始處理。 ^ 一方面,於步驟§521之判定結果為肯定之情形時,控 制。卩117判疋遍及特定框數連續檢測之移動速度V之絕對值 〇 j否未達臨限值Vt(S523)。繼而,控制部117於判定結果為 肯定之情形時,確定近接遮蔽操作(與靜止手勢對應之操 乍)(25)而於判疋結果為否定之情形時,則確定近接振 動刼作(與反覆移動手勢對應之操作)(S527)。 ;处里開始4,控制部〖丨7判定是否持續偵測到操作體 Μ之接觸(S529)。控制部117判定接觸面積At是否未達特定 之臨限值Att(S531)。繼而,控制部117於判定結果為肯定 之險形時’對輸入起點與接觸位置P之差是否未達臨限值 Mt進打判定(8533),且於判定結果為肯定之情形時,確定 145902.doc -21 - 201101126 拳工擊操作(S535)。另一方面,於步驟S529、S531 中 判疋結果為否定之情形時,重新開始處理。 由於檢測操作體M之近接狀態時,顯示面板101與操作 體Μ係為分隔狀態,故與接觸狀態之檢測相比較,產生誤 檢測之可能性變高。然而,可藉由僅於檢測到特定臨限值 、上之近接面積Aa之情形時’將該近接狀態捕捉為近 接手勢,而抑制誤檢測。 又’於同時檢測操作體M之接觸.近接狀態之情形時,因 將使用者所預期之接觸手勢捕捉為近接手勢而產生誤檢測 之可能性變高。然而,可藉由僅於遍及特定之持續時間内 檢測到近接狀態時,將該近接狀態捕捉為近接手勢, 制誤檢測。 [5·檢測模式之控制方法] 以二’說明對根據資訊處理裝置1〇〇(以下亦稱為自身裝 置)之靜止狀態或者朝向,檢測操作體Μ對自身裝置之操 之模式進行控制之方法。 ' ❹ [5-1 _近接檢測模式之控制方法] 首先’說明對根據自身裳置之靜錢態,檢測操作體μ 對顯示面板1G1之近接操作之模式進行控制之實施例。 接觸近接感測器⑻係包含接觸操作之檢測部與近 作之檢測部。接觸近接感測器⑻係於資訊處理裝置_啟 動中持續作為接觸感測器而發揮功能,且於對應於近接操 作之應用程式之啟動中,亦作為近接感測器而發揮功能。 以下,設想對於接觸操作之檢測部與近接操作之檢測部之 145902.doc -22· 201101126 電源系統設置於其它不同系統之情形。狀態檢測部lu係 包含加速度感測器’且檢測自身裝置之靜止狀態。 控制部117係作為對根據自身裝置之靜止狀態,檢測操 作體Μ對自身裝置之操作之模式進行控制之模式控制部而 發揮功能。控制部117尤其對檢測操作體河對顯示面板1〇1 之近接操作之近接檢測模式進行控制。 圖1 6及圖1 7係表示近接檢測模式之控制處理之流程圖及 示意圖。 〇 控制部117判定與近接操作對應之應用程式是否為啟動 中(S601),且於判定結果為肯定之情形時,根據狀態檢測 部111之檢測結果,判定自身裝置是否處於靜止狀態 (S603P另一方面,控制部U7於判定結果為否定之情形 時’繼續對應用程式之啟動進行判定。 於自身裝置處於靜止狀態之情形時,控制部117判定靜 止狀態是否持續遍及特定時間内(S6〇5),且於判定結果為 〇 肯定之情形時,使近接檢測模式有效(S607)。另一方面, 於步驟S603、S605之判定結果為否定之情形時,控制部 U7使近接檢測模式無效(S6〇9)。於該情形時,省略與近接 操作對應之檢測處理、及電源供給。 於圖17A中,表示於與近接操作對應之應用程式啟動 中,自身裝置藉由使用者而保持為靜止狀態之情形。於該 情形時,近接檢測模式變為有效,使用者可藉由改變操作 體Μ對顯不面板1G1之近接狀態,而進行近接操作(該狀態 下亦可進行接觸操作)。 145902.doc •23- 201101126 於圖17B中,表示自身裝置誤移動之情形。於該情形 時,若操作體Μ近接至顯示面板丨〇丨上,則近接檢測模式 不變成無效,將導致檢測出非使用者所預期之近接操作。 然而,若自身裝置成為移動狀態,則近接檢測模式將自動 變為無效,從而無法檢測出近接操作,因此,不會檢測出 非使用者所預期之近接操作。繼而,若自身裝置再次成為 靜止狀態,則近接檢測模式變為有效,故使用者便可重新 開始近接操作。 藉此,近接檢測模式係根據自身裝置之靜止狀態得到控 制,因此,於無需檢測近接操作之情形時,可省略與近接 操作對應之檢測處理以及電源供給。又,不必檢測非使用 者所預期之近接操作。進而,使用者無需手動控制檢測模 式’亦可無間隙地進行接觸操作與近接操作。 [5-2·近接·遠距檢測模式之控制方法] 繼之,說明對根據自身裝置之靜止狀態,檢測操作體Μ 對顯示面板101之近接.遠距操作之模式進行控制之實施 例0 接觸近接感測器103以及狀態檢測部i丨丨係與上述實施例 相同。遠距感測器107係拍攝捕捉特定之手勢等操作體M 之m距動作。遠距感測器1〇7係包括立體攝影機等,且於 對應於遠距操作之應用程式之啟動中發揮功能。以下,設 想對於接觸近接感測器1〇3與遠距感測器1〇7之電源系統設 置於其它不同系統之情形。 控制部11 7係尤其對檢測操作體M對顯示面板1〇1之近接 145902.doc -24 - 201101126 操作之近接檢測模式、及檢測操作體⑽遠距感測器ι〇7 之遠距操作之遠距檢測模式進行控制。 圖18及圖19係表示近接·遠距檢測模式之控制處理之流 程圖及示意圖。 ㉟制部117係判定與近接·遠距操作對應之應用程式是否 為啟動中(S701),且於判定結果為肯定之情形時,根據狀 態檢測部111之檢測結果,判定自身裝置是否處於靜止狀 態(S703)°另一方面,控制部117於判定結果為否定之情形 時’繼續對應用程式之啟動進行判定。 於自身裝置處於靜止狀態之情形日寺,控帝J部i 17判定靜 止狀態是否持續遍及特定時間(S705),且於判定結果為肯 定之情形時,使近接檢測模式無效,並使遠距檢測模式有 效(S707)。於該情形時,不進行與近接操作對應之檢測處 理、及電源供給。另一方面,於步驟S7〇3,S7〇5之判定結 果為否定之情形時,控制部117使近接檢測模式有效,並 〇 錢距檢測模式無效(87()9卜於該情料,省略與遠距操 作對應之檢測處理、及電源供給。 於圖19A中’表示於與近接,遠距操作對應之應用程式啟 - 冑中’自身裝置配置於機上域於靜止狀態之情形。於該
㈣時,由於遠距檢_式變為有效,且近接檢測模式變X 為無效,故而,使用者可藉由改變操作體M對自身裝置之 退距動作’而進行遠距操作(於該狀態下亦可進行接觸操 作)。 ” 於圖19B中’表示自身裝置於車内等藉由使用者而保持 145902.doc -25· 201101126 =動(振動)狀態之情形。於該情形時,因自身裝置處於 移動狀癌,故存在若遠距檢測模式不變成無效,則導致檢 測出非使用者所預期之遠距操作之情形。然而,若自身裝 置成為移動狀態,則遠距檢測模式將自動變為無效,從而、 不會檢測出遠距操作,因此,不會 u双而出非使用者所預期 之遠距操作。繼而,若自身裝置再次變成靜止狀態,則遠 :檢測模式將變為有效,因而’使用者可重新開始 作。 =此’由於近接檢測模式以及遠距檢測模式係根據自身 靜止狀態而得到控制,故而,於無需檢測近接操作 ^遠距操作之情形時,可省略與近接操作或者遠距操作 1 應之檢測處理以及電源供給不必檢測非使用者所 3期之遠距操作。進而,使用者無需手動控制檢測模式, 亦可無間隙地進行近接操作與遠距操作。 [5-3 ·接觸檢測模式之控制方法] :而,說明對根據自身裝置之朝向,檢測操作體m對自 身裝置之接觸操作之模式進行控制之方法。 本貫施例係於自身奘罟夕弓5 _ „ 、置之顯不面板101中設置有主感測 益M3,且於自身裝置 5, 之長軸方向之側面上設置有副感測 104L,以及於短軸方向之側面上設置有副感測器 、1〇4D。主感測器1G3係檢測操作體Μ對顯示面板101 之接觸操作,副减測薄 操作體Μ之接觸摔作:用二化、购、獅係檢測 , ’、 用乂例如顯示面板101之GUI顯示進 動。以下’設想對於副感測器魏、狐、104U、 145902.doc -26· 201101126 1 〇 4 D之電源系統設置於其它不同系統之情形。 狀痞檢測部111係包括迴轉儀感測器,且檢測自身裝置 之朝向。以下,將自身裝置之長軸方向以及短軸方向相對 使用者為上下方向之情形,分別稱作縱向及橫向。狀態檢 測部111係檢測自身裝置為縱向抑或是橫向。 控制部117係尤其針對檢測對副感測器104R、104L、 1 〇4U、1 〇4D之接觸操作之檢測模式進行控制。控制部工i 7 於例如自身裝置為縱向之情形時,使副感測器】、1 〇礼 之檢測有效,並且使副感測器】〇4U、i 〇4D之檢測無效, 且於自身裝置為橫向之情形時,使副感測器1〇4R、1〇礼之 檢測無效,並且使副感測器1〇4U、1〇4D之檢測有效。控 制邛117尤其根據自身裝置之朝向,使與使用者之習慣用 手側對應之副感測器l〇4L、l〇4R、l〇4U、104D有效。以 下’假設使用者之習慣用手為右手之情形。 圖2 0以及圖21係表示接觸檢測模式之控制處理之流程圖 以及示意圖。 控制部117係根據來自狀態檢測部i丨丨之感測器輸出,判 定自身裝置是否為縱向(S801),且於判定結果為肯定之情 形時(圖21A) ’判定自身裝置是否遍及特定時間内為縱向 (S803)。繼而,於判定結果為肯定之情形時,控制部ιι7使 相對使用者位於右側之副感測器1〇4R有效,而使其它副感 測器 104L、104U、104D無效(S805)。 〜 另一方面,於自身裝置為橫向之情形時(例如,顯示面 板101之上部相對使用者位於左側之情形),判定自身裝置 145902.doc -27· 201101126 是否遍及特定時間為橫向(圓)。於判定結果為肯定之情 形時(圖加),控制部117使相對使用者位於右側之副感測 器104D有效,而使其它副感測器職、狐、_益效 (S809) 〇 又圖22以及圖23係表示應用程式之啟動控制處理之流 程圖以及示意圖。 控制部117係根據狀態檢測部ln之檢測結果,判定自身 裝置是否為縱向(S9G1),且於判定結果為肯定之情形時(圖 23A),判定操作體M是否接觸副感測器i〇4r(s列y。其 -人於判疋結果為.肯定之情形時,控制部i丨7判定操作體 Μ是否遍及特定時間内接觸副感測器1〇4R(s9〇5卜繼而, 於判疋結果為肯定之情形時,控制部丨17啟動圖書閱讀器 (S907)。 另一方面,於自身裝置為橫向之情形時(例如,顯示面 板101之上部相對使用者位於左側之情形),判定操作體Μ 是否接觸副感測器10411及1〇4D(S9〇9)。其次,於判定結果 為肯定之情形時,控制部117判定操作體M是否遍及特定 時間内接觸副感測器10411及1〇4D(S9U)。繼而,於判定結 果為肯定之情形時(圖23B),控制部11 7啟動遊戲(S913)。 又,例如於自身裝置為橫向,使用者意欲抬起自身裝 置,而使操作體Μ接觸副感測器1〇4R、l〇4L、104U或者 104D中任一者之情形時(圖23C),控制部117將不會啟動圖 書閱讀器。 藉此’由於接觸檢測模式係根據自身裝置之朝向得到控 145902.doc •28- 201101126 制’故而’未成為接觸操作之對象之副感測器丨〇4,可省 略與接觸操作對應之檢測處理以及電源m,可不必 檢測非使用者所預期之接觸操作。 [6.資訊處理裝置1〇〇之硬體構成] 圖24係表示資訊處理裴置1〇〇之硬體構成例之方塊圖。 :貝Λ處理裝置1〇〇係構成為主要包含CPU 9〇1(Central
Processing unit、中央處理單元)、R〇M 9〇3(Read 〇n卜 ◎ ory 唯讀 s己憶體)、RAM(Random Access Memory, 隨機存取記憶體)9G5、主機匯流排9G7、橋接㈣9、外部 匯流排911、介面913、輸入裝置915、輸出裝置9i7、儲存 裝置919、驅動器921、連接埠923、及通訊裝置925。 CPU 901係作為演算處理裝置以及控制裝置而發揮功 能,且依據記錄於R0M 903、RAM 9〇5、儲存裝置919、 2者可移式記錄媒體927中之各種程式,至少局部性控制 資訊處理裝置1〇〇之動作。R〇M 9〇3係記憶cpu 9〇1所用之 〇 程式或參數等。RAM 9〇5係暫時記憶CP U901所執行之程 式、及執行程式時之參數等。CPU 9〇1、R〇M 9〇3及ram 905係精由主機匯流排9〇7而相互連接。主機匯流排卯7係 經由橋接器909而連接於外部匯流排9 u。 輸入裝置9!5係使用者可進行操作之例如滑鼠、鍵盤、 顯示面板101、按鈕、及開關等操作機構。又,輸入裝置 915例如既可為使用紅外線等電波之遠距操作機構,亦可 為對應於資訊處理裝置100之操作之行動電話機、PM (Person dig㈣assis細,個人數位助理)等外部機器 I45902.doc •29- 201101126 =9。輸入裝置915係構成為包括例如輸入控 =入控制電路係基於使用上述操作機構並由使用等: 輸入之操作資訊,生成鈐 斤 CPU 901中—成輸入仏唬’並將該操作信號輸出至 91Π 訊處理裝置⑽之使用者係經由輪入裝置 動作之。操作,對資訊處理裝置丨。。輸入各種資料,指示處理 輸出裝置917係構成為包括對使用者 地通知所獲取之資訊之裝置,該裝置為例如crt=: 陰極射線管)顯示器、液晶顯示器 示面: 出裝置;印表機;行動電話機;傳真機等。輸二= !=資訊處理裝置⑽之處理結果。例如,顯示裝置將 :錢理裝置1°°之處理結果顯示為文字資訊或者影= 也’洁音輸出裝置將經再生之語音資料、音 信號轉換為類比信號後輸出。 貝4等曰讯 ❹ ㈣存之裝置,且包括例如咖 ⑽dlskdrive,硬磁碟驅動機博磁性記憶元件、半導體 以“件、光學記憶元件、或者磁光記憶元件等 =係儲存由CPU 901執行之程式、各種資 : 取之各種資料等。 r丨k ::_係用於記錄媒體之讀寫器 -處理裝置10。。驅動器921係對所安裝之磁 = 磁=、或者半導體記憶體等可移式記錄媒體927,讀 _之資料’並將該資料輸出至RAM 905中,寫入對 145902.doc -3〇 - 201101126 象之資料。 連接埠923係為例如USB (universal serial bus,通用_列 匯流排)埠、SCSI(small computer system interface,小電 腦系統介面)埠、RS232C埠等用以將外部機器929直接連接 於資訊處理裝置1〇〇之埠。資訊處理裝置1〇〇係對連接於連 接埠923之外部機器929,經由連接埠923獲取資料,並提 供資料。
〇 通訊裝置925係為包含用以連接於通訊網N之通訊元件等 之通訊介面。通訊裝置925係為例如有線或者無線LAN (local area network,區域網路)、WUSB(wireless 如 serial bus,無線通用串列匯流排)用之通訊卡片、adsl (aSymmetric digital subscdber line,非對稱數位用戶線)用 之路由器、及通訊用數據機等。通訊裝置925係例如與網 際網路或其它通訊機器之間,以特定之通訊協定為準則, 收發信號等。連接於通訊裝置925之通訊網N係包括有線或 者無線連接之網路等。例如可為網際網路、家庭内[AN、 紅外線通訊、射頻通訊或者衛星通訊等。 以上,對肖《 f現本發明之實施形態之資訊處理裝置 100之功能実之硬體構成之一例進行了說明。再者,2述 硬體之各構成要素可通用性元件而構成,亦可利用各 構成要素之功能經專門化處理之元件而構成。 [7.總結] 145902.doc •31 - 201101126
經檢測之操作體M 之彳日不方向,確定由操作體Μ所輸入之 :向:方向。藉此’由於操作之方向基於操作體以之指示 ° 疋因此,可實現不依賴顯示面板1 〇 1對使用者 之朝向之操作。 …— s參照隨附圖S,一方面對本發明之較佳實施 形態進仃了說明。但本發明並不限定於上述示例。業者當 =可於叫求項之範圍記载之技術性思想範疇内,設想各種 變更例或者修正例,且須知此類變更例或者修正例當屬本 發明之技術性範圍。 【圖式簡單說明】 圖1A、1B係表示本發明之一實施形態之資訊處理裝置 之概要之圖。 圖2係表不本發明之一實施形態之資訊處理裝置之功能 構成例的方塊圖。 圖3 A係表示顯示面板上之操作體之狀態之圖。 圖3B係表示圖3八所示之狀態下於感測器圖像上所確定 之區域之圖。 圖4A係表示顯示面板上之操作體之狀態之圖。 圖4B係圖4A所示之狀態下於感測器圖像上所確定之區 域之圖。 圖5A係表示圖3A之A-A線上之亮度值分布之圖。 圖5B係表示圖3A之b-B線上之亮度值分布之圖。 圖6係表示操作方向之確定處理之流程圖。 圖7A係表示操作方向之確定處理之示意圖。 145902.doc -32- 201101126 圖7Β係表示操作方向之確定處理之示意圖。 圖7C係表示操作方向之確定處理之示意圖。 圖8Α係表示操作方向之確定處理之示意圖。 圖8Β係表示操作方向之確定處理之示意圖。 圖9係表示顯示方向之旋轉處理之流程圖。 圖1〇Α係表示顯示方向之旋轉處理之示意圖。 圖10Β係表示顯示方向之旋轉處理之示意圖。 Ο
圖11係表不基於近接手勢之操作之確定處理之流程圖。 圖Α係表示基於近接手勢之操作之確定處理(靜止手 勢)之示意圖。 圖12B係表示基於近接手勢之操作之確定處理(反覆移動 手勢)之示意圖。 圖12C係表示基於近接手勢之操作之確定處理(移動手 勢)之示意圖。 圖!3係表示基於接觸手勢之操作之確定處理之流程圖。 圖14A係表示基於接觸手勢之操作之確定處理(指點手 勢)之示意圖。 處理(撳按手 圖14B係表示基於接觸手勢之操作之確定 勢)之示意圖。 圖14C係表示基於接觸手勢之摔作 保邗之確定處理(遮蓋手 勢)之示意圖。 程圖 圖15係表示基於接觸.近接狀態之操作之續定處理之流 圖 圖16係表示近接檢測模式之控制處理之流程 145902.doc •33- 201101126 圖17A係表示近接檢測模式之控制處理之示意圖。 圖17B係表示近接檢測模式之控制處理之示意圖。 圖18係表不近接.遠距檢測模式之控制處理之流程圖。 圖19A係表示近接·遠距檢測模式之控制處理之示意圖。 圖19 B係表示近接.遠距檢測模式之控制處理之示意圖。 圖20係表示接觸檢測模式之控制處理之流程圖。 圖21A係表示接觸檢測模式之控制處理之示意圖。 圖21B係表示接觸檢測模式之控制處理之示意圖。 圖22係表示應用程式之啟動控制處理之流程圖。 圖23A係表示應用程式之啟動控制處理之示意圖。 圖23B係表示應用程式之啟動控制處理之示意圖。 圖23C係表示應用程式之啟動控制處理之示意圖。 圖24係表示資訊處理装置之硬體構成例之方塊圖。 【主要元件符號說明】 100 資訊處理裝置 101 顯示面板 103 接觸近接感測器 105 顯示部 107 遠距感測器 109 操作體檢測部 111 狀態檢測部 113 記憶部 115 顯示控制部 117 控制部(操作確定部、模式控制部) 145902.doc -34-

Claims (1)

  1. 201101126 七、申請專利範圍: ι· 一種資訊處理裝置,其具備: '乍體檢’其檢測接觸顯示面板之操作體之指示 方向;以及 操作確定部,1 /、基於上述經檢測之操作體之指示方 °確疋由上述操作體所輪入之操作之方向。 2·如請求項1之資訊處理裝置,其中 Ο Ο 上述操作體檢測部係檢測接觸上述顯示面板進行移動 之上述操作體之指示方向以及移動方向, 動 上述操作確定部係基於上述經檢測之操作體之指示方 向以及移動方向,墟中士 確疋由上述刼作體所輪入之操作之方 向0 3·如請求項2之資訊處理裝置,其中 上述操作蜂定部係基於由上述經檢測之操作體之於_ 方向與移動方向所定義之角度曰不 入之操作之方向。 …彻體所輪 4·如請求項1之資訊處理裝置,其中 上述資訊處理裝置進而具備控制上述顯示 之顯示控制部,且 蚁I”、,貝不 上述操作確定部基於上述經檢測之操作體 向,確定使上述顯示面板之顯示旋轉之操作之方向, 上述顯示控制部根據上述經確定之操作之方向 述顯不面板之顯示進行旋轉。 ^上 5.如請求項1之資訊處理裝置其中 145902.doc 201101126 上述操作確定部係不依賴於上述 逆顯不面板對操作者之 朝向,而確定由上述操作體所輸入之操作之方向。 6. 如請求項1之資訊處理裝置,其中 上述操作體檢測部係基於上述操作體之前端 向’決定上述操作體之指示方向。 7. 如請求項1之資訊處理裝置,其中 上述操作體檢測部係連續檢測上述操作體之俨二方 向,且於上述連續檢測出之操作體之指示方向為=之 _以内之情形時,基於上述連續檢測出之操作體之 指不方向,決定上述操作體之指示方向。 8. 一種資訊處理方法,其包含如下步驟: 檢測接觸顯示面板之操作體之指示方向;及 基於上述經檢測之操作體之指示方向,確定由上述操 作體所輸入之操作之方向。 9. 一種用以使電腦執行資訊處理方法之 « ‘ 八上述貧訊處 理方法包含如下步驟: 檢測接觸顯示面板之操作體之指示方向;及 基於上述經檢測之操作體之指示方向,a 啤疋由上述梅 作體所輸入之操作之方向。 ” 145902.doc
TW099110420A 2009-05-26 2010-04-02 Information processing device, information processing method, and program TW201101126A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009126949A JP2010277197A (ja) 2009-05-26 2009-05-26 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
TW201101126A true TW201101126A (en) 2011-01-01

Family

ID=43222523

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099110420A TW201101126A (en) 2009-05-26 2010-04-02 Information processing device, information processing method, and program

Country Status (9)

Country Link
US (1) US9690475B2 (zh)
EP (1) EP2437147B1 (zh)
JP (1) JP2010277197A (zh)
KR (1) KR20120026043A (zh)
CN (1) CN102428437B (zh)
BR (1) BRPI1012863A2 (zh)
RU (1) RU2011147125A (zh)
TW (1) TW201101126A (zh)
WO (1) WO2010137400A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI560595B (zh) * 2014-03-31 2016-12-01 Huawei Tech Co Ltd
US11526270B2 (en) 2014-08-26 2022-12-13 Apple Inc. User interface for limiting notifications and alerts

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423093B (zh) * 2010-12-03 2014-01-11 Au Optronics Corp 觸控面板判斷多點觸控之方法
KR101718893B1 (ko) 2010-12-24 2017-04-05 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
JP5724422B2 (ja) * 2011-02-07 2015-05-27 富士通株式会社 操作制御装置,操作制御プログラムおよび操作制御方法
US20130089237A1 (en) * 2011-10-10 2013-04-11 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
US9720456B1 (en) * 2012-07-23 2017-08-01 Amazon Technologies, Inc. Contact-based device interaction
US9176539B2 (en) * 2012-11-10 2015-11-03 Ebay Inc. Key input using an active pixel camera
EP2929486A4 (en) 2012-12-10 2016-11-23 Invisage Technologies Inc RECORDING SCENES AND EVENTS IN SPACE AND TIME
JP6119291B2 (ja) * 2013-02-14 2017-04-26 日本電気株式会社 表示装置、電子機器、表示方法及びプログラム
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
KR102169952B1 (ko) * 2013-10-18 2020-10-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
JP6282876B2 (ja) * 2014-02-04 2018-02-21 シャープ株式会社 情報処理装置
JP2016021229A (ja) * 2014-06-20 2016-02-04 船井電機株式会社 入力装置
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
CN107710111B (zh) * 2015-07-01 2021-05-25 奇手公司 确定用于接近敏感相互作用的俯仰角
WO2017151136A1 (en) 2016-03-03 2017-09-08 Hewlett-Packard Development Company, L.P. Input axis rotations
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
JP4415227B2 (ja) * 2000-04-21 2010-02-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2002157079A (ja) * 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP2004178547A (ja) * 2002-09-30 2004-06-24 Sanyo Electric Co Ltd 携帯型電子装置
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US7401300B2 (en) * 2004-01-09 2008-07-15 Nokia Corporation Adaptive user interface input device
JP4148187B2 (ja) * 2004-06-03 2008-09-10 ソニー株式会社 携帯型電子機器、入力操作制御方法及びそのプログラム
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
JP2006072872A (ja) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd 携帯型情報処理装置、情報処理装置の画面回転方法および合成データ回転方法
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP2006277588A (ja) * 2005-03-30 2006-10-12 Clarion Co Ltd タッチパネル及びタッチパネルを備えた電子機器
WO2006126310A1 (ja) * 2005-05-27 2006-11-30 Sharp Kabushiki Kaisha 表示装置
US7714265B2 (en) * 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
JP4786292B2 (ja) * 2005-10-26 2011-10-05 シャープ株式会社 情報処理装置、階層情報出力方法及びプログラム
CN100485591C (zh) * 2006-03-10 2009-05-06 凌阳科技股份有限公司 可在屏幕上显示和接收输入的实体模拟装置及其旋转方法
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US20070297028A1 (en) * 2006-06-21 2007-12-27 Thomas Wulff System and device for monitoring a computing device
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP2008003868A (ja) * 2006-06-22 2008-01-10 Sharp Corp タッチパネル式入力装置、及びこれを備えた表示入力システム
US9304675B2 (en) * 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP2008158675A (ja) * 2006-12-21 2008-07-10 Toyota Motor Corp 車両用操作装置
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
JP2008192012A (ja) * 2007-02-06 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読取可能な記録媒体
JP4727614B2 (ja) * 2007-03-30 2011-07-20 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP4935481B2 (ja) * 2007-04-19 2012-05-23 セイコーエプソン株式会社 検出装置、および、その制御方法
JP2009032028A (ja) * 2007-07-26 2009-02-12 Panasonic Corp タッチパネル装置
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US20090167719A1 (en) * 2007-11-02 2009-07-02 Woolley Richard D Gesture commands performed in proximity but without making physical contact with a touchpad
US7898428B2 (en) * 2008-03-06 2011-03-01 Research In Motion Limited Safety for mobile device users while driving

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI560595B (zh) * 2014-03-31 2016-12-01 Huawei Tech Co Ltd
US10444951B2 (en) 2014-03-31 2019-10-15 Huawei Technologies Co., Ltd. Method and device for identifying a left-hand or a right-hand mode of operation on a user handheld device
US11526270B2 (en) 2014-08-26 2022-12-13 Apple Inc. User interface for limiting notifications and alerts

Also Published As

Publication number Publication date
US20120092283A1 (en) 2012-04-19
BRPI1012863A2 (pt) 2018-02-20
EP2437147B1 (en) 2014-04-30
WO2010137400A1 (ja) 2010-12-02
RU2011147125A (ru) 2013-05-27
EP2437147A4 (en) 2012-12-26
JP2010277197A (ja) 2010-12-09
CN102428437B (zh) 2014-05-28
US9690475B2 (en) 2017-06-27
KR20120026043A (ko) 2012-03-16
EP2437147A1 (en) 2012-04-04
CN102428437A (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
TW201101126A (en) Information processing device, information processing method, and program
EP2972727B1 (en) Non-occluded display for hover interactions
EP3803562B1 (en) Devices, methods, and user interfaces for conveying proximity-based and contact-based input events
EP2813938B1 (en) Apparatus and method for selecting object by using multi-touch, and computer readable recording medium
JP5282661B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10387014B2 (en) Mobile terminal for controlling icons displayed on touch screen and method therefor
JP5659586B2 (ja) 表示制御装置および表示制御方法、表示制御プログラム、記録媒体
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
CN103729054A (zh) 多显示设备及其控制方法
CN103562831A (zh) 边缘手势
KR20140147557A (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
CN103649900A (zh) 边缘手势
US20150160731A1 (en) Method of recognizing gesture through electronic device, electronic device, and computer readable recording medium
US20190324563A1 (en) Devices and Method for Manipulating User Interfaces with Stylus and Non-Stylus Contacts
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
WO2018019050A1 (zh) 基于触敏表面—显示器的手势控制交互方法与设备
TW201638728A (zh) 用以處理與移動相關的資料之計算裝置及方法
JP6529332B2 (ja) 電子機器およびその制御方法
CN113253908A (zh) 按键功能执行方法、装置、设备及存储介质
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
TW201205421A (en) A operation method and a system of the multi-touch
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
JP2014082605A (ja) 情報処理装置、その制御方法及びプログラム
CN110140107A (zh) 电子装置及其控制方法和程序