TW201232329A - Method, apparatus and system for interacting with content on web browsers - Google Patents
Method, apparatus and system for interacting with content on web browsers Download PDFInfo
- Publication number
- TW201232329A TW201232329A TW100147988A TW100147988A TW201232329A TW 201232329 A TW201232329 A TW 201232329A TW 100147988 A TW100147988 A TW 100147988A TW 100147988 A TW100147988 A TW 100147988A TW 201232329 A TW201232329 A TW 201232329A
- Authority
- TW
- Taiwan
- Prior art keywords
- machine
- user
- gesture
- web page
- instructions
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Description
201232329 六、發明說明: C發明戶斤屬之技術領城】 著作權聲明 本專利文件之部分揭示内容可能含有受著作權保護之 材料。當本專利出現在專利商標局的專利檔案或記錄時, 著作權擁有者並不反對任何人複製專利文件或專利揭示 文,但仍然保有全部著作權權利。 發明領域 本發明係有關於用以與網路瀏覽器上的内容互動之方 法、設備及系統。 【先前技術3 發明背景 個人計算技術及小區式電話裝置在過去十年間有了根 本重大改變。個人計算(PC)裝置變得益發普及,快速地演 進不斷縮小形狀因素,諸如小筆電及平板電腦,而運算处 力增高。同時,小區式電話市場演進成個人資訊管理筆置 包括電子郵件、文字處理及相機功能,而非僅只是1立 者對 訊裝置。結果’較大型與較小型個人計算(PC)裝置曰通 消費者的日常生活變得愈來愈不可或缺。 隨著此等裝置之充斥於市場與消費者變得愈來1 靈,傳統上以pc為中心的輸入體系及以pc為中心的使2機 介面對大量終端使用者的使用經驗上產生障礙日你 者 g。如此 處使用,「以PC為中心」一詞係指具有滑鼠 '針筆、紐Λ 幕、或其它此等既有介面的以傳統PC為基礎的平台。 α。使用
S 3 2〇1232329 者可犯如同傳統上以Pc為中心的裝置般,期望在掌上势智 慧型手機❹㈣贿網料置(励)上制顧程式,因 而給應用程式開發者帶來多項不同的挑戰。例如設計給較 腳PPC用的應用程式在具有較低運算能力的小型形狀因 素上跑(若還能跑的話)有困難。舉例言之,泰半係由於形狀 因素’仃動裝置應用程式典型地比較可供以PC為中心的裝 2朴具有大型螢幕、滑鼠或其它此等在螢幕上控制游標 ,、置等之裝置)利用的相似應用程式具有減少的及/或不 同的功能。掌上型裝置應用程式特徵經常「較愚蠢」或精 簡,用於掌上型裝置典型地功能減少。 月 此種已變更的應用程式之最常見實例為在掌上型裝置 上跑的典型網路瀏覽器。此等劉覽器典型地提供有限的、瀏 覽能力’原因在於此等㈣器係植基於利用輸入裝置諸如 鍵盤、滑鼠、軌跡球、及/或軌跡墊/觸控墊的以PC為中心 的模式,於該處「游標」(文字或指標)在螢幕上移動。另外, 目前模式可接受觸控螢幕輸入’於該處使用者可用手指或 針筆來輸入該裝置。觸控營幕技術也是在以Pc為中心& 境下設計,因而典型地仰賴多項以Pc為中心的功能。但= 沒有此等型別之以PC為中心的輸入裝置,在掌上型裝置: 跑的劇覽器開發者被迫調整其應用程式適用於掌上型穿置 (典型地係藉減少功能)。 除了功能性之外,以PC為中心的應用程式之基本使用 者介面也須經修改或重新設計來考慮掌上型裝置的有限螢 幕面積及其它限制。回頭參考瀏覽器實例,雖然掌上型穿 201232329 置上的瀏覽器之使用者介面可能類似以pc為中心的平台作 為基礎的原先瀏覽器的使用者介面,但掌上型介面典型地 簡化來補償掌上型裝置之限制。此項因素連同掌上型裝置 的顯然有限的輸入方案使得既有的以P C為中心的使用者介 面模式變不合時宜。 【發明内容】 依據本發明之一實施例,係特地提出一種方法包含識 別指向在一裝置上執行之一網路瀏覽器的使用者動作,該 網路瀏覽器執行網路瀏覽器應用程式來顯示一網頁;識別 該等使用者動作為輸入姿勢;處理該等輸入姿勢而決定一 網路瀏覽器行為;及提供該網路瀏覽器行為給該網路瀏覽 器應用程式。 圖式簡單說明 本發明係於附圖舉例說明但非限制性,附圖中相似的 元件符號係指示相似的元件,及附圖中: 第1圖顯示本發明之一實施例; 第2圖顯示依據本發明之一實施例於轉譯儲存裝置裡 的資訊集合; 第3圖顯示依據本發明之一實施例於轉譯儲存裝置裡 的另一資訊集合; 第4圖顯示本發明之一實施例; 第5A-5C圖顯示本發明之一實施例; 第6A-6C圖顯示本發明之一實施例; 5 第7圖顯示依據本發明之實施例之初始化實例; 201232329 第8圖為例示說明之本發明之_實施例之流程圖; 第9圖為例不說明之本發明之—實施例之流程圖;及 第10圖為例示說明之本發明之—實施例之流程圖。
I:實施方式J 詳細說明 本發明之實施例提供操控網路瀏覽器的新模式,該瀏 覽器係與傳統元件諸如輸人裝置及游標獨立無I更明確 言之,本發明之實施例使用姿勢而與網路瀏覽器上的内容 互動之方法、設備及系統而無需傳統輸入裝置及/或觸控螢 幕。「姿勢」一詞如此處使用,係指多種操作包括但非限於 手部、眼部及/或其它體部的移動。為求簡明,此處許多實 例係利用手部姿勢’但本發明之實施例並非受此所限。如 本說明書使用,本發明之「一個實施例」或「一實施例」 表示聯結該實施例所描述的特定特徵、結構或特性係含括 於至少一個本發明之實施例。如此,於全文說明書中各處 出現「於一個實施例中」或「依據一個實施例」等詞並非 必然全部皆係指同一個實施例。 此外’於說明書中述及「裝置」、「機器」、或「設備」 等詞可包括多種以單處理器或多處理器為基礎之電腦裝置 中之任一者,包括但非限於伺服器、桌上型電腦、可搞式 電腦(包括膝上型電腦、筆記型電腦、小筆電及掌上型電 腦)、機上盒、及遊戲機。掌上型裝置可包括但非限於小區 式電話、智慧型手機、個人數位助理器(pda)、行動網際網 路裝置(MID)、膝上型電腦、數位相機、媒體播放器、超行 201232329 動個人電腦(UMPC)及/或可漫遊及連結至網路之任一種電 腦裝置。 無論平台或尺寸如何,本發明之實施例允許使用者享 有客製化的互動經驗。更明確言之,本發明之實施例允許 使用者利用姿勢來與網路瀏覽器互動,而與外部實體輸入 裝置獨立無關且與實體接觸輸入螢幕或顯示裝置獨立無 關。本發明之實施例可調整適應在多種平台上體現而未悖 離本發明之精趙。 队卿个赞明 一1因頁她例,便用者可利用姿勢而執行 網路劉覽動作。於一個實施例中,姿勢輸入方案可包含移 動感測源,包含加速度計及攝影機中之至少一者、姿勢檢 則核、'且及姿勢處理模組。該移動感測源、姿勢檢測模組及 姿勢處理心可以體現為分開組件及/或 =離本發明鲁於是舉例言之,於一個實上 ,動感測源可組合姿勢檢測模組成為單-組件。於另_個 =例二姿勢檢測模組與姿勢處理模組可組合成為單一 於多個後文描述分開地討論各個模組的功能。 組功能維持___如何組合(與否则體現,模 移動感剛源可識別使用者所做 部移動、身邀移動等)及拍攝移H 手。_、眼 決定該移動移動貧料。隨後姿勢檢測· 移動事件。^ 於_定軸轉欲送至平台的 置的姿勢_^之’絲檢職料定此乃提供輸入給裳 而非只衫㈣料。此—移料独給姿勢處 201232329 定❹ ""存在有各種移動檢測技術且可運用於本發明之實 施例而未•轉本發明之精髓。此種移動制技術之實例常 用於遊戲平台。舉例言之’任天堂公司(Nintendo poration) W11遊戲+台含括加速度計於遞的搖控器 内°Wl1的搖控器内的加速度計識別移動、移動方向及速率 ㈣允許制者的動作仿真 在螢幕上。同理,微軟公司(Microsoft Corporation)晚近
Kmect版本彻攝影機來檢測使用者的移動,然後複製在遊 戲内。也有得自公司諸如姿勢德克(GestureTek)❹種其它 非遊戲產’利用攝影機致能姿勢辨識技術用於多項用途。 本發明之實施例運用此等既有移動檢測技術之槓桿而 提供加強的用於網路瀏覽之以移動為基礎之輸入方案。更 明確言之,本發明之實施例利用攝影機及/或加速度計或二 者來感測與拍攝姿勢,證實該等姿勢係意圖作為網路瀏覽 器之輸入’及將該等姿勢轉譯為使用者期望在網路瀏覽器 上採取的特定動作指標。因此之故,舉例言之於一個實 化例中,使用者可執行滿手握動作來變焦網路瀏覽器的螢 幕區。依據此—實施例,攝影機及加速度計(一起組成移動 感測源)可提供該動作之一資料串流給正在進行姿勢檢測 的組件(姿勢檢測模組)。 於一個實施例中’姿勢檢測模組可以是該平台上作業 系統的一個組件,且可識別該移’動並非由作業系統所辨識 201232329 的移動事件。隨後姿勢檢測模組可決定移 ::樹覽器之姿勢,及提供移動給模作:: 安勢處理模組將該移動轉譯成網路劉覽 組且。然後 :通知劉覽器有關該動作。於一個實施例中::解:動作 用姿!t庫,姿勢存庫係_定姿勢: 器,則_:=:::作且發送給《 姿姿=攝滿手握且將資料串流化至 手握動作,決定該動作;=二收來自該資料串流的滿 通知姿勢處理模_項::::::::=組然後 猎由檢查姿勢倉錯,而 ⑨後文勢處理模組 作’而當判定為「變焦、屋移動係轉譯成什麼動 路劇覽器螢幕上的適;區了然後焦至在網 使用者提供期望的結果。 心益遵循變焦’對 第1圖例示說明本發明 _ 用者可從事移動。柄接至計算平如圖所示,使 測技術(攝影機1〇5與加速异平口 _)之移動檢 手握移動,^合)可識別與拍攝滿 ιΐ5。姿勢動料串流給姿勢檢測模組 送至計算平台_上的作業4移動’證實該移動並非欲 模組11S可決定兮“、…、、,先之移動事件。然後姿勢檢測 _勢_模;:115二==卿器之輸入, 201232329 理模組12G可檢驗該姿勢資訊,及對轉譯 庫125)處理該項資訊。於本發明之一個實施例、中3勢存 存裳置包括不同的使用者姿勢與欲在網路^儲 t定動作間之對映關係。於本實例中,姿勢處 決定滿手握移動轉譯成來自使用者的「變冑★主、,可 姿勢處理模組12°依照使用者的請求而發送、請二:後 覽器130。 衣給網路瀏 依據本發明之-個實施例,姿勢檢測模 在計算平台上跑的作業系統之擴延,但本發明 之Γ限。同理’姿勢處理模组12G可體現為網路^覽 :0之擴延,但本發明之實施例並非受此所限。於並 細例中,姿勢處理模組120 、、 獨立模組。 疋減—覽器130的 ”第2圖例示說明依據本發明之實施例儲存於姿勢存庫 之資訊實例。更明確言之,第2圖例示說明可由姿勢處 :模:轉譯的各個動作。舉例言之,遵照如上第J = 述二使用者姿勢是兩拳併擺,則該移動可藉攝影機ι〇5及 力U計U0拍攝’提供給姿勢檢測模級ιΐ5來識別該移動 乃安勢,然後中繼給姿勢處理搵. 可將姿勢處理模組12〇 ,。*勢”安勢存庫125裡的姿勢列表作比較。如第2圖 ^例示說明’㈣“顯⑽可㈣㈣存庫125及決定 L用者的動作(兩拳併攏)轉譯成請求「關閉標籤」,則姿勢 处理模组12〇可以_標籤的指令取代料勢且提供 給網路瀏覽器130。 3 10 201232329 同理,第3圖例示說明姿勢存庫125裡的資訊之其它實 J於本貫例中,由攝影機及加速度計所檢測得的多個動 °轉澤成姿勢。如此,若使用者做擺動動作,被加速度 十1〇所撿測,該動作最終將送至姿勢存庫125作為對前頁 或j頁的請求,取決於使用者的擺動方向。於本發明之多 主' &例令,姿勢列表及所轉譯成的對姿勢存庫125之動作 11 X疋列表,该列表可動態地更新,或為依據預定標 準自動地更新,或由應用程式開發者手動更新。 除了針對操控網路瀏覽器的新穎模式之以姿勢為基礎 心輸入方案外,本發明之實施例額外地識別及暴露多個可 能的動作於網路㈣器内部。在傳統以pc為中心的環境中 #「’、型網頁假設存在有滑鼠。如此例如,網頁經常含 可作用區」,該區並非即刻為使用者所可見,直到使用 者在為d内部從事動作時(例如㈣盤旋在耗上方)才可 見旦網頁檢知滑鼠盤旋時,才顯示隱藏的文 者可採行的動作。 尺用 第4圖例錢明本發明之—個實施例之實例。 說明,針對循μ 码妙〗不 專、先以PC為中心的網路瀏覽器(「網路 405」)開發的應用程式(「應用程式_」)經常採用: 用法田游榡玫置在該圖形介面的可作用區(「可 、 410」)歷經預定時間週期時,應用程式4〇〇可回應來顯厂i 外文干(隱藏文字415)提供肋㈣有關的或相關 訊。如此,於LL仏m 卜^ 時,使用者可愛内’—旦使用者看到域隱藏資訊 可選擇額外指令巾之—者用職行(例如藉點選
S 11 201232329 在隱藏資訊415内部洩示的「協作任務」鏈結,使用者可被 導向新網頁)。 但於較小型形狀因素裝置(例如行動網際網路裝置 (MID))上,典型地無法利用此型功能。例如於以觸控為基 礎的裝置上,缺定位游標妨礙了此項技術的使用。即便在 有輸入裝置的掌上型裝置(例如權杖樣式的電視搖控器) 上,使用者仍然難以準確地定位與固定指標器在特定點 上。結果,在此等平台上跑的網路瀏覽器應用程式典型地 並非含括此種「可作用區」功能。 依據本發明之實施例,網路應用程式在全部平台上可 提供相同功能。本發明之實施例允許一種新穎模式,暴露 一或多個圖形使用者介面構成體給使用者,該等構成體在 某些裝置類型上難以識別及/或作用其上。更明確言之,並 非仰賴使用定位游標來盤旋於可作用區上方,本發明之一 個實施例可識別應用程式400的全部可作用區及提供視覺 提示集合(「視覺提示415」),無論應用程式400是在哪個平 台上跑,該視覺提示集合皆為目測可見。針對各個平台可 訂製視覺提示415,如此給使用者提供顯著更新且改良的使 用者互動經驗。 第5 A - 5 C圖例示說明本發明之實施例,其中視覺提示可 用來進一步提升新穎模式用以與網路瀏覽器互動。為了達 成本實例之目的,假設使用者係使用電話機,但本發明之 範圍並非受如此所限。可在如先前討論之多種不同裝置上 體現。如第5A圖之例示說明,當在電話上接收到網質(例如
S 12 201232329 第4圖例示說明之應用程式400)時,網頁代碼(代碼500)可剖 析給代碼分析器模組500,可決定該網頁包括可作用區。技 藝界眾所周知今日網頁典型地係以HTML(超文字標記語 言)、XHTML(可擴充式超文字標記語言)及/或xml(可擴充 式標記語言)寫成。.網路瀏覽器典蜜地係仰賴網路布局引擎 (例如用於微軟公司網際網路探索者(Explorer)劉覽器的三 叉戟(Trident)/MSHTML)來將該語言剖析成DOM。DOM是 交叉平台及與語言獨立無關的慣用法,用以表示且與於 HTML、XHTML及XML文件裡的物件互動。雖然如此處係 就既有語言及慣用法作描述,但本發明之實施例並非受此 所限。熟諳技藝人士將顯然易知後來開發的網路標記語言 及/或慣用法可容易地調適來體現本發明之實施例。 網頁上的標籤可由DOM用來決定各個項目在網頁上的 位置(相對於其它項目)。因此之故,如圖例示說明,—旦代 碼分析器505識別網頁上的可作用區,有關該等可作用區的 資訊可鞏固加強。所收集與加強的f訊型別實例係 n 明於表51〇。更明確言之,於本實例中代瑪分析器地可 識別三個不同動作(X,’各自係相對應於特定 如「漂浮其上」,如圖所示)及針對各個動作的標鐵 如圖所示)。用於本例的漂浮其上可 稱呼,諸如倾、狀舰、滑上等。 一旦可作用區經識別,如〜__,㈣㈣ 明本發明之實闕如何可呈現_提示給㈣者。更_ 言之’如圖例示說明’於一個實施例中一旦檢測得可作
S 13 201232329 =存在於1頁,可顯示使用者選軸(選擇框52〇)。使 可選擇期望看的可作用區類別。於—個實施例中,使 用者可額外地運用姿勢來載明欲選擇的可作用區型別。依 據本^明之此—實關,使用者不僅可透過前述姿勢提供 f入…稱應用程式,另外可識別網路㈣器應用程式内 ㈣可作用區而無需直接互動。如此,舉例言之,各個可 一 !別可與數字相聯結的,舉例言之,藉豎起五 根心頭,本發明之實_可利用姿勢來 聯結的該項。 伴」”数子π 轉&的可作用區型別可以多種方式顯示在放大網 頁525上。於士 π 、、頁525之多個實例在此處係例示說明為放 ^ (&) (d),但本發明之實施例並非受此所限。放大 網W525(a)例如可包括覆疊列表,呈在可作用區彻内部使 可:^仙的全部動作項目的旁側選擇。另外,此等項目 〇 種^、匕方式顯示而未悖離本發明之實施例之精髓。 選擇項目举 、、貫^顯示及/或所顯示的動作可以是任一 ^視見提7F (現覺提示53G),適合用於使用者在其上讀取該 頁的裝置。於此—電話機實例中,給定小型顯示幕,視 覺提不510可以文字表示用以鏈結。另外,使用者可被呈示 以小圖幟,今,i j、圖幟指示使用者用來作動該鏈結的姿勢。 於又另一個智l a ^ 賞C*例中’使用者單純可被呈示以部分網頁, 該網頁為作用態且可資用於選擇。 依據本發明之—實施例,一旦使用者可觀看視覺提示 且得a、’周頁上有可選擇的可作用i時,使用者可選擇視 14 201232329 覺提示51G,如第5C圖之例示說明。於本發明之—個實施例 中,使用者可利用姿勢(例如食指指向#,表示「選擇鍵結」) 來追縱鍵結。如前文討論,此一姿勢可經拍攝、識別、及 處理’然後使用者的輸人可路徑安排至網 者介面作錢人。舰制者可被呈如以的示範表演 (如鍵結所載明)。 第6A-C圖例示說明本發明之實施例。 圖例不說明,回頭參考第4圖之實例,其中可作用區4H)係 顯4網路割覽器彻内部的網頁上。所顯示的網頁可以是 ==台上跑的網路應用程式之顯示晝面,而與輸入震 LI 面獨立無關。依據一實施例,所顯示的網 於作用區410 ’當游標盤旋在該區上方(例示說明 於弟4圖)時顯示障藏資 L、臧以415 °依據本發明之實施例,當分 6_1、ΓΗ上有可作用區時,可出現視覺提示(視覺提示 _)來表示可作用區400。 於本實例中’視覺提示_騎指指向前方的小圖織。 發==見覺提示_也可以其它格式呈現而綱本 用用此處料勢傾幟,制者暸解可利 選擇可作用區410。當使用者透過任何輸入裝置而 子見β不嶋時’該動作可解譯為來自使用者的姿勢。 於—個實施例中’使用者可做出該小圖幟所顯示的 安勢’及如前述,—Α〜 旦該姿勢被拍攝且決定為輸入,該姿 姿勢處理模組m。於任—種情況下,使用者的 移動可轉譯成「拉 從鏈結」的請求,當接收到指令時,網 15 201232329 路瀏覽器130可追蹤鏈結,如第6C圖之例示說明,如此獲得 使用者先前所看不到的項目之整個列表。 第7圖例示說明依據本發明之實施例之初始化處理裎 序。更明確言之’如圖所示,多個姿勢(劉覽器姿勢或視覺 提不姿勢)可登錄於平台的姿勢框構。姿勢框構乃熟諳技藝 人士眾所周知,在此刪除其詳細說明部分以免遮掩本發明 之κ施例。一旦登錄時,此等姿勢可變成姿勢辨識框構的 邓分,後文當平台接收被視為姿勢的移動時可經存取。 乐圓马程圖例示說明本發明之一個實施例。雖然 文操作可描述為循序處理,但實際上許多操作可以平行』 或並列地進行。此外,於—或多個實施财,操作順序 以重排而未‘障離本發明之實施例之精髓。於7〇ι,網頁可 示在I置上。㈣代碼可於術分析來蚊網頁上是否存 ^壬何可作用^若是,則㈣3,於本發明之—個實施 欠藝可作用區可由視覺提示置換。於綱,使用者可藉做 與該網頁互動。於7〇5,使用者姿勢可藉移動拍攝. 組拍攝。一曰Ρ拍操,玆t t 日π初相攝, -已拍攝移動拍攝模組可於705提供 文勢檢測模組來決定該移動 、X移動: 挪,若經識料料為輪入。; 該動作前傳給姿勢處理 认’則妾勢檢測模組可j 姿勢存庫來決定使用者姿勢的=姿勢檢測模組可檢: 別且經轉譯為網路劇覽器:於708,一旦姿勢經1 可提供該輸人給網路劉覽器。…則於7G9,姿勢處理模ί 第9圖為流程圖進一步 例不說明依據本發明之—個實 16 201232329 施例,於前述步驟7G7姿勢處理模組 然後文操作可描料財處理,外;7_庫°雖 行及/或並列地進行。此外1 上❹操作可以平 订料於—或多個實施例中 序可以重排而未‘_本發明之實施 ”、 m > 備知。如圖例示說 :勢處理㈣於術檢查姿勢存庫,來藉於剛決 ^疋否為網路劉覽器來決定一動作 :=定該姿勢是否應解—::: ^£衫勢,_姿勢可於8Q3檢查來決定是否為視覺 :妾勢’顯示網頁上的隱藏項目。如此,舉例言之,可 t安勢來蚊料勢Η是可朗可作職的姿勢 2作用區裡的-個項目之姿勢、及/或在「隱藏」項目上 仃任何其它動作的姿勢。若㈣經決定為視覺提示姿 ’則姿勢輪入可藉移動拍攝模組拍*,然後於搬處 決定姿勢是否被輸入。 第10圖為流程圖例示說明依據本發明之實施例可體王見 額外視覺提*。軸後文操作可描料循核理,但實際 上許多操作可以平行及/或並列地進行。此外,於一或多^ 貫&例中’操作順序可α重排而未情離本發日月之實施例之 精髓。於1001,網路瀏覽器可將網頁载至平台上。依據本 發明之一個實施例,若於1002組配平台,則於1〇〇3使用者 可被呈現以適當視覺提示及放大網頁。否則,若平台並非 組配用於視覺提示,則可繼續顯示網頁而無視覺提示。 於1004,使用者可繼續與放大的網頁互動。於1〇〇5, 可檢查使肖者祕人緑定使詩是料圖騎視覺提示
S 17 201232329 及放大介面的作動。若使用者輸入係將視覺提示解除作 動,則於1006可移除視覺提示及介面,網頁可演色回原先 網頁。若未接到此種輸入,則於1007使用者可繼續與放大 的網頁互動直到於1008載荷新網頁為止。 依據本發明之實施例的體系可在多種電腦敦置上體 現。依據一實施例,電腦裝置可包括多種其它眾所周知的 組件’諸如一或多個處理器,可以是精簡指令集運算(Rise) 引擎或特化處理引擎諸如圖形處理單元(GPU)、數位信號處 理器(DSP)或嵌入式微控制器。 處理器及機器可存取儲存媒體可使用橋接器/記憶體 控制器通訊式耦合,及處理器可執行儲存在機器可存取儲 存媒體的指令。此處機器可存取儲存媒體可包括但非限於 藉機器或裝置所製造或所製成的粒子之具體有形排列,包 括儲存媒體諸如硬碟、任何其它型別的碟片包括軟碟、光 碟、光碟-唯讀記憶體(CD-ROM)、光碟可覆寫式(CD-RW)、 及磁光碟、半導體裝置諸如唯讀記憶體化〇]^)、隨機存取 5己憶體(RAM)諸如動態隨機存取記憶體(DRAM)、靜態隨機 存取记憶體(SRAM)、可抹除可規劃唯讀記憶體(EpR〇M)、 决閃讀體、可電氣抹除可規劃唯讀記憶體(EEpR〇M)、磁 卡或光卡、或適合财電子指令之任何其它卵的媒體。 橋接裔/記憶體控制器可輕接至圖形控制器,及圖形控 制器可控制顯示資料在顯示器震置上的輸出。顯示器裝置 可包括觸覺敏感顯示器褒置(此處也稱「觸控榮幕」),其可 使用任-種觸覺敏感技術體現,諸如但非限於電容、電阻、
S 18 201232329 表面聲波(SAW)、紅外線、及光學成像。針對―個實施例 觸覺敏感顯示器裝置可使餘何適當多點觸控技術體現。 觸覺,感㈣H裝置例如包括可使用騎知技術體現的 顯不器,諸如液晶顯示器(LCD)。至少一個杂& 也丨、Sis 只知例之系統控 制邏輯可包括一或多個圖形控制器來提供〜 介面給觸覺敏感顯示器裝置。 3夕個顯示器 橋接器/記憶體控制器可耦接至一或多個 兀件中之一或多者可與處理器整合在單一 寻 4我體上或#田 夕個封裝體或晶粒。主機匯流排控制器諸如通用串: 排(USB)主機控制器可耦接至匯流排,多個裝置。列匯流 USB。舉例言之,使用者輸入裝置諸如鍵盤:滑:轉:至 於電細裝置以供輸入資料。於其它實施例中,主 括 控制器可與多種其它互連標準可相容,包括 機匯4排 ^ 一 己太網路、+ 包位兀乙太網路、PCI、PCI快速、火線、鈇疋 、π ' WiFi > έ 外線及其它此等既有的及未來的標準。 、、工 前文說明書中,已經參考特定具體實施例 明。但須瞭解可未悖離如隨附之申請專利範圍列二本發 明之廣義精軌範圍做出多項修改及變化。因此+、本發 明書及圖式須視為說明性而非限制性意義。之故,説 【圖式簡單說明】 第1圖顯示本發明之一實施例; 第2圖顯示依據本發明之一實施例於轉譯 的資訊集合; 伟裝置裡 第3圖顯示依據本發明之一實施例於轉譯儲存譽置、
S 19 201232329 的另一資訊集合; 第4圖顯示本發明之一實施例; 第5A-5C圖顯示本發明之一實施例; 第6A-6C圖顯示本發明之一實施例; 第7圖顯示依據本發明之實施例之初始化實例; 第8圖為例示說明之本發明之一實施例之流程圖; 第9圖為例示說明之本發明之一實施例之流程圖;及 第10圖為例示說明之本發明之一實施例之流程圖。
S 【主要元件符號說明】 100...使用者 500...代碼 105...攝影機 505…代碼分析器 110...加速度計 510...表 115...姿勢檢測模組 515...標籤 120...姿勢處理模組 520...選擇框 125...姿勢存庫 525 (a)-(d)…放大網頁 130、405...網路瀏覽器 530、600...視覺提示 400...應用程式 801 -809 > 901 -904 Ί 001 -1008.. 410.. .可作用區 415.. .隱藏資訊、隱藏文字 處理方塊、步驟 20
Claims (1)
- ^〇1232329 七、申請專利範圍: ι〜種方法’其係包含: 識別指向在一裴置上執行之一網路瀏覽器的使用 者動作’該網路觀11執行網路㈣n應隸式來顯示 一網頁; 識別該等❹者動作為輸人姿勢(gesture); 處理該等輸入姿勢而決定-網路劇覽器行為;及 心供^^網路/1彳覽$行為給該網路劉覽器應用程式。 申明專利範圍第1項之方法,其中指向該網路瀏覽器 之成等使用者動作進—步包含該使用者之—手部動 作、眼部動作或一身體動作中之一者。 如申請專利範㈣1項之方法,其中朗該等使用者動 作為輸入姿勢進-步包含衫與該輸人姿勢相聯結的 一移動。 如申請專利範圍第3項之方法,其中處理該等輪入姿勢 而决疋該動作進—步包含處理與該輸入姿勢相 聯結的移動而決定—相對應網路«器行為。 =申請專利範圍第4項之方法,其中處理與該使用者動 作相聯結的移動進—步包含: 存取通訊式輕接至該網路瀏覽器之-姿勢存庫; 識別該姿勢存庫内部之該移動;及 選擇與該姿勢存庫内部所識別之該移動相 網路瀏覽器行為。 其中識別該等使用者動 6.如申請專利範圍第1項之方法, S 21 201232329 作進一步包含下列中之一者: 識別指向該網路瀏覽器應用程式之一實體使用者 姿勢;或 解譯在該網頁上之一視覺提示來決定一邏輯使用 者姿勢。 7. 如申請專利範圍第1項之方法,其中解譯該視覺提示進 一步包含: 分析對於該網頁之代碼; 識別在該網頁上之一或多個可作用區;及 以一或多個視覺提示置換該等一或多個可作用區。 8. —種其上儲存有指令之機器可存取裝置,該等指令當由 一機器執行時使得該機器: 識別指向在一裝置上執行之一網路瀏覽器的使用 者動作,該網路瀏覽器執行網路瀏覽器應用程式來顯示 一網頁; 識別該等使用者動作為輸入姿勢; 處理該等輸入姿勢而決定一網路瀏覽器行為;及 提供該網路瀏覽器行為給該網路瀏覽器應用程式。 9. 如申請專利範圍第8項之機器可存取裝置,其係更進一 步於其上儲存有指令,該等指令當由一機器執行時使得 該機器識別該等使用者動作包含該使用者之一手部動 作、眼部動作或一身體動作中之一者。 10. 如申請專利範圍第9項之機器可存取裝置,其係更進一 4 步於其上儲存有指令,該等指令當由一機器執行時使得 3 22 201232329 該機器藉由決定與該輸入姿勢相聯結的一移動而識別 相對應於該等使用者姿勢之動作。 11. 如申請專利範圍第10項之機器可存取裝置,其係更進一 步於其上儲存有指令,該等指令當由一機器執行時使得 該機器藉由處理與該輸入姿勢相聯結的該移動而決定 一相對應網路瀏覽器行為而處理該等輸入姿勢來決定 該瀏覽器動作。 12. 如申請專利範圍第11項之機器可存取裝置,其係更進一 步於其上儲存有指令,該等指令當由一機器執行時使得 該機器: 存取通訊式耦接至該網路瀏覽器之一姿勢存庫; 識別該姿勢存庫内部之該移動;及 選擇與該姿勢存庫内部所識別之該移動相對應的 網路瀏覽器行為。 13. 如申請專利範圍第12項之機器可存取裝置,其係更進一 步於其上儲存有指令,該等指令當由一機器執行時使得 該機器藉下列中之一者識別該等使用者動作: 識別指向該網路瀏覽器應用程式之一實體使用者 姿勢;或 解譯在該網頁上之一視覺提示來決定一邏輯使用 者姿勢。 14. 如申請專利範圍第13項之機器可存取裝置,其係更進一 步於其上儲存有指令,該等指令當由一機器執行時使得 該機器藉下列而解譯該視覺提示: 23 201232329 分析對於該網頁之代碼; 識別在該網頁上之一或多個可作用區;及 以一或多個視覺提示置換該等一或多個可作用區。 15. —種方法,其係包含: 分析一網頁來決定該網頁上之可作用區;及 改變該等可作用區之一視覺表示型態來顯示該等 可作用區之一特定平台視圖給該使用者。 16. 如申請專利範圍第15項之方法,其中分析一網頁進一步包 含檢查界定該網頁之代碼來識別該網頁上之可作用區。 17. 如申請專利範圍第16項之方法,其中改變該等可作用區 之該視覺表示型態來顯示該等可作用區之一特定平台 視圖給該使用者進一步包含顯示一或多個視覺提示來 表示該等可作用區中之各者。 18. 如申請專利範圍第17項之方法,其中該等視覺提示包含 該網頁之一小圖幟(icon)、文字及一縮小部分。 19. 如申請專利範圍第18項之方法,其中該小圖幟表示一姿勢。 20. —種其上儲存有指令之機器可存取裝置,該等指令當由 一機器執行時使得該機器: 分析一網頁來決定該網頁上之可作用區;及 改變該等可作用區之一視覺表示型態來顯示該等 可作用區之一特定平台視圖給該使用者。 21. 如申請專利範圍第20項之機器可存取裝置,其中該等指 令當由一機器執行時更進一步使得該機器檢查界定該 網頁之代碼來識別該網頁上之可作用區。 S 24 201232329 22. 如申請專利範圍第20項之機器可存取裝置,其中該等指 令當由一機器執行時更進一步使得該機器顯示一或多 個視覺提示來表示該等可作用區中之各者。 23. 如申請專利範圍第20項之機器可存取裝置,其中該等指 令當由一機器執行時更進一步使得該機器顯示視覺提示 包含該網頁之一小圖幟、文字及一縮小部分中之一者。 24. 如申請專利範圍第20項之機器可存取裝置,其中該等指 令當由一機器執行時更進一步使得該機器顯示表示一 姿勢之一小圖織。 S 25
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/978,082 US9575561B2 (en) | 2010-12-23 | 2010-12-23 | Method, apparatus and system for interacting with content on web browsers |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201232329A true TW201232329A (en) | 2012-08-01 |
TWI521380B TWI521380B (zh) | 2016-02-11 |
Family
ID=46314976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100147988A TWI521380B (zh) | 2010-12-23 | 2011-12-22 | 用以與網路瀏覽器上的內容互動之方法、設備及系統 |
Country Status (7)
Country | Link |
---|---|
US (4) | US9575561B2 (zh) |
EP (3) | EP2656179B1 (zh) |
JP (1) | JP5658376B2 (zh) |
KR (1) | KR101493630B1 (zh) |
CN (1) | CN103270474B (zh) |
TW (1) | TWI521380B (zh) |
WO (1) | WO2012088515A2 (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9329839B2 (en) * | 2011-04-11 | 2016-05-03 | Data Systems International, Inc. | Multi-view form design |
US9575949B2 (en) | 2011-04-11 | 2017-02-21 | Data Systems International, Inc. | Multi-view runtime interrogator |
US8831794B2 (en) * | 2011-05-04 | 2014-09-09 | Qualcomm Incorporated | Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects |
US9400850B2 (en) * | 2011-05-31 | 2016-07-26 | Verizon Patent And Licensing Inc. | Systems and methods for providing a tailored user interface associated with a web page |
US9146665B2 (en) * | 2011-09-30 | 2015-09-29 | Paypal, Inc. | Systems and methods for enhancing user interaction with displayed information |
US9304646B2 (en) * | 2012-03-20 | 2016-04-05 | A9.Com, Inc. | Multi-user content interactions |
US9213420B2 (en) | 2012-03-20 | 2015-12-15 | A9.Com, Inc. | Structured lighting based content interactions |
US9373025B2 (en) * | 2012-03-20 | 2016-06-21 | A9.Com, Inc. | Structured lighting-based content interactions in multiple environments |
US9367124B2 (en) * | 2012-03-20 | 2016-06-14 | A9.Com, Inc. | Multi-application content interactions |
US9263084B1 (en) | 2012-06-15 | 2016-02-16 | A9.Com, Inc. | Selective sharing of body data |
US20150084859A1 (en) * | 2013-09-23 | 2015-03-26 | Yair ITZHAIK | System and Method for Recognition and Response to Gesture Based Input |
US9645651B2 (en) | 2013-09-24 | 2017-05-09 | Microsoft Technology Licensing, Llc | Presentation of a control interface on a touch-enabled device based on a motion or absence thereof |
EP3105676B1 (en) * | 2014-02-12 | 2022-10-19 | Nokia Technologies Oy | Method and apparatus for updating a firmware of an apparatus |
CN103941875B (zh) * | 2014-05-05 | 2017-06-13 | 成都理想境界科技有限公司 | 一种翻页方法、装置及终端 |
CN104020853A (zh) * | 2014-06-23 | 2014-09-03 | 暨南大学 | 基于Kinect的操纵网络浏览器的系统及方法 |
US9594489B2 (en) | 2014-08-12 | 2017-03-14 | Microsoft Technology Licensing, Llc | Hover-based interaction with rendered content |
KR101595958B1 (ko) * | 2014-08-27 | 2016-02-18 | 엘지전자 주식회사 | 영상표시장치 및 영상표시장치 동작방법 |
CN104484035A (zh) * | 2014-12-04 | 2015-04-01 | 北京百度网讯科技有限公司 | 基于体感设备的控制方法、装置和系统 |
CN104536674B (zh) * | 2014-12-12 | 2018-05-11 | 北京百度网讯科技有限公司 | 一种用于在移动设备中对网页执行操作的方法和装置 |
ITUB20156909A1 (it) * | 2015-12-10 | 2017-06-10 | At Media S R L | Sistema per il controllo e la visualizzazione interattiva di contenuti multimediali |
CN105872691A (zh) * | 2015-12-14 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 浏览器控制方法及装置 |
CN109416573B (zh) * | 2016-07-12 | 2022-04-12 | 三菱电机株式会社 | 设备控制系统 |
CN106354363A (zh) * | 2016-08-26 | 2017-01-25 | 珠海市魅族科技有限公司 | 一种消息的处理方法和装置 |
CN106774829B (zh) * | 2016-11-14 | 2021-04-02 | 平安科技(深圳)有限公司 | 一种对象控制方法和装置 |
NZ762548A (en) * | 2017-09-15 | 2022-02-25 | Abundant Robotics Inc | Doubles end-effector for robotic harvesting |
CN110489689B (zh) * | 2018-05-09 | 2022-04-29 | 中移(苏州)软件技术有限公司 | 一种页面内容更新方法、装置、电子设备及存储介质 |
WO2020223172A1 (en) * | 2019-04-28 | 2020-11-05 | Apple Inc. | Presenting user interfaces that update in response to detection of a hovering object |
CN110300228A (zh) * | 2019-06-29 | 2019-10-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6282512B1 (en) * | 1998-02-05 | 2001-08-28 | Texas Instruments Incorporated | Enhancement of markup language pages to support spoken queries |
US7797447B1 (en) * | 2000-07-10 | 2010-09-14 | Fuji Xerox Co., Ltd. | Data detector for creating links from web content for mobile devices |
US20040205568A1 (en) * | 2002-03-01 | 2004-10-14 | Breuel Thomas M. | Method and system for document image layout deconstruction and redisplay system |
EP1394692A1 (en) | 2002-08-05 | 2004-03-03 | Alcatel | Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal |
US7185284B2 (en) * | 2002-12-20 | 2007-02-27 | Motorola, Inc. | Method and apparatus for providing a hyperlink indication on a display for an image in a web page |
US7337185B2 (en) | 2003-04-30 | 2008-02-26 | Yahoo! Inc. | System and method for providing an improved graphical user interface for search |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7379566B2 (en) * | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
US8427426B2 (en) * | 2005-05-27 | 2013-04-23 | Sony Computer Entertainment Inc. | Remote input device |
US7975020B1 (en) * | 2005-07-15 | 2011-07-05 | Amazon Technologies, Inc. | Dynamic updating of rendered web pages with supplemental content |
US7814425B1 (en) * | 2005-12-30 | 2010-10-12 | Aol Inc. | Thumbnail image previews |
US20080016462A1 (en) * | 2006-03-01 | 2008-01-17 | Wyler Eran S | Methods and apparatus for enabling use of web content on various types of devices |
US20080189593A1 (en) * | 2006-11-20 | 2008-08-07 | Tim Baker | System and method for enabling flash playback of MP3 files available on a web page |
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
US7962444B2 (en) | 2008-05-19 | 2011-06-14 | Qualcomm Incorporated | System and method for presenting a contextual action for an indicator |
KR100978929B1 (ko) * | 2008-06-24 | 2010-08-30 | 한국전자통신연구원 | 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말 |
TWI367433B (en) | 2008-08-14 | 2012-07-01 | Acer Inc | Control method according to captured video |
KR101010283B1 (ko) | 2008-10-24 | 2011-01-24 | 삼성전자주식회사 | 휴대단말기의 웹 페이지 제공 방법 및 장치 |
US8132095B2 (en) * | 2008-11-02 | 2012-03-06 | Observepoint Llc | Auditing a website with page scanning and rendering techniques |
US20100185949A1 (en) * | 2008-12-09 | 2010-07-22 | Denny Jaeger | Method for using gesture objects for computer control |
JP5369769B2 (ja) * | 2009-03-05 | 2013-12-18 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
US20100241699A1 (en) * | 2009-03-20 | 2010-09-23 | Muthukumarasamy Sivasubramanian | Device-Based Control System |
JP5256109B2 (ja) * | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | 表示装置 |
US8499257B2 (en) * | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US20120005632A1 (en) * | 2010-06-30 | 2012-01-05 | Broyles Iii Paul J | Execute a command |
US20120092381A1 (en) * | 2010-10-19 | 2012-04-19 | Microsoft Corporation | Snapping User Interface Elements Based On Touch Input |
US8893054B2 (en) * | 2010-12-08 | 2014-11-18 | At&T Intellectual Property I, L.P. | Devices, systems, and methods for conveying gesture commands |
US9400850B2 (en) | 2011-05-31 | 2016-07-26 | Verizon Patent And Licensing Inc. | Systems and methods for providing a tailored user interface associated with a web page |
US9373025B2 (en) | 2012-03-20 | 2016-06-21 | A9.Com, Inc. | Structured lighting-based content interactions in multiple environments |
US9367124B2 (en) | 2012-03-20 | 2016-06-14 | A9.Com, Inc. | Multi-application content interactions |
US9304646B2 (en) | 2012-03-20 | 2016-04-05 | A9.Com, Inc. | Multi-user content interactions |
-
2010
- 2010-12-23 US US12/978,082 patent/US9575561B2/en active Active
-
2011
- 2011-12-22 TW TW100147988A patent/TWI521380B/zh active
- 2011-12-23 JP JP2013544884A patent/JP5658376B2/ja active Active
- 2011-12-23 CN CN201180061879.5A patent/CN103270474B/zh active Active
- 2011-12-23 EP EP11852170.7A patent/EP2656179B1/en active Active
- 2011-12-23 KR KR1020137016203A patent/KR101493630B1/ko active IP Right Grant
- 2011-12-23 EP EP22172977.5A patent/EP4075241A1/en active Pending
- 2011-12-23 WO PCT/US2011/067211 patent/WO2012088515A2/en active Application Filing
- 2011-12-23 EP EP20152770.2A patent/EP3660634B1/en active Active
-
2016
- 2016-12-30 US US15/395,857 patent/US10802595B2/en active Active
-
2020
- 2020-10-09 US US17/067,340 patent/US11204650B2/en active Active
-
2021
- 2021-12-21 US US17/558,434 patent/US20220164034A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210026456A1 (en) | 2021-01-28 |
EP2656179A4 (en) | 2016-11-02 |
JP2014503903A (ja) | 2014-02-13 |
CN103270474B (zh) | 2016-09-07 |
EP3660634B1 (en) | 2022-05-25 |
TWI521380B (zh) | 2016-02-11 |
WO2012088515A3 (en) | 2012-10-11 |
CN103270474A (zh) | 2013-08-28 |
US11204650B2 (en) | 2021-12-21 |
US10802595B2 (en) | 2020-10-13 |
EP2656179B1 (en) | 2020-01-22 |
US20220164034A1 (en) | 2022-05-26 |
EP3660634A1 (en) | 2020-06-03 |
KR101493630B1 (ko) | 2015-02-13 |
US9575561B2 (en) | 2017-02-21 |
JP5658376B2 (ja) | 2015-01-21 |
KR20130100353A (ko) | 2013-09-10 |
EP4075241A1 (en) | 2022-10-19 |
EP2656179A2 (en) | 2013-10-30 |
WO2012088515A2 (en) | 2012-06-28 |
US20170277270A1 (en) | 2017-09-28 |
US20120166974A1 (en) | 2012-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201232329A (en) | Method, apparatus and system for interacting with content on web browsers | |
CN109643210B (zh) | 使用悬停的设备操纵 | |
CN102221974B (zh) | 指示笔设置 | |
Villaroman et al. | Teaching natural user interaction using OpenNI and the Microsoft Kinect sensor | |
CN103649900B (zh) | 边缘手势 | |
CN106575203A (zh) | 与再现的内容的基于悬停的交互 | |
Henderson et al. | Opportunistic controls: leveraging natural affordances as tangible user interfaces for augmented reality | |
CN103646570B (zh) | 量身定做的操作系统学习体验 | |
AU2011369360A1 (en) | Edge gesture | |
AU2011369359A1 (en) | Edge gesture | |
CN108182022A (zh) | 支持页面聚焦的、基于触摸或手势的浏览体验的导航用户接口 | |
Cardoso et al. | Vr book: A tangible interface for smartphone-based virtual reality | |
Lee et al. | Press-n-paste: Copy-and-paste operations with pressure-sensitive caret navigation for miniaturized surface in mobile augmented reality | |
JP2018181294A (ja) | カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム | |
CN104025008A (zh) | 使能性能级联操作 | |
Barsotti et al. | A web framework for cross-device gestures between personal devices and public displays | |
US20140101567A1 (en) | System, method and computer program for interacting with data | |
Huang et al. | A comparative study on inter-device interaction: One-handed interaction vs two-handed interaction | |
Huang et al. | Investigating one-handed and two-handed inter-device interaction | |
Cardoso et al. | Marker-based Tangible Interfaces for Smartphone-based Virtual Reality | |
Madhuka et al. | HTML5 Based Email Client with Touch Enabled Advanced User Interface for Tabs and Tablets | |
Yang | Blurring the boundary between direct & indirect mixed mode input environments | |
da Silva Fernandes | A framework to adapt WIMP interfaces to No-Touch | |
Jeftha | Improving Touch Based Gesture Interfaces | |
JP2012198913A (ja) | 電子機器、検索制御方法、及び検索制御プログラム |