KR20130100353A - 웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템 - Google Patents

웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20130100353A
KR20130100353A KR1020137016203A KR20137016203A KR20130100353A KR 20130100353 A KR20130100353 A KR 20130100353A KR 1020137016203 A KR1020137016203 A KR 1020137016203A KR 20137016203 A KR20137016203 A KR 20137016203A KR 20130100353 A KR20130100353 A KR 20130100353A
Authority
KR
South Korea
Prior art keywords
machine
gesture
user
web page
web browser
Prior art date
Application number
KR1020137016203A
Other languages
English (en)
Other versions
KR101493630B1 (ko
Inventor
크리스토퍼 엘. 엘포드
하워드 피. 초이
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20130100353A publication Critical patent/KR20130100353A/ko
Application granted granted Critical
Publication of KR101493630B1 publication Critical patent/KR101493630B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

방법, 장치 및 시스템은 웹 브라우저와의 간접 원격 상호 작용을 가능케 해준다. 한 실시예에서, 원격 사용자 제스처는 캡처되어 웹 브라우저가 취해야 할 액션을 판정하도록 처리될 수 있다.

Description

웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR INTERACTING WITH CONTENT ON WEB BROWSERS}
저작권 공고
이 특허 서류의 공개 중 일부는 저작권 보호를 받는 자료를 포함하고 있다. 저작권 소유자는 특허 상표 청의 파일 또는 기록에 나타나 있는 대로 특허 서류 또는 특허 공개문을 누구라도 복사하는데 이의를 갖지 않지만, 그렇지 않다면 저작권 모두를 어떠한 것이라도 보유한다.
본 발명은 웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템에 관한 것이다.
개인용 컴퓨팅 기술 및 휴대폰 장치는 지난 10년간 급속하게 변화되어 왔다. 개인용 컴퓨팅(PC) 장치는 점차 대중적이 되어왔고 연산력의 증가와 더불어 노트북 및 태블릿과 같이 훨씬 더 소형화되는 폼 팩터(form factor)로 진화되어 왔다. 동시에, 휴대폰 시장은 단순히 음성 통화 장치라기보다는 이메일, 텍스팅 및 카메라 역량을 갖춘 개인용 정보 관리 장치로 진화되어 왔다. 그 결과, 크고 작은 PC 장치는 소비자가 일상의 삶을 살아가는데 필수적인 것이 되었다.
이들 장치가 계속해서 시장에 급속하게 퍼지고 소비자들이 갈수록 더 요령이 생김에 따라, 전통적인 PC-중심 입력 스킴과 PC-중심 사용자 인터페이스는 다채로운 최종 사용자 경험에 점차 장애가 되고 있다는 사실이 분명해졌다. 여기서 이용되는 구절 "PC-중심"은 마우스, 펜, 터치 스크린 또는 다른 그러한 기존의 인터페이스를 갖춘 전통적인 PC-기반 플랫폼을 지칭한다. 사용자들은 전통적인 PC-중심 장치와 같이 핸드헬드 스마트폰 또는 MID에서 애플리케이션을 활용하기를 원하며, 이는 애플리케이션 개발자들에게 다수의 다양한 도전과제를 제시한다. 예를 들어, 차지하는 공간이 큰 PC들을 위해 설계된 애플리케이션들은 연산력이 낮은 소형의 폼 팩터에서 실행하기가 어렵다(이들이 실행될 수는 있더라도). 예를 들어, 대부분 폼 팩터에 기인해서, 모바일 장치 애플리케이션들은 통상 PC-중심 장치들(예를 들어, 대화면, 스크린의 커서를 제어하는 마우스 또는 다른 그러한 장치, 등을 갖춘 장치들)에 이용가능한 유사한 애플리케이션들보다 축소되고/되거나 다른 기능을 갖추고 있다. 핸드헬드 장치 애플리케이션 피처(feature)들은 통상 기능 축소와 더불어 핸드헬드 장치를 위해 흔히 "지나치게 단순화되거나(dumbed down)" 축약(condense)된다.
그러한 변형된 애플리케이션의 가장 공통적인 예는 핸드헬드 장치에서 실행되는 통상적인 웹 브라우저이다. 이들 브라우저는 키보드, 마우스, 트랙볼 및/또는 트랙패드/터치패드와 같은 입력 장치를 이용하며 "커서"(텍스트 또는 포인터)가 스크린에서 이리저리 움직이는 PC-중심 패러다임을 기반으로 하기 때문에 통상적으로 제한된 브라우저 능력을 제공한다. 대안으로, 현재의 패러다임은 사용자가 손가락 또는 펜을 이용하여 장치에 입력을 제공할 수 있는 터치 스크린 입력을 수용할 수 있다. 터치 스크린 기술은 또한 PC-중심 환경하에서 설계되었으므로 통상 다양한 PC-중심 기능에 의존한다. 그러나, 이들 유형의 PC-중심 입력 장치들이 없다면, 핸드헬드 장치에서 실행되는 브라우저의 개발자들은 그들의 애플리케이션을 핸드헬드 장치에 적응시킬 수밖에 없을 것이다(통상은 기능을 축소시켜서).
기능 이외에도, PC-중심 애플리케이션의 기본적인 사용자 인터페이스는 또한 핸드헬드 장치의 제한된 스크린 리얼 에스테이트(real estate) 및 다른 제한 사항을 고려하여 수정되거나 재설계되어야할 수 있다. 브라우저의 예를 다시 보면, 핸드헬드 장치의 브라우저의 사용자 인터페이스가 PC-중심 플랫폼을 기반으로 한 오리지널 브라우저와 유사할지라도, 핸드헬드 인터페이스는 통상 핸드헬드 장치의 제한 사항을 보상할 수 있게 단순화된다. 이러한 요인은 핸드헬드 장치에서 이용가능한 입력 스킴을 상당히 제한시킴과 더불어서 기존의 PC-중심 사용자 상호작용 패러다임을 빠르게 구식으로 만들고 있다.
본 발명은 참조번호가 유사한 요소들을 지칭하고 있는 첨부 도면의 그림들에 제한이 아니라 예로서 도시되어 있다.
도 1은 본 발명의 한 실시예를 보여주고 있다.
도 2는 본 발명의 한 실시예에 따른 번역 저장소에 있는 정보의 세트를 보여주고 있다.
도 3은 본 발명의 한 실시예에 따른 번역 저장소 내의 정보의 다른 세트를 보여주고 있다.
도 4는 본 발명의 한 실시예를 보여주고 있다.
도 5a-5c는 본 발명의 한 실시예를 보여주고 있다.
도 6a-6c는 본 발명의 한 실시예를 보여주고 있다.
도 7은 본 발명의 실시예들에 따른 초기화의 예를 보여주고 있다.
도 8은 본 발명의 한 실시예를 보여주는 흐름도이다.
도 9는 본 발명의 한 실시예를 보여주는 흐름도이다.
도 10은 본 발명의 한 실시예를 보여주는 흐름도이다.
본 발명의 실시예들은 입력 장치 및 커서와 같은 전통적인 요소들과는 무관한 웹 브라우저를 다루기 위한 새로운 패러다임을 사용자에게 제공한다. 특히, 본 발명의 실시예들은 전통적인 입력 장치 및/또는 터치 스크린이 필요없이 제스처(gesture)로 웹 브라우저의 콘텐츠와 상호작용하는 방법, 장치 및 시스템을 제공한다. 여기서 이용되는 "제스처"는 손, 눈 및/또는 다른 신체 부분의 움직임들에 제한됨이 없이 이들을 포함하는 다양한 동작을 지칭한다. 단순성을 위해, 여기에 설명되는 예들 중 많은 예들이 손 제스처를 이용할 수 있지만 본 발명의 실시예들은 그에 한정되지 않는다. 이 명세서에서 이용되는, 구절 본 발명의 "하나의 실시예" 또는 "한 실시예"는 실시예에 관련하여 설명된 특정한 피처, 구조 또는 특징이 본 발명의 적어도 하나의 실시예에 포함되어 있음을 의미한다. 그러므로, 명세서 전반에 걸쳐 다양한 곳에 나타나는 구절 "하나의 실시예", "하나의 실시예에 따른" 등의 출현은 반드시 모두가 동일한 실시예를 지칭하는 것은 아니다.
게다가, 본 명세서에서 용어 "기기", "기계" 또는 "장치"에 대한 참조는 서버, 데스크톱 컴퓨팅 기기, 휴대용 컴퓨팅 기기(랩톱, 노트북, 넷북 및 핸드헬드를 포함해서), 셋톱박스, 및 게임 콘솔에 제한됨이 없이 이들을 포함해서, 다수의 싱글 또는 멀티-프로세서 기반 컴퓨팅 기기 중에서 임의 하나를 포함할 수 있다. 핸드헬드 기기는 셀 폰, 스마트폰, PDA(personal digital assistants), 모바일 인터넷 기기(MID), 랩톱, 디지털 카메라, 미디어 플레이어, 울트라 모바일 개인용 컴퓨터(UMPC) 및/또는 네트워크에서 로밍할 수 있고 네트워크에 접속할 수 있는 임의 컴퓨팅 기기를 포함할 수 있지만 이들에 제한되지 않는다.
본 발명의 실시예들은 플랫폼 또는 크기에 관계없이 사용자들이 웹 브라우저와의 맞춤 대화형 체험을 즐길 수 있게 해준다. 특히 본 발명의 실시예들은 외부의 물리적인 입력 기기와 무관함은 물론이고 입력 스크린 또는 표시 장치에 물리적인 터치를 할 필요성과도 무관하게, 사용자들이 제스처를 이용하여 웹 브라우저와 상호작용하는 것을 가능하게 해준다. 본 발명의 실시예들은 본 발명의 정신을 벗어나지 않고도 다양한 플랫폼에서의 구현을 위해 적응될 수 있다.
본 발명의 한 실시예에 따르면, 사용자들은 제스처를 이용하여 웹 브라우저 액션을 실행할 수 있다. 하나의 실시예에서, 제스처 입력 스킴은 가속도계 및 카메라 중 적어도 하나를 포함하는 모션 감지 소스, 제스처 검출 모듈, 및 제스처 처리 모듈을 포함할 수 있다. 모션 감지 소스, 제스처 검출 모듈 및 제스처 처리 모듈은 분리 구성요소로서 구현되고/구현되거나 본 발명의 실시예들의 정신을 벗어나지 않고 다양한 방식으로 조합될 수 있다. 그러므로, 예를 들어, 한 실시예에서, 모션 감지 소스와 제스처 검출 모듈은 결합이 되어 하나의 구성요소가 될 수 있다. 대안 실시예에서, 제스처 검출 모듈과 제스처 처리 모듈은 하나의 구성요소로 결합될 수 있다. 간결성을 위해, 다음의 설명은 각 모듈의 기능을 분리하여 논의한다. 다양한 실시예들에서, 모듈들의 기능은 이들이 구현을 위해 어떻게 결합(또는 비결합)이 이루어졌는지에 관계없이 동일하게 유지된다.
모션 감지 소스는 사용자가 만든 모션(예를 들어, 손 모션, 눈 모션, 몸 모션 등)을 식별하고 모션 데이터를 캡처한다. 이후 제스처 검출 모듈은 모션 데이터가 특정 움직임에 관한 것이고 플랫폼에 전달될 모션 이벤트가 아님을 판정한다. 다른 말로, 제스처 검출 모듈은 이것이 단순히 기기의 움직임이라기보다는 기기에 입력을 제공하는 제스처임을 판정한다. 이 움직임은 제스처 처리 모듈에 제공될 수 있고, 이후 이 모듈은 이 움직임을 번역하여 사용자가 웹 브라우저 내에서 실행하고자하는 액션을 판정한다.
오늘날에는 다양한 모션 검출 기술이 존재하며 본 발명의 정신을 벗어나지 않고도 본 발명의 실시예에 활용될 수 있다. 그러한 모션 검출 기술의 예는 게임 플랫폼에 빈번하게 이용된다. 예를 들어, Nintendo® Corporation의 Wii 게임 플랫폼은 Wii의 리모콘에 가속도계를 이용한다. Wii의 리모콘에서 가속도계는 모션, 모션의 방향 및 속도 정보를 식별하고, 이는 베이스 Wii 유닛의 트랜시버와 결합하여 사용자의 액션들이 스크린에서 미믹(mimic)되게 해준다. 유사하게, Microsoft® Corporation의 최근 배포된 Kinect은 카메라를 이용하여 게임에 복제될 사용자 모션을 검출한다. 또한 다양한 용도를 위해 카메라-인에이블드 제스처-인지 기술을 이용하는 GestureTek®와 같은 회사로부터 출시된 다양한 다른 논-게임 제품도 있다.
본 발명의 실시예들은 웹 브라우저에 개선된 모션 기반 입력 스킴을 제공하기 위해 이들 기존의 모션 검출 기술을 이용한다. 구체적으로, 본 발명의 실시예들은 카메라 및/또는 가속도계 또는 이들 둘을 이용하여 제스처들을 감지하여 캡처하고, 제스처들이 웹 브라우저에 입력으로 의도된 것인지 확인하고, 이들 제스처를 사용자가 웹 브라우저에서 취하고자하는 특정 액션들의 인디케이터로 번역한다. 이와 같이, 예를 들어, 한 실시예에서, 사용자는 웹 브라우저의 스크린 영역으로 줌(zoom)하기 위해 풀 핸드 그랩 모션(full hand grab motion)을 실행할 수 있다. 이 실시예에 따르면, 카메라 및 가속도계(함께 모션 감지 소스를 구성함)는 액션의 데이터 스트림을 제스처를 검출하는 구성요소(제스처 검출 모듈)에 제공할 수 있다.
하나의 실시예에서, 제스처 검출 모듈은 플랫폼의 운영 시스템의 구성요소일 수 있고 움직임이 운영 시스템이 인식하는 모션 이벤트가 아님을 식별할 수 있다. 이후 제스처 검출 모듈은 모션이 웹 브라우저로의 입력을 위한 제스처로서 의도된 것임을 판정하고 이 모션을 제스처 처리 모듈에 제공할 수 있다. 이후 제스처 처리 모듈은 이 모션을 웹 브라우저 구성요소가 이해할 수 있는 액션으로 번역하고 이 액션을 웹 브라우저에게 알려준다. 하나의 실시예에서, 이러한 번역 처리는 특정 제스처를 특정한 브라우저 액션에 상관시키는 제스처 라이브러리를 이용할 수 있다. 적절한 브라우저 액션으로 번역되어 웹 브라우저에게 전송되면, 이 브라우저는 사용자가 의도한 액션을 실행할 수 있다.
이 예에서, 카메라는 풀 핸드 그랩을 캡처하여 이를 제스처 검출 모듈에 스트림(stream)할 수 있다. 제스처 검출 모듈은 데이터 스트림으로부터 풀 핸드 그랩 모션을 수신하고 그것이 입력으로서 의도된 것임을 판정한다. 제스처 검출 모듈은 이후 이 모션이 풀 핸드 그랩임을 제스처 처리 모듈에 알려줄 수 있다. 이후 제스처 처리 모듈은 제스처의 저장소를 검사하여 풀 핸드 그랩 모션이 어떤 액션으로 번역되어야 하는지를 판정하고 그것이 "줌" 요청인 것으로 판정되면 웹 브라우저 스크린의 적절한 영역으로 줌하도록 웹 브라우저에게 알려줄 수 있다. 이후 웹 브라우저는 줌을 이행하고 사용자가 원한 최종 결과를 사용자에게 제공할 수 있다.
도 1은 본 발명의 한 실시예의 일례를 보여주고 있다. 도시된 바와 같이, 사용자는 모션을 실행할 수 있다. 컴퓨팅 플랫폼(컴퓨팅 플랫폼 100)에 연결된 모션 감지 소스(카메라 105 및 가속도계 110을 총괄)은 풀 핸드 그랩 모션을 감지하여 캡처할 수 있고 액션의 모션 데이터 스트림을 제스처 검출 모듈(115)에 제공할 수 있다. 제스처 검출 모듈(115)은 모션을 검사하고 그것이 컴퓨팅 플랫폼(100)의 운영 시스템에 전송되어야 하는 모션 이벤트가 아님을 확인할 수 있다. 제스처 검출 모듈(115)은 이후 이 모션이 웹 브라우저에 대한 입력으로서 의도된 제스처임을 판정한 다음 이 정보를 제스처 처리 모듈(120)에게 제공할 수 있다.
제스처 검출 모듈(115)로부터 제스처 정보의 수신시, 제스처 처리 모듈(120)은 제스처 정보를 검사하고 이 정보를 번역 저장소(제스처 라이브러리 125)에 대조하여 처리할 수 있다. 본 발명의 한 실시예에서, 번역 저장소는 다양한 사용자 제스처와 웹 브라우저에서 실행될 특정 액션들의 매핑(mapping)을 포함한다. 이 예에서, 제스처 처리 모듈(120)은 풀 핸드 그랩 모션이 사용자의 "줌" 요청으로 번역됨을 판정할 수 있다. 제스처 처리 모듈(120)은 이후 사용자의 요청에 따라서 줌하라는 요청을 웹 브라우저(130)에게 전송할 수 있다.
본 발명의 한 실시예에 따르면, 제스처 검출 모듈(115)은 컴퓨팅 플랫폼(100)에서 실행되는 운영 시스템의 확장으로 구현될 수 있지만, 본 발명의 실시예는 그에 한정되지 않는다. 유사하게, 제스처 처리 모듈(120)은 웹 브라우저(130)의 확장으로 구현될 수 있지만, 본 발명의 실시예는 그에 한정되지 않는다. 대안 실시예에서, 제스처 처리 모듈(120)은 웹 브라우저(130)에 연결되는 독립적인 모듈일 수 있다.
도 2는 본 발명의 실시예들에 따른 제스처 라이브러리(125)에 저장된 정보의 예를 보여주고 있다. 특히, 도 2는 제스처 처리 모듈에 의해 번역될 수 있는 다양한 액션을 보여주고 있다. 예를 들어, 도 1에 대한 위의 설명에 따라, 사용자가 두 주먹을 함께 모으는 제스처를 취하면, 이 움직임은 카메라(105) 및 가속도계(110)에 의해 캡처되고, 제스처 검출 모듈(115)에 제공되어 이 모션이 제스처로서 식별된 다음 제스처 처리 모듈(120)에 전달될 수 있다. 제스처 처리 모듈(120)은 이 제스처를 제스처 라이브러리(125)에 있는 제스처 리스트에 비교할 수 있다. 도 2에 도시된 바와 같이, 제스처 처리 모듈(120)은 제스처 라이브러리(125)를 검사하고 사용자의 모션(두 주먹을 함께 모으는)이 "탭 클로즈"의 요청으로 번역됨을 판정할 수 있다. 제스처 처리 모듈(120)은 이 제스처를 탭을 클로즈하라는 지시로 대체할 수 있고 이 지시를 웹 브라우저(130)에게 제공할 수 있다.
유사하게, 도 3은 제스처 라이브러리(125)에 있는 정보의 예를 더 보여주고 있다. 이 예에서, 카메라 및 가속도계가 검출한 다양한 액션들은 제스처들로 번역될 수 있다. 이와 같이, 사용자가 가속도계(110)에 의해 검출되는 스윙 액션을 실행하면, 이 액션은 궁극적으로 사용자가 스윙하는 방향에 따라서 앞 또는 뒤로 페이지(page)하라는 요청으로서 웹 브라우저(125)에 전달될 수 있다. 본 발명의 다양한 실시예들에서, 웹 브라우저(125)에 대한 제스처 및 번역된 액션 요청의 리스트는 미리 정해진 기준에 따라 자동으로 또는 애플리케이션 개발자에 의해 수동으로 동적으로 갱신될 수 있는 리스트일 수 있다.
웹 브라우저를 조종하기 위한 새로운 패러다임의 제스처 기반 입력 스킴 이외에도, 본 발명의 실시예들은 부가적으로 웹 브라우저 내에서 다양하고 가능한 액션들을 식별하여 드러낼 수 있다. 전통적인 PC-중심 환경에서 보이는 통상적인 웹 페이지들은 마우스의 존재를 상정한다. 그러므로, 예를 들어, 웹 페이지들은 종종 사용자가 액션 가능한 영역 안에서 액션을 실행할 때까지(예를 들어, 마우스를 이 영역 위에 머물게(hover) 함)는 사용자에게 즉각 확연히 나타나지 않는 "액션 가능한 영역들"을 포함한다. 웹 페이지가 마우스 호버(hover)를 검출하면, 웹 페이지는 사용자에게 이용가능한 숨겨진 텍스트 또는 액션을 표시할 수 있다.
도 4는 본 발명의 한 실시예의 일례를 보여주고 있다. 도시된 바와 같이, 전통적인 PC-중심 웹 브라우저("웹 브라우저 405")용으로 개발된 애플리케이션("애플리케이션 400")은 종종 위치설정 커서가 미리 정한 기간 동안 그래픽 인터페이스의 액션 가능 영역("애플리케이션 영역 410") 위에 놓여있을 때 애플리케이션(400)이 이 영역에 속하거나 이 영역에 관련된 정보를 제공하는 부가의 텍스트(숨겨진 텍스트 415)를 표시하여 응답하는 규약을 이용한다. 그러므로, 이러한 환경에서, 사용자가 드러난 숨겨진 정보를 보자마자, 사용자는 실행을 위한 부가의 명령들(instructions) 중 하나를 선택할 수 있다(예를 들어, 사용자는 숨겨진 정보(415) 안에서 드러난 "Corporate Responsibility" 링크를 클릭해서 새로운 웹 페이지로 향할 수 있다).
그러나, 소형의 폼 팩터 기기(예를 들어, MIDs)에서는, 통상적으로 이러한 유형의 기능이 이용될 수 없다. 예를 들어, 터치 기반 기기에서는, 위치설정 커서가 없으면 이 기술의 이용이 어렵다. 입력 장치(예를 들어, 막대 스타일 TV 리모트)를 갖춘 핸드헬드 기기에서도, 사용자는 포인터를 특정 지점에 정밀하게 위치 설정하여 유지하기가 어렵다. 결과적으로, 이들 플랫폼에서 실행되는 웹 브라우저 애플리케이션들은 통상 이러한 "애플리케이션 영역" 기능을 포함하지 않는다.
본 발명의 실시예들에 따르면, 웹 애플리케이션들은 모든 플랫폼에서 동일한 기능을 제공할 수 있다. 본 발명의 실시예들은 몇몇 기기 유형에서는 식별 및/또는 액션을 취하는 것이 어려울 하나 또는 그 이상의 그래픽 사용자 인터페이스 구조를 사용자에게 노출하는 새로운 패러다임을 가능케 해준다. 특히, 액션 가능 영역 위에 호버하는 위치설정 커서의 이용에 의존하는 대신에, 본 발명의 한 실시예는 애플리케이션(400)의 모든 액션 가능 영역들을 식별할 수 있고 애플리케이션(400)이 실행되는 플랫폼에 관계없이 가시성일 수 있는 비주얼 큐(visual cues)("비주얼 큐(415)")의 집합을 제공할 수 있다. 비주얼 큐(415)는 각각의 플랫폼에 맞게 제작될 수 있어서, 사용자에게 상당히 새롭고 개선된 사용자 인터페이스 체험을 제공할 수 있다.
도 5a-5c는 웹 브라우저와의 상호작용을 위한 새로운 패러다임을 더 향상시키는데 비주얼 큐가 이용될 수 있는 본 발명의 실시예를 도시한다. 이 예의 목적을 위해, 사용자가 폰을 들고 있는 것으로 가정하였지만 본 발명의 실시예들은 앞서 설명한 바와 같이 다양한 기기에 구현될 수 있다. 도 5a에 도시된 바와 같이, 폰에 웹 페이지(예를 들어, 도 4에 도시된 애플리케이션 400)가 수신되면, 웹 페이지에 대한 코드(코드 500)는 코드 분석기 모듈(505)로 가서 분석(parse)될 수 있고, 코드 분석기 모듈(505)은 웹 페이지가 액션 가능 영역들을 포함하고 있음을 판정할 수 있다. 오늘날 웹 페이지는 통상적으로 HTML(HyperText Markup Language), XHTML(eXtensible HyperText Markup Language) 및/또는 XML(Extensible Markup Language)로 쓰여 진다는 것은 이 기술 분야에 잘 공지되어 있다. 웹 브라우저는 통상적으로 언어를 DOM으로 분석하기 위해 웹 레이아웃 엔진(예를 들어, 마이크로소프트 인터넷 익스플로러 브라우저용의 Trident/MSHTML)에 의존한다. DOM은 HTML, XHTML 및 XML 문서에서 객체를 표현하고 객체와 상호작용하기 위한 크로스-플랫폼 및 언어-독립 규약이다. 기존의 언어와 규약에 대해서 여기에 설명하였을 지라도, 본 발명의 실시예들은 그에 한정되지 않는다. 나중에 개발된 웹 마크업 언어 및/또는 규약들이 본 발명의 실시예들을 구현하는데 용이하게 적응될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 명백할 것이다.
웹 페이지의 태그(tag)들은 웹페이지의 다양한 아이템의 위치를 결정하는데(다른 아이템들에 비교해서) DOM에 의해 이용될 수 있다. 그러므로, 도시된 바와 같이, 코드 분석기(505)가 일단 웹 페이지의 액션 가능 영역들을 식별하면, 액션 가능 영역들에 대한 정보가 통합(consolidate)될 수 있다. 수집되어 통합된 정보 유형의 예가 표(510)에 도시되어 있다. 구체적으로, 이 예에서, 코드 분석기(505)는 3개의 서로 다른 액션(X, Y 및 Z)을 식별할 수 있고, 이들 액션 각각은 특정한 액션(예를 들어, 도시된 바와 같이 "floatover") 및 각 액션에 대한 태그(예를 들어, 도시된 바와 같이 <id=xyz>)에 해당한다. 이 예에서 이용된 용어 "floatover"는 호버, 마우스 호버, 마우스 오버 등과 같은 다른 용어로 지칭될 수 있다.
액션 가능 영역들이 도 5a에 도시된 바와 같이 식별되면, 도 5b는 본 발명의 실시예들이 비주얼 큐를 사용자에게 제시하는 방법을 보여주고 있다. 구체적으로, 도시된 바와 같이, 한 실시예에서, 액션 가능 영역들이 웹 페이지에 존재함이 판정되면, 사용자 선택 박스(선택 박스 520)가 표시될 것이다. 사용자는 그가 보기를 원하는 액션 가능 영역들의 유형을 선택할 수 있다. 한 실시예에서, 사용자는 선택을 위한 액션 가능 영역들의 유형을 특정하는데 제스처를 부가적으로 이용할 수 있다. 본 발명의 이 실시예에 따르면, 사용자는 앞서 설명한 바와 같이 제스처를 통해서 웹 애플리케이션에 입력을 제공할 수 있고 또한 직접 상호작용 없이도 웹 브라우저 애플리케이션 내의 액션 가능 영역들을 식별할 수 있다. 이와 같이, 예를 들면, 액션 가능 영역들의 유형 각각은 숫자에 관련될 수 있고, 예를 들어 본 발명의 실시예들은 숫자 5에 관련된 아이템을 "선택"하기 위하여 다섯 손가락을 들어올리는 제스처를 이용할 수 있다.
액션 가능 영역들의 선택된 유형은 이후 다양한 방식으로 증강된 웹 페이지(525)에 표시될 수 있다. 증강된 웹 페이지(525)의 다양한 예는 증강된 웹 페이지(525(a) - 525(d))로 여기에 도시되어 있지만, 본 발명의 실시예들은 이에 한정되지 않는다. 증강된 웹 페이지(525(a))는 예를 들어 액션 가능 영역(410) 내에서 사용자에게 이용가능한 모든 액션 아이템의 사이드 메뉴의 형태로 오버레이 리스팅(overlay listing)을 포함할 수 있다. 대안으로, 이들 아이템은 본 발명의 실시예들의 정신을 벗어남이 없이 다양한 다른 방식으로 표시될 수 있다.
메뉴 아이템들 및/또는 표시된 액션들의 실제 표시는 사용자가 웹 페이지를 읽고 있는 기기에 적합한 임의 유형의 비주얼 큐(비주얼 큐(530))일 수 있다. 이 예의 폰에서, 표시 스크린이 작은 경우, 비주얼 큐(530)는 링크를 위한 텍스트로 표현될 수 있다. 대안으로, 사용자가 링크를 작동하기 위해 이용할 수 있는 제스처를 나타내는 아이콘이 사용자에게 제시될 수 있다. 또 다른 실시예에서는, 선택을 위해 이용가능하고 액티브한 웹 페이지의 일부가 사용자에게 간단히 제시될 수 있다.
본 발명의 한 실시예에 따르면, 사용자가 비주얼 큐(510)를 보고서 페이지에 선택가능한 액션 가능 영역들이 있음을 인식하면, 사용자는 도 5c에 도시된 바와 같이 비주얼 큐(510)를 선택할 수 있다. 본 발명의 한 실시예에서, 사용자는 링크를 팔로우(follow)하기 위해 제스처(예를 들어, "링크 선택"을 지시하는, 앞을 가리키는 집게 손가락)을 이용할 수 있다. 앞서 논의한 바와 같이, 이 제스처는 캡처되고, 식별되어 처리될 수 있으며, 이후 사용자의 입력은 웹 브라우저의 사용자 인터페이스에 입력으로서 라우트(route)될 수 있다. 이후 사용자에게는 제품의 데모(demo)(링크에 의해 지정된 바와 같은)가 제시될 수 있다.
도 6a-6c는 본 발명의 한 실시예를 보여주고 있다. 구체적으로, 도시된 바와 같이, 액션 가능 영역(410)이 웹 브라우저(405) 내의 웹 페이지에 표시되어 있는 도 4의 예로 돌아가 보자. 표시된 웹 페이지는 입력 장치 및/또는 사용자 인터페이스에 관계없이 임의 플랫폼에서 실행되는 웹 애플리케이션의 표시일 수 있다. 한 실시예에 따르면, 표시된 웹 페이지는 액션 가능 영역(410)을 포함할 수 있고, 이 액션 가능 영역은 커서가 이 영역 위에 호버하고 있을 때 숨겨진 정보(415)를 표시한다(도 4에 도시됨). 페이지에 액션 가능 영역이 있음이 분석 및 판정되면, 본 발명의 실시예에 따라서, 액션 가능 영역(400)을 표현하는 비주얼 큐(비주얼 큐(600))가 나타날 수 있다.
제시한 예에서, 비주얼 큐(600)는 앞을 가리키는 집게 손가락의 아이콘이다. 앞서 논의한 바와 같이, 비주얼 큐(600)는 또한 본 발명의 실시예들을 벗어남이 없이 다른 포맷으로 제시될 수 있다. 이러한 제스처 아이콘의 이용을 통해서, 사용자는 그가 액션 가능 영역(410)을 선택하기 위해 이러한 제스처를 취할 수 있음을 바로 알 수 있다. 사용자가 임의 입력 수단을 통해서 비주얼 큐(600)를 선택할 때, 이 액션은 사용자로부터의 제스처로서 해석될 수 있다. 대안으로, 한 실시예에서, 사용자는 아이콘에 도시된 제스처를 취할 수 있고, 앞서 설명한 바와 같이, 이 제스처가 캡처되어 입력인 것으로 판정되면, 이 제스처는 제스처 처리 모듈(120)에 전달될 수 있다. 다른 시나리오에서, 사용자의 모션은 "링크를 팔로우하라(follow link)"는 요청으로 번역될 수 있다. 이 명령의 수신시에, 웹 브라우저(130)는 도 6c에 도시된 바와 같이 링크를 팔로우할 수 있고, 그러므로 이전에는 사용자의 뷰에 이용가능하지 않았던 전체 아이템의 리스트가 화면에 떠오른다.
도 7은 본 발명의 한 실시예에 따른 초기화 처리를 보여주고 있다. 구체적으로, 도시된 바와 같이, 다양한 제스처(브라우저 제스처 또는 비주얼 큐 제스처)가 플랫폼의 제스처 프레임워크에 등록될 수 있다. 제스처 프레임워크는 이 기술 분야의 통상의 지식을 가진자에게 잘 공지되어 있으며, 이에 대한 상세한 설명은 본 발명의 실시예들이 불명료해지지 않도록 생략한다. 일단 등록되면, 이들 제스처는 제스처 인식 프레임워크의 일부가 될 수 있고, 이후 플랫폼이 제스처인 것으로 여겨지는 모션을 수신할 때 액세스될 수 있다.
도 8은 본 발명의 한 실시예를 보여주는 흐름도이다. 다음의 동작들이 순차적인 처리로서 설명될 수 있을지라도, 이들 동작들 중 다수는 사실상 병렬 및/또는 동시에 실행될 수 있다. 게다가, 하나 또는 그 이상의 실시예에서, 동작들의 순서는 본 발명의 실시예들의 정신을 벗어남이 없이 재배열될 수 있다. 801에서, 웹 페이지가 장치에 표시될 수 있다. 웹 페이지를 위한 코드는 페이지에 임의 액션 가능 영역들이 존재하는지 여부를 판정하기 위해 802에서 분석될 수 있다. 존재하다면, 803에서, 본 발명의 한 실시예에서, 액션 가능 영역들이 비주얼 큐로 대체될 수 있다. 사용자는 804에서 제스처를 취해서 웹 페이지와 상호 작용할 수 있다. 사용자의 제스처는 805에서 모션 캡처 모듈에 의해 캡처될 수 있다. 캡처되면, 모션 캡처 모듈은 이 움직임을 805에서 제스처 검출 모듈에 제공하고 이 제스처 검출 모듈에서는 이 모션이 액션인지 또는 입력으로 해석되어야 하는 것인지 여부가 판정된다. 사용자의 입력인 것으로 식별되면, 제스처 검출 모듈은 이 액션을 806에서 제스처 처리 모듈에 전달할 수 있다. 제스처 검출 모듈은 사용자의 제스처의 의미를 판정하기 위해 807에서 제스처 라이브러리를 검사할 수 있다. 808에서 제스처가 식별되어 웹 브라우저용의 입력으로 번역되면, 809에서 제스처 처리 모듈은 이 입력을 웹 브라우저에 제공할 수 있다.
도 9는 본 발명의 한 실시예에 따른 제스처 처리 모듈이 단계 807에서 제스처 라이브러리를 검사하는 방법을 더 보여주는 흐름도이다. 다음의 동작들이 순차적인 처리로서 설명될 수 있을지라도, 이들 동작의 다수는 사실상 병렬 및/또는 동시에 실행될 수 있다. 게다가, 하나 또는 그 이상의 실시예에서, 동작들의 순서는 본 발명의 실시예들의 정신을 벗어남이 없이 재배열될 수 있다. 도시된 바와 같이, 제스처 처리 모듈은 901에서 제스처가 브라우저 제스처인지 여부를 판정해서 액션을 판정하기 위해 807에서 제스처 라이브러리를 검사한다. 그렇다면, 902에서, 모션 검출 모듈은 이 제스처가 입력으로서 해석되어야 하는지 여부를 판정한다. 그러나, 901에서 이 제스처가 브라우저 제스처가 아니라면, 이 제스처는 903에서 검사되어 그것이 웹 페이지에 숨겨진 아이템들을 보여주는 비주얼 큐 제스처인지 여부가 판정된다. 이와 같이, 예를 들어, 이 제스처는 그것이 액션 가능 영역들을 식별하기 위한 제스처인지 여부를 판정하기 위해서, 액션 가능 영역 내의 아이템을 선택하기 위해서 및/또는 "숨겨진" 아이템들에 있는 임의 다른 액션들을 실행하기 위해서 검사될 수 있다. 이 제스처가 비주얼 큐 제스처인 것으로 판정되면, 제스처 입력은 모션 캡처 모듈에 의해서 캡처된 다음 902에서 처리되어 제스처가 입력인지 여부가 판정된다.
도 10은 본 발명의 실시예들에 따른, 부가의 비주얼 큐들이 구현될 수 있음을 보여주는 흐름도이다. 다음의 동작들이 순차적인 처리로서 설명될 수 있을지라도, 이들 동작의 다수는 사실상 병렬 및/또는 동시에 실행될 수 있다. 게다가, 하나 또는 그 이상의 실시예에서, 동작들의 순서는 본 발명의 실시예들의 정신을 벗어남이 없이 재배열될 수 있다. 1001에서, 웹 브라우저는 웹 페이지를 플랫폼에 로딩할 수 있다. 본 발명의 한 실시예에 따르면, 플랫폼이 1002에서 환경 설정되면, 1003에서 사용자에게는 적절한 비주얼 큐 및 증강된 웹 페이지가 제시될 수 있다. 그렇지 않고, 플랫폼이 비주얼 큐를 위해 환경 설정되어 있지 않다면, 웹 페이지는 비주얼 큐 없이 계속 표시될 수 있다.
사용자는 1004에서 증강된 웹 페이지와 계속해서 상호작용할 수 있다. 사용자의 입력은 1005에서 검사되어 사용자가 비주얼 큐 및 증강된 인터페이스를 비활성화시키려고 시도하는지 여부가 판정된다. 사용자 입력이 비주얼 큐를 비활성화시키는 것이라면, 1006에서, 비주얼 큐 및 인터페이스는 제거될 수 있고 웹 페이지는 도로 오리지널 페이지로 복귀할 수 있다. 그러한 입력이 수신되지 않으면, 사용자는 새로운 웹 페이지가 1008에서 로드될 때까지 1007에서 증강된 웹 페이지와 계속 상호 작용할 수 있다.
본 발명의 실시예들에 따른 스킴은 다양한 컴퓨팅 장치에 구현될 수 있다. 한 실시예에 따르면, 컴퓨팅 장치는 RISC(Reduced Instruction Set Computer) 엔진 또는 그래픽 처리 유닛(GPU), 디지털 신호 처리 유닛(DSP) 또는 내장형 마이크로컨트롤러와 같은 전문화된 처리 엔진일 수 있는 하나 또는 그 이상의 프로세서와 같은 다양한 다른 잘 알려진 컴포넌트를 포함할 수 있다.
프로세서(들) 및 기계-액세스 가능 저장 매체는 브리지/메모리 컨트롤러를 이용하여 통신으로 연결될 수 있고, 프로세서는 기계-액세스 가능 저장 매체에 저장된 명령을 실행할 수 있다. 기계-액세스 가능 저장 매체는, 제한 없이, 하드 디스크, 플로피 디스크, 광학 디스크, 콤팩트 디스크 판독 전용 메모리(CD-ROM), 재기록가능 콤팩트 디스크(CD-RW) 및 자기-광학 디스크를 포함하는 다른 임의 유형의 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 소거가능 프로그래머블 판독 전용 메모리(EPROM), 플래시 메모리, 전기적 소거가능 프로그래머블 판독 전용 메모리(EEPROM)와 같은 반도체 장치, 자기 또는 광학 카드, 또는 전자 명령을 저장하기에 적합한 임의 다른 유형의 매체를 포함해서, 기계 또는 장치에 의해 제조 또는 형성된 유형의 물품의 배열(tangible arrangements of articles)을 포함할 수 있다.
브리지/메모리 컨트롤러는 그래픽 컨트롤러에 연결될 수 있고, 그래픽 컨트롤러는 표시 장치의 표시 데이터 출력을 제어할 수 있다. 표시 장치는, 예를 들어 제한없이, 용량성, 저항성, 표면 음파(SAW), 적외선 및 광학 이미징과 같은 임의 적절한 터치-감응 기술을 이용하여 구현될 수 있는 터치-감응 표시 장치(또한 여기서는 "터치스크린"으로 지칭됨)를 포함할 수 있다. 한 실시예를 위한 터치-감응 표시 장치는 임의 적합한 멀티-터치 기술을 이용하여 구현될 수 있다. 터치-감응 표시 장치는 예를 들어서 액정 표시 장치(LCD)에 적용된 기술과 같은 임의 적절한 표시 기술을 이용하여 구현될 수 있는 디스플레이를 포함할 수 있다. 적어도 한 실시예를 위한 시스템 제어 로직은 하나 또는 그 이상의 표시 인터페이스를 터치-감응 표시 장치에 제공하기 위한 하나 또는 그 이상의 그래픽 컨트롤러를 포함할 수 있다.
브리지/메모리 컨트롤러는 하나 또는 그 이상의 버스에 연결될 수 있다. 이들 요소들 중 하나 또는 그 이상은 단일 패키지에 또는 다수의 패키지 또는 다이(dies)를 이용하여 프로세서와 함께 집적될 수 있다. USB(Universal Serial Bus) 호스트 컨트롤러와 같은 호스트 버스 컨트롤러가 버스(들)에 연결될 수 있고, 복수의 장치들이 USB에 연결될 수 있다. 예를 들어, 키보드 및 마우스와 같은 사용자 입력 장치가 입력 데이터를 제공하기 위해 컴퓨팅 장치에 포함될 수 있다. 대안 실시예들에서, 호스트 버스 컨트롤러는 이더넷, 기가비트 이더넷, PCI, PCI 익스프레스, FireWire, 블루투스, 와이파이, 및 다른 그러한 기존 및 미래의 표준을 포함해서 다양한 다른 상호접속 표준과 호환될 수 있다.
이전의 명세서에서, 본 발명은 그의 특정한 전형적인 실시예들을 참조하여 설명되었다. 그러나, 첨부된 청구항들에 제시된 바와 같이 본 발명의 넓은 정신 및 범위를 벗어남이 없이 본 발명에 다양한 수정 및 변경을 가할 수 있음은 이해될 것이다. 따라서, 명세서와 도면은 제한적인 의미라 아니라 예시적인 것으로 고려되어야 한다.

Claims (24)

  1. 장치에서 실행되는 웹 브라우저 - 상기 웹 브라우저는 웹 페이지를 표시하기 위해 웹 브라우저 애플리케이션을 실행함 - 로 향한 사용자 모션들을 식별하는 단계;
    상기 사용자 모션들을 입력 제스처들로 식별하는 단계;
    웹 브라우저 액션을 판정하기 위해 상기 입력 제스처들을 처리하는 단계; 및
    상기 앱 브라우저 액션을 상기 웹 브라우저 애플리케이션에 제공하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 웹 브라우저로 향한 상기 사용자 모션들은 사용자의 손 모션, 눈 모션 또는 몸 모션 중 하나를 더 포함하는 것인 방법.
  3. 제1항에 있어서,
    상기 사용자 모션을 상기 입력 제스처들로서 식별하는 단계는 상기 입력 제스처에 관련된 움직임(movement)을 판정하는 단계를 더 포함하는 것인 방법.
  4. 제3항에 있어서,
    상기 브라우저 액션을 판정하기 위해 상기 입력 제스처를 처리하는 단계는 대응하는 웹 브라우저 액션을 판정하기 위해 상기 입력 제스처에 관련된 움직임을 처리하는 단계를 더 포함하는 것인 방법.
  5. 제4항에 있어서,
    상기 사용자 제스처에 관련된 움직임을 처리하는 단계는
    상기 웹 브라우저에 통신으로 연결된 제스처 라이브러리에 액세스하는 단계;
    상기 제스처 라이브러리 내에서 상기 움직임을 식별하는 단계; 및
    상기 제스처 라이브러리 내에서 식별된 움직임에 대응하는 웹 브라우저 액션을 선택하는 단계를 더 포함하는 것인 방법.
  6. 제1항에 있어서,
    상기 사용자 모션들을 식별하는 단계는
    상기 웹 브라우저 애플리케이션으로 향한 물리적인 사용자 제스처를 식별하는 단계; 또는
    논리적 사용자 제스처를 판정하기 위해 상기 웹 페이지의 비주얼 큐를 해석하는 단계를 더 포함하는 것인 방법.
  7. 제1항에 있어서,
    비주얼 큐를 해석하는 단계는
    상기 웹 페이지에 대한 코드를 분석하는 단계;
    상기 웹 페이지의 하나 또는 그 이상의 액션 가능 영역을 식별하는 단계; 및
    상기 하나 또는 그 이상의 액션 가능 영역을 하나 또는 그 이상의 비주얼 큐로 대체하는 단계를 더 포함하는 것인 방법.
  8. 기계-액세스 가능 장치로서,
    기계에 의해 실행될 때, 상기 기계가
    장치에서 실행되는 웹 브라우저 - 상기 웹 브라우저는 웹 페이지를 표시하기 위해 웹 브라우저 애플리케이션을 실행함 - 로 향한 사용자 모션들을 식별하고;
    상기 사용자 모션들을 입력 제스처들로 식별하고;
    웹 브라우저 액션을 판정하기 위해 상기 입력 제스처들을 처리하고;
    상기 앱 브라우저 액션을 상기 웹 브라우저 애플리케이션에 제공할 수 있게 해주는 명령들이 저장되어 있는 기계-액세스 가능 장치.
  9. 제8항에 있어서,
    상기 기계에 의해 실행될 때, 상기 기계가 상기 사용자의 손 모션, 눈 모션 또는 몸 모션 중 하나를 포함하는 사용자 모션들을 식별할 수 있게 해주는 명령들을 더 저장하고 있는 기계-액세스 가능 장치.
  10. 제9항에 있어서,
    상기 기계에 의해 실행될 때, 상기 기계가 상기 입력 제스처에 관련된 움직임을 판정함으로써 상기 사용자 제스처들에 대응하는 액션들을 식별할 수 있게 해주는 명령들을 더 저장하고 있는 기계-액세스 가능 장치.
  11. 제10항에 있어서,
    상기 기계에 의해 실행될 때, 상기 기계가 대응하는 웹 브라우저 액션을 판정하기 위해서 상기 입력 제스처에 관련된 상기 움직임을 더 처리함으로써 상기 입력 제스처들을 처리하여 상기 브라우저 액션을 판정할 수 있게 해주는 명령들을 더 저장하고 있는 기계-액세스 가능 장치.
  12. 제11항에 있어서,
    상기 기계에 의해 실행될 때, 상기 기계가
    상기 웹 브라우저에 통신으로 연결된 제스처 라이브러리에 액세스하고;
    상기 제스처 라이브러리 내에서 상기 움직임을 식별하고;
    상기 제스처 라이브러리 내에서 식별된 움직임에 대응하는 웹 브라우저 액션을 선택할 수 있게 해주는 명령들을 더 저장하고 있는 기계-액세스 가능 장치.
  13. 제12항에 있어서,
    상기 기계에 의해 실행될 때, 상기 기계가
    상기 웹 브라우저 애플리케이션으로 향한 물리적인 사용자 제스처를 식별하거나; 또는
    논리적 사용자 제스처를 판정하기 위해 상기 웹 페이지의 비주얼 큐를 해석함으로써 상기 사용자 모션들을 식별할 수 있게 해주는 명령들을 더 저장하고 있는 기계-액세스 가능 장치.
  14. 제13항에 있어서,
    상기 기계에 의해 실행될 때, 상기 기계가
    상기 웹 페이지에 대한 코드를 분석하고;
    상기 웹 페이지의 하나 또는 그 이상의 액션 가능 영역을 식별하고;
    상기 하나 또는 그 이상의 액션 가능 영역을 하나 또는 그 이상의 비주얼 큐로 대체함으로써 상기 비주얼 큐를 해석할 수 있게 해주는 명령들을 더 저장하고 있는 기계-액세스 가능 장치.
  15. 웹 페이지를 분석해서 상기 웹 페이지의 액션 가능 영역들을 판정하는 단계; 및
    상기 액션 가능 영역들의 플랫폼 특정 뷰를 사용자에게 표시하기 위해서 상기 액션 가능 영역들의 비주얼 표현을 변경하는 단계를 포함하는 방법.
  16. 제15항에 있어서,
    웹 페이지를 분석하는 단계는 상기 웹 페이지의 액션 가능 영역들을 식별하기 위하여 상기 웹 페이지를 정의하는 코드를 검사하는 단계를 더 포함하는 것인 방법.
  17. 제16항에 있어서,
    상기 액션 가능 영역들의 플랫폼 특정 뷰를 사용자에게 표시하기 위해서 상기 액션 가능 영역들의 비주얼 표현을 변경하는 단계는 상기 액션 가능 영역들 각각을 표현하기 위해 하나 또는 그 이상의 비주얼 큐를 표시하는 단계를 더 포함하는 것인 방법.
  18. 제17항에 있어서,
    상기 비주얼 큐는 아이콘, 텍스트 및 상기 웹 페이지의 축소된 부분을 포함하는 것인 방법.
  19. 제18항에 있어서,
    상기 아이콘은 제스처를 나타내는 것인 방법.
  20. 기계에 의해 실행될 때, 상기 기계가
    웹 페이지를 분석해서 상기 웹 페이지의 액션 가능 영역들을 판정하고;
    상기 액션 가능 영역들의 플랫폼 특정 뷰를 사용자에게 표시하기 위해서 상기 액션 가능 영역들의 비주얼 표현을 변경할 수 있게 해주는 명령들을 저장하고 있는 기계-액세스 가능 장치.
  21. 제20항에 있어서,
    상기 명령들은, 기계에 의해서 실행될 때, 또한 상기 기계가 상기 웹 페이지를 정의하는 코드를 검사하여 상기 웹 페이지의 액션 가능 영역들을 식별할 수 있도록 해주는 것인 기계-액세스 가능 장치.
  22. 제20항에 있어서,
    상기 명령들은, 기계에 의해서 실행될 때, 또한 상기 기계가 상기 액션 가능 영역들 각각을 표현하기 위해 하나 또는 그 이상의 비주얼 큐를 표시할 수 있게 해주는 것인 기계-액세스 가능 장치.
  23. 제20항에 있어서,
    상기 명령들은, 기계에 의해서 실행될 때, 또한 상기 기계가 아이콘, 텍스트 또는 상기 웹 페이지의 축소된 부분 중 하나를 포함하는 비주얼 큐를 표시할 수 있게 해주는 것인 기계-액세스 가능 장치.
  24. 제20항에 있어서,
    상기 명령들은, 기계에 의해서 실행될 때, 또한 상기 기계가 제스처를 나타내는 아이콘을 표시할 수 있게 해주는 것인 기계-액세스 가능 장치.
KR1020137016203A 2010-12-23 2011-12-23 웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템 KR101493630B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/978,082 US9575561B2 (en) 2010-12-23 2010-12-23 Method, apparatus and system for interacting with content on web browsers
US12/978,082 2010-12-23
PCT/US2011/067211 WO2012088515A2 (en) 2010-12-23 2011-12-23 Method, apparatus and system for interacting with content on web browsers

Publications (2)

Publication Number Publication Date
KR20130100353A true KR20130100353A (ko) 2013-09-10
KR101493630B1 KR101493630B1 (ko) 2015-02-13

Family

ID=46314976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137016203A KR101493630B1 (ko) 2010-12-23 2011-12-23 웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템

Country Status (7)

Country Link
US (4) US9575561B2 (ko)
EP (3) EP3660634B1 (ko)
JP (1) JP5658376B2 (ko)
KR (1) KR101493630B1 (ko)
CN (1) CN103270474B (ko)
TW (1) TWI521380B (ko)
WO (1) WO2012088515A2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575949B2 (en) 2011-04-11 2017-02-21 Data Systems International, Inc. Multi-view runtime interrogator
US9329839B2 (en) * 2011-04-11 2016-05-03 Data Systems International, Inc. Multi-view form design
US8831794B2 (en) * 2011-05-04 2014-09-09 Qualcomm Incorporated Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects
US9400850B2 (en) * 2011-05-31 2016-07-26 Verizon Patent And Licensing Inc. Systems and methods for providing a tailored user interface associated with a web page
US9146665B2 (en) 2011-09-30 2015-09-29 Paypal, Inc. Systems and methods for enhancing user interaction with displayed information
US9304646B2 (en) * 2012-03-20 2016-04-05 A9.Com, Inc. Multi-user content interactions
US9213420B2 (en) 2012-03-20 2015-12-15 A9.Com, Inc. Structured lighting based content interactions
US9373025B2 (en) * 2012-03-20 2016-06-21 A9.Com, Inc. Structured lighting-based content interactions in multiple environments
US9367124B2 (en) * 2012-03-20 2016-06-14 A9.Com, Inc. Multi-application content interactions
US9263084B1 (en) 2012-06-15 2016-02-16 A9.Com, Inc. Selective sharing of body data
US20150084859A1 (en) * 2013-09-23 2015-03-26 Yair ITZHAIK System and Method for Recognition and Response to Gesture Based Input
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
WO2015122890A1 (en) * 2014-02-12 2015-08-20 Nokia Corporation Method and apparatus for updating a firmware of an apparatus
CN103941875B (zh) * 2014-05-05 2017-06-13 成都理想境界科技有限公司 一种翻页方法、装置及终端
CN104020853A (zh) * 2014-06-23 2014-09-03 暨南大学 基于Kinect的操纵网络浏览器的系统及方法
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
KR101595958B1 (ko) * 2014-08-27 2016-02-18 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
CN104484035A (zh) * 2014-12-04 2015-04-01 北京百度网讯科技有限公司 基于体感设备的控制方法、装置和系统
CN104536674B (zh) * 2014-12-12 2018-05-11 北京百度网讯科技有限公司 一种用于在移动设备中对网页执行操作的方法和装置
ITUB20156909A1 (it) * 2015-12-10 2017-06-10 At Media S R L Sistema per il controllo e la visualizzazione interattiva di contenuti multimediali
CN105872691A (zh) * 2015-12-14 2016-08-17 乐视致新电子科技（天津）有限公司 浏览器控制方法及装置
JP6685397B2 (ja) * 2016-07-12 2020-04-22 三菱電機株式会社 機器制御システム
CN106354363A (zh) * 2016-08-26 2017-01-25 珠海市魅族科技有限公司 一种消息的处理方法和装置
CN106774829B (zh) * 2016-11-14 2021-04-02 平安科技（深圳）有限公司 一种对象控制方法和装置
NZ762548A (en) * 2017-09-15 2022-02-25 Abundant Robotics Inc Doubles end-effector for robotic harvesting
CN110489689B (zh) * 2018-05-09 2022-04-29 中移(苏州)软件技术有限公司 一种页面内容更新方法、装置、电子设备及存储介质
WO2020223172A1 (en) * 2019-04-28 2020-11-05 Apple Inc. Presenting user interfaces that update in response to detection of a hovering object
CN110300228A (zh) * 2019-06-29 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282512B1 (en) * 1998-02-05 2001-08-28 Texas Instruments Incorporated Enhancement of markup language pages to support spoken queries
US7797447B1 (en) * 2000-07-10 2010-09-14 Fuji Xerox Co., Ltd. Data detector for creating links from web content for mobile devices
US20040205568A1 (en) * 2002-03-01 2004-10-14 Breuel Thomas M. Method and system for document image layout deconstruction and redisplay system
EP1394692A1 (en) 2002-08-05 2004-03-03 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
US7185284B2 (en) * 2002-12-20 2007-02-27 Motorola, Inc. Method and apparatus for providing a hyperlink indication on a display for an image in a web page
US7337185B2 (en) 2003-04-30 2008-02-26 Yahoo! Inc. System and method for providing an improved graphical user interface for search
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
BRPI0606477A2 (pt) * 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7975020B1 (en) * 2005-07-15 2011-07-05 Amazon Technologies, Inc. Dynamic updating of rendered web pages with supplemental content
US7814425B1 (en) * 2005-12-30 2010-10-12 Aol Inc. Thumbnail image previews
US7877677B2 (en) * 2006-03-01 2011-01-25 Infogin Ltd. Methods and apparatus for enabling use of web content on various types of devices
US20080189593A1 (en) * 2006-11-20 2008-08-07 Tim Baker System and method for enabling flash playback of MP3 files available on a web page
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US7962444B2 (en) 2008-05-19 2011-06-14 Qualcomm Incorporated System and method for presenting a contextual action for an indicator
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
TWI367433B (en) 2008-08-14 2012-07-01 Acer Inc Control method according to captured video
KR101010283B1 (ko) * 2008-10-24 2011-01-24 삼성전자주식회사 휴대단말기의 웹 페이지 제공 방법 및 장치
US8578019B2 (en) * 2008-11-02 2013-11-05 Observepoint, Llc Monitoring the health of web page analytics code
US20100185949A1 (en) * 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
JP5369769B2 (ja) * 2009-03-05 2013-12-18 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
EP2409243A4 (en) * 2009-03-20 2013-04-17 Peel Technologies Inc CONTROL SYSTEM BASED ON A DEVICE
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US20120005632A1 (en) * 2010-06-30 2012-01-05 Broyles Iii Paul J Execute a command
US20120092381A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Snapping User Interface Elements Based On Touch Input
US8893054B2 (en) * 2010-12-08 2014-11-18 At&T Intellectual Property I, L.P. Devices, systems, and methods for conveying gesture commands
US9400850B2 (en) 2011-05-31 2016-07-26 Verizon Patent And Licensing Inc. Systems and methods for providing a tailored user interface associated with a web page
US9373025B2 (en) 2012-03-20 2016-06-21 A9.Com, Inc. Structured lighting-based content interactions in multiple environments
US9304646B2 (en) 2012-03-20 2016-04-05 A9.Com, Inc. Multi-user content interactions
US9367124B2 (en) 2012-03-20 2016-06-14 A9.Com, Inc. Multi-application content interactions

Also Published As

Publication number Publication date
CN103270474B (zh) 2016-09-07
US20170277270A1 (en) 2017-09-28
US20220164034A1 (en) 2022-05-26
US11204650B2 (en) 2021-12-21
WO2012088515A3 (en) 2012-10-11
EP2656179A4 (en) 2016-11-02
EP2656179A2 (en) 2013-10-30
WO2012088515A2 (en) 2012-06-28
EP4075241A1 (en) 2022-10-19
EP3660634B1 (en) 2022-05-25
US20120166974A1 (en) 2012-06-28
US20210026456A1 (en) 2021-01-28
JP5658376B2 (ja) 2015-01-21
CN103270474A (zh) 2013-08-28
US10802595B2 (en) 2020-10-13
EP2656179B1 (en) 2020-01-22
TWI521380B (zh) 2016-02-11
US9575561B2 (en) 2017-02-21
KR101493630B1 (ko) 2015-02-13
JP2014503903A (ja) 2014-02-13
TW201232329A (en) 2012-08-01
EP3660634A1 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
US11204650B2 (en) Method, apparatus and system for interacting with content on web browsers
US10444961B2 (en) Hover-based interaction with rendered content
US9013438B2 (en) Touch input data handling
CN102221974B (zh) 指示笔设置
JP6602372B2 (ja) コンテキスト情報に基づくタッチ表面の非アクティブ領域
US20060267958A1 (en) Touch Input Programmatical Interfaces
US20060282574A1 (en) Mechanism for allowing applications to filter out or opt into table input
US20170323585A1 (en) Assistive reading interface
US20170285932A1 (en) Ink Input for Browser Navigation
KR20140112296A (ko) 다중 터치에 대응하는 기능을 처리하기 위한 방법 및 그 전자 장치
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
GB2485221A (en) Selection method in dependence on a line traced between contact points
CN110945470A (zh) 可编程的多点触摸屏幕上键盘

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 6