KR20110028290A - 사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링 - Google Patents

사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링 Download PDF

Info

Publication number
KR20110028290A
KR20110028290A KR1020107028666A KR20107028666A KR20110028290A KR 20110028290 A KR20110028290 A KR 20110028290A KR 1020107028666 A KR1020107028666 A KR 1020107028666A KR 20107028666 A KR20107028666 A KR 20107028666A KR 20110028290 A KR20110028290 A KR 20110028290A
Authority
KR
South Korea
Prior art keywords
educational
animations
recording pad
pad tool
animation
Prior art date
Application number
KR1020107028666A
Other languages
English (en)
Other versions
KR101548524B1 (ko
Inventor
잔-크리스티안 마키에윅즈
제이슨 실비스
아드리안 가르사이드
레로이 비. 케일리
마누엘 클레멘트
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20110028290A publication Critical patent/KR20110028290A/ko
Application granted granted Critical
Publication of KR101548524B1 publication Critical patent/KR101548524B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

기록 패드 도구에 의해 인식된 수동 제스처를 설명하는 교육 애니메이션을 직관적으로 표면화하기 위한 컴퓨터 판독가능 매체들, 컴퓨터화된 방법들 및 컴퓨터 시스템들이 제공된다. 먼저, 기록 패드 도구에 질문하여, 터치스크린 인터페이스와 관련된 컴퓨팅 환경의 상황을 결정한다. 일반적으로, 이러한 결정은 기록 패드 도구에 의해 생성된 내용 입력 영역 내에 텍스트가 제공되는지에 기초하여 기록 패드 도구의 현재 조건을 인식하는 단계, 텍스트의 일부가 선택되는지에 기초하여 내용 입력 영역 내에 커서 도구의 포커스가 존재하는지를 확인하는 단계, 및 현재 조건 및 커서의 포커스에 기초하여 기록 패드 도구에서 어떤 액션들이 호출될 수 있는지를 확인하는 단계를 포함한다. 컴퓨팅 환경의 상황은 어떠한 교육 애니메이션들을 활성 상태로 승격시킬지를 식별하는 데 사용된다. 통상적으로, 승격된 교육 애니메이션들은 호출될 수 있는 것으로서 확인된 액션들과 관련된다.

Description

사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링{RENDERING TEACHING ANIMATIONS ON A USER-INTERFACE DISPLAY}
현재, 운영 체제들은 디스플레이 장치(예를 들어, 컴퓨터 모니터, 이동 장치 상의 스크린 등)에 표시되는 GUI 내에 학습 도구들을 표면화함으로써 사용자 지원의 제안을 돕는 다양한 유틸리티를 제공한다. 종종, 학습 도구들(예를 들어, 온라인 지원, 도움말 디렉토리들, 게시된 FAQ들 및 공개 라이브러리들)에 대한 액세스는 복잡한 도움말 메뉴 경로들에 의해 모호해진다. 또는, 이러한 학습 도구들의 존재는 그 안의 내용에 의해 도움을 받을 수 있는 사용자들에게 불명확하거나 완전히 알려지지는 않는다.
점점 더, 제스처들이 컴퓨팅 장치 내의 액션들을 유발하는 데 사용되고 있다. 이러한 제스처들은 터치스크린 장치에서 사용자에 의해 수행될 수 있다. 특히, 제스처들의 수행은 터치스크린 장치에 적용되고 해석을 위해 수기(hand-writing) 인식 소프트웨어로 전송되는 자연적 상호작용 움직임들을 수반한다. 이러한 자연적 상호작용 움직임들은 통상적으로는 실행하기가 간단하지만, 많은 사용자에게 새로우며, 경험이 많은 사용자들에게 반드시 직관적인 것은 아니다. 따라서, 어떤 제스처들이 제안되는지를 전달하고 제스처들을 수행하기 위한 적절한 기술을 가르치기 위한 학습 도구들이 절대적으로 필요하다. 그러나, 전술한 바와 같이, 이러한 학습 도구들은 쉽게 이용 가능하지 않으며, 통상적으로는 찾기가 어렵다. 따라서, 사용자 입력 제공의 대안 형태로서의 제스처들의 사용은 현재 사용자 입력 제공을 위한 전통적인 수단들을 사용할 때 더 효율적인 많은 사용자에 의해 거부된다.
따라서, 사용자에게 어떠한 제스처들이 현재 제안되는지 그리고 제안된 제스처들을 어떻게 적절히 수행할지를 시각적으로 가르치는, 사용자 인터페이스(UI) 디스플레이 상에 애니메이션된 제스처를 표면화하기 위한 직관적인 기술의 이용은 제스처들을 컴퓨팅 장치와 상호작용하기 위한 주요 기술로서 이용할 때 사용자의 경험을 향상시킬 것이다.
<발명의 요약>
이 요약은 아래의 상세한 설명에서 더 설명되는 개념들의 선택을 간단한 형태로 소개하기 위해 제공된다. 이 요약은 청구 발명의 중요한 특징들 또는 필수적인 특징들을 식별하는 것을 의도하지 않으며, 또한 청구 발명의 범위의 결정시에 보조물로서 사용하고자 하는 의도도 없다.
본 발명의 실시예들은 기록 패드 도구 내에서 내용을 조작할 때 UI 디스플레이 상에 교육 액션을 표면화하기 위한, 컴퓨터 실행가능 명령어들이 구현된 컴퓨터 판독가능 매체들, 컴퓨터 시스템 및 컴퓨터 처리 방법들을 제공한다. 특히, 수동 제스처를 설명하는 교육 애니메이션을 개시하기 위한 직관적인 기술들이 제공되는데, 그러한 수동 제스처가 적절히 수행될 때, 기록 패드 도구에서 액션이 호출된다.
먼저, 컴퓨팅 장치에서 컴퓨팅 환경의 상황(context)이 모니터링된다. 실시예들에서, 컴퓨팅 환경의 상황 또는 상태의 모니터링은 기록 패드 도구의 현재 조건을 결정하는 것; 기록 패드 도구에 의해 생성된 내용 입력 영역 내에서 커서 도구의 포커스를 식별하는 것; 및 현재 조건 및 커서 도구의 포커스에 기초하여 어떠한 액션들이 호출될 수 있는지를 확인하는 것 중 하나 이상을 수반한다. 상황, 그리고 특히 호출 가능한 액션들에 기초하여, 활성 상태로 승격시킬 교육 애니메이션들이 식별된다. 즉, 활성 상태로 승격된 교육 애니메이션들이 또한 현재 호출 가능한 것으로 확인된 액션들에 각각 맵핑된다. 이러한 활성 상태의 교육 애니메이션들의 표현들은 UI 디스플레이에 (예를 들어, 툴바 또는 개별 제스처 패널 상의 토글 버튼 또는 아이콘으로서) 제공될 수 있으며, 따라서 사용자에게 어떠한 제스처들이 수행 및/또는 설명될 수 있는지를 알릴 수 있다.
사용자 개시 입력이 터치스크린 인터페이스 상에 표면화된 기록 패드 도구와 연계하여 터치스크린 인터페이스에 적용되어, 운영 체제가 활성 상태의 교육 애니메이션들 중 하나 이상을 론칭하게 할 수 있다. 교육 애니메이션(들)을 론칭하기 위한 적절한 사용자 개시 입력은 터치스크린 인터페이스에서 교육 애니메이션의 표현을 지시하는 것(예를 들어, 아이콘 또는 토글 버튼이 표면화된 터치스크린 인터페이스의 위치와 접촉하는 것), 또는 교육 애니메이션에 맵핑된 수동 제스처에 대응하는 명령을 실행하는 것을 포함할 수 있다. 교육 애니메이션(들)이 론칭된다는 신호가 터치스크린 인터페이스에 렌더링될 수 있다. 일례에서, 렌더링은 기록 패드 도구에 의해 생성된 내용 입력 영역을 방해하지 않는 개별 디스플레이 영역에서 지시된 교육 애니메이션(들)을 재생하는 것을 포함한다. 통상적으로, 교육 애니메이션(들)의 재생은 예시적인 또는 목표화된 텍스트 상의 수동 제스처를 적절히 실행하는 모델 손/펜의 비디오를 보여주는 것을 포함한다. 사용자는 비디오의 시청시에 교육 애니메이션을 흉내 냄으로써 설명된 수동 제스처를 수행하려고 시도할 수 있다. 수동 제스처가 터치스크린 인터페이스에서 적절히 수행되고 수신되면, 어떠한 액션이 수신된 수동 제스처에 맵핑되는지에 기초하여 기록 패드 도구에서 액션(예컨대, 편집 액션 또는 관리 액션)이 호출된다. 실시예들에서, 관리 액션들은 단어 삽입 명령, 파일 열기 명령 또는 도구 닫기 명령 중 적어도 하나를 포함한다. 이와 달리, 편집 액션들은 단어 삭제 명령, 단어 연결 명령, 단어 분할 명령, 단어 수정 명령 또는 공간 추가 명령 중 적어도 하나를 포함한다.
본 발명은 첨부된 도면들을 참조하여 아래에 상세히 설명된다.
도 1은 본 발명의 실시예들을 구현하는 데 사용하기에 적합한 예시적인 컴퓨팅 환경의 블록도이다.
도 2는 본 발명의 일 실시예에 따른, 본 발명의 실시예들을 구현하는 데 사용하기에 적합한 예시적인 시스템 아키텍처의 개략도이다.
도 3은 본 발명의 일 실시예에 따른, 활성 상태의 교육 애니메이션들의 표현들과 연관된 표면화된 기록 패드 도구를 나타내는 사용자 인터페이스 디스플레이의 개략도이다.
도 4-7은 본 발명의 실시예들에 따른, 적절한 사용자 개시 입력의 인식시에 교육 애니메이션들의 프레임들을 보여주는 스테이지들을 나타내는 진행하는 UI 디스플레이들의 도면이다.
도 8 및 9는 본 발명의 일 실시예에 따른, 수동 제스처를 설명하는 교육 애니메이션을 개시하기 위한 프로세스, 즉 적절한 예시적인 시스템 아키텍처 상에서 구현되는 프로세스를 나타내는 동작 흐름도이다.
본 발명은 법정 요건을 충족시키기 위해 본 명세서에 구체적으로 설명된다. 그러나, 이 설명 자체는 본 특허의 범위를 제한하는 것을 의도하지 않는다. 오히려, 본 발명자들은 청구 발명이 다른 현재 또는 미래의 기술들과 관련하여 본 명세서에 설명되는 것들과 상이한 단계들 또는 유사한 단계들의 조합들을 포함하도록 다른 방식들로 구현될 수도 있다는 것을 고려하였다. 더욱이, 본 명세서에서 "단계" 및/또는 "블록"이라는 용어들은 이용되는 방법들의 상이한 요소들을 의미하는 데 사용될 수 있지만, 이러한 용어들은 개별 단계들의 순서가 명시적으로 설명되지 않는 한 그리고 명시적으로 설명될 때를 제외하고는 다양한 단계들 사이의 임의의 특정 순서를 의미하는 것으로 해석되지 않아야 한다.
본 발명의 실시예들은 어떠한 수동 제스처들이 실행을 위해 제안되는지를 지시하는 교육 애니메이션들의 표현들을 표면화하고, 적절한 사용자 개시 액션의 수신시에 교육 애니메이션(들)을 자동으로 론칭하여 기록 패드 도구에서 액션을 호출하는 적절히 실행되는 수동 제스처를 설명하기 위한, 컴퓨터 실행가능 명령어들이 구현된 컴퓨터 판독가능 매체들, 컴퓨터 시스템 및 컴퓨터 처리 방법들을 제공한다.
따라서, 일 양태에서, 본 발명의 실시예들은 실행시에 수동 제스처를 설명하기 위한 교육 애니메이션을 개시하기 위한 방법을 수행하는 컴퓨터 실행가능 명령어들이 구현된 하나 이상의 컴퓨터 판독가능 매체들을 제공한다. 먼저, 이 방법은 컴퓨팅 장치의 컴퓨팅 환경의 상황을 모니터링하는 단계를 포함한다. 상황에 기초하여, 활성 상태로 승격시킬 교육 애니메이션들이 결정된다. 이와 동시에 또는 이어서, 사용자 개시 입력은 컴퓨팅 장치의 터치스크린 인터페이스 상에 표면화된 기록 패드 도구와 연계하여 수신될 수 있다. 사용자 개시 입력에 기초하여, 활성 상태의 교육 애니메이션들 중 하나 이상이 론칭된다. 실시예들에서, 하나 이상의 교육 애니메이션들의 론칭의 지시가 터치스크린 인터페이스에 렌더링된다.
다른 양태에서, 어느 교육 애니메이션들을 활성 상태로 승격할지를 결정하기 위한 컴퓨터 처리 방법이 제공된다. 실시예들에서, 이 방법은 기록 패드 도구에 질문하여 터치스크린 인터페이스와 관련된 컴퓨팅 환경의 상황을 결정하는 단계를 포함한다. 일반적으로, 이러한 결정은 기록 패드 도구에 의해 생성된 내용 입력 영역 내에 텍스트가 제공되는지의 여부에 기초하여 기록 패드 도구의 현재 조건을 인식하는 단계; 텍스트의 일부가 지시되는지의 여부에 기초하여 내용 입력 영역 내에 커서 도구의 포커스가 존재하는지의 여부를 확인하는 단계; 및 현재 조건 및 커서의 포커스에 기초하여 기록 패드 도구에서 어떠한 액션들이 호출될 수 있는지를 확인하는 단계를 포함하지만, 이에 제한되지 않는다. 컴퓨팅 환경의 상황은 어떠한 교육 애니메이션들을 활성 상태로 승격시킬지를 식별하는 데 사용될 수 있다. 통상적으로, 이러한 식별은 특히 호출 가능한 액션들과 관련된 교육 애니메이션들을 선택하는 단계를 포함한다. 식별된 교육 애니메이션들은 활성 상태에 있는 것으로서 저장될 수 있다. 추가 실시예들에서, 이 방법은 수동 제스처에 대응하는 사용자 개시 명령을 수신하는 단계, 어느 교육 애니메이션이 수동 제스처에 맵핑되는지를 식별하는 단계, 및 식별된 교육 애니메이션을 자동으로 론칭하는 단계를 포함할 수 있다. 일 실시예에서, 론칭된 교육 애니메이션은 사용자 개시 명령에 맵핑된 액션의 호출과 동시에 수동 제스처를 수행하도록 사용자를 자극한다.
또 다른 양태에서, 본 발명의 실시예들은 교육 애니메이션을 론칭하기 위한 컴퓨터 실행가능 명령어들을 제공하는 하나 이상의 컴퓨터 저장 매체들 상에 구현된 컴퓨터 시스템에 관한 것이다. 일반적으로, 이 시스템은 다음 요소들, 즉 모니터링 컴포넌트, 선택 컴포넌트, 입력 컴포넌트, 론칭 컴포넌트 및 렌더링 컴포넌트를 포함하지만, 이에 제한되지 않는다. 모니터링 컴포넌트는 컴퓨팅 장치의 컴퓨팅 환경의 상황을 모니터링한다. 일례에서, 모니터링은 전술한 바와 같이 기록 패드 도구의 현재 조건의 검색을 포함한다. 선택 컴포넌트는 상황에 기초하여 어떤 교육 애니메이션들을 활성 상태로 승격시킬지를 결정한다. 입력 컴포넌트는 컴퓨팅 장치의 터치스크린 인터페이스 상에 표면화된 기록 패드 도구와 연계하여 사용자 개시 입력을 수신하도록 구성된다. 론칭 컴포넌트는 사용자 개시 입력에 기초하여 활성 상태의 교육 애니메이션들 중 하나 이상의 재생을 개시한다. 렌더링 컴포넌트는 재생되는 교육 애니메이션들을 터치스크린 인터페이스에 표면화된 디스플레이 영역 내에 표시한다. 실시예들에서, 교육 애니메이션들은 기록 패드 도구에 제공되는 내용을 편집하는 데 사용되는 수동 제스처의 비디오 명령을 제공한다.
일반적으로, 본 발명의 실시예들은 기록 패드 도구와 연계하여 사용자 개시 입력을 수신할 때 교육 애니메이션을 론칭하는 것과 관련된다. 본 명세서에서 사용될 때, "기록 패드 도구"라는 표현은 제한적인 것을 의도하는 것이 아니라, 동작중 언젠가 터치스크린 인터페이스를 통해 입력을 수신할 수 있는 임의의 애플리케이션을 포함할 수 있다. 예컨대, 기록 패드 도구는 터치스크린 인터페이스에 적용되는 수동 제스처들(예를 들어, 스크립트 제스처, 편집 제스처 등)을 수신하고, 이 수동 제스처들을 한 형태의 수기 인식 소프트웨어를 이용하여 해석하는 태블릿 퍼스널 컴퓨터(PC) 입력 패널(TIP)일 수 있다. 따라서, TIP는 부분적으로는 더 큰 유연성 및 더 자연스런 기록 경험을 제공하는 잉크 대 텍스트(ink-to-text) 절차를 구현하도록 설계된다. 다른 예들에서, 기록 패드 도구는 기록 패드, 캐릭터 패드, 온-스크린 저널 또는 화이트보드, 또는 물리적 개체(예를 들어, 손가락 끝, 스타일러스, 펜)에 의해 접촉될 때 입력을 검출하는 터치스크린 장치 상의 입력 영역을 노출하는 임의의 다른 도구를 포함할 수 있다. 또한, 기록 패드 도구는 전통적인 입력 장치(예를 들어, 키보드 또는 음성 인식)와 달리 펜을 이용하여 텍스트(예를 들어, ASCII 텍스트)를 입력하고, 펜에 의해 적용된 제스처들을 액션들로 변환하는 것을 허가하는 수기 인식 소프트웨어를 포함할 수 있다.
액션들로의 변환의 일 양태는 어떠한 액션들이 현재 작동을 위해 이용 가능한지 또는 작동을 가능하게 하는지를 식별하는 것과 관련된다. 일반적으로, 본 명세서에서 사용될 때, "액션들"이라는 용어는 기록 패드 도구에 의해 처리된 명령들의 결과를 지칭한다. 예를 들어, 명령들은 터치스크린에서 사용자 개시 입력에 의해 생성될 수 있다. 사용되는 사용자 개시 입력(예컨대, 인식된 제스처, 탭 선택 등)에 기초하여, 운영 체제 및/또는 기록 패드 도구는 특정 액션을 호출하는 대응 명령을 생성할 수 있다. 예를 들어, 터치스크린 장치에서 펜을 이용한 사용자 개시 드래그 이동은 사용자가 기록 패드 도구에 의해 생성된 내용 입력 영역에 내용을 추가하려고 시도하고 있는 기록 제스처로서 인식될 수 있다. 이 경우, 기록 제스처로 맵핑되는 드래프팅 액션이 호출되어, 사용자 개시 드래그 이동이 텍스트로 변환되고, 이 텍스트가 내용 입력 영역에 표시되게 한다.
다른 예에서, 특정 사용자 개시 드래그 이동은 편집 액션 또는 관리 액션에 맵핑되는 수동 제스처로서 인식될 수 있다. 통상적으로, 편집 액션은 호출시에 내용 입력 영역에 제공되는 내용에 대한 다양한 조작들 중 하나를 수행한다. 실시예들에서, 편집 액션은 다음 명령들, 즉 단어 삭제, 단어 연결, 단어 분할, 단어 정정 또는 공간 추가 중 적어도 하나를 포함할 수 있다. 통상적으로, 관리 액션은 호출시에 기록 패드 도구의 기능을 관리한다. 실시예들에서, 관리 액션은 다음 명령들, 즉 단어 삽입, 파일 열기 또는 도구 닫기 중 적어도 하나를 포함할 수 있다.
대응 액션들을 생성하기 위한 여러 상이한 제스처가 위에서 설명되었지만, 복수의 상이한 액션 카테고리에 맵핑되는, 터치스크린 인터페이스에 적용되는 다양한 다른 제스처들이 본 명세서에서 고려되며, 본 발명의 실시예들은 도시되고 설명되는 그러한 제스처들 및 액션들로 제한되지 않는다는 것을 이 분야의 통상의 전문가들은 이해하고 알아야 한다. 예컨대, 사용자 개시 탭 유형 입력은 토글 버튼을 누르기 위한 작동 액션에 맵핑되는 수동 제스처로서 인식될 수 있다.
실시예들에서는, 터치스크린 인터페이스에 적용되는 사용자 개시 드래그 동작으로부터 제스처가 인식될 수 있다. 터치스크린 인터페이스는 터치스크린 디스플레이, 용량성 터치스크린, 또는 관련 분야에 공지된 임의의 다른 촉각 입력 장치를 포함할 수 있다. 본 명세서에서 사용될 때, "드래그 이동"이라는 표현은 제한적인 것을 의도하는 것이 아니라, 임의의 일정한 스위프(sweep), 의사 연속 입력, 또는 표면을 가로지르는 드래깅 접촉을 되풀이하는 입력들의 반복 체인을 포함할 수 있다. 일례에서, 드래그 이동은 기록 패드 도구에 의해 표면화된 내용 입력 영역 내에서 또는 기록 패드 도구와 관련된 툴바 또는 제스처 패널에서의 물리적 개체(예를 들어, 스타일러스 또는 손가락의 일부)와 터치스크린 인터페이스 사이의 연속적인 접촉을 포함할 수 있다. 본 발명의 실시예들은 터치스크린 인터페이스에 적용되는 드래그 이동들과 관련하여 설명되지만, "수동 제스처들"이라는 표현에 의해 포괄되는 임의의 물리적 제스처를 고려한다. 예를 들어, 터치스크린 인터페이스로부터 소정 거리에서 가속도 감지 스타일러스를 흔드는 것은 수동 제스처를 포함할 수 있다.
본 발명의 실시예들의 개요 및 그 안에 특징지어지는 윈도 상태들 중 일부를 간단히 설명하였으며, 이하에서는 본 발명을 구현하는 데 적합한 예시적인 운영 환경이 설명된다.
일반적으로 도면들, 특히 도 1을 먼저 참조하면, 본 발명의 실시예들을 구현하기 위한 예시적인 운영 환경이 도시되고, 일반적으로 컴퓨팅 장치(100)로서 지시된다. 컴퓨팅 장치(100)는 적합한 컴퓨팅 환경의 일례에 불과하며, 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다. 컴퓨팅 장치(100)는 도시된 컴포넌트들 중 임의의 하나 또는 그 컴포넌트들의 임의의 조합과 관련하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안 된다. 일 실시예에서, 컴퓨팅 장치(100)는 통상의 컴퓨터(예를 들어, 퍼스널 컴퓨터 또는 랩톱)이다.
일 실시예에서, 본 발명은 일반적으로 개인 휴대 단말기 또는 기타 핸드헬드 장치와 같은 컴퓨터 또는 다른 기계에 의해 실행되는 프로그램 컴포넌트들과 같은 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 코드 또는 기계 사용가능 명령어와 관련하여 기술될 수 있다. 일반적으로, 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함하는 프로그램 컴포넌트는 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 코드를 지칭한다. 본 발명의 실시예들은 핸드헬드 장치, 가전제품, 범용 컴퓨터, 특수 컴퓨팅 장치 등을 포함하는 다양한 시스템 구성들에서 실시될 수 있다. 본 발명의 실시예들은 통신 링크를 통해 링크된 원격 처리 장치들에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다.
따라서, 컴퓨팅 장치(100)와 관련하여 전술한 컴포넌트들은 통신 네트워크에 상호접속된 이동 장치 내에도 포함될 수 있다. 본 명세서에서 설명되는 바와 같은 이동 장치는 임의의 유형의 이동 전화, 핸드헬드 장치, 개인 휴대 단말기(PDA), BlackBerry®, 스마트폰, 디지털 카메라, 또는 무선 통신이 가능한 다른 이동 장치들(랩톱 제외)을 지칭한다. 이 분야의 전문가는 이동 장치들이 다양한 기능들을 수행하기 위해 프로세서 및 컴퓨터 저장 매체들도 포함한다는 것을 알 것이다. 본 명세서에 설명되는 실시예들은 컴퓨팅 장치 및 이동 장치 양자를 지칭한다. 실시예들에서, 컴퓨팅 장치들은 이동 장치 내의 카메라에 의해 이미지들이 캡처되는 애플리케이션들을 실행하고 있는 장치들만을 지칭한다.
도 1을 계속 참조하면, 컴퓨팅 장치(100)는 다음 장치들, 즉 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 프레젠테이션 컴포넌트(116), 입/출력(I/O) 포트들(118), I/O 컴포넌트들(120) 및 예시적인 전원(122)을 직접 또는 간접적으로 결합하는 버스(110)를 포함한다. 버스(110)는 (어드레스 버스, 데이터 버스 또는 이들의 조합 등과 같은) 하나 이상의 버스일 수 있는 것을 나타낸다. 도 1의 다양한 블록들은 명료화를 위해 라인들로 표시되지만, 실제로 다양한 컴포넌트들의 윤곽은 그렇게 분명하지 않으며, 비유적으로 그러한 라인들은 더 정확하게는 흐리거나 희미할 것이다. 예를 들어, 디스플레이 장치와 같은 프레젠테이션 컴포넌트를 I/O 컴포넌트로서 간주할 수 있다. 또한, 프로세서들은 메모리를 구비한다. 이 분야의 전문가들은 그러한 것이 기술의 속성이며, 전술한 바와 같이, 도 1의 개략도는 본 발명의 하나 이상의 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치를 도시할 뿐이라는 것을 이해할 것이다. "워크스테이션", "서버", "랩톱", "핸드헬드 장치" 등과 같은 카테고리들 모두는 도 1의 범위 내에서 고려되고 "컴퓨팅 장치"를 지칭하므로, 이들 사이에는 차이가 없다.
컴퓨팅 장치(100)는 통상적으로 각종 컴퓨터 판독가능 매체를 포함한다. 예를 들어, 컴퓨터 판독가능 매체는 RAM; ROM; EEPROM; 플래시 메모리 또는 기타 메모리 기술; CDROM, DVD 또는 다른 광 또는 홀로그래픽 매체; 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치; 또는 본 명세서에 설명되는 실시예들과 관련된 데이터 및/또는 명령어들을 저장하도록 구성될 수 있는 유사한 유형 매체들을 포함할 수 있지만, 이에 제한되는 것은 아니다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 메모리는 이동식, 비이동식, 또는 이들의 조합일 수 있다. 예시적인 하드웨어 장치들은 고체 소자(solid state) 메모리, 하드 드라이브, 캐시, 광 디스크 드라이브 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 I/O 컴포넌트들(120)과 같은 다양한 엔티티들로부터 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 프레젠테이션 컴포넌트(들)(116)는 사용자 또는 다른 장치에 데이터 지시들을 제공한다. 예시적인 프레젠테이션 컴포넌트들은 디스플레이 장치, 스피커, 프린팅 컴포넌트, 진동 컴포넌트 등을 포함한다.
I/O 포트들(118)은 컴퓨팅 장치(100)가 I/O 컴포넌트들(120)을 포함하는 다른 장치들에 논리적으로 결합될 수 있게 하며, 그러한 장치들 중 일부는 내장될 수 있다. 예시적인 컴포넌트들은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 장치 등을 포함한다.
이제, 도 2를 참조하면, 본 발명의 실시예들을 구현하는 데 사용하기에 적합한 본 발명의 일 실시예에 따른 예시적인 시스템 아키텍처(200)의 개략도가 도시되어 있다. 도 2에 도시된 예시적인 시스템 아키텍처(200)는 하나의 적절한 컴퓨팅 환경의 일례에 불과하며, 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니라는 것을 이 분야의 통상의 전문가들은 이해하고 알 것이다. 또한, 예시적인 시스템 아키텍처(200)는 본 명세서에서 설명되는 임의의 단일 컴포넌트 또는 그 컴포넌트들의 임의의 조합과 관련하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안 된다.
또한, 예시적인 시스템 아키텍처(200)를 지원하는 운영 체제(220) 내의 논리는 컴퓨팅 장치(215) 내부의 처리 컴포넌트(225) 상에서 구현되거나, 원격 서버(도시되지 않음)와 같은 분산 컴퓨팅 환경으로부터 제공되거나, 이들의 임의의 조합일 수 있다. 분산 컴퓨팅 환경들에서 실시되는 본 발명의 실시예들에서, 논리 통신은 적절한 접속들을 통해 링크된다. 이러한 접속들은 유선 또는 무선일 수 있다. 본 발명의 범위 내에서, 특정 유선 실시예들의 예들은 USB 접속들 및 케이블 접속들을 포함한다. 본 발명의 범위 내에서, 특정 무선 실시예들의 예들은 단거리(near-range) 무선 네트워크 및 무선 주파수 기술을 포함한다. "단거리 무선 네트워크"의 지시는 제한적인 것을 의미하는 것이 아니라, 적어도 다음 기술들, 즉 협상된 무선 주변(NWP) 장치들; 단거리 무선 에어 인터페이스 네트워크들(예컨대, 무선 개인 영역 네트워크(wPAN), 무선 근거리 네트워크(wLAN), 무선 광역 네트워크(wWAN), 블루투스TM 등); 무선 피어 대 피어 통신(예를 들어, 초광대역); 및 장치들 사이의 데이터의 무선 통신을 지원하는 임의의 프로토콜을 포함하도록 넓게 해석되어야 한다는 것을 이해해야 한다. 또한, 본 발명의 분야에 정통한 사람들은 단거리 무선 네트워크가 다양한 데이터 전송 방법들(예컨대, 위성 송신, 원격 통신 네트워크 등)에 의해 실시될 수 있다는 것을 알 것이다. 따라서, 예를 들어, 컴퓨팅 장치(215)와, 처리 컴포넌트(225)의 일부 또는 전부를 수용하는 원격 서버 사이의 접속들의 실시예들은 설명되는 예들로 제한되는 것이 아니라, 다양한 통신 방법들을 포함한다는 점을 강조한다.
예시적인 시스템 아키텍처(200)는 처리 컴포넌트(225)의 동작을 부분적으로 지원하기 위한 컴퓨팅 장치(215)를 포함한다. 컴퓨팅 장치(215)가 예컨대 태블릿 PC인 일 실시예에서는, 터치스크린 인터페이스(250)가 컴퓨팅 장치(215)에 동작 가능하게 접속될 수 있다. 컴퓨팅 장치(215)는 다양한 유형의 컴퓨팅 장치의 형태를 취할 수 있다. 단지 예로서, 컴퓨팅 장치(215)는 퍼스널 컴퓨팅 장치(예를 들어, 도 1의 컴퓨팅 장치(100)), 핸드헬드 장치(예를 들어, 개인 휴대 단말기), 이동 장치(예를 들어, 랩톱 컴퓨터, 셀폰, 미디어 플레이어), 가전제품, 다양한 서버 등일 수 있다. 또한, 컴퓨팅 장치는 서로 정보를 공유하도록 구성되는 둘 이상의 전자 장치를 포함할 수 있다.
실시예들에서, 전술한 바와 같이, 컴퓨팅 장치(215)는 터치스크린 인터페이스(250), 및 운영 체제(220)가 설치된 처리 컴포넌트(225)(예를 들어, 하드웨어)를 포함한다. 컴퓨팅 장치(215)는 터치스크린 인터페이스(250) 상에 UI 디스플레이(251)를 제공하도록 구성된다. 처리 컴포넌트(225)에 동작 가능하게 결합될 수 있는 터치스크린 인터페이스(250)는 (도 2에 도시된 바와 같이) 사용자에게 정보를 표시하고 사용자로부터 정보를 수집할 수 있는 임의의 입출력 장치로서 구성될 수 있거나, 프레젠테이션 컴포넌트 및 입력 컴포넌트로부터 물리적으로 분리될 수 있다. 실시예들에서, 프레젠테이션 컴포넌트는 모니터, 전자 디스플레이 패널, 터치스크린, 액정 디스플레이(LCD), 플라즈마 스크린, 하나 이상의 발광 다이오드(LED), 백열 전구들, 레이저, 전기 발광 광원, 화학적 광원, 유연한 광 와이어 및/또는 형광등, 또는 임의의 다른 디스플레이 유형과 같이 사용자에게 내용을 표시하도록 적응되는 장치일 수 있거나, 시각적 정보가 투영되는 반사면을 포함할 수 있다. 일 실시예에서, 프레젠테이션 컴포넌트에 의해 렌더링되는 UI 디스플레이(251)는 기록 패드 도구(295)와 관련된 내용 입력 영역(235)을 제공하고 그리고/또는 툴바 또는 제스처 패널(도시되지 않음)을 표시하도록 구성된다. 다른 실시예에서, UI 디스플레이(251)는 하나 이상의 교육 애니메이션(도시되지 않음)의 론칭의 지시를 렌더링할 수 있다.
입력 컴포넌트는 많은 가운데 특히 사용자 개시 입력(들)(230)으로부터 인식되는 제스처로 맵핑되는 특정 액션의 호출에 영향을 미치는 사용자 개시 입력(들)(230)을 수신하기 위해 제공된다. 일 실시예에서, 입력 컴포넌트는 UI 디스플레이(251) 상에 표면화된 내용 입력 영역(235) 내에 렌더링되는 내용(210)에서 지시되는 사용자 개시 입력들(230)을 수신한다. 예시적인 입력 컴포넌트들은 터치패드, 도 1의 I/O 컴포넌트들(120), 또는 사용자 개시 입력(230)을 수신하고 그 입력의 지시를 처리 컴포넌트(225)로 전송할 수 있는 임의의 다른 컴포넌트를 포함한다.
단지 예로서, 입력 컴포넌트는 사용자 개시 입력(230)이 접촉한 곳의 좌표 위치(예를 들어, 사용자 개시 드래그 이동의 시작 위치), 사용자 개시 입력(230)이 접촉을 종료한 곳의 좌표 위치(예컨대, 사용자 개시 드래그 이동의 해제 위치), 및 이들 사이의 중간 좌표 위치들을 결정할 수 있다. 사용자 개시 입력(230)을 정의하는 이러한 좌표 위치들에는 타임스탬프가 첨부될 수 있으며, 아래에 더 충분히 설명되는 바와 같이, 입력 컴포넌트(265)는 이 타임스탬프를 이용하여 사용자 개시 입력으로부터 제스처를 해독한다. 또한, 이러한 좌표 위치들은 교육 애니메이션들 중 하나 이상을 론칭할지를 결정하기 위해 교육 애니메이션들을 나타내는 아이콘들의 위치들과 비교될 수 있다.
터치스크린 인터페이스(250)의 여러 상이한 구성들이 위에서 설명되었지만, 다양한 유형의 결합된 프레젠테이션 컴포넌트들 및 입력 컴포넌트들이 물리적 접촉으로부터 입력들을 수신하거나 터치스크린 인터페이스(250)로서 사용될 수 있으며, 본 발명의 실시예들은 도시되고 전술한 예들로 제한되지 않는다는 것을 이 분야의 통상의 전문가들은 이해하고 알아야 한다. 일 실시예에서, 프레젠테이션 컴포넌트 및 입력 컴포넌트는 전술한 기능을 동시에 수행하며, 물리적으로 결합되어 터치스크린 인터페이스(250)를 형성한다.
다른 실시예에서, 터치스크린 인터페이스(250)는 통신 장치(예컨대, 쌍을 이루는 펜)가 특정 근접도 내에 위치할 때 통신 장치에 (예를 들어, 터치스크린 인터페이스(250)의 표면 근처에서 호버링(hovering)할 때 쌍을 이루는 펜의 트랙킹 이동들 및 그 펜에 의해 제공되는 출력들에) 반응하는 액티브 디지타이저이다. 따라서, 간명화를 위해, 이하에서 입력 컴포넌트 및 프레젠테이션 컴포넌트는 단일 유닛 내에서 디스플레이 및 입력 요소 양자의 기능을 제공하는 터치스크린인 터치스크린 인터페이스(250)로서 공동으로 참조될 것이다.
운영 체제(OS)(220)는 일반적으로 처리 컴포넌트(225)의 자원들의 공유를 관리하고 프로그래머들에게 이러한 자원들에 액세스하는 데 사용되는 인터페이스를 제공하는 소프트웨어를 지칭한다. 동작에 있어서, 운영 체제(220)는 터치스크린 인터페이스(250)로부터 입력 데이터(260)로서 전달되는 사용자 개시 입력들(230)을 포함할 수 있는 시스템 데이터를 해석한다. 이에 응답하여, 운영 체제(220)는 다음과 같은 프로세스들을 특정 순서 없이 실행할 수 있는데, 즉 컴퓨팅 장치(215)의 컴퓨팅 환경의 상황을 모니터링하고 - 이러한 모니터링은 기록 패드 도구(295)의 현재 조건을 검색하는 것을 포함함 -; 상황에 기초하여 어떤 교육 애니메이션들을 활성 상태로 승격시킬지를 결정하고; 컴퓨팅 장치(215)의 터치스크린 인터페이스(250) 상에 표면화된 기록 패드 도구(295)와 관련하여 적용된 사용자 개시 입력(230)을 검출하고; 사용자 개시 입력(230)에 기초하여 활성 상태의 교육 애니메이션들 중 하나 이상을 론칭하고; 터치스크린 인터페이스(250)에서 론칭된 교육 애니메이션을 재생할 수 있다. 실시예들에서, 교육 애니메이션들(도시되지 않음)의 재생은 기록 패드 도구(295)에 제출된 내용을 편집하는 데 사용되는 적절히 실행된 수동 제스처의 비디오 지시를 렌더링하는 것을 포함한다.
일 실시예에서, 운영 체제(220)는 처리 컴포넌트(225) 상에서 실행되며, 기록 패드 도구(295)를 포함하는 애플리케이션들 중 하나 이상의 실행을 지원한다. 다른 실시예들에서, 운영 체제(220) 및/또는 기록 패드 도구(295)는 원격 위치의 컴퓨팅 장치 상에(예컨대, 다른 운영 체제 상에, 웹 어드레스를 통해 위치가 결정되는 서버 상에, 기타 등등에) 부분적으로 또는 완전히 위치할 수 있다.
이러한 운영 체제(220)의 운영 체제 구조는 처리 컴포넌트(225) 상에서 실행될 수 있는 적합한 구조의 일례에 불과하며, 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다. 또한, 예시되는 운영 체제(220)는 예시되는 바와 같은 입력 데이터(260)의 수신 또는 프레젠테이션 데이터(290)(예컨대, 교육 애니메이션에 관한 정보)의 터치스크린 인터페이스(250)로의 제공 중 어느 하나 또는 조합과 관련하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안 된다. 또한, 기록 패드 도구(295)는 운영 체제(220) 또는 처리 컴포넌트(225) 내에 통합될 수 있고, 성질에서 그리고 수에서 예시적이며, 제한적인 것으로 해석되지 않아야 한다.
일 실시예에서, 운영 체제(220)는 입력 컴포넌트(265), 모니터링 컴포넌트(270), 선택 컴포넌트(280), 론칭 컴포넌트(285), 렌더링 컴포넌트(275) 및 기록 패드 도구의 동작을 도움으로써 적절한 사용자 개시 입력(230)의 수신시에 교육 애니메이션들의 론칭을 돕는다. 이러한 운영 체제(220)의 예시적인 운영 체제 구조는 처리 컴포넌트(225) 상에서 실행될 수 있는 적절한 구조의 일례에 불과하며, 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다. 또한, 예시되는 운영 체제(220)는 예시되는 바와 같은 컴포넌트들(265, 270, 275, 280, 285, 295) 중 임의의 하나 또는 그 컴포너트들의 조합과 관련하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안 된다. 일부 실시예들에서, 컴포넌트들(265, 270, 275, 280, 285, 295) 중 하나 이상은 독립형 애플리케이션으로서 구현될 수 있다. 다른 실시예들에서, 컴포넌트들(265, 270, 275, 280, 285, 295) 중 하나 이상은 터치스크린 인터페이스(250) 또는 컴퓨팅 장치(215) 내에 직접 통합될 수 있다. 단지 예로서, 입력 컴포넌트(265)의 일부는 터치스크린 인터페이스(250) 상에 위치할 수 있으며, 따라서 물리적 개체(205)에 의해 그에 적용되는 사용자 개시 입력들(230)의 취득을 도울 수 있다. 이 분야의 통상의 전문가들은 도 2에 예시된 컴포넌트들(265, 270, 275, 280, 285, 295)이 성질에서 그리고 수에서 예시적이며, 제한적인 것으로 해석되지 않아야 한다는 것을 이해할 것이다.
따라서, 본 발명의 실시예들의 범위 내에서 원하는 기능을 달성하기 위하여 임의 수의 컴포넌트들이 이용될 수 있다. 도 2의 다양한 컴포넌트들은 명료화를 위해 라인들로 표시되지만, 실제로는 다양한 컴포넌트들/요소들을 묘사하는 것은 그렇게 명료하지 않으며, 은유적으로 라인들은 더 정확하게는 흐리거나 희미할 것이다. 또한, 도 2의 일부 컴포넌트들 및 장치들은 단일 블록들로서 도시되지만, 이러한 도시는 성질에서 그리고 수에서 예시적이며, 제한적인 것으로 해석되지 않아야 한다(예를 들어, 하나의 터치스크린 인터페이스(250)만이 도시되지만, 더 많은 터치스크린 인터페이스가 컴퓨팅 장치(215)에 동작 가능하게 결합될 수 있으며, 따라서 UI 디스플레이(251)를 제공하기 위해 함께 기능할 수 있다).
처음에, 모니터링 컴포넌트(270)는 컴퓨팅 장치(215)의 컴퓨팅 환경의 상황을 모니터링하도록 구성된다. 통상적으로, 모니터링은 기록 패드 도구(295)의 현재 조건을 검색하고 커서 도구(245)의 포커스(255)를 확인하는 것을 포함한다. 실시예들에서, 현재 조건의 검색은 기록 패드 도구(295)에 질문하여, 내용(210)(예를 들어, 텍스트, 영숫자 문자들, 이미지들, 기타 등등)가 기록 패드 도구(295)에 의해 생성된 내용 입력 영역(235) 내에 제공되는지에 기초하여 기록 패드 도구(295)의 현재 조건을 인식하는 것을 포함한다. 실시예들에서, 커서 도구(245)의 포커스(255)의 확인은 내용(210)의 일부가 지시되는지의 여부에 기초하여 커서 도구(245)의 포커스(255)가 내용 입력 영역(235) 내에 존재하는지를 결정하는 것을 포함한다. 예들에서, 포커스(255)는 삽입 포인트, 내용의 선택, 터치스크린 인터페이스(250) 상의 커서 도구(245)의 호버 위치, 또는 관련 분야에 공지된 UI 디스플레이(251) 상에 지시를 제공하기 위한 임의의 다른 방법일 수 있다. 예컨대, 도 2에 도시된 바와 같이, 포커스(255)는 내용(210) 안의 용어 "ME"의 "M"과 "E" 사이의 반짝이는 플레이스홀더이다.
현재 조건 및 커서 도구(245)의 포커스에 기초하여, 기록 패드 도구(295)에서 호출할 수 있는 액션들이 확인된다. 예를 들어, 내용 입력 영역(235) 내에 내용(210)이 존재하지 않을 때에는, 다른 소스들로부터 내용을 가져오기 위해 관리 액션들이 인에이블될 수 있다. 다른 예에서, 내용(210)이 내용 입력 영역(235)에 제공될 때에는, 내용(210) 안의 텍스트 또는 문자들에 대한 편집을 수행하기 위해 편집 액션들이 인에이블될 수 있다. 이러한 편집 액션들은 위에 더 충분히 설명되어 있다. 따라서, 특정 시간에 이용 가능해지는 액션들은 상황에 민감하며, 따라서 곧 있을 작업으로부터의 부적절한 액션들과 같은 임의의 사용자 전환들을 최소화한다. 또한, 본 명세서에는 명시적으로 설명되지 않지만, 상황에 민감한 환경에서 적절한 액션들을 식별하기 위해 다양한 다른 인자들이 모니터링될 수 있으며, 이러한 인자들은 관련 분야에 공지된 임의의 방식으로 전술한 모니터링된 인자들과 결합될 수 있다.
선택 컴포넌트(280)는 모니터링 컴포넌트(270)에 의해 확인된 바와 같은 상황 및/또는 호출을 위해 엔에이블된 액션들에 기초하여 어떤 교육 애니메이션들을 활성 상태로 승격시킬지를 결정하도록 구성된다. 일 실시예에서, 이러한 결정은 현재 호출 가능한 것으로 확인된 액션들을 식별하고, 인에이블된 액션들에 맵핑된 교육 애니메이션들을 활성 상태로 승격시키는 것을 포함한다. 예를 들어, 편집 액션들이 인에이블되는 경우, 정정, 삭제, 분할, 연결 또는 다른 편집 명령들을 위한 수동 제스처들을 설명하는 교육 애니메이션들이 활성 상태로 승격된다. 승격된 교육 애니메이션들의 표현을 표면화하는 도면이 도 3에 참조 번호 310으로 도시되어 있다. 다른 예에서, 모니터링 컴포넌트(270)에 의해 관리 액션들이 인에이블되는 경우, 내용 삽입, 파일 열기, 다른 파일/문서 관리 명령들, 또는 이들의 임의 조합을 위한 수동 제스처들을 설명하는 교육 애니메이션들이 활성 상태로 승격된다.
다른 실시예에서, 선택 컴포넌트(280)는 컴퓨팅 환경의 상황에 따라 하나 이상의 교육 애니메이션을 식별하도록 구성된다. 즉, 기록 패드 도구(275)의 상태 또는 운영 체제(220) 상에서 실행되는 임의의 다른 애플리케이션들의 상태 및/또는 입력(230)의 상태(예컨대, 사용자 개시 입력의 위치)에 기초하여, 적절한 교육 애니메이션들의 리스트가 생성된다. 따라서, 이러한 교육 애니메이션들의 리스트는 상황에 민감하며, 사용자가 상호작용하고 있는 기록 패드 도구(295)의 현재 상태에서 발생할 수 있는 질문들을 직관적으로 목표로 하도록 구성된다. 예를 들어, 컴퓨팅 환경의 상황이 사용자가 현재 작문을 하고 있고 작문을 편집하고 있음을 (즉, 내용 입력 영역(235) 내의 내용(210)을 검출함으로써) 지시하는 경우, 아마도 잠재적인 질문들은 제스처들을 통해 편집 액션들을 호출하는 것과 관련된다. 이러한 잠재적인 질문들에 대답하거나, 달리 말하면, 편집 액션들을 호출하기 위한 수동 제스처들을 적절히 수행하는 방법을 설명하는 교육 애니메이션들이 활성 상태로 승격된다.
따라서, 특정 제스처들이 관련될 때, 기록 패드 도구 또는 컴퓨팅 환경의 상태에 기초하여, 이러한 제스처들을 설명하는 교육 애니메이션들이 활성 상태로 승격된다. 그러나, 터치스크린 인터페이스(250)가 파워 다운되거나 오프라인되어, 수동 제스처들이 더 이상 사용자 개시 입력의 형태로서 기대되지 않는 경우, 어떠한 교육 애니메이션도 활성 상태로 승격되지 않을 수 있다. 소정의 임계치(예를 들어, 교육 애니메이션들의 표현들을 표면화하기 위해 할당된 스크린 공간의 제한된 영역에 의해 결정되는 수)에 의해 허가되는 것보다 많은 교육 애니메이션들이 활성 상태로 승격되는 경우, 필터링 프로세스가 개시되어, 덜 적절하거나 상황에 덜 민감한 교육 애니메이션들이 비활성 상태로 강등된다.
렌더링 컴포넌트(275)는 활성 상태로 승격된 교육 애니메이션들의 표현을 부분적으로 제공하도록 구성된다. 이제, 도 3을 잠시 참조하여, 활성 교육 애니메이션들의 표현을 제공하는 실시예들이 설명될 것이다. 본 명세서에서 설명되는 도면들 전반에서 실질적으로 유사한 특징들 또는 요소들은 공통 참조 번호들에 의해 일관성 있게 표시된다는 점에 유의해야 한다.
먼저, 도 3은 본 발명의 일 실시예에 따른, 활성 상태의 교육 애니메이션들(315)의 표현들과 관련된 표면화된 기록 패드 도구(295)를 나타내는 UI 디스플레이(251)의 개략도이다. 도 2의 렌더링 컴포넌트(275)의 일 실시예와 일관되게, 활성 상태로 승격된 교육 애니메이션들(315)의 표현을 제공하는 프로세스들은 표면화된 기록 패드 도구(295)에 인접하는 툴바(320)를, 교육 애니메이션(335)을 론칭하기 위한 선택 가능한 제어들(395)로 채우는 단계를 포함한다. 다른 실시예들에서, 활성 상태로 승격된 교육 애니메이션들(315)의 표현을 제공하는 프로세스들은 표면화된 기록 패드 도구(295)에 인접하는 터치스크린 인터페이스(220) 상에 표면화된 이동 가능한 제스처 패널(310) 상에 교육 애니메이션들(315)의 아이콘 표현들(311, 312, 313, 314)로 채우는 단계를 포함한다. 실시예들에서, 아이콘 표현들(311, 312, 313, 314)의 각각은 작동시에 그에 의해 표현되는 대응 교육 애니메이션(335)을 개시하는 토글 버튼(340)을 포함한다. 실시예들에서, 교육 애니메이션(315)의 표현에 맵핑된 액션을 시각적으로 나타내는, 토글 버튼들(340) 각각 내에 적힌 서술자가 제공된다. 예들에서, 서술자는 교육 애니메이션(335), 교육 애니메이션(315)의 표현적인 정적 묘사(341)(예를 들어, 제스처의 간단한 설명도), 아이콘들 내에서 사용되는 다른 공지된 지시자들, 또는 이들의 임의 조합을 설명하는 설명 텍스트(342)를 포함할 수 있다.
도 3에 도시된 실시예에서, 교육 애니메이션들(315)의 표현들은 정정 액션(아이콘 표현 311), 삭제 액션(아이콘 표현 312), 분할 액션(아이콘 표현 313) 및 연결 액션(아이콘 표현 314)과 같은 편집 액션들의 아이콘 표현들(311, 312, 313, 314)을 포함한다. 이러한 교육 애니메이션들(315)의 아이콘 표현들(311, 312, 313, 314)은 표면화된 기록 패드 도구(295)로부터 분리되어 이동 가능한 제스처 패널(310) 내에 표시될 수 있다. 즉, 제스처 패널(310)은 표면화된 기록 패드 도구(295)와 무관하게 터치스크린 인터페이스(220) 상에 떠다닌다. 다른 실시예에서, 편집 액션들(315)의 표현들은 툴바(320) 상에 배치되어 표면화된 기록 패드 도구(295)에 부착되는 선택 가능한 제어들(395)로서 구성될 수 있다. 통상적으로, 툴바(320) 상의 선택 가능 제어들(395)은 교육 애니메이션들(315)의 아이콘 표현들(311, 312, 313, 314)을 제스처 패널(310) 내의 토글 버튼들(340)로서 표현하도록 확대될 수 있다. 역으로, 제스처 패널(310) 내의 토글 버튼들(340)은 교육 애니메이션들(315)의 아이콘 표현들(311, 312, 313, 314)을 툴바(320) 상의 선택 가능 제어들(395)로서 표현하도록 축소될 수 있다. 확대 및 축소 프로세스들은 관련 분야에 공지된 임의의 공지 트리거(예컨대, 제어 버튼들)에 의해 실행될 수 있다.
또한, 교육 애니메이션들(315)의 표현들은 도 2의 렌더링 컴포넌트(275)를 이용하는 임의의 방법에 의해 표면화될 수 있다. 통상적으로, 교육 애니메이션들(315)의 표현들은 사용자에게 소정의 수동 제스처들을 적절히 수행하는 방법을 지시하기 위해 어떠한 교육 애니메이션들이 이용 가능한지를 보여준다. 이용 가능한 교육 애니메이션들(310)의 시각적 도해를 제공함으로써, 사용자는 내용(210)의 제공 또는 편집으로 애쓸 때 이러한 학습 보조물들을 이용하도록 촉구된다. 따라서, 이러한 학습 보조물들은 도움말 하위 메뉴들의 길고 비효율적인 검색 없이도 쉽게 발견될 수 있으며, 사용자가 적절한 안내 없이 부정확한 제스처들을 계속 입력하는 것을 방지한다.
도 2를 다시 참조하면, 입력 컴포넌트(265)는 입력 데이터(260)를 통해, 컴퓨팅 장치(215)의 터치스크린 인터페이스 상에 표면화된 기록 패드 도구(250)와 연계하여 하나 이상의 사용자 개시 입력(230)을 수신하도록 구성된다. 전술한 바와 같이, 사용자 개시 입력(230)은 터치스크린 인터페이스(250)에 대한 물리적 개체(205)의 드래그 이동, 또는 운영 체제(220)에 의해 검출될 수 있는 임의의 다른 수동 제스처 또는 명령일 수 있다. 일 실시예에서, 입력 컴포넌트(265)는 사용자 개시 입력(230)을 해석하고, 적절한 응답을 인식하도록 구성된다. 적절한 응답의 인식시, 입력 컴포넌트(265)는 응답을 론칭 컴포넌트(285)로 전송할 수 있다.
론칭 컴포넌트(285)는 입력 컴포넌트(265)에 의해 제공된 응답에 기초하여 활성 상태의 교육 애니메이션들 중 하나 이상의 재생을 개시하도록 구성된다. 구체적으로, 론칭 컴포넌트(285)는 선택 컴포넌트(280)와 통신하여, 컴퓨팅환경의 상황에 기초하여, 어떤 교육 애니메이션들이 활성 상태로 승격되는지, 또는 다시 말하면, 어떤 교육 애니메이션들이 렌더링될 수 있는지를 이해할 수 있다. 수신된 응답에 따라, 어떠한 활성 교육 애니메이션도 론칭되지 않거나, 하나 또는 복수의 활성 교육 애니메이션이 론칭된다.
일반적으로, 론칭 컴포넌트(285)는 입력 컴포넌트(265)로부터의 응답을 처리하여, 사용자 개시 입력(230)이 활성 교육 애니메이션이 론칭되어야 함을 지시하는지를 결정한다. 일례에서, 사용자 개시 입력(230)이 선택 가능 제어들(395)(도 3 참조) 중 하나에서 또는 토글 버튼들(340)(도 3 참조) 중 하나에서 적용되는 작동으로서 인식되는 경우, 작동된 선택 가능 제어 또는 작동되는 토글 버튼에 대응하는 교육 애니메이션이 론칭된다. 예를 들어, 도 3을 참조하면, 사용자 개시 탭 유형 입력이 정정 액션의 아이콘 표현(311)을 갖는 토글 버튼(340)을 작동시키거나 누르는 것을 포함하는 경우, 정정 액션을 호출하기 위해 적절히 수행되는 수동 제스처(345)를 설명하는 교육 애니메이션(335)이 론칭된다.
다른 예에서, 사용자 개시 액션이 수동 제스처에 대응하는 보조 명령을 수행하는 것을 포함하는 경우, 대응하는 수동 제스처를 설명하는 교육 애니메이션이 론칭될 수 있다. 예를 들어, 도 3을 참조하면, 내용 입력 영역(235)에 제공된 내용(210) 내에서 텍스트의 일부가 선택될 수 있다. 전술한 바와 같이, 텍스트의 선택된 부분은 포커스(255)로서 지정된다. 내용(210)의 선택된 부분을 정정하기 위한 보조 명령이 유발될 수 있다. 보조 명령은 수동 제스처 이외의 입력 방법을 이용하는 임의의 사용자 개시 입력일 수 있다. 도시된 예에서, 용어 "MANE"가 편집을 위해 선택되고, 보조 명령을 이용하여, 오기를 "MANY"로 정정하기 위해 키보드로부터 키 스트로크(도시되지 않음)가 입력된다. 이 예에서, 보조 명령의 검출시에, 론칭 컴포넌트(285)는 보조 명령에 대응하는 액션을 식별하도록 구성된다. 이 경우에 보조 명령은 포커스(255)에서 텍스트의 선택된 부분을 정정하는 데 이용되므로, 정정 액션은 보조 액션에 대응하는 것으로서 식별된다.
이어서, 정정 액션에 맵핑된 교육 애니메이션(335)은 텍스트의 선택된 부분에 정정 액션을 수행하는 것과 연속하여 또는 동시에 론칭된다. 따라서, 교육 액션(335)은 보조 명령에 의해 유발되는 액션을 호출하기 위한 수동 제스처가 이용 가능하고 그리고/또는 인에이블되는 것을 사용자에게 자동으로 지시한다. 또한, 교육 액션(335)은 보조 명령에 의해 지시되는 액션을 호출하기 위해 적절한 수동 제스처를 적절히 수행하는 방법을 사용자에게 자동으로 설명한다. 따라서, 사용자는 사용자가 익숙한 전통적인 입력들(예를 들어, 보조 명령들)과 달리, 입력을 제공하는 가속화된 형태들(예를 들어, 수동 제스처들)을 설명하는 자동으로 발견 가능한 학습 보조물을 제공받는다. 이러한 방식으로, 자동 론칭 교육 애니메이션들은 터치스크린 인터페이스에 입력들을 제공하기 위한 모든 범위의 이용 가능한 방법들을 사용자들에게 소개하고 친숙하게 하며, 사용자들에게 이러한 방법들을 이용하도록 격려한다.
교육 애니메이션을 론칭하기 위한 두 가지 상이한 접근법이 본 명세서에 설명되었지만, 교육 애니메이션을 론칭하는 다른 유형의 적절한 방법들이 이용될 수 있으며, 본 발명의 실시예들은 본 명세서에서 설명되는 바와 같이 제어/토글 버튼을 단순히 작동하거나 대응하는 보조 명령을 제공하는 것으로 제한되지 않는다는 것을 이 분야의 통상의 전문가들은 이해하고 알아야 한다. 예를 들어, 수동 제스처 또는 다른 형태의 사용자 개시 입력을 수행함으로써 작업을 수행하려는 시도는 교육 애니메이션을 론칭할 수 있다. 다른 예에서, 인식된 수동 제스처와 관련된 하나 이상의 부적절한 드래그 이동들은 제스처를 적절히 수행하는 방법을 설명하는 교육 애니메이션을 론칭할 수 있다. 전술한 방법들을 통해 교육 애니메이션을 론칭함으로써, 교육 애니메이션들에 의해 제공되는 보조 지시는 기록 패드 도구(295)(도 2 참조)와의 통상의 상호작용 내에 통합되며, 쉽게 발견 가능한 학습 보조물을 제공한다.
또한, 일 실시예에서, 사용자 또는 운영 체제(220)(도 2 참조)가 론칭 컴포넌트(285)에서의 론치 설정을 수동으로 또는 자동으로 각각 조정하는 것을 허가하는 토클 제어가 제공될 수 있다. 론치 설정을 조정함으로써, 사용자 또는 운영 체제(220)는 대응하는 보조 명령의 수신시에 교육 애니메이션들이 자동으로 론칭되는지 그리고/또는 제어/토글 버튼의 작동의 검출시에 교육 애니메이션들이 론칭되는지를 지시할 수 있다. 즉, 사용자 또는 운영 체제(220)는 교육 애니메이션들의 론칭을 인에이블 또는 디스에이블할 수 있다.
이제, 도 2를 다시 참조하여, 렌더링 컴포넌트(275)가 설명된다. 일반적으로, 렌더링 컴포넌트(275)는 터치스크린 인터페이스(250)에 표면화된 디스플레이 영역(330)(도 3 참조) 내에 하나 이상의 론칭된 교육 애니메이션들을 재생 모드로 표시하도록 구성된다. 실시예들에서, 디스플레이 영역(330)(도 3 참조)은 렌더링 컴포넌트(275)가 터치스크린 인터페이스에 프레젠테이션 데이터(290)를 전송할 때 터치스크린 인터페이스(250)에 표면화된다.
도 2를 참조하면, 통상적으로 재생 모드에서 교육 애니메이션들은 표면화된 기록 패드 도구(295)에 제공된 내용(210)을 편집하는 데 사용되는 수동 제스처(345)(도 3 참조)의 비디오 지시를 제공한다. 교육 애니메이션들은 재생 모드에서 다양한 방식으로 사용자에게 제공될 수 있다. 일 실시예에서, 교육 애니메이션은 팝업 윈도인 디스플레이 영역에서 재생될 수 있다. 통상적으로, 팝업 윈도는 표면화된 기록 패드 도구(295)로부터 분리되고, 내용 입력 영역(235)을 차단하지 않으며, 터치스크린 인터페이스(250)의 눈에 잘 띄는 영역에 제공되어, 교육 애니메이션에 사용자들의 관심을 끈다. 이 실시예에서, 교육 애니메이션에 의해 설명되는 수동 제스처는 일반 내용, 또는 내용 입력 영역(235) 내에 사용자에 의해 지시되는 텍스트의 선택된 부분과 관계없는 비설명 텍스트에 적용될 수 있다. 또는, 교육 애니메이션에 의해 설명되는 수동 제스처는 내용 입력 영역(235) 내의 텍스트의 선택된 부분과 실질적으로 유사한 용어 또는 문구에 적용될 수 있다. 예를 들어, 도 3을 참조하면, 텍스트의 선택된 부분 "MANE"는 포커스(255)에 의해 지시될 수 있다. 따라서, 교육 애니메이션(335)은 유사 용어 "MANE"를 "MANY"가 되도록 정정하기 위한 수동 제스처(345)를 수행하는 모델 손 및/또는 펜의 비디오일 수 있다.
수동 제스처를 수행하는 모델 손 및/또는 펜의 비디오로서 설명되지만, 이 분야의 통상의 전문가는 교육 애니메이션이 수동 제스처 또는 그러한 수동 제스처를 수행하는 방법에 관한 지시의 예술적 렌더링의 임의의 이미지(들)일 수 있다는 것을 이해하고 알 것이다. 따라서, 수동 제스처를 수행하는 방법의 이해를 증진하는 관련 분야의 임의의 공지된 학습 보조물은 교육 애니메이션으로서 간주될 수 있다.
다른 실시예에서, 도 3을 계속 참조하면, 교육 애니메이션(335)은 내용 입력 영역(235)에서 재생될 수 있다. 이 실시예에서, 교육 애니메이션(335)에 의해 설명되는 수동 제스처(345)는 내용 입력 영역(235) 내의 포커스(255)에서 텍스트의 선택된 부분에 직접 적용될 수 있다. 따라서, 지시 피드백이 내용 입력 영역(235) 내에 통합될 수 있다. 이러한 방식으로 교육 애니메이션(335)을 렌더링함으로써, 본 발명의 실시예들은 사용자가 특정 작문/편집 동작을 수행할 때 수동 제스처들(345)을 지시하거나 보강하는 드래프팅 동안 학습(learning-while-drafting) 기술을 구현한다.
교육 애니메이션(335)을 렌더링하는 두 가지 상이한 구성이 설명되었지만, UI 디스플레이 상에서 교육 애니메이션(335)을 재생하기 위한 다른 유형의 적절한 위치들이 이용될 수 있으며, 본 발명의 실시예들은 본 명세서에 설명되는 바와 같이 디스플레이 영역(330) 또는 내용 입력 영역(235)에서 교육 애니메이션(335)을 재생하는 것으로 제한되지 않는다는 것을 이 분야의 통상의 전문가들은 이해하고 알아야 한다.
교육 제스처(345)의 최초 사이클을 통해 교육 애니메이션(335)을 재생할 때, 교육 제스처(345)는 반복되거나, 루핑(looping)될 수 있다. 일 실시예에서, 교육 제스처(345)는 소정 횟수(예를 들어, 한 번, 다섯 번, 50번) 루핑될 수 있다. 다른 실시예에서, 교육 제스처(345)는 루핑을 멈추기 위한 사용자 개시 지시에 의해 중단될 때까지 연속 재생 모드로 루핑될 수 있다. 이 실시예의 일례에서, 루핑을 멈추기 위한 사용자 개시 지시는 론칭된 교육 애니메이션(335)이 재생되고 있는 디스플레이 영역(330)의 일부에 적용되는 수동 제스처와 같은 취소 입력일 수 있다. 이 실시예의 다른 예에서, 루핑을 멈추기 위한 사용자 개시 지시는 기록 패드 도구(295)에 의해 생성된 내용 입력 영역(235)에 적용되는 수동 제스처(345)와 같은 드래프팅 입력일 수 있다. 이러한 또는 다른 사전 정의된 수동 제스처들의 검출에 부수하여, 교육 애니메이션(345)의 루핑이 중단되고, 디스플레이 영역(330)이 숨겨질 수 있다.
교육 애니메이션(335)의 인식시에, 사용자는 설명된 수동 제스처(345)를 흉내 내려고 시도할 수 있다. 사용자가 수동 제스처(345)를 성공적으로 흉내 내거나, 교육 애니메이션(335)을 정확히 흉내 내는 경우, 사용자에 의한 수동 제스처는 적절히 수행된 것으로서 식별된다. 따라서, 적절히 수행된 수동 제스처에 맵핑된 액션(예를 들어, 편집 액션 또는 관리 액션)이 기록 패드 도구(295)에 호출된다.
이제, 도 4-7을 참조하면, 본 발명의 실시예들에 따른, 적절한 사용자 개시 입력의 인식시에 교육 애니메이션들의 프레임들을 보여주는 스테이지들을 나타내는 진행적인 UI 디스플레이들이 도시되어 있다. 먼저, 도 4를 참조하면, 표면화된 기록 패드 도구(295)를 포함하는 예시적인 UI 디스플레이(400)가 도시되어 있다. 표면화된 기록 패드 도구(295)는 내용(410)이 제공된 내용 입력 영역(235)을 포함한다. 내용(410)이 내용 입력 영역(235) 내에 존재하므로, 이 내용은 편집 액션들에 맵핑된 교육 애니메이션들(415)의 표현들을 렌더링하도록 표면화된 기록 패드 도구(295)에 지시한다. 다른 실시예들에서, 교육 애니메이션들(415)의 표현들은 다를 수 있거나, 표면화된 기록 패드 도구(295)에 의해 지원되는 다른 액션들에 맵핑될 수 있거나, 통상적으로 기초 액션의 기능에 기초하여 상이한 아이콘 표현들을 통해 사용자에게 통신될 수 있다.
도 4-7에 도시된 바와 같이, 교육 애니메이션들(415)의 표현들은 툴바(320) 상에 채워진 선택 가능 제어들(395)이다. 선택 가능 제어들(395)의 형태로 도시되지만, 교육 애니메이션들(415)의 표현들은 제스처 패널 상에 채워진 토글 버튼들과 같은 전술한 임의의 형태를 취할 수 있거나, 숨겨질 수 있다.
예들에서, 포커스(420)에 의해 지시되는 바와 같이, 내용(410)의 일부가 선택되거나 하이라이트된다. 삭제 액션에 맵핑된 선택 가능 제어(425)의 작동시에, 텍스트의 선택된 부분(455) 상에 수동 제스처(495)를 수행하는 교육 애니메이션(450)을 렌더링하는 디스플레이 영역(330)이 표면화된다. 따라서, 교육 애니메이션(450)은 대상 용어, 문구, 이미지 등에 대한 지시를 동적으로 목표화하는 적절한 학습 보조물이다. 또한, 선택 가능 제어(425)의 작동은 커서 도구를 이용하여 선택 가능 제어(425)를 누름으로써, 또는 시각적으로 도시된 버튼/토글/제어를 작동시키는 임의의 다른 공지 방법에 의해 수행될 수 있다.
도 5 및 6은 각각 UI 디스플레이들(500, 600)을 도시하며, 교육 애니메이션(450)의 진행된 프레임들을 나타낸다. 즉, 텍스트의 선택된 부분(455)에 적용되는 바와 같은 수동 제스처(495)를 설명하는 이미지들의 예시적인 진행이 도시된다. 진행 사이클의 완료시, 진행은 루핑되거나, 디스플레이 영역(330)이 숨겨질 수 있다.
도 7을 참조하면, 내용 입력 영역(235)에 제공된 내용(410)을 갖는 표면화된 기록 패드 도구(295)를 나타내는 UI 디스플레이(700)가 도시되어 있다. 이 실시예에서, 교육 애니메이션(450)은 내용 입력 영역(235) 내의 텍스트의 선택된 부분(455) 상의 수동 제스처(495)를 설명하도록 구성된다. 전술한 바와 같이, 교육 애니메이션(450)은 사용자가 선택 가능 제어(425)를 작동시킬 때 론칭될 수 있다. 다른 실시예들에서, 교육 애니메이션은 교육 애니메이션(450)에 맵핑된 액션을 호출하는 보조 명령의 수신시에 론칭될 수 있다.
이제, 도 8 및 9를 참조하면, 본 발명의 일 실시예에 따른, 수동 제스처를 설명하는 교육 애니메이션을 개시하기 위한 프로세스(800)를 나타내는 동작 흐름도가 도시되어 있으며, 이 프로세스는 적절한 예시적인 시스템 아키텍처 상에서 구현된다. 도 8을 먼저 참조하면, 절차 810에 의해 지시되는 바와 같이, 처리 컴포넌트(225) 상에 설치된 운영 체제가 컴퓨팅 장치(215)의 컴퓨팅 환경의 상황을 동적으로 모니터링한다. 일 실시예에서, 이러한 모니터링은 컴퓨팅 장치(215)에 질문하여 어떤 교육 애니메이션들을 활성 상태로 승격시킬지를 결정하는 단계(805)를 포함한다. 다른 실시예들에서, 컴퓨팅 환경을 모니터링하는 단계는 특정 순서 없이 다음 단계들, 즉 기록 패드 도구의 현재 조건을 인식하는 단계(절차 811 참조), 기록 패드 도구에 의해 생성된 내용 입력 영역 내에서 커서의 포커스를 식별하는 단계(절차 812 참조), 및 상황 및 포커스에 기초하여 어떤 액션들이 호출될 수 있는지를 확인하는 단계(절차 813 참조)를 포함한다.
어떠한 액션들이 호출될 수 있는지를 확인한 때, 이러한 액션들에 맵핑된 교육 애니메이션들이 식별되고 활성 상태로 승격된다. 절차 815에 의해 지시되는 바와 같이, 승격된 교육 애니메이션들은 활성 상태로 임시 저장될 수 있다. 또한, 사용자는 절차 820에 의해 지시되는 바와 같이 UI 디스플레이에서 그러한 교육 애니메이션들의 표현들을 제공할 때 어떠한 교육 애니메이션이 활성 상태에 있는지 또는 론칭될 수 있는지에 대한 지시를 제공받을 수 있다. 통상적으로, UI 디스플레이는 터치스크린 인터페이스(250) 상에 렌더링된다.
참조 번호 825로 지시되는 바와 같이, 교육 애니메이션의 제공된 표현에서 지시되는 사용자 개시 입력이 터치스크린 장치(250) 상에 표면화된 기록 패드 도구와의 사용자의 상호작용을 통해 수신될 수 있다. 입력의 수신시에 절차 830이 실행되어, 활성 상태로 승격된 하나 이상의 교육 애니메이션이 론칭될 수 있다. 일례에서, 론칭은 디스플레이 영역을 표면화하고(절차 832 참조), 선택된 텍스트 상에 수동 제스처를 실행하는 모델 손/펜의 비디오를 재생하는(절차 835 참조) 것을 포함할 수 있다. 또한, 교육 애니메이션들의 론칭은 실시예들에서 그들에 맵핑된 액션들이 호출되게 하거나 그렇지 않을 수 있다.
도 9를 참조하면, 참조 번호 935로 지시되는 바와 같이, 교육 애니메이션들의 론칭의 지시가 터치스크린 인터페이스(250) 상에 렌더링된다. 실시예들에서, 참조 번호 940에 의해 지시되는 바와 같이, 사용자 개시 명령이 기록 패드 도구와 연계하여 수신될 수 있다. 절차 945에 의해 지시되는 바와 같이, 사용자 개시 명령은 렌더링된 교육 애니메이션을 흉내 내는 수동 제스처로서 식별될 수 있다. 그와 같이 식별될 때, 수신된 수동 제스처에 기초하여 액션(예컨대, 편집 액션, 관리 액션 등)이 호출된다.
본 발명은 모든 면에서 제한적이 아니라 예시적인 것을 의도하는 특정 실시예들과 관련하여 설명되었다. 본 발명의 범위로부터 벗어나지 않고, 본 발명이 속하는 분야의 통상의 전문가들에게 대안 실시예들이 명백해질 것이다.
위로부터, 본 발명은 시스템 및 방법에 분명하고 고유한 다른 이익들과 함께 전술한 모든 목표들 및 목적들을 달성하는 데 적합한 발명임을 알 것이다. 소정의 특징들 및 하위 조합들이 유용하며, 다른 특징들 및 하위 조합들에 관계없이 이용될 수 있다. 이것은 청구항들의 범위에 의해 고려되고 그 안에 있다.

Claims (20)

  1. 실행시에, 수동 제스처를 설명하기 위한 교육 애니메이션을 개시하기 위한 방법을 수행하는 컴퓨터 실행가능 명령어들이 구현된 하나 이상의 컴퓨터 판독가능 매체로서,
    상기 방법은,
    컴퓨팅 장치의 컴퓨팅 환경의 상황(context)을 모니터링하는 단계(810);
    상기 상황에 기초하여, 어떠한 교육 애니메이션들을 활성 상태로 승격시킬지를 결정하는 단계(813) - 상기 교육 애니메이션들은 상기 활성 상태와 일관되게 데이터 저장소에 적어도 임시로 저장됨 -;
    컴퓨팅 장치의 터치스크린 인터페이스 상에 표면화된 기록 패드 도구와 연계하여 사용자 개시 입력을 수신하는 단계(825);
    상기 사용자 개시 입력에 기초하여, 상기 활성 상태의 교육 애니메이션들 중 하나 이상을 론칭하는 단계(830); 및
    상기 하나 이상의 교육 애니메이션의 론칭의 지시를 상기 터치스크린 인터페이스에 렌더링하는 단계(935)
    를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  2. 제1항에 있어서,
    상기 방법은,
    상기 렌더링된 하나 이상의 교육 애니메이션을 흉내 내는 수동 제스처를 상기 터치스크린 인터페이스에서 수신하는 단계; 및
    어떤 액션이 상기 수신된 수동 제스처에 맵핑되는지에 기초하여 상기 기록 패드 도구에서 편집 액션 또는 관리 액션을 호출하는 단계
    를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  3. 제2항에 있어서,
    상기 컴퓨팅 환경의 상황을 모니터링하는 단계는,
    상기 기록 패드 도구의 현재 조건을 결정하는 단계;
    상기 기록 패드 도구에 의해 생성된 내용 입력 영역 내에서 커서 도구의 포커스를 식별하는 단계; 및
    상기 현재 조건 및 상기 커서 도구의 포커스에 기초하여, 어떠한 액션들이 호출에 이용 가능한지를 확인하는 단계
    를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  4. 제3항에 있어서, 상기 방법은 상기 활성 상태로 승격된 교육 애니메이션들의 표현을 제공하는 단계를 더 포함하고, 상기 활성 상태의 교육 애니메이션들은 현재 호출에 이용 가능한 것으로서 확인된 액션들에 각각 맵핑되는 하나 이상의 컴퓨터 판독가능 매체.
  5. 제4항에 있어서, 상기 활성 상태로 승격된 교육 애니메이션들의 표현을 제공하는 단계는 상기 표면화된 기록 패드 도구에 인접하는 툴바 상에 상기 교육 애니메이션들을 론칭하기 위한 선택 가능한 제어들을 배열하는 단계를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  6. 제4항에 있어서, 상기 활성 상태로 승격된 교육 애니메이션들의 표현을 제공하는 단계는 상기 표면화된 기록 패드 도구에 인접하는 터치스크린 인터페이스 상에 표면화된 이동 가능한 제스처 패널 상에 상기 교육 애니메이션들의 아이콘 표현들을 조직하는 단계를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  7. 제6항에 있어서, 상기 아이콘 표현들의 각각은 실행시에 그에 의해 표현되는 교육 애니메이션을 개시하는 토글 버튼, 및 상기 교육 애니메이션에 맵핑된 액션을 가시적으로 나타내는 상기 토글 버튼 내에 적힌 서술자를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  8. 제7항에 있어서, 상기 기록 패드 도구와 연계하여 사용자 개시 입력을 수신하는 단계는 물리적 개체와 상기 터치스크린 인터페이스의 기록 표면 사이의 접촉을 검출하는 단계를 포함하고, 상기 접촉은 상기 토글 버튼에서 발생하는 하나 이상의 컴퓨터 판독가능 매체.
  9. 제3항에 있어서, 상기 하나 이상의 교육 애니메이션의 론칭의 지시를 렌더링하는 단계는 상기 기록 패드 도구에 의해 생성된 내용 입력 영역을 차단하지 않는 분리된 디스플레이 영역에서 상기 하나 이상의 교육 애니메이션을 재생하는 단계를 포함하고, 상기 하나 이상의 교육 애니메이션은 비설명 텍스트(nondescript text) 상에 수동 제스처를 적절히 실행하는 모델 손(model hand)의 비디오를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  10. 제9항에 있어서,
    상기 방법은,
    소정 수의 사이클 동안 상기 교육 애니메이션의 재생을 루핑(looping)하는 단계;
    상기 하나 이상의 론칭된 교육 애니메이션이 재생되고 있는 상기 디스플레이 영역의 일부에 적용된 수동 제스처를 검출하는 단계; 및
    상기 수동 제스처의 검출에 부수하여, 상기 교육 애니메이션의 루핑을 중단하고, 상기 디스플레이 영역을 숨기는 단계
    를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  11. 제9항에 있어서,
    상기 방법은,
    소정 수의 사이클 동안 상기 교육 애니메이션의 재생을 루핑하는 단계;
    상기 기록 패드 도구에 의해 생성된 내용 입력 영역에 적용된 수동 제스처를 검출하는 단계; 및
    상기 수동 제스처의 검출에 부수하여, 상기 교육 애니메이션의 루핑을 중단하고, 상기 디스플레이 영역을 숨기는 단계
    를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    상기 방법은,
    상기 수동 제스처의 검출에 부수하여, 상기 수동 제스처가 적절히 수행되어 상기 교육 애니메이션을 정확히 흉내내는지를 결정하는 단계;
    상기 수동 제스처가 적절히 수행될 때, 상기 기록 패드 도구에서 편집 액션을 호출하는 단계 - 상기 편집 액션은 상기 수동 제스처에 맵핑됨 -; 및
    상기 내용 입력 영역에 제출된 내용을 변경하는 단계
    를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  13. 제12항에 있어서,
    상기 기록 패드 도구의 현재 조건을 결정하는 단계는,
    기록 패드 도구의 내용 입력 영역에 내용이 제출되는지를 결정하는 단계;
    상기 내용 입력 영역에 내용이 제출된 때, 편집 액션들에 맵핑된 교육 애니메이션들을 활성 상태로 승격시키는 단계; 및
    상기 내용 입력 영역에 내용이 없을 때, 관리 액션들에 맵핑된 교육 애니메이션들을 활성 상태로 승격시키는 단계
    를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  14. 제13항에 있어서,
    상기 관리 액션들은 단어 삽입 명령, 파일 열기 명령 또는 도구 닫기 명령 중 적어도 하나를 포함하고,
    상기 편집 액션들은 단어 삭제 명령, 단어 연결 명령, 단어 분할 명령, 단어 정정 명령 또는 공간 추가 명령 중 적어도 하나를 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  15. 어떠한 교육 애니메이션들을 활성 상태로 승격시킬지를 결정하기 위한 컴퓨터화된 방법으로서,
    기록 패드 도구에 질문하여, 터치스크린 인터페이스와 관련된 컴퓨팅 환경의 상황을 결정하는 단계(805) - 상기 결정 단계는,
    (a) 상기 기록 패드 도구에 의해 생성된 내용 입력 영역 내에 텍스트가 제공되는지에 기초하여 상기 기록 패드 도구의 현재 조건을 인식하는 단계(811);
    (b) 상기 텍스트의 일부가 지시되는지에 기초하여 상기 내용 입력 영역 내에 커서 도구의 포커스가 존재하는지를 확인하는 단계(812); 및
    (c) 상기 현재 조건 및 상기 커서의 포커스에 기초하여 상기 기록 패드 도구에서 어떤 액션들이 호출에 이용 가능한지를 확인하는 단계(813)
    를 포함함 -;
    상기 컴퓨팅 환경의 상황을 이용하여, 어떠한 교육 애니메이션들을 활성 상태로 승격시킬지를 식별하는 단계(810) - 상기 식별 단계는 상기 호출에 이용 가능한 액션들과 관련된 교육 애니메이션들을 선택하는 단계를 포함함 -; 및
    상기 교육 애니메이션들을 활성 상태에 있는 것으로서 적어도 임시로 저장하는 단계(815)
    를 포함하는 컴퓨터화된 방법.
  16. 제15항에 있어서,
    수동 제스처에 대응하는 사용자 개시 명령을 수신하는 단계;
    상기 수동 제스처에 어떠한 교육 애니메이션이 맵핑되는지를 식별하는 단계; 및
    상기 사용자 개시 명령에 맵핑된 액션의 호출과 동시에 상기 수동 제스처를 수행하도록 사용자에게 촉구하는 상기 식별된 교육 애니메이션을 자동으로 론칭하는 단계
    를 더 포함하는 컴퓨터화된 방법.
  17. 제16항에 있어서, 관련된 상기 사용자 개시 명령의 수신시에 사용자가 상기 식별된 교육 애니메이션의 론칭을 자동으로 디스에이블 또는 인에이블하는 것을 허가하는 토글 제어를 제공하는 단계를 더 포함하는 컴퓨터화된 방법.
  18. 제15항에 있어서,
    활성 상태로 저장된 상기 교육 애니메이션들 중 하나 이상의 표현을 표면화하는 단계;
    활성 상태로 저장된 교육 애니메이션의 표현을 지시하는 사용자 개시 입력을 수신하는 단계; 및
    상기 지시된 교육 애니메이션을 자동으로 론칭하는 단계
    를 더 포함하는 컴퓨터화된 방법.
  19. 제18항에 있어서,
    상기 지시된 교육 애니메이션을 론칭하는 단계는,
    상기 기록 패드 도구의 내용 입력 영역 내에서 내용의 일부를 인식하는 단계 - 상기 내용의 일부는 상기 커서 도구의 포커스에 의해 구별됨 -; 및
    상기 내용 입력 영역 내에 상기 지시된 교육 애니메이션을 론칭하는 단계
    를 포함하고,
    상기 론칭하는 단계는,
    (a) 상기 교육 애니메이션에 의해 복제된 수동 제스처를 상기 구별된 내용의 일부에 적용하는 단계; 및
    (b) 중지를 위한 사용자 개시 입력이 수신될 때까지 상기 내용의 일부에 대한 상기 복제된 수동 제스처의 적용을 루핑하는 단계
    를 포함하는 컴퓨터화된 방법.
  20. 교육 애니메이션을 론칭하기 위해 제공된 컴퓨터 실행가능 명령어들을 구비하는 하나 이상의 컴퓨터 저장 매체 상에 구현된 컴퓨터 시스템으로서,
    컴퓨팅 장치의 컴퓨팅 환경의 상황을 모니터링하기 위한 모니터링 컴포넌트(270) - 상기 모니터링은 기록 패드 도구(295)의 현재 조건의 검색을 포함함 -;
    상기 상황에 기초하여 어떠한 교육 애니메이션들을 활성 상태로 승격시킬지를 결정하기 위한 선택 컴포넌트(280);
    상기 컴퓨팅 장치의 터치스크린 인터페이스 상에 표면화된 기록 패드 도구(250)와 연계하여 사용자 개시 입력을 수신하기 위한 입력 컴포넌트(265);
    상기 사용자 개시 입력에 기초하여 상기 활성 상태의 교육 애니메이션들 중 하나 이상의 재생을 개시하기 위한 론칭 컴포넌트(285); 및
    상기 터치스크린 인터페이스에 표면화된 디스플레이 영역 내에 상기 하나 이상의 재생되는 교육 애니메이션을 표시하기 위한 렌더링 컴포넌트(275) - 상기 교육 애니메이션들은 상기 기록 패드 도구에 제출된 내용을 편집하는 데 사용되는 수동 제스처의 비디오 지시를 제공함 -
    를 포함하는 컴퓨터 시스템.
KR1020107028666A 2008-06-24 2009-06-24 사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링 KR101548524B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/145,237 2008-06-24
US12/145,237 US8566717B2 (en) 2008-06-24 2008-06-24 Rendering teaching animations on a user-interface display

Publications (2)

Publication Number Publication Date
KR20110028290A true KR20110028290A (ko) 2011-03-17
KR101548524B1 KR101548524B1 (ko) 2015-09-01

Family

ID=41432540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107028666A KR101548524B1 (ko) 2008-06-24 2009-06-24 사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링

Country Status (9)

Country Link
US (1) US8566717B2 (ko)
EP (1) EP2288985B1 (ko)
JP (1) JP5442727B2 (ko)
KR (1) KR101548524B1 (ko)
CN (1) CN102067079B (ko)
BR (1) BRPI0912269B1 (ko)
RU (1) RU2506630C2 (ko)
TW (1) TWI459281B (ko)
WO (1) WO2010008903A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522395B1 (ko) * 2013-05-24 2015-05-26 테크빌닷컴 주식회사 자동차 정비 훈련 시스템
US20210393097A1 (en) * 2018-11-09 2021-12-23 Dyson Technology Limited Vacuum cleaner

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8196042B2 (en) * 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
AU2010245897A1 (en) * 2009-05-07 2011-12-01 Arborgen Inc. Materials and methods for regeneration and transformation of trees
US9483138B2 (en) 2009-07-10 2016-11-01 Adobe Systems Incorporated Natural media painting using a realistic brush and tablet stylus gestures
US8335986B2 (en) * 2009-08-26 2012-12-18 Apple Inc. Previewing different types of documents
US8644354B2 (en) * 2009-10-14 2014-02-04 Verizon Patent And Licensing Inc. Methods and systems for automatically registering a mobile phone device with one or more media content access devices
US8634390B2 (en) * 2009-10-14 2014-01-21 Verizon Patent And Licensing Inc. Systems and methods for wireless local area network based control of a set-top box device
US9213480B2 (en) * 2010-04-08 2015-12-15 Nokia Technologies Oy Method, apparatus and computer program product for joining the displays of multiple devices
TWI438675B (zh) 2010-04-30 2014-05-21 Ibm 提供情境感知援助說明之方法、裝置及電腦程式產品
US8519971B1 (en) * 2010-08-30 2013-08-27 Amazon Technologies, Inc. Rendering content around obscuring objects
US9164542B2 (en) * 2010-08-31 2015-10-20 Symbol Technologies, Llc Automated controls for sensor enabled user interface
WO2012048028A1 (en) * 2010-10-05 2012-04-12 Citrix Systems, Inc. Gesture support for shared sessions
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US9047005B2 (en) 2011-02-03 2015-06-02 Sony Corporation Substituting touch gestures for GUI or hardware keys to control audio video play
US8990689B2 (en) * 2011-02-03 2015-03-24 Sony Corporation Training for substituting touch gestures for GUI or hardware keys to control audio video play
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
CN102694942B (zh) * 2011-03-23 2015-07-15 株式会社东芝 图像处理装置、操作方法显示方法及画面显示方法
US20120260290A1 (en) 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
TW201328330A (zh) * 2011-12-27 2013-07-01 Hannstouch Solution Inc 可無線傳送畫面之手持式電子設備及其組成之多媒體系統
JP5200174B1 (ja) * 2012-01-31 2013-05-15 株式会社東芝 電子機器およびサーバー
TWI485669B (zh) * 2012-02-07 2015-05-21 Univ Nat Chiao Tung 演化學習遊戲裝置
CN104750490B (zh) * 2012-03-28 2018-12-28 北京奇虎科技有限公司 界面动画实现方法及系统
JP2013218592A (ja) * 2012-04-11 2013-10-24 Seiko Epson Corp 文字入力装置
TWI474295B (zh) * 2012-05-18 2015-02-21 Hanking Digital Tec Co Ltd 輔助教學系統
TW201409425A (zh) * 2012-08-22 2014-03-01 Fu Zhi Technology Co Ltd 教學系統
CN103632576A (zh) * 2012-08-29 2014-03-12 富志科技股份有限公司 教学系统
CN102981764B (zh) * 2012-11-19 2018-07-20 北京三星通信技术研究有限公司 触控操作的处理方法及设备
USD732076S1 (en) * 2013-01-04 2015-06-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated icon
DE102013001884A1 (de) * 2013-02-02 2014-08-07 Audi Ag Systeminitiierte Hilfefunktion für die Bedienung von einer, einem Fahrzeug zugeordneten Vorrichtung - Eingabe von Leerzeichen
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
KR102292619B1 (ko) * 2014-01-23 2021-08-23 삼성전자주식회사 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
US10466876B2 (en) * 2014-04-17 2019-11-05 Facebook, Inc. Assisting a user of a software application
US9426203B2 (en) 2014-06-27 2016-08-23 Microsoft Technology Licensing, Llc Remote application control interface
US20140372844A1 (en) * 2014-08-14 2014-12-18 Amar Zumkhawala Interface for capturing a digital image with real-time text
CN104134428B (zh) * 2014-08-22 2019-01-25 管存忠 一种点阵钟背景动画的设置方法
CN106161181B (zh) * 2015-03-27 2020-04-03 腾讯科技（深圳）有限公司 一种消息处理方法、装置及终端
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
DE102015214012A1 (de) 2015-07-24 2015-10-08 Carl Zeiss Smt Gmbh Kippspiegel-Monitoring
US10881713B2 (en) * 2015-10-28 2021-01-05 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
USD778941S1 (en) 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
DE102017219385A1 (de) * 2016-11-13 2018-05-17 Honda Motor Co., Ltd. System und Verfahren zum Bereitstellen von Absolut- und Zonenkoordinatenabbildung mit Grafikanimationen
USD844637S1 (en) 2018-01-17 2019-04-02 Apple Inc. Electronic device with animated graphical user interface
CN109933255A (zh) * 2019-03-21 2019-06-25 广州视源电子科技股份有限公司 一种页面元素突出显示方法、装置、设备及存储介质
JP7314624B2 (ja) * 2019-05-30 2023-07-26 大日本印刷株式会社 情報処理装置及びプログラム
CN112199925A (zh) * 2020-09-07 2021-01-08 杭州壹百分教育科技有限公司 内容遮盖方法、设备及介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5953735A (en) * 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5347477A (en) * 1992-01-28 1994-09-13 Jack Lee Pen-based form computer
JP2905013B2 (ja) * 1992-10-21 1999-06-14 シャープ株式会社 ジェスチャー処理装置、および、ジェスチャー処理方法
JPH10105325A (ja) * 1996-09-30 1998-04-24 Matsushita Electric Ind Co Ltd 手書きコマンド管理装置
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JPH11259199A (ja) * 1998-03-13 1999-09-24 Toshiba Corp 端末装置、入力画面表示方法及び入力画面表示プログラムを記録した記録媒体
US6340967B1 (en) * 1998-04-24 2002-01-22 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7039872B1 (en) * 1999-06-01 2006-05-02 Mossman Associates Inc Method and system of creating floating windows for displaying sponsor information, messages or programs in non-obtrusive areas of the graphic user interface of a software application
US6664991B1 (en) * 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
GB0017793D0 (en) 2000-07-21 2000-09-06 Secr Defence Human computer interface
US20030007018A1 (en) * 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
US6938221B2 (en) * 2001-11-30 2005-08-30 Microsoft Corporation User interface for stylus-based user input
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
JP3906729B2 (ja) 2002-04-05 2007-04-18 株式会社日立製作所 手話教育用システム及び該システムを実現するためのプログラム
JP2003319211A (ja) * 2002-04-23 2003-11-07 Minolta Co Ltd 撮像装置およびプログラム
JP2004013836A (ja) * 2002-06-11 2004-01-15 Digital Soken:Kk 情報端末装置
JP4143344B2 (ja) * 2002-06-27 2008-09-03 大日本印刷株式会社 ヘアカラーシミュレーション方法
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US20060242607A1 (en) * 2003-06-13 2006-10-26 University Of Lancaster User interface
US7143213B2 (en) * 2003-11-18 2006-11-28 Microsoft Corporation Attaching services to commanding elements matching command binding if the matching binding is found in either the table of bindings or servicing bindings
US20050235208A1 (en) * 2004-04-15 2005-10-20 Udo Arend User interface for a guided activity window
US7346846B2 (en) 2004-05-28 2008-03-18 Microsoft Corporation Strategies for providing just-in-time user assistance
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
US8147248B2 (en) * 2005-03-21 2012-04-03 Microsoft Corporation Gesture training
JP4933056B2 (ja) * 2005-05-11 2012-05-16 キヤノン株式会社 画像表示装置及びそれを用いた撮像装置
US7676767B2 (en) * 2005-06-15 2010-03-09 Microsoft Corporation Peel back user interface to show hidden functions
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
US20080008387A1 (en) * 2006-07-06 2008-01-10 Cheng Yi-Hsun E Method and apparatus for recognition of handwritten symbols
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522395B1 (ko) * 2013-05-24 2015-05-26 테크빌닷컴 주식회사 자동차 정비 훈련 시스템
US20210393097A1 (en) * 2018-11-09 2021-12-23 Dyson Technology Limited Vacuum cleaner
US11944260B2 (en) * 2018-11-09 2024-04-02 Dyson Technology Limited Vacuum cleaner

Also Published As

Publication number Publication date
WO2010008903A2 (en) 2010-01-21
RU2506630C2 (ru) 2014-02-10
JP5442727B2 (ja) 2014-03-12
US20090319894A1 (en) 2009-12-24
US8566717B2 (en) 2013-10-22
KR101548524B1 (ko) 2015-09-01
RU2010152819A (ru) 2012-06-27
CN102067079B (zh) 2013-12-18
JP2011525665A (ja) 2011-09-22
BRPI0912269B1 (pt) 2019-12-24
BRPI0912269A2 (pt) 2015-10-20
EP2288985A2 (en) 2011-03-02
EP2288985B1 (en) 2020-08-19
WO2010008903A3 (en) 2010-03-25
EP2288985A4 (en) 2013-04-10
TW201001272A (en) 2010-01-01
TWI459281B (zh) 2014-11-01
CN102067079A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
KR101548524B1 (ko) 사용자 인터페이스 디스플레이 상의 교육 애니메이션들의 렌더링
US10228848B2 (en) Gesture controlled adaptive projected information handling system input and output devices
US20220382505A1 (en) Method, apparatus, and computer-readable medium for desktop sharing over a web socket connection in a networked collaboration workspace
RU2491608C2 (ru) Доступ к меню с использованием операции перетаскивания
US11483376B2 (en) Method, apparatus, and computer-readable medium for transmission of files over a web socket connection in a networked collaboration workspace
US20150268773A1 (en) Projected Information Handling System Input Interface with Dynamic Adjustment
US20150268732A1 (en) Adaptive Projected Information Handling System Output Devices
US9965038B2 (en) Context adaptable projected information handling system input environment
US20190065012A1 (en) Method, apparatus, and computer-readable medium for propagating enriched note data objects over a web socket connection in a networked collaboration workspace
US10133355B2 (en) Interactive projected information handling system support input and output devices
US20150268739A1 (en) Projected Information Handling System Input Environment with Object Initiated Responses
AU2015314941A1 (en) Actionable item switcher view
KR20200131881A (ko) 네트워킹된 협업 워크스페이스에서 웹 소켓 연결을 통해 파일을 전송하기 위한 방법, 기기, 및 컴퓨터 판독 가능 매체
US11334220B2 (en) Method, apparatus, and computer-readable medium for propagating cropped images over a web socket connection in a networked collaboration workspace
EP3803558A1 (en) Method, apparatus, and computer-readable medium for desktop sharing over a web socket connection in a networked collaboration workspace
KR20210010567A (ko) 네트워킹된 협업 워크스페이스에서 웹 소켓 연결을 통해 크로핑된 이미지를 전파하기 위한 방법, 기기, 및 컴퓨터 판독 가능 매체

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 5