KR20140136471A - 필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이 - Google Patents

필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이 Download PDF

Info

Publication number
KR20140136471A
KR20140136471A KR1020147026968A KR20147026968A KR20140136471A KR 20140136471 A KR20140136471 A KR 20140136471A KR 1020147026968 A KR1020147026968 A KR 1020147026968A KR 20147026968 A KR20147026968 A KR 20147026968A KR 20140136471 A KR20140136471 A KR 20140136471A
Authority
KR
South Korea
Prior art keywords
computing device
display
handwriting
annotation
handwritten
Prior art date
Application number
KR1020147026968A
Other languages
English (en)
Inventor
승욱 김
슈테판 제이 마르티
첸소 다비데 디
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140136471A publication Critical patent/KR20140136471A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

예들은 디스플레이로부터 오프 스크린의 표면 상에 제공되는 필기된 컨텐츠를 기술하는 수기 데이터를 전자적 필기 도구로부터 수신하기 위한 프로세서를 포함하는 컴퓨팅 디바이스를 개시한다. 또한, 예들은 수기 데이터를 분석하여 필기된 컨텐츠의 부분에 대응하는 주석을 결정하기 위한 프로세서를 제공한다. 더불어, 예들은 또한 필기 표면 상의 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에서 주석을 렌더링하기 위한 컴퓨팅 디바이스 상의 디스플레이를 개시한다.

Description

필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이{DISPLAY OF A SPATIALLY-RELATED ANNOTATION FOR WRITTEN CONTENT}
오늘날의 기술에서, 컴퓨팅 디바이스들의 사용자들은 통상적으로 피드백을 제공하기 위해 이러한 디바이스들에 의존하여 사용자들의 필기 능력들 및 나아가 사용자들의 필기의 이해를 개선시킨다. 컴퓨팅 디바이스는 디스플레이 상에 철자 오류 및 문법 오류와 같은 피드백을 제공할 수도 있다.
컴퓨팅 디바이스의 디스플레이 상에 사용자의 수기 (handwriting) 에 대응하는 피드백을 제공함으로써, 사용자는 교육적이고 유익한 경험을 할 수도 있다. 한 가지 솔루션은 컴퓨팅 디바이스에 의존하는 필기 (writing) 도구, 예컨대, 스타일러스를 갖는 디스플레이를 활용하여 사용자에게 피드백을 제공하는 것이다. 컴퓨팅 디바이스는 디스플레이의 스크린 상으로 사용자로부터의 필기를 수신하고 스크린 상의 디스플레이에 대한 스크린 상의 필기를 디지털화한다. 그러나, 이러한 솔루션은 사용자가 디스플레이로부터 떨어져 스크린에 수기하는 것을 허용하지 않는다.
다른 솔루션에서, 전자적 필기 도구는 사용자의 수기를 오프 스크린 (off-screen) 에 기록하고, 이에 응답하여, 컴퓨팅 디바이스는 수기를 텍스트로 변환하고 문법적 정정 또는 철자 정정을 변환된 텍스트와 함께 디스플레이한다. 이러한 솔루션에서, 사용자는 오프 스크린 필기 표면 상의 필기의 부분과 관련된 피드백을 보는 것이 가능하지 않을 수도 있어, 사용자들이 동일한 오류들을 범하도록 한다. 또한, 이러한 솔루션들은 맥락적 이용에서 단어들을 더 이해하는데 이용될 수도 있는 분명한 보조 피드백을 제공하지 않는다. 예를 들어, 피드백은 철자를 잘못 쓴 단어에 밑줄을 칠 수도 있으나, 사용자가 단어의 의미를 알게 할 수 없게 할 수도 있다. 이는 이러한 유형의 솔루션들을 이용할 시에 사용자가 얻는 지식의 유형을 제한한다.
이러한 사안들을 다루기 위해, 본원에 개시된 예시적인 실시형태들은 전자적 필기 도구로부터 수기 데이터를 수신하는 프로세서를 갖는 컴퓨팅 디바이스를 제공한다. 수기 데이터는 컴퓨팅 디바이스의 디스플레이로부터 오프 스크린의 필기 표면 상에 제공되어, 사용자가 디스플레이로부터 오프 스크린에 필기하는 것을 가능하게 한다. 사용자가 오프 스크린으로 수기 데이터를 제공하는 것을 허용하는 것은 컴퓨팅 디바이스가 전자적 필기 도구의 위치 및 이동을 추적하는 것을 가능하게 하여, 필기 표면 상에 제공되는 필기된 컨텐츠를 기술한다. 이는 또한 전자적 도구가 무선으로 컴퓨팅 디바이스에 접속되는 것을 허용한다.
또한, 프로세서는 필기된 컨텐츠 (즉, 사용자의 필기) 의 부분에 대응하는 주석 (annotation) (예를 들어, 피드백) 을 결정하기 위해 수기 데이터를 분석한다. 또한, 컴퓨팅 디바이스들의 디스플레이는 필기 표면 상에 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 디스플레이 상의 포지션에 주석을 렌더링한다 (render). 필기 표면 상에 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 주석을 제공함으로써, 사용자는 필기된 컨텐츠의 부분에 대응하는 피드백을 즉시 볼 수도 있다. 이는 사용자가 수기에서의 임의의 오류들을 보는 것을 허용하여 추후의 오류들을 방지하고 또한 사용자의 수기에 대한 유용한 컨텍스트를 제공한다. 예를 들어, 사용자는 사용자들의 수기에 단어에 대한 약자를 포함시킬 수도 있으며, 그에 따라, 컴퓨팅 디바이스는 단어의 전체 정의의 주석을 디스플레이하여 사용자가 단어에 대해 더 학습하거나 약자의 정확한 이용을 확인하는 것을 도울 수도 있다. 또한, 컴퓨팅 디바이스의 사용자에게 디스플레이 상으로 피드백을 렌더링함으로써, 컴퓨팅 디바이스는 손으로 필기된 컨텐츠를 분석하고 사용자의 수기의 컨텍스트를 어떻게 개선시킬지에 대한 제안들을 덧붙인다.
다른 실시형태에서, 컴퓨팅 디바이스는 필기 표면의 사이즈를 결정하고 컴퓨팅 디바이스의 사이즈에 대응하도록 사이즈를 변환함으로써 주석을 필기 표면 상의 포지션과 조정할 수도 있다. 이는 디스플레이와 필기 표면 사이의 다른 사이즈들에도 불구하고 디바이스가 필기된 컨텐츠의 부분과 공간적으로 관련된 디스플레이 상에 주석을 렌더링하는 것을 가능하게 한다. 예를 들어, 컴퓨팅 디바이스 상의 디스플레이는 셀 폰 스크린을 포함할 수도 있고, 그에 따라, 디스플레이는 필기 스크린보다 사이즈가 훨씬 더 작을 수도 있다.
다른 실시형태에서, 컴퓨팅 디바이스는 수기 데이터 없이 주석을 렌더링한다. 이러한 실시형태에서, 컴퓨팅 디바이스는 필기 스크린 상에 제공되는 필기된 컨텐츠 없이 디스플레이 상에 주석을 제공한다. 이러한 실시형태는 사용자들의 수기에 대한 정정들 및 보조에 대해 사용자에게 일 유형의 조언을 제공한다. 또한, 이는 역시 사용자가 디스플레이 상의 필기된 컨텐츠의 전체 복사본으로 주의가 산만해지기 보다는 피드백에 바로 집중하는 것을 허용한다.
또 다른 실시형태에서, 주석은 웹 검색을 수행하기 위한 트리거, 애플리케이션을 열기 위한 트리거, 링크, 단어의 정의, 및 단어의 정정 중 적어도 하나를 포함할 수도 있다. 이러한 실시형태에서, 컴퓨팅 디바이스의 디스플레이 상에 렌더링된 주석은 사용자가 사용자의 필기를 이해하고 개선시키는 것을 돕는 개인용 어시스턴트로서 동작한다. 또한, 주석은 사용자의 요구들을 예상할 수도 있다. 예를 들어, 사용자는 단어에 대해 더 알기를 원할 수도 있고, 그에 따라, 링크를 제공함으로써, 디바이스는 사용자가 사용자 스스로 단어 검색을 수행하는 단계를 건너뛰는 것을 허용한다.
요약하면, 본원에 개시된 예시적인 실시형태들은 필기 표면 상의 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에 주석을 제공함으로써 보다 귀중한 교육적이고 유익한 경험을 사용자에게 제공한다. 주석은 분명한 방식으로 사용자에게 피드백을 제공하여 사용자들의 필기를 개선시키고 이해한다. 또한, 예시적인 실시형태들은 사용자가 디스플레이로부터 오프 스크린에 필기를 제공하는 것을 허용하여 사용자가 계속적인 유선 접속의 제약들이 없이 사용자의 필기를 자유롭게 하는 것을 가능하게 한다.
첨부 도면들에서, 유사한 도면부호들은 유사한 컴포넌트들 또는 블록들을 지칭한다. 다음의 상세한 설명은 도면들을 참조하며, 여기서:
도 1 은 필기 표면 상에 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에 렌더링된 주석을 포함하는 컴퓨팅 디바이스 상의 예시적인 디스플레이의 블록도이다;
도 2 는 디스플레이 상에 주석을 분석하여 렌더링하기 위하여 필기 표면 상에 필기된 컨텐츠를 기술하는 수기 데이터를 수신하기 위한 예시적인 컴퓨팅 디바이스의 블록도이다;
도 3 은 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 수기 데이터를 수신하는 것에 기초하여 주석을 디스플레이하기 위한 예시적인 컴퓨팅 디바이스의 블록도로서, 저장 영역 내의 키워드의 연관에 기초하여 주석을 결정하기 위한 프로세서와 연관된 저장 영역을 포함한다;
도 4 는 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 수기 데이터를 수신하고 필기 표면 상의 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에 주석을 디스플레이하기 위한 컴퓨팅 디바이스의 블록도이며, 여기서 컴퓨팅 디바이스는 초음파 삼각측량, 무선 주파수 삼각측량, 적외선 삼각측량, 및 적외선 도트들 중 적어도 하나를 이용하여 수기 데이터를 수신한다; 그리고
도 5 는 필기 표면 상에 제공된 수기 데이터를 수신하고, 분석하기 위해 수기를 디지털 데이터로 컨버팅하고, 주석을 디스플레이하도록 컴퓨팅 디바이스 상에서 수행되는 예시적인 방법의 플로차트이다.
이제 도면들을 참조하면, 도 1 은 필기 표면 (106) 상에 제공되는 필기된 컨텐츠 (108a, 108b, 및 108c) 의 부분들의 포지션들과 공간적으로 관련된 포지션들에서 주석들 (110a, 110b, 및 110c) 을 렌더링하는 디스플레이 (104) 를 포함하는 예시적인 컴퓨팅 디바이스 (102) 의 블록도이다. 컴퓨팅 디바이스 (102) 의 실시형태들은 클라이언트 디바이스, 개인용 컴퓨터, 데스크탑 컴퓨터, 랩탑, 모바일 디바이스, 태블릿, 또는 주석들 (110a 내지 110c) 을 렌더링하기 위해 디스플레이 (104) 를 포함하기에 적합한 다른 컴퓨팅 디바이스를 포함한다.
디스플레이 (104) 는 주석들 (110a 내지 110c) 을 렌더링하기 위해 컴퓨팅 디바이스 (102) 와 연관된 디스플레이이다. 디스플레이 (104) 는, 주석들 (110a 내지 110c) 을 포함하여, 사용자에게 컨텐츠를 출력하기 위한 회로 및 스크린을 포함한다. 디스플레이 (104) 의 실시형태들은 컴퓨팅 스크린, 컴퓨팅 모니터, 패널, 플라즈마 스크린, 액정 디스플레이 (LCD), 박막, 프로젝션, 또는 주석들 (110a 내지 110c) 을 렌더링할 수 있는 다른 디스플레이 기술을 포함한다.
주석들 (110a 내지 110c) 은 사용자에게 제공되는 피드백으로 여겨지고, 필기 표면 (106) 상의 필기된 컨텐츠 (108a 내지 108c) 의 부분들의 포지션들과 공간적으로 관련된 디스플레이 (120) 상의 포지션들에서 렌더링된다. 비록 도 1 이 디스플레이 (104) 가 주석들 (110a 내지 110c) 을 렌더링하는 것으로 도시하지만, 디스플레이 (104) 가 임의의 개수의 주석들을 출력할 수도 있기 때문에 실시형태들은 이러한 예시로 제한되어서는 안된다. 일 실시형태에서, 주석들 (110a 내지 110c) 은 웹 검색을 수행하기 위한 트리거 (110b), 애플리케이션을 열기 위한 트리거 (110c), 링크 (110c), 단어의 정의 (110b), 및 단어의 정정 (110a) 중 적어도 하나를 포함할 수도 있다. 다른 실시형태에서, 주석들 (110a 내지 110c) 은 필기된 컨텐츠 (108a 내지 108c) 를 기술하는 수기 데이터 없이 디스플레이된다. 예를 들어, 이러한 실시형태에서, 필기 표면 (106) 의 맨 위쪽에 있는 인사말은 대응하는 주석이 없기 때문에 디스플레이 (104) 상에 포함되지 않는다. 이와 관련하여, 주석들 (110a 내지 110c) 은 수기 데이터 없이 렌더링되며, 따라서 컴퓨팅 디바이스 (102) 의 사용자가 사용자들의 필기를 개선시키고 이해하는데 집중하는 것을 가능하게 한다. 또한, 주석들 (110a 내지 110c) 은, 각각, 필기된 컨텐츠 (108a 내지 108c) 의 부분들의 각각에 대응한다. 예를 들어, 디스플레이 (104) 의 맨 위쪽 근처의 주석 (110a) 은 역시 필기 표면 (106) 의 맨 위쪽 근처의 필기된 컨텐츠 (108a) 의 부분의 포지션에 대응한다.
필기 표면 (106) 은 컴퓨팅 디바이스 (102) 의 디스플레이 (104) 로부터 오프 스크린의 영역으로, 필기 표면에서 컴퓨팅 디바이스 (102) 의 사용자는 필기된 컨텐츠 (108a 내지 108c) 의 부분들을 수기할 수도 있다. 필기 표면 (106) 은 사용자가 전자적 필기 도구로 필기된 컨텐츠 (108a 내지 108c) 를 쓰는데 활용할 수도 있는 표면을 지칭한다. 따라서, 필기 표면은, 예를 들어, 노트북, 종이의 조각, 또는 그 위에 사용자가 물리적으로 필기하는 다른 재료일 수도 있다. 대안으로, 필기 표면 (106) 은 사용자가 필기를 시뮬레이션하는 것을 가능하게 하기에 적합한 임의의 평면 표면, 예컨대, 테이블의 표면일 수도 있다.
필기 표면 (106) 상의 필기된 컨테츠 (108a 내지 108c) 의 부분들은 필기 표면 (106) 상에 제공된 사용자의 필기들로 여겨진다. 구체적으로, 사용자는 필기된 컨텐츠 (108a 내지 108c) 의 부분들의 각각을 생성하기 위해 전자적 필기 도구를 활용할 수도 있다. 또한, 필기된 컨텐츠 (108a 내지 108c) 의 부분들을 기술하는 수기 데이터가 컴퓨팅 디바이스 (102) 에 의해 수신된다. 이는 추후의 도면들에서 상세히 설명된다. 필기된 컨텐츠 (108a 내지 108c) 의 부분들은 108a 와 같은 필기된 컨텐츠의 단일 부분, 조합, 또는 108a 내지 108c 를 포함할 수도 있거나, 도 1 에 도시되지 않은 필기된 컨텐츠의 추가적인 부분들을 포함할 수도 있다. 필기된 컨텐츠 (108a 내지 108c) 의 부분들은 필기 표면 (206) 내의 임의의 영역 내에 위치될 수도 있다. 예를 들어, 필기된 컨텐츠 (108a) 의 부분은 맨 위쪽 우측 코너, 또는 하부 좌측 코너 등에 위치될 수도 있다.
수기 컨텐츠 (108a 내지 108c) 의 부분들은 디스플레이 (104) 상에서와 같은 주석들 (110a 내지 110c) 의 각각의 포지션에 대응하고, 디스플레이 상에서와 같은 주석들의 각각의 포지션과 공간적으로 관련된다. 공간적으로 관련된다는 것은 디스플레이 (102) 상의 주석들 (110a 내지 110c) 의 각각의 포지션과 필기 표면 (106) 상의 필기된 컨텐츠 (108a 내지 108c) 의 대응하는 부분들의 포지션 사이의 디스플레이 관계를 지칭한다. 구체적으로, 공간적 관계는 필기된 컨텐츠 (108a 내지 108c) 의 포지션들의 각각의 포지션을 참조하여 디스플레이 (104) 상에 주석 (110a 내지 110c) 을 어떻게 렌더링할지를 명시한다. 예를 들어, 필기 컨텐츠 (108a) 의 부분은 스테판이 어떻게 지내는지를 묻고, 필기 표면 (106) 의 맨 위쪽 근처의 포지션에 필기된다. 그 결과, 필기된 컨텐츠 (108a) 의 부분의 문법을 정정하는 주석 (110a) 이 디스플레이 (104) 의 맨 위쪽 근처의 포지션에서 디스플레이되고, 따라서 필기된 컨텐츠 (108a) 의 부분의 포지션과 공간적으로 관련된다. 다른 예에서, 단어 RFID 를 설명하고 이 단어 정의에 대한 링크를 포함하는 주석 (110b) 이 디스플레이 (104) 의 중간 근처에 있다. 주석 (110b) 은 따라서 필기된 컨텐츠 (108b) 의 부분의 포지션과 공간적으로 관련된 포지션에서 디스플레이된다. 또한, 주석 (110c) 에 대응하는 필기된 컨텐츠 (108c) 의 부분은 필기 표면 (106) 의 하부으로의 포지션에서 사용자가 사무실을 방문할 시간의 논의한다. 주석 (110c) 은 디스플레이 (104) 의 하부으로 주석 (110c) 의 포지션을 디스플레이함으로써 필기된 컨텐츠 (108c) 의 이러한 부분과 공간적으로 관련된다.
도 2 는 프로세서 (216) 및 디스플레이 (204) 를 포함하는 예시적인 컴퓨팅 디바이스 (202) 의 블록도이다. 컴퓨팅 디바이스 (202) 는 전자적 필기 도구 (212) 로부터 필기된 컨텐츠 (208) 를 기술하는 수기 데이터 (214) 를 수신하여 주석 (210) 을 결정하기 위해 모듈 (218) 에서 분석한다. 주석 (210) 은 필기 표면 (206) 상의 필기된 컨텐츠 (208) 의 부분의 포지션과 공간적으로 관련된 포지션에서 디스플레이 (204) 상에 렌더링된다. 컴퓨팅 디바이스 (202) 는 도 1 의 컴퓨팅 디바이스 (102) 와 구조 및 기능성이 유사할 수도 있다.
필기 표면 (206) 은 컴퓨팅 디바이스 (202) 의 디스플레이 (204) 로부터 오프 스크린의 표면이고, 전자적 필기 도구 (212) 가 필기된 컨텐츠 (208) 를 생성하는데 이용된다. 필기 표면 (206) 은 도 1 의 필기 표면 (106) 과 구조 및 기능성에서 유사할 수도 있다.
필기된 컨텐츠 (208) 는 전자적 필기 도구 (212) 로 필기 표면 (206) 상에 제공된다. 필기된 컨텐츠 (208) 는 필기 도구 (212) 를 이용하여 사용자에 의해 제공되는 필기된 컨텐츠의 부분들을 포함한다. 필기된 컨텐츠 (208) 는 디스플레이 (204) 로부터 오프 스크린인 필기 표면 (206) 상에 발생된다. 그에 따라, 사용자는 필기 표면과 접촉을 하기 위해 전자적 필기 도구 (212) 를 활용하여 필기된 컨텐츠 (208) 를 생성할 수도 있다. 예를 들어, 도시된 바와 같이, 사용자는 전자적 필기 도구 (212) 를 활용하여 스테판 앞으로 보내는 메모를 생성할 수도 있다.
전자적 필기 도구 (212) 는 필기 표면 (206) 상에 필기된 컨텐츠 (208) 를 생성하기 위해 사용자에 의해 활용되는 전자적 디바이스이다. 또한, 전자적 필기 도구 (212) 는 무선으로 또는 케이블과 같은 유선 접속을 통해 컴퓨팅 디바이스 (202) 에 수기 데이터 (214) 를 송신한다. 전자적 필기 도구 (212) 는 필기 표면 (206) 상에서의 전자적 필기 도구 (212) 의 팁 (tip) 의 위치 및 이동을 나타내는 신호들을 컴퓨팅 디바이스 (202) 에 송신하기 위한 회로 및/또는 내부의 전자적 컴포넌트들을 포함할 수도 있다. 예를 들어, 전자적 필기 도구 (212) 는 컴퓨팅 디바이스 (202)에 의해 검출가능한 초음파 신호를 방출하기 위한 스피커를 포함할 수도 있다. 다른 예에서, 전자적 필기 도구 (212) 는 컴퓨팅 디바이스 (202) 에 신호들을 송신하기 위한 무선 주파수 (RF) 방출기 및/또는 적외선 (IR) 방출기를 포함할 수도 있다. 전자적 필기 도구 (212) 의 실시형태들은 디지털 펜, 디지털 펜슬, 스타일러스, 전자적 필기 기구, 또는 필기 표면 (206) 상에 필기 컨텐츠 (208) 를 생성하고 컴퓨팅 디바이스 (202) 에 수기 데이터 (214) 를 송신할 수 있는 다른 전자적 필기 도구 (212) 를 포함한다.
수기 데이터 (214) 는 필기 표면 (206) 상에 제공되는 필기된 컨텐츠 (208) 를 기술하고 전자적 필기 도구 (212) 로부터 컴퓨팅 디바이스 (202) 로 송신된다. 구체적으로, 수기 데이터 (214) 는 전자적 필기 도구 (212) 팁이 필기 표면 (206) 과 접촉하는 때의 좌표를 포함할 수도 있다. 필기 표면 (206) 과 접촉하는 전자적 필기 도구 (212) 의 팁의 위치 및 이동을 포함하는 이러한 좌표를 수신함으로써, 컴퓨팅 디바이스 (202) 는 좌표를 필기된 컨텐츠 (208) 또는 디지털 텍스트로 컨버팅하여 모듈 (218) 에서 분석한다. 좌표는 필기 표면 (206) 상에서의 필기된 컨텐츠 (208) 를 기술하며, 필기 표면은 컴퓨팅 디바이스 (202) 의 디스플레이 (204) 로부터 오프 스크린이다. 일 실시형태에서, 전자적 필기 도구 (212) 는 심각측량 및/또는 삼변측량 중 적어도 하나를 수행하는 것을 포함하는 수기 데이터 (214) 를 프로세서 (216) 에 송신한다. 이러한 실시형태에서, 프로세서 (216) 는 각도들 및/또는 그 위치와 이전에 알려진 참조 지점 사이의 거리들을 측정함으로써 전자적 필기 도구 (212) 팁의 위치를 결정한다. 다른 실시형태에서, 전자적 필기 도구 (212) 는 초음파 삼각측량, 무선 주파수 (RF) 삼각측량, 적외선 (IR) 삼각측량, 및 적외선 (IR) 도트들 중 적어도 하나를 수행함으로써 프로세서 (216) 에 수기 데이터 (214) 를 송신한다. 이러한 실시형태는 도 4 에서 보다 상세히 설명된다.
프로세서 (216) 는 전자적 필기 도구 (212) 로부터 수기 데이터 (214) 를 수신하여 모듈 (218) 에서 분석해 디스플레이 (204) 상에 렌더링할 주석 (210) 을 결정한다. 일 실시형태에서, 프로세서 (216) 는 수기 데이터 (214) 의 좌표를 수신하고 좌표를 디지털 텍스트로 컨버팅하여 모듈 (218) 에서 분석한다. 프로세서 (216) 의 실시형태들은 마이크로칩, 칩셋 전자 회로, 마이크로프로세서, 반도체, 마이크로제어기, 중앙 프로세싱 유닛 (CPU), 그래픽 프로세싱 유닛 (GPU), 비주얼 프로세싱 유닛 (VPU), 또는 수기 데이터 (214) 를 수신하여 모듈 (218) 에서 분석할 수 있는 다른 프로그램가능 디바이스를 포함한다.
모듈 (218) 은 전자적 필기 도구 (212) 로부터 수신된 수기 데이터 (214) 를 분석하여 주석 (210) 을 결정한다. 일 실시형태에서, 모듈 (218) 은 수기 데이터 (214) 를 디지털 데이터로 컨버팅하여 분석하는 것을 포함한다. 모듈 (218) 의 다른 실시형태에서, 수기 데이터는 필기 표면 (206) 상에서의 전자적 필기 도구 (212) 의 위치 및 이동의 좌표를 포함한다. 이러한 실시형태에서, 모듈 (218) 은 이러한 좌표를 텍스트로 컨버팅하는 것을 포함한다. 모듈 (218) 의 실시형태들은 전자적 필기 도구 (212) 에 의해 송신된 수기 데이터를 분석하도록 프로세서 (216) 에 의해 실행가능한 명령들의 세트를 포함한다. 다른 실시형태에서, 모듈 (218) 은 수기 데이터의 컨텍스트를 분석하여 필기된 컨텐츠 (208) 의 그 부분과 관련된 주석 (210) 을 결정한다. 다른 실시형태에서, 모듈 (218) 은 키워드에 대한 수기 데이터를 분석함으로써 주석을 결정한다. 그 다음에, 키워드를 인식하면, 프로세서는 주석 (210) 을 키워드와 연관시키는 저장 영역으로부터 주석 (210) 을 획득할 수도 있다. 이러한 실시형태는 도 3 에서 상세히 설명된다.
주석 (210) 은 필기된 컨텐츠 (208) 의 부분들의 포지션과 공간적으로 관련되는 포지션에서 디스플레이 (204) 상에 렌더링된다. 예를 들어, 필기된 컨텐츠 (208) 의 부분은 하부 오른쪽 코너에 포지셔닝될 수도 있으며, 따라서 대응하는 주석 (210) 은 디스플레이 (204) 상의 하부 오른쪽 코너 쪽으로의 포지션에서 렌더링될 것이다. 일 실시형태에서, 컴퓨팅 디바이스 (202) 상의 디스플레이 (204) 는 필기된 컨텐츠 (208) 를 기술하는 수기 데이터 (214) 가 필기 표면 (206) 상에 제공됨에 따라 실시간으로 주석 (210) 을 렌더링한다. 이러한 실시형태에서, 컴퓨팅 디바이스 (202) 는 사용자가 필기된 컨텐츠 (208) 를 발생시키는 동안 즉각적인 피드백 (즉, 주석들) 을 렌더링한다. 주석 (210) 은 도 1 에서의 주석들 (110a 내지 110c) 과 구조 및 기능성이 유사할 수도 있다.
컴퓨팅 디바이스 (202) 의 컴포넌트들 중 하나의 컴포넌트로서 포함된 디스플레이 (204) 는 컴퓨팅 디바이스 (202) 의 사용자에게 주석 (210) 을 렌더링한다. 디스플레이 (204) 는 도 1 에서와 같은 디스플레이 (104) 와 기능성 및 구조가 유사할 수도 있다.
도 3 은 키워드 (322) 를 인식하는 것에 기초하여 디스플레이 (304) 상에 렌더링할 주석 (310) 을 식별하도록 저장 영역 (320) 과 연관된 프로세서 (316) 를 포함하는 예시적인 컴퓨팅 디바이스 (302) 의 블록도이다. 또한, 프로세서 (316) 는 모듈 (318) 에서 전자적 필기 도구 (312) 로부터 수신된 수기 데이터를 분석함으로써 키워드 (322) 를 인식한다. 또한, 전자적 필기 도구 (312) 는 디스플레이 (304) 로부터 오프 스크린인 필기 표면 (306) 상의 필기된 컨텐츠 (308) 를 기술하는 수기 데이터 (314) 를 송신한다. 컴퓨팅 디바이스 (302) 는, 각각, 도 1 및 도 2 에서의 컴퓨팅 디바이스 (102 및 202) 와 구조 및 기능성이 유사할 수도 있다.
필기 표면 (306) 은 전자적 필기 도구 (312) 의 팁이 필기 표면 (306) 과 접촉하는 경우에 필기된 컨텐츠 (308) 를 제공한다. 전자적 필기 도구 (312) 는 프로세서 (316) 에 수기 데이터 (314) 를 송신한다. 필기 표면 (306) 및 필기된 컨텐츠 (308) 는, 각각, 도 1 및 도 2 에서와 같은 필기 표면 (106 및 206) 및 필기된 컨텐츠 (108a 내지 108c) 와 필기된 컨텐츠 (208) 의 부분들과 구조 및 기능성에서 유사할 수도 있다. 전자적 필기 도구 (312) 및 수기 데이터 (314) 는 도 2 에서와 같은 전자적 필기 도구 (212) 및 수기 데이터 (214) 와 구조 및 기능성에서 유사할 수도 있다.
프로세서 (316) 는 수기 데이터 (314) 를 수신하여 모듈 (318) 에서 분석해 주석 (310) 을 결정한다. 프로세서 (316) 는 도 2 에서와 같은 프로세서 (216) 와 구조 및 기능성에서 유사할 수도 있다. 모듈 (318) 은 도 2 에서와 같은 모듈 (218) 과 기능성에서 유사할 수도 있다.
저장 영역 (320) 은 주석 (310) 과 연관된 키워드 (322) 를 저장 및/또는 유지한다. 좀더 구체적으로, 프로세서 (316) 는 저장 영역 (320) 에서의 키워드 (322) 를 갖는 텍스트의 연관에 기초하여 주석 (310) 을 결정한다. 프로세서 (316) 는 키워드 (322) 를 네트워크 상의 또는 컴퓨팅 디바이스 (302) 에 상주하는 저장 영역 (320) 과 통신하여 주석 (310) 을 획득할 수도 있다. 예를 들어, 키워드 "1 월" 은 프로세서 (316) 가 단어의 컨텍스트를 분석하도록 시그널링할 수도 있다. 따라서, 프로세서 (316) 는 저장 영역 (320) 에서 키워드 (322) " 1 월" 을 찾아봄으로써 달력 애플리케이션을 열기 위한 트리거를 포함할 수도 있는 주석 (310) 을 획득할 수도 있다. 저장 영역 (320) 은 단일 주석 (310) 과 연관된 여러 개의 키워드들을 포함할 수도 있는 주석 (310) 을 획득할 수도 있다. 이전의 예에 따라, 단어 "목요일" 또는 "8 pm" 은 날짜들을 나타내고, 그에 따라, 프로세서 (316) 는 저장 영역 (320) 에서 이러한 단어들을 찾아 달력 애플리케이션을 열기 위한 트리거를 포함할 수도 있는 주석 (310) 을 획득할 수도 있다. 저장 영역 (320) 의 실시형태들은 로컬 저장부, 웹 저장부, 메모리, 메모리 버퍼, 캐쉬, 비휘발성 메모리, 휘발성 메모리, 랜덤 액세스 메모리 (RAM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (EEPROM), 저장 디바이스, 컴팩트 디스크 판독 전용 메모리 (CDROM), 또는 키워드 (322) 를 주석 (310) 과 연관시킬 수 있는 다른 물리적 저장 디바이스를 포함한다.
키워드 (322) 는 프로세서 (316) 에 대한 저장 영역 (320) 내의 주석 (310) 과 연관되어 주석 (310) 을 획득한다. 일 실시형태에서, 키워드 (322) 는 범용 (universal) 용어 또는 전역 (global) 용어를 포함할 수도 있다. 예를 들어, 주석 (310) 과 연관되는 날짜, 시간, 및/또는 스케줄과 관련된 키워드들은 달력 애플리케이션을 열기 위한 트리거를 포함하도록 주석 (310) 과의 연관을 나타낸다. 다른 실시형태에서, 키워드 (322) 는 컴퓨팅 디바이스 (302) 의 사용자에게 맞춰진 용어일 수도 있다. 예를 들어, 사용자는 키워드 (322) 가 사람의 이름을 포함하기를 원할 수도 있고, 주석 (310) 은 그 친구의 소셜 네트워킹 사이트에 대한 링크를 제공할 것이다.
주석 (310) 은 프로세서 (316) 에 의해 획득되고, 필기 표면 (306) 상의 필기된 컨텐츠 (308) 의 부분의 포지션과 공간적으로 관련되는 디스플레이 (304) 상의 포지션에서 렌더링된다. 주석 (310) 은, 각각, 도 1 및 도 2 에서와 같은 주석들 (110a 내지 110c, 및 210) 과 구조 및 기능성에서 유사할 수도 있다.
디스플레이 (304) 는 컴퓨팅 디바이스 (302) 의 사용자에게 주석 (310) 을 렌더링한다. 디스플레이 (304) 는, 각각, 도 1 및 도 2 에서와 같은 디스플레이 (104 및 204) 와 구조 및 기능성에서 유사할 수도 있다.
도 4 는 수기 데이터를 수신하고 초음파 삼각측량, 무선 주파수 (RF) 삼각측량, 적외선 (IR) 삼각측량, 및 적외선 (IR) 도트들 중 적어도 하나를 수행하기 위한 예시적인 컴퓨팅 디바이스 (400) 의 블록도이다. 또한, 컴퓨팅 디바이스 (400) 는 수기 데이터를 분석하여 주석을 결정하고 디스플레이 상에 주석을 렌더링한다. 컴퓨팅 디바이스 (400) 가 프로세서 (402) 및 머신 판독가능 저장 매체 (404) 를 포함하기는 하나, 컴퓨팅 디바이스는 당업자에게 적합할 다른 컴포넌트들을 또한 포함할 수도 있다. 예를 들어, 컴퓨팅 디바이스 (400) 는 도 3 에서와 같은 저장 영역 (320) 을 포함할 수도 있다. 또한, 컴퓨팅 디바이스 (400) 는, 각각, 도 1 내지 도 3 에서와 같은 컴퓨팅 디바이스들 (102, 202, 및 302) 의 구조 및 기능성에서 유사할 수도 있다.
프로세서 (402) 는 명령들 (406, 408, 410, 412, 414, 416, 418, 420, 및 422) 을 불러오고, 디코딩하고, 실행할 수도 있다. 프로세서 (402) 는, 각각, 도 1 및 도 2 에서와 같은 프로세서 (216 및 316) 와 기능성 및 구조에서 유사할 수도 있다. 구체적으로, 프로세서 (402) 는 수기 데이터를 수신하기 위한 명령들 (406) 을 실행하고, 초음파 삼각측량 명령들 (408), 무선 주파수 (RF) 삼각측량 명령들 (410), 적외선 (IR) 삼각측량 명령들 (412), 및 적외선 (IR) 도트들 명령들 (414) 중 적어도 하나의 명령들을 더 수행한다. 프로세서 (402) 는 또한 수기 데이터를 분석하여 주석을 결정하는 명령들 (416), 수기를 디지털 데이터로 컨버팅하는 명령들 (418), 필기 표면을 조정하여 컴퓨팅 디바이스 디스플레이에 대응하게 하는 명령들 (420), 및 디스플레이 상에 주석을 디스플레이하는 명령들 (422) 을 실행한다.
머신 판독가능 저장 매체 (404) 는 프로세서 (402) 가 불러오고, 디코딩하고, 실행하기 위한 명령들 (406, 408, 410, 412, 414, 416, 418, 420, 및 422) 을 포함할 수도 있다. 머신 판독가능 저장 매체 (404) 는 전자기기, 자기기기, 광학기기, 메모리, 저장부, 플래시 드라이브, 또는 실행가능한 명령들을 포함하거나 저장하는 다른 물리적 디바이스일 수도 있다. 따라서, 머신 판독가능 저장 매체 (404) 는, 예를 들어, 랜덤 액세스 메모리 (RAM), 전기적으로 소거가능한 프로그램가능 판독 전용 메모리 (EEPROM), 저장 드라이브, 메모리 캐시, 네트워크 저장부, 컴펙트 디스크 판독 전용 메모리 (CD-ROM) 등을 포함할 수도 있다. 그에 따라, 머신 판독가능 저장 매체 (404) 는 머신 판독가능 저장 매체 (404) 의 명령들을 불러오고/오거나, 디코딩하고/하거나, 실행하기 위해 프로세서 (402) 와는 독립적으로 그리고/또는 프로세서와 연계하여 활용될 수 있는 애플리케이션 및/또는 펌웨어를 포함할 수도 있다. 애플리케이션 및/또는 펌웨어는 머신 판독가능 저장 매체 (404) 상에 저장되고/되거나 컴퓨팅 디바이스 (400) 의 다른 위치에 저장될 수도 있다.
명령들 (406) 은 전자적 필기 도구로부터 수기 데이터를 수신하는 컴퓨팅 디바이스 (400) 를 포함한다. 수기 데이터는 필기 표면과 접촉해 있는 동안의 전자적 필기 도구 (212) 의 팁의 위치 및 이동을 나타내기 위한 좌표를 포함한다. 이는 수기 데이터가 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 것을 허용한다. 일 실시형태에서, 명령들 (406) 은 삼각측량 및/또는 삼변측량 중 적어도 하나를 수행하여 전자적 필기 도구의 팁의 이동 및 위치를 결정하는 것을 더 포함한다. 다른 실시형태에서, 명령들 (406) 은 명령들 (408 내지 414) 중 적어도 하나의 명령들 수행하기 위한 명령들을 더 포함한다. 예를 들어, 컴퓨팅 디바이스는 수기 데이터를 수신하고 무선 주파수 (RF) 삼각측량 명령들 (410) 을 수행할 수도 있다.
명령들 (408) 은 초음파 삼각측량을 수행하는 것을 포함한다. 명령들 (408) 의 이러한 실시형태에서, 전자적 필기 도구는 초음파 신호를 방출하는 스피커를 포함한다. 컴퓨팅 디바이스 (400) 는, 마이크로폰과 같은, 방출된 초음파 신호를 수신하기 위한 수신기들을 포함할 수도 있다. 또한, 컴퓨팅 디바이스 (400) 는 방출된 초음파 신호의 타이밍 및/또는 세기에서의 차이들을 결정하여 결정된 영역 (즉, 필기 표면) 내에서의 전자적 필기 도구의 위치 및 이동을 결정할 수도 있다. 대안으로, 스피커가 컴퓨팅 디바이스 (400) 상에 있고, 수신기들은 전자적 필기 도구 상에 있다.
명령들 (410) 은 무선 주파수 (RF) 삼각측량을 수행하는 것을 포함한다. 명령들 (410) 의 이러한 실시형태에서, 전자적 필기 도구는 컴퓨팅 디바이스에 무선 주파수 (RF) 신호를 송신하기 위한 무선 주파수 (RF) 방출기를 포함한다. 컴퓨팅 디바이스 (400) 는 RF 신호를 수신하기 위한 수신기들을 포함하고, 필기 표면 내에서의 전자적 필기 도구의 위치 및 이동을 나타내도록 타이밍, 주파수, 및/또는 세기에서의 차이들을 결정할 수도 있다. 대안으로, 방출기가 컴퓨팅 디바이스 (400) 상에 있고, 수신기들은 전자적 필기 도구 상에 있는다.
명령들 (412) 은 적외선 (IR) 삼각측량을 수행하는 것을 포함한다. 명령들 (412) 의 이러한 실시형태에서, 전자적 필기 도구는 적외선 (IR) 신호를 방출하는 적외선 방출기를 포함하고, 컴퓨팅 디바이스 (400) 는 IR 신호를 수신하기 위한 적외선 (IR) 검출기들을 포함한다. 또한, 이러한 실시형태에서, 컴퓨팅 디바이스 (400) 는 필기 표면 내에서의 전자적 필기 도구의 이동 및 위치를 더 결정하도록 IR 신호의 타이밍, 주파수, 및/또는 세기에서의 차이들을 결정할 수도 있다. 대안으로, 방출기가 컴퓨팅 디바이스 (400) 상에 있고, 검출기들은 전자적 필기 도구 상에 있다.
명령들 (414) 은 적외선 (IR) 도트들을 수행하는 것을 포함한다. 명령들 (414) 의 이러한 실시형태에서, 전자적 필기 도구는 필기 표면 상의 IR 도트들을 검출하는 카메라를 포함한다. 또한, 이러한 실시형태에서, IR 도트들은 패턴을 생성할 수도 있고, 이러한 패턴은 전자적 필기 도구가 컴퓨팅 디바이스 (400) 에 대한 전자적 필기 도구의 포지션을 결정하는데 이용된다.
명령들 (416) 은 명령들 (406) 에서 수신된 수기 데이터를 분석하여 주석을 결정하는 것을 포함한다. 일 실시형태에서, 명령들 (416) 은 수기 데이터를 분석하는 것을 포함하고, 수기 데이터를 디지털 데이터로 컨버팅하기 위한 명령들 (418) 을 더 포함한다. 이러한 실시형태에서, 수기 데이터는 좌표를 포함할 수도 있고, 그에 따라, 이러한 좌표는 분석을 위해 디지털 데이터로 컨버팅된다.
명령들 (418) 은 수기 데이터를 디지털 데이터로 컨버팅하는 것을 포함한다. 명령들 (418) 의 일 실시형태에서, 전자적 필기 도구로부터 수신되어진 필기된 컨텐츠를 기술하는 수기 데이터는 텍스트로 컨버팅되는 좌표를 포함하고, 텍스트는 컴퓨팅 디바이스 (400) 에 의해 분석되어 주석을 결정한다.
명령들 (420) 은 컴퓨팅 디바이스 (400) 와 연관된 디스플레이에 대응하도록 필기 표면을 조정하는 것을 포함한다. 또한, 명령들 (420) 은 컴퓨팅 디바이스 (400) 가 컴퓨팅 디바이스 (400) 상의 디스플레이의 사이즈에 대응하도록 필기 표면의 사이즈를 변환하는 것을 포함한다. 이러한 실시형태는, 상이한 사이즈들에 상관 없이, 필기 표면과 컴퓨팅 디바이스 (400) 의 디스플레이가 크기가 상이하여 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에 주석이 디스플레이되는 상황들을 가능하게 한다. 일 실시형태에서, 명령들 (420) 은 명령들 (406) 에 앞서 또는 동시에 일어날 수도 있다. 다른 실시형태에서, 명령들 (420) 은 명령들 (416 및 420) 과 동시에 일어날 수도 있다.
명령들 (422) 은 컴퓨팅 디바이스 (400) 의 디스플레이 상에 명령들 (416) 에서 결정된 주석을 디스플레이하는 것을 포함한다. 구체적으로, 주석은 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에서 디스플레이된다.
도 5 는 수기 데이터를 수신하고, 수기 데이터를 디지털 데이터로 컨버팅하고, 수기 데이터를 분석하여 주석을 결정해 디스플레이하도록 하는 컴퓨팅 디바이스 상에서 수행되는 예시적인 방법의 플로차트이다. 도 5 가 도 1 내지 도 4 에서와 같은 컴퓨팅 디바이스 (102, 202, 302, 및 400) 상에서 수행되는 것으로 기술되긴 하나, 당업자들에게 자명할 다른 적합한 컴포넌트들 상에서 또한 실행될 수도 있다. 예를 들어, 도 5 는 도 4 에서의 머신 판독가능 저장 매체 (404) 와 같은 머신 판독가능 저장 매체 상의 실행가능한 명령들의 형태로 구현될 수도 있다.
동작 (502) 에서, 컴퓨팅 디바이스는 전자적 필기 도구로부터 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 수기 데이터를 수신한다. 동작 (502) 의 일 실시형태에서, 컴퓨팅 디바이스는 필기 표면과 접촉하는 경우에 전자적 필기 도구의 이동 및 위치를 나타내는 좌표를 포함하는 수기 데이터를 수신한다. 좌표는 필기 표면 상의 필기된 컨텐츠를 기술하며, 필기 표면은 컴퓨팅 디바이스의 디스플레이로부터 오프 스크린이다. 동작 (502) 의 다른 실시형태에서, 전자적 필기 도구는 필기된 컨텐츠를 기술하는 텍스트를 포함하는 수기 데이터를 송신한다.
동작 (504) 에서, 컴퓨팅 디바이스는 동작 (502) 에서 수신된 수기 데이터를 디지털 데이터로 컨버팅한다. 일 실시형태에서, 수기 데이터는 좌표를 포함하고, 그에 따라, 컴퓨팅 디바이스는 좌표를, 필기된 컨텐츠를 기술하는 디지털 텍스트와 같은 디지털 데이터로 컨버팅한다. 다른 실시형태에서, 컴퓨팅 디바이스는 필기된 컨텐츠를 기술하는 텍스트를 수신하고, 그에 따라 텍스트를 디지털 데이터로 컨버팅한다.
동작 (506) 에서, 컴퓨팅 디바이스는 동작 (504) 에서 발생된 디지털 데이터를 분석하여 필기 표면 상에 제공되는 필기된 컨텐츠의 부분에 대응하는 주석을 결정한다. 동작 (506) 의 일 실시형태에서, 컴퓨팅 디바이스는 디지털 데이터를 분석하여 키워드를 인식한다. 이러한 실시형태에서, 컴퓨팅 디바이스는 로컬 저장 영역 또는 네트워크 저장 영역과 통신하여 저장 영역 내의 키워드의 연관에 기초하여 주석을 결정할 수도 있다.
동작 (508) 에서, 컴퓨팅 디바이스는 컴퓨팅 디바이스의 디스플레이에 대응하도록 필기 표면을 조정한다. 구체적으로, 동작 (508) 에서, 컴퓨팅 디바이스는 필기 표면의 사이즈에 대응하도록 컴퓨팅 디바이스 상의 디스플레이의 사이즈를 변환한다. 일 실시형태에서, 동작 (508) 은 동작 (502) 에서 수기 데이터를 수신하기 이전에 일어난다. 다른 실시형태에서, 동작 (508) 은 동작 (510) 에서 주석을 디스플레이하기 이전에 일어난다. 다른 실시형태에서, 동작 (508) 은 동작들 (502, 504, 506, 및 510) 과 동시에 일어날 수도 있다.
동작 (510) 에서, 컴퓨팅 디바이스는 동작 (508) 에서 결정된 주석을 디스플레이한다. 또한, 동작 (510) 에서, 필기 표면 상의 필기된 컨텐츠의 부분의 포지션에 공간적으로 관련되는 포지션에서 디스플레이 상에 주석이 렌더링된다.
본원에서 상세히 기술된 실시형태들은 필기 표면 상의 필기된 컨텐츠의 부분의 포지션과 공간적으로 관련된 포지션에서 주석을 렌더링함으로써 보다 교육적이고 유익한 경험을 사용자에게 제공한다. 주석은 사용자에게 분명한 방식으로 피드백을 제공하여 사용자들의 필기를 개선시키고 이해한다.

Claims (15)

  1. 컴퓨팅 디바이스의 프로세서에 의해 실행가능한 명령들로 인코딩된 비일시적 머신 판독가능 저장 매체로서,
    전자적 필기 도구로부터 필기 표면 상에 제공된 필기된 컨텐츠를 기술하는 수기 데이터를 수신하기 위한 명령들로서, 상기 필기 표면은 상기 컴퓨팅 디바이스의 디스플레이로부터 오프 스크린 (off screen) 인, 상기 수기 데이터를 수신하기 위한 명령들;
    상기 필기된 컨텐츠의 부분에 대응하는 주석 (annotation) 을 결정하기 위해 상기 수기 데이터를 분석하기 위한 명령들; 및
    상기 컴퓨팅 디바이스의 상기 디스플레이의 한 포지션에 상기 주석을 디스플레이하기 위한 명령들로서, 상기 주석의 상기 포지션은 상기 필기 표면 상의 상기 필기된 컨텐츠의 상기 부분의 포지션과 공간적으로 관련되는, 상기 주석을 디스플레이하기 위한 명령들을 포함하는, 비일시적 머신 판독가능 저장 매체.
  2. 제 1 항에 있어서,
    상기 필기 표면의 사이즈를 결정하고 상기 사이즈를 상기 컴퓨팅 디바이스 상의 상기 디스플레이의 사이즈에 대응하도록 변환함으로써 상기 컴퓨팅 디바이스 상의 상기 디스플레이에 대응하도록 상기 필기 표면을 조정하기 위한 명령들을 더 포함하는, 비일시적 머신 판독가능 저장 매체.
  3. 제 1 항에 있어서,
    상기 분석하기 위한 명령들은 상기 수기 데이터를 디지털 데이터로 컨버팅하기 위한 명령들을 더 포함하는, 비일시적 머신 판독가능 저장 매체.
  4. 제 1 항에 있어서,
    상기 수기 데이터를 수신하기 위한 명령들은 초음파 삼각측량, 무선 주파수 (RF) 삼각측량, 적외선 (IR) 삼각측량, 및 적외선 도트들 중 적어도 하나를 수행하기 위한 명령들을 더 포함하는, 비일시적 머신 판독가능 저장 매체.
  5. 제 1 항에 있어서,
    상기 주석은 웹 검색을 수행하기 위한 트리거, 애플리케이션을 열기 위한 트리거, 링크, 단어의 정의, 및 단어의 정정 중 적어도 하나를 포함하는, 비일시적 머신 판독가능 저장 매체.
  6. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스 상의 상기 디스플레이는 상기 수기 데이터 없이 상기 주석을 디스플레이하는, 비일시적 머신 판독가능 저장 매체.
  7. 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템으로서,
    상기 컴퓨팅 디바이스는,
    전자적 필기 도구로부터 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 수기 데이터를 수신하는 것으로서, 상기 필기 표면은 상기 컴퓨팅 디바이스의 디스플레이로부터 오프 스크린 (off screen) 인, 상기 수기 데이터를 수신하는 것; 및
    상기 필기된 컨텐츠의 부분에 대응하는 주석을 결정하기 위해 상기 수기 데이터를 분석하는 것
    을 위한 프로세서; 및
    디스플레이의 한 포지션에 상기 주석을 렌더링하기 위한 상기 컴퓨팅 디바이스 상의 상기 디스플레이로서, 상기 주석의 상기 포지션은 상기 필기 표면 상의 필기된 컨텐츠의 상기 부분의 포지션과 공간적으로 관련되는, 상기 디스플레이를 포함하는, 컴퓨팅 시스템.
  8. 제 7 항에 있어서,
    상기 수기 데이터를 송신하도록 상기 컴퓨팅 디바이스와 연관된 전자적 필기 도구를 더 포함하는, 컴퓨팅 시스템.
  9. 제 7 항에 있어서,
    상기 주석을 결정하기 위해 상기 수기 데이터를 분석하기 위하여, 상기 프로세서는 상기 수기 데이터 내의 키워드를 인식하고,
    상기 컴퓨팅 디바이스는 상기 프로세서와 연관된 저장 영역을 포함하며, 상기 프로세서는 상기 저장 영역에서의 상기 키워드의 연관에 기초하여 상기 주석을 결정하는, 컴퓨팅 시스템.
  10. 제 7 항에 있어서,
    상기 컴퓨팅 디바이스는, 필기된 컨텐츠를 기술하는 상기 수기 데이터가 상기 필기 표면 상에 제공됨에 따라, 실시간으로 상기 주석을 렌더링하는, 컴퓨팅 시스템.
  11. 제 7 항에 있어서,
    상기 컴퓨팅 디바이스 상의 상기 디스플레이는 상기 수기 데이터 없이 상기 주석을 렌더링하는, 컴퓨팅 시스템.
  12. 제 7 항에 있어서,
    상기 전자적 필기 도구로부터 상기 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 상기 수기 데이터를 수신하기 위해 삼각측량 및 삼변측량 중 적어도 하나를 수행하기 위한 명령들을 더 포함하는, 컴퓨팅 디바이스.
  13. 컴퓨팅 디바이스에 의해 실행되는 방법으로서,
    전자적 필기 도구로부터 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 수기 데이터를 수신하는 단계로서, 상기 필기 표면은 상기 컴퓨팅 디바이스의 디스플레이로부터 오프 스크린 (off screen) 인, 상기 수기 데이터를 수신하는 단계;
    상기 수기 데이터를 디지털 데이터로 컨버팅하는 단계;
    상기 필기된 컨텐츠의 부분에 대응하는 주석을 결정하기 위해 상기 디지털 데이터를 분석하는 단계;
    상기 필기 표면의 사이즈를 결정하고 상기 사이즈를 상기 컴퓨팅 디바이스 상의 상기 디스플레이의 사이즈에 대응하도록 변환함으로써 상기 컴퓨팅 디바이스 상의 상기 디스플레이에 대응하도록 상기 필기 표면을 조정하는 단계; 및
    상기 컴퓨팅 디바이스의 상기 디스플레이의 한 포지션에 상기 주석을 디스플레이하는 단계로서, 상기 주석의 상기 포지션은 상기 필기 표면 상의 상기 필기된 컨텐츠의 상기 부분의 포지션과 공간적으로 관련되는, 상기 주석을 디스플레이하는 단계를 포함하는, 컴퓨팅 디바이스에 의해 실행되는 방법.
  14. 제 13 항에 있어서,
    상기 필기 표면 상에 제공되는 필기된 컨텐츠를 기술하는 상기 수기 데이터를 수신하는 것은 초음파 삼각측량, 무선 주파수 (RF) 삼각측량, 적외선 (IR) 삼각측량, 및 적외선 도트들 중 적어도 하나를 수행하는 것을 더 포함하는, 컴퓨팅 디바이스에 의해 실행되는 방법.
  15. 제 13 항에 있어서,
    상기 주석은 웹 검색을 수행하기 위한 트리거, 애플리케이션을 열기 위한 트리거, 링크, 단어의 정의, 및 단어의 정정 중 적어도 하나를 포함하는, 컴퓨팅 디바이스에 의해 실행되는 방법.
KR1020147026968A 2012-02-29 2012-02-29 필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이 KR20140136471A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/027089 WO2013130060A1 (en) 2012-02-29 2012-02-29 Display of a spatially-related annotation for written content

Publications (1)

Publication Number Publication Date
KR20140136471A true KR20140136471A (ko) 2014-11-28

Family

ID=49083099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147026968A KR20140136471A (ko) 2012-02-29 2012-02-29 필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이

Country Status (7)

Country Link
US (1) US20150100875A1 (ko)
EP (1) EP2820513A4 (ko)
JP (1) JP6141887B2 (ko)
KR (1) KR20140136471A (ko)
CN (1) CN104254815B (ko)
IN (1) IN2014MN01629A (ko)
WO (1) WO2013130060A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200194A1 (ko) * 2015-06-11 2016-12-15 삼성전자 주식회사 문제 콘텐트 제공 방법 및 디바이스

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489501B2 (en) * 2013-04-11 2019-11-26 Google Llc Systems and methods for displaying annotated video content by mobile computing devices
KR20170126294A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN117198277A (zh) * 2016-08-12 2023-12-08 奇跃公司 单词流注释
US10417515B2 (en) * 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4110495B2 (ja) * 1998-10-27 2008-07-02 沖電気工業株式会社 無人契約システム及び顧客端末
WO2001061629A2 (en) * 2000-02-16 2001-08-23 Telefonaktiebolaget L M Ericsson (Publ) Electronic pen help feedback and information retrieval
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US20040139391A1 (en) * 2003-01-15 2004-07-15 Xerox Corporation Integration of handwritten annotations into an electronic original
JP2004252561A (ja) * 2003-02-18 2004-09-09 Mitsui Sumitomo Insurance Co Ltd 記入適否判断装置、記入用紙、及びプログラム
CN100414559C (zh) * 2003-08-21 2008-08-27 微软公司 电子墨水处理方法和系统
US8074184B2 (en) * 2003-11-07 2011-12-06 Mocrosoft Corporation Modifying electronic documents with recognized content or other associated data
US7848573B2 (en) * 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US20060212430A1 (en) * 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US8265382B2 (en) * 2007-05-29 2012-09-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
US20090078473A1 (en) * 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
JP2010108452A (ja) * 2008-10-31 2010-05-13 Pentel Corp 手書き入力システム
US20110320924A1 (en) * 2010-06-23 2011-12-29 Microsoft Corporation Handwritten paper-based input digital record management

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200194A1 (ko) * 2015-06-11 2016-12-15 삼성전자 주식회사 문제 콘텐트 제공 방법 및 디바이스

Also Published As

Publication number Publication date
CN104254815B (zh) 2017-09-12
EP2820513A4 (en) 2015-01-21
US20150100875A1 (en) 2015-04-09
IN2014MN01629A (ko) 2015-05-08
JP2015516611A (ja) 2015-06-11
CN104254815A (zh) 2014-12-31
JP6141887B2 (ja) 2017-06-07
WO2013130060A1 (en) 2013-09-06
EP2820513A1 (en) 2015-01-07

Similar Documents

Publication Publication Date Title
US20220217303A1 (en) Display apparatus and control methods thereof
US8944824B2 (en) Multi-modal learning system
KR102244925B1 (ko) 화면 상에서의 콘텐츠 조작 기법
US10409919B2 (en) Language translation for display device
US11023655B2 (en) Accessibility detection of content properties through tactile interactions
US9864612B2 (en) Techniques to customize a user interface for different displays
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US9053455B2 (en) Providing position information in a collaborative environment
US20170205895A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US8842100B2 (en) Customer authoring tools for creating user-generated content for smart pen applications
US20130111360A1 (en) Accessed Location of User Interface
JP6141887B2 (ja) 書き込まれた内容のための空間的に関係する注釈の表示
WO2019119995A1 (zh) 触摸信号的处理方法、装置、及电子设备和存储介质
US20140359451A1 (en) Computer-readable non-transitory storage medium with image processing program stored thereon, image processing device, and image processing system
US20230360559A1 (en) Interactive tactile graphic and braille display system and method of use
KR101944632B1 (ko) 점자 생성 시스템 및 이의 제어 방법
KR20170009487A (ko) 청크 기반 언어 학습 방법 및 이를 수행하는 전자 기기
US20180129466A1 (en) Display control device and display system
KR101566509B1 (ko) 동작 상태 표시 기능을 포함하는 전자칠판 및 그 방법
Darmawan et al. Neural network-based small cursor detection for embedded assistive technology
JP2005208952A (ja) 電子板書システム
TW201626343A (zh) 幾何圖形夾角之即時繪圖教學系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application