KR101037266B1 - 디지털 잉킹과 관련하여 동적 디지털 주밍 인터페이스를사용하는 시스템 및 방법 - Google Patents

디지털 잉킹과 관련하여 동적 디지털 주밍 인터페이스를사용하는 시스템 및 방법 Download PDF

Info

Publication number
KR101037266B1
KR101037266B1 KR1020050011222A KR20050011222A KR101037266B1 KR 101037266 B1 KR101037266 B1 KR 101037266B1 KR 1020050011222 A KR1020050011222 A KR 1020050011222A KR 20050011222 A KR20050011222 A KR 20050011222A KR 101037266 B1 KR101037266 B1 KR 101037266B1
Authority
KR
South Korea
Prior art keywords
inking
annotation
document
zoom
area
Prior art date
Application number
KR1020050011222A
Other languages
English (en)
Other versions
KR20060041817A (ko
Inventor
마니쉬 아그라월라
마이클 쉴만
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060041817A publication Critical patent/KR20060041817A/ko
Application granted granted Critical
Publication of KR101037266B1 publication Critical patent/KR101037266B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

본 발명은 Tablet PC, PDA, 휴대폰 등과 같은 장치에서 디지털 문서를 주석처리(즉, 디지털 잉킹)하는 것을 용이하게 하는 시스템 및 방법에 관한 것이다. 본 시스템 및 방법은, 문서 및 기입 기구에 대하여 줌 영역을 유동적으로 생성하고 이동시키는 공간-스케일 프레임워크를 통하여 문서 주석처리를 하는 동안 멀티-스케일 내비게이션을 제공한다. 사용자는, 사용자에게 편안하고 장치 디스플레이에 적절히 스케일링되는 크기로 문서의 다양한 부분을 주석처리하기 위하여 이러한 줌 영역을 채용한다. 공간-스케일 프레임워크는 동적 내비게이션을 가능하게 하는데, 여기서 줌 영역 위치, 크기 및 모양은, 예컨대 사용자가 주석처리함에 따라 자동으로 조정될 수 있다. 사용자가 문서를 주석처리하는 것을 종료하면, 주석은 원래 페이지 크기로 줌 영역에 스케일링 백된다. 이러한 신규한 특징은, 문서 주석 처리 동안에 멀티-스케일 내비게이션을 고려하지 않는 종래 기술에 비하여 이점을 제공한다.
디지털 잉킹, 주석, 잉킹 영역, 디지털 문서, 공간-스케일 프레임워크

Description

디지털 잉킹과 관련하여 동적 디지털 주밍 인터페이스를 사용하는 시스템 및 방법{SYSTEMS AND METHODS THAT UTILIZE A DYNAMIC DIGITAL ZOOMING INTERFACE IN CONNECTION WITH DIGITAL INKING}
도 1은 전자 문서 주석처리를 용이하게 하는 예시적인 시스템.
도 2는 다양한 마이크로프로세서 기반의 장치와 함께 사용될 수 있는 예시적인 주석 콤포넌트.
도 3은 문서 주석처리를 용이하게 하는 쌍방향 줌 가능한 사용자 인터페이스를 사용하는 예시적인 방법을 나타내는 도면.
도 4는 줌 윈도우를 통한 문서 주석추가를 용이하게 하는 예시적인 방법을 나타내는 도면.
도 5는 공간-스케일 프레임워크와 연관된 예시적인 이차원 개략도.
도 6은 공간-스케일 프레임워크와 연관된 예시적인 일차원 도면.
도 7은 공간-스케일 프레임워크와 연관된 예시적인 이차원 개략도.
도 8은 공간-스케일 프레임워크와 연관된 예시적인 일차원 도면.
도 9는 제1 예시적인 주석처리 방법을 도시하는 도면.
도 10은 제2 예시적인 주석처리 방법을 나타내는 도면.
도 11은 제3 예시적인 주석처리 방법을 나타내는 도면.
도 12는 주석처리를 용이하게 하는 예시적인 지능 기반 시스템.
도 13은 펜 컴퓨팅 디바이스의 다양한 인간공학적 제약을 나타내는 도면.
도 14는 펜 컴퓨팅 디바이스의 다양한 인간공학적 제약을 극복하는 예시적인 시스템.
도 15 내지 도 17은 사용자 인터페이스와 연결된 새로운 다중 스케일 내비게이션 줌 윈도우 사용을 나타내는 도면.
도 18 내지 도 21은 다양한 줌 윈도우 방향을 나타내는 도면.
도 22는 다양한 줌 윈도우 모양을 나타내는 도면.
도 23은 본 발명의 새로운 형태가 사용될 수 있는 예시적인 네트워킹 환경을 나타내는 도면.
도 24는 본 발명의 새로운 형태가 사용될 수 있는 예시적인 동작 환경을 나타내는 도면.
< 도면의 주요 부분에 대한 부호 설명 >
110 : 주석 관리 콤포넌트
120 : 입력 콤포넌트
210 : 주석 관리 콤포넌트
220 : 구성 콤포넌트
230 : 내비게이션 콤포넌트
1220 : 주석 콤포넌트
1230 : 지능형 콤포넌트
2310 : 클라이언트
2320 : 서버
2330 : 서버 데이터 저장소
2340 : 통신 프레임워크
본 발명은 일반적으로 디지털 문서 주석처리에 관한 것이고, 특히 문서의 자유형태 디지털 잉킹 동안 다중 스케일 내비게이션을 용이하게 하는 줌 윈도우를 사용하는 시스템 및 방법에 관한 것이다.
통상적으로, 그래픽 사용자 인터페이스(Graphic User Interface; GUI)는 디지털 문서(예컨대, 워드프로세싱 문서, 이미지 등)를 편집하기 위하여 마이크로프로세서 기반의 컴퓨팅 장치와 연결되어 사용된다. 이러한 많은 컴퓨팅 장치(태블릿 PC(tablet PCs), PDA, 셀룰러폰 등)는 디지털 펜, 마우스 등을 통하여 자유형태 디지털 잉크로 문서에 주석처리하기 위한 자연스럽고 인상적인 방법을 제공하려고 한다. 이상적으로, 그러한 장치를 사용하는 것은 마치 물리적인 종이 위에 쓰는 것과 같고, 최종 주석은 그 대응하는 잉크와 유사하게 나타나야 한다. 따라서, 그러한 컴퓨팅 장치의 목표는 물리적인 종이에 필적하는 표면을 제공하는 것이다.
그러나, 다양한 인간공학적 요인으로 인하여 이러한 목표는 완전히 달성되기 어렵다. 그러한 요인의 예는, 예컨대 슬립(slip), 해상도(resolution), 스크린 크 기, 시차(parallax) 및 장치 크기와 무게를 포함한다. 슬립은 일반적으로 펜 컴퓨팅 장치(pen-computing device)가 진짜 종이보다 더 미끄럽다는 사실을 일컫는다. 해상도는 디지털 스크린이 종이보다 더 낮은 시각적 해상도를 갖는 것을 고려한다. 또한, 계수화 장치(digitizer)는 일반적으로 가장 섬세한 사람의 손동작보다 더 낮은 해상도로 디지털 펜을 추적한다. 시차는 스크린 상에 플라스틱의 보호층을 제공한 결과이고, 보호층은 디지털 펜의 팁과 밑에 있는 문서 사이의 명백한 변위(displacement)를 생성한다. 크기 및 무게는 스크린 크기를 포함하고, 포터블 장치를 위한 디자인 고려사항을 반영하고, 그 결과 종종 표준 레터 크기 종이 보다 작으며, 위치시키고 상호작용하기 더 어려운 장치 및 스크린이 된다.
하드웨어 설계자는 펜 기반의 장치가 더 종이같이 느껴지도록 계속해서 개선하고 있으나, 상당한 차이가 남아 있다. 이러한 장치와 연관된 많은 제약은 사용자로 하여금 그러한 장치와 상호 작용하는 방식을 바꾸도록 강요하고 주석은 종종 종이 상의 잉크와 매우 다르게 나타나버린다. 특히, 그러한 컴퓨팅 장치와 연관된 스크린은 통상 종이 한 장보다 작다. 적어도 페이지의 일부를 스크린 내에 맞추려는 종래 기술은 표시해상도를 조절하는 것 및/또는 "줌(zoom)"을 포함한다. 그러나, 이러한 기술은 문자 및/또는 도형의 스케일링 다운(scale down)을 수반하고, 이는 문서 정보를 읽을 수 없게 할 수 있다. 또한, 많은 장치는 하드웨어 및/또는 소프트웨어 제한적이어서 고해상도를 선택하는 것이 옵션이 아니다. 문자 및/또는 도형의 스케일링 다운에 있어서의 또 하나의 문제점은 전형적으로 사용자가 종이 위에 나타나는 것보다 더 큰 크기로 주석처리 해버린다는 점이다. 일반적으로, 더 큰 크기의 잉크는 종이 상의 진짜 잉크보다 덜 밀집된 주석이 되고 제한된 스크린 자원을 소비하고 밑에 있는 문서를 불분명하게 하여 어색하게 나타난다.
표시 스케일에 대한 기입 스케일(writing scale)을 검토하기 위해 시도된 종래 기술은 물리적인 종이를 모방하는데 실패하였다. 예컨대, 이러한 많은 기술에 있어서, 사용자는 초점 커서(focus cursor)를 스크린의 상부의 메인 개요 영역(main overview region)에 지정한다. 이후, 사용자는 스크린의 하부의 초점 영역에 작성하고, 여기서 주석은 원래 크기의 미리 정의된 비율(예컨대, 40%)로 축소되고 초점 커서에 위치된다. 초점 영역을 채우자마자, 전형적으로 사용자는 초점 커서를 앞으로 이동하기 위해서 초점 영역에서 우에서 좌로 이동하는 것을 수행할 것이 요구된다. 기타 기술과 함께, 초점 영역은 계속해서 우에서 좌로 스크롤해서 새로운 주석을 위한 공간을 연속적으로 클리어한다. 또 다른 기술과 함께, 사용자는 초점 영역을 채웠을 때, 작성 순서를 깨뜨릴 수 있는, 새로운 작성 공간을 명확하게 생성할 것 또는 연속 스크롤 작성 공간에서 작업하기 위해 그 작성 스타일을 수정할 것이 요구된다.
주밍(zooming)을 채택하는 종래 기술은 통상 이미지 또는 문서 내의 관심 영역을 확대해서 주변 문맥(surrounding context)이 줌 이후에 보이지 않는다. 줌된 화면에서 내비게이션하는 것은 전형적으로 스크롤을 요구하고 이는 확대율이 큰 경우에 지루한 작업일 수 있다. 다른 접근은 문서의 다중 스케일 화면을 포함하는데, 주변 문맥은 보이도록 남아있는 반면 확장된 초점 영역은 상세를 보여준다. 전형적으로, 문서를 통한 내비게이션은 예컨대 패닝(panning) 또는 주밍과 같이, 초점 영역(또는 렌즈)을 밑에 있는 문서 위에 위치함으로써 달성된다. 많은 종래 기술이 자유형태 디지털 잉크(디지털 펜, 마우스 등에 의함)를 가지고 문서 및 이미지에 주석처리하기 위한 자연스럽고 인상적인 방식을 제공하려고 시도하였지만, 이러한 기술은 태블릿 PC, PDA, 셀룰러폰 등과 같은 작은 스크린 장치 상에 주석처리 하는데 있어서의 전술한 문제를 극복하지 못하고 물리적인 종이 위의 작성을 모방하는데 실패하였다.
다음은 본 발명의 소정의 형태의 기본적인 이해를 제공하기 위하여 발명의 간략화된 요약을 나타낸다. 이 요약은 발명의 넓은 개요가 아니다. 발명의 중요한/중대한 구성요소를 식별하거나 발명의 범위를 묘사하기 위한 의도가 아니다. 그 유일한 목적은 이하 기술될 더 상세한 설명에 앞서서 발명의 어떠한 개념을 간략화된 형태로 나타내기 위한 것이다.
본 발명은 디지털 펜, 마우스 등과 같은 도구를 가지고 마이크로프로세서 기반의 장치(예컨대, 데스크탑 컴퓨터, 태블릿 PC, PDA 및 셀룰러폰)에 의해 디지털 문서(예컨대, 워드프로세싱 문서, 이미지 등) 주석달기 동안 다중 스케일 내비게이션을 용이하게 하는 초점 플러스 문맥 기반 인터페이스를 제공한다. 본 발명의 시스템 및 방법은 밑에 있는 문서의 영역을 줌하는 인터페이스를 제공하고, 여기서 사용자는 사용자에게 편하고 장치 표시로 적합하게 스케일링되는 크기에서 영역 내에 주석을 기입할 수 있다. 이 영역은 필요하다면, 사용자가 주석 다는 동안 자동적으로 조절(예컨대, 위치, 크기, 모양 등)된다. 줌 영역이 정상 페이지 크기로 다시 축소되었을 경우, 디지털 잉크 주석은 밑에 있는 문서에 기초하여 적절한 크기로 스케일링된다.
본 발명의 시스템 및 방법은 사용자가 원한다면 밑에 있는 문서의 전체적인 문맥을 볼 수 있도록 자동적으로 성장 및/또는 이동하고 단지 스크린의 일부분만을 덮도록 다양하게 구성될 수 있는 이동 줌 영역을 제공하기 위한 줌 가능한 사용자 인터페이스 및 자유형태 디지털 잉크를 바탕으로 한다. 이러한 새로운 특징은 문서 주석처리 동안에 다중 스케일링 내비게이션을 생각하지 못한 종래 기술에 대하여 장점을 제공한다. 본 발명은 밑에 있는 문서 및 사용자의 작성 도구에 대하여 줌 영역을 유동적으로 위치하고 이동하기 위하여 스케일-공간 프레임워크(scale-space framework)에 기초한 다양한 기술을 채택한다. 이러한 기술은 신속하고 용이한 디지털 문서 주석처리를 가능하게 하고, 최종 주석은 물리적인 종이 위의 주석의 모습과 느낌을 자세하게 모방한다.
본 발명의 일 형태에 있어서, 마이크로프로세서 기반의 장치 내에서 문서 주석처리를 용이하게 하는 시스템이 설명된다. 시스템은 주석 영역을 생성하는 주석 관리 콤포넌트 및 주석 영역을 생성하기 위해 채용되는 주석 영역 성질을 제공하는 주석 구성 콤포넌트를 포함한다. 주석 관리 콤포넌트는 동작, 소리를 통하여 및/또는 자동적으로 사용자 인터페이스로부터 주석 영역을 생성하기 위하여 호출될 수 있다. 주석 관리 콤포넌트는 주석 구성 콤포넌트 및/또는 사용자 또는 지능형 콤포넌트로부터 주석 영역 구성을 획득할 수 있다. 그러한 구성 정보는 내비게이션 특징뿐만 아니라 주석 영역 크기, 모양, 위치, 생김새 등을 규정할 수 있다.
주석 영역은 뷰잉 영역(viewing area)의 적어도 일부분을 차지하도록 생성될 수 있고 관심 영역의 근처에 위치할 수 있어서 사용자는 스케일링되지 않은 문서 정보의 남은 부분을 계속해서 보는 것뿐 만아니라, 문서 정보를 보고 주석 영역 내에 주석처리 하기 위한 충분한 공간을 제공받는다. 또한, 주석 영역은 전형적으로 거기에 있는 문서 정보를 스케일링해서 사용자는 크기 면에서 문서 정보와 비교적 유사한 주석을 편안하게 추가할 수 있다. 시스템은 내비게이션 알고리즘을 제공하는 내비게이션 콤포넌트를 더 포함 할 수 있다. 요망되는 바와 같이, 주석 영역은 사용자가 문서상의 본질적으로 어디에라도 주석처리를 할 수 있게 하는 알고리즘을 통하여 다시 위치 및 또는 형성될 수 있다. 주석 영역이 닫힌 경우, 문서 정보는 그 원래 크기로 다시 스케일링 될 수 있고 주석 구성에 의해 제공되는 특성에 따라 주석은 유사한 배율 또는 다른 배율에 의해 스케일링 될 수 있다.
본 발명의 다른 형태에 있어서, 디지털 문서에 주석처리 하는 것을 용이하게 하는 방법이 설명된다. 방법은 줌 가능한 사용자 인터페이스 또는 줌 윈도우를 예컨대, 표시 장치 상의 지점을 두드리는 것을 통한 디지털 펜으로 활성화하는 단계를 포한한다. 줌 윈도우는 이 지점 근처에서 생성될 수 있고, 줌 윈도우 아래에 놓여 있는 문서의 확대도를 제공할 수 있다. 애니메이션은 이 줌 윈도우를 생성하기 위해 채용될 수 있다. 줌 윈도우가 생성된 다음에, 사용자는 예컨대 줌 윈도우 내에 작성함으로써 줌 윈도우를 통하여 밑에 있는 문서에 주석처리를 할 수 있다. 줌 윈도우는 문서에 주석처리하기에 앞서 및 그 동안에 줌 윈도우를 원하는 위치에 이동함으로써 문서의 다양한 영역에 주석처리하기 위하여 사용될 수 있다. 사용자 는 줌 윈도우를 닫을 수 있고, 주석뿐만 아니라 문서 컨텐츠는 밑에 있는 문서와 일치하는 크기로 스케일링될 수 있다.
본 발명의 또 다른 형태에 있어서, 공간-스케일에 기초한 문서 주석처리 방법이 설명된다. 방법은 문서에 주석처리를 하는 동안에 줌 윈도우를 위치시키고 내비게이트하기 위해서 사용된다. 일 예에 있어서, 줌 윈도우는 사용자에게 끈김없고 방해받지 않는 주석처리 능력을 제공하기 위해서 필요한 바와 같이 자동적으로 조절된다. 다른 예에 있어서, 문서는 줌 윈도우에 대하여 상대적으로 이동된다. 또 다른 예에 있어서, 줌 윈도우는 밑에 있는 문서에 대하여 상대적으로 이동된다.
본 발명의 다른 형태는 줌 윈도우의 생성 및 관리를 용이하게 하는 지능을 채용하는 주석 시스템, 본 발명의 새로운 형태에 의해 주석이 추가된 문서의 예, 본 발명의 형태에 따라 채용될 수 있는 다양한 모양을 설명한다. 또한, 본 발명의 새로운 형태가 채용될 수 있는 환경이 설명된다.
전술한 목표 및 관련된 목표를 달성하기 위해서, 이하 본 발명은 완전히 기술되고 청구항에 특별히 지적된 특징을 포함한다. 다음 설명 및 첨부된 도면은 발명의 구현 및 어떠한 설명의 형태를 상세하게 보여준다. 그러나, 이것은 단지 발명의 원리가 사용될 수 있는 다양한 방식의 몇 가지이다. 본 발명의 다른 목적, 장점 및 새로운 특징은 다음의 발명의 상세한 설명으로부터 도면과 함께 고려될 때 명확할 것이다.
본 발명은 데스크탑 컴퓨터, 태블릿 PC, PDA, 셀룰러폰 등과 같은 마이크로프로세서 기반의 장치에 의해서 표시되는 디지털 문서(예컨대, 워드프로세싱 문서, 이미지 등)의 주석처리를 용이하게 하는 시스템 및 방법을 제공한다. 시스템 및 방법은 무서 주석처리동안에 다중 스케일 내비게이션을 가능하게 하는 초점 플러스 문맥기반 인터페이스를 제공한다. 이 인터페이스는 밑에 있는 문서의 영역을 줌하고, 사용자는 사용자에게 편안하고 장치 표시에 적합하게 스케일링된 크기에서 영역 내에 주석을 입력한다.
또한, 예컨대 물리적인 종이에 주석처리 하는 것과 유사한 경험을 제공하기 위하여 사용자가 주석 처리하는 동안, 줌 인터페이스는 다양한 스케일-공간 프레임워크 기반의 기술을 통하여 밑에 있는 문서 및 사용자의 작성 도구에 대하여 유동적으로 위치하고 조정되며, 줌 영역은 위치, 크기 및 모양에 있어서 자동적으로 조정될 수 있다. 줌 영역이 다시 페이지 크기로 스케일링 되는 경우, 주석은 밑에 있는 문서에 기초하여 적당한 크기로 스케일링된다. 이러한 새로운 특징은 문서 주석처리 동안에 다중 스케일링 내비게이션을 생각하지 못한 종래 기술에 대하여 장점을 제공한다.
본 발명은 도면을 참조하여 이하 기술되고, 명세서 전체를 통하여 동일한 구성요소를 참조하기 위하여 동일한 참조번호가 사용된다. 다음 설명에서, 설명의 목적을 위해서, 본 발명의 완전한 이해를 제공하기 위한 수많은 특정 상세가 주어진다. 그러나, 본 발명이 이러한 특정 상세 없이 실시될 수 있다는 것은 명백하다. 다른 예에서, 본 발명의 설명을 용이하게 하기 위해서 공지의 구조 및 장치는 블록도의 형태로 도시된다.
이 애플리케이션에서 사용되는 바와 같이, "콤포넌트" 및 "장치"라는 용어는 컴퓨터 관련 엔티티, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중의 소프트웨어를 일컫기 위한 의도이다. 예컨대, 콤포넌트는 프로세서 상에 동작하는 프로세스, 프로세서, 객체, 실행가능, 실행의 스레드(thread of execution), 프로그램, 및/또는 컴퓨터일 수 있으나 이에 제한되지 않는다. 또한, 하나 이상의 콤포넌트는 프로세스 및/또는 실행의 스레드 내에 존재하고, 콤포넌트는 하나의 컴퓨터상에 지역화 및/또는 두 개 이상의 컴퓨터 사이에서 분산 될 수 있다. 또한, 콤포넌트는 운영 시스템 커널(operating system kernel)이 실행을 위해 스케줄하는 엔티티(예컨대, 프로세스 내임)일 수 있다. 더욱이, 콤포넌트는 문맥(예컨대, 시스템 레지스터 내의 컨텐츠)과 연관될 수 있고, 이것은 스레드의 실행과 연관된 휘발성 및/또는 비휘발성 데이터일 수 있다.
본 애플리케이션에서 사용되는 바와 같이, "잉킹", "디지털 잉킹", "주석처리", "디지털 주석처리" 및 그 변형의 용어는 실질적으로 문서와 함께 수행 및/또는 표시하기 위해 사용될 수 있는 모든 기술을 일컬을 수 있고, 이는 예컨대 보기, 내비게이팅, 편집, 코멘트 추가, 노트 추가, 포맷 변경 및/또는 구두점 수정 및 문법을 포함한다.
도 1은 디지털 잉킹을 용이하게 하는 시스템(100)을 설명한다. 시스템(100)은 잉킹 또는 주석 영역을 생성하는 주석 관리 콤포넌트(110) 및 잉킹 영역에 대한 요청을 주석 관리 콤포넌트(110)로 이송하는 입력 콤포넌트(120)를 포함한다. 일 반적으로, 시스템(100)은 실질적으로 모든 마이크로프로세서 기반의 장치와 함께 및 본질적으로 모든 실행되는 사용자 인터페이스(예컨대, 문자 및 도형)와 함께 사용될 수 있다. 예컨대, 시스템(100)은 위드 프로세싱 및/또는 이미지 문서를 수정하기 위한 워드프로세서와 함께 사용될 수 있다.
사용자 인터페이스와 함께 사용되는 경우, 주석 관리 콤포넌트(110)는 사용자 인터페이스를 위한 적어도 하나의 잉킹 영역(예컨대, 편집가능한 문자/도형)을 생성할 수 있다. 이하 상세히 설명되는 바와 같이, 주석 관리 콤포넌트(110)는, 입력 콤포넌트(120)가 동작, 소리, 버튼 누름, 마우스 클릭을 통해 및/또는 자동적으로 잉킹 영역을 생성하기 위한 요청을 수신하는 경우, 입력 콤포넌트(120)에 의해 호출될 수 있다. 일단 생성되면, 사용자는 문서에 주석을 추가하기 위하여 잉킹 영역을 사용할 수 있다. 예컨대, 사용자는 자유형태 문자 및/또는 도형을 잉킹 영역에 추가하기 위하여 디지털 펜, 키보드, 터치스크린, 음성, 마우스 등과 같은 입력 장치를 사용할 수 있다. 주석이 잉킹 영역에 기입되면, 그것은 편집, 삭제 및/또는 수용될 수 있다. 또한, 이전에 생성된 잉킹 영역은 재활성화 될 수 있고, 추가적인 주석의 추가 및/또는 현존하는 주석의 편집 및/또는 삭제가 가능하다.
잉킹 영역은 적절하게 스케일링 될 수 있어서 사용자가 문서 정보와 크기에 있어서 상대적으로 유사한 주석을 추가할 수 있다는 점이 이해되어야 한다. 예컨대, 사용자가 자유형태 주석(예컨대, 디지털 펜에 의함)을 문자 문서에 추가하는 경우, 원한다면 잉킹 영역은 잉킹 영역 내에 주어진 현존하는 문서 정보를 줌할 수 있어서 사용자가 크기에 있어서 대략적으로 유사한 주석을 편안하게 추가할 수 있 다. 따라서, 사용자가 주석을 추가할 수 없거나 현존하는 문서 정보와 크기에 있어서 유사한 주석을 추가하기 어렵도록 문서가 표시되는 경우, 본 발명은 사용자로 하여금 크기에 있어서 유사한 주석을 현존하는 문서 정보에 원한다면 추가할 수 있게 하는 새로운 스케일링 기술을 제공한다. 또한, 사용자는 원한다면, 현존하는 문서 정보보다 크기에 있어서 더 작거나 더 큰 주석을 추가할 수 있다.
더욱이, 잉킹 영역은, 사용자로 하여금 본질적으로 문서상 어느 곳에서도 주석을 추가할 수 있게 하기 위하여, 수동으로 및/또는 자동으로 문서에 대하여 재위치 및/또는 다시 크기조절 될 수 있다. 그러한 잉킹 영역에 대한 변화는 주석 처리 이전, 그와 동시에 및/또는 그 이후에 발생할 수 있다. 따라서, 본 발명은 주석처리 이전, 그 동안 및 그 이후에서 다중 스케일 내비게이션을 위한 새로운 기술을 제공한다. 이하 상세하게 설명되는 바와 같이, 본 발명의 일 형태에 따라서 공간-스케일 프레임워크에 기초한 다양한 내비게이션 기술이 사용될 수 있다. 전술한 것은 주석처리동안 다중 스케일 내비게이션을 사용하지 않는 종래 시스템에 대한 개선을 제공한다.
도 2는 디지털 잉크 영역을 발생시키기 위한 시스템(200)을 나타낸다. 시스템(200)은 잉킹 영역을 생성시키는 주석 관리 콤포넌트(210), 잉킹 영역 성질을 제공하는 구성 콤포넌트(220), 및 잉킹 영역 내비게이션 알고리즘을 제공하는 내비게이션 콤포넌트(230)를 포함한다.
주석 관리 콤포넌트(210){예컨대, 주석 관리 콤포넌트(110)}는 사용자 인터페이스를 위한 적어도 하나의 잉킹 영역을 생성시킬 수 있다. 통상, 잉킹 영역의 생성 및/또는 비활성화는 동작, 사운드, 버튼 프레스, 및/또는 마우스 클릭과 같은 메카니즘을 통하여 사용자 요청에 응답하는 것이다. 그러나, 자동화 기술이 채택될 수 있다. 한번 생성되면, 잉킹 영역은 문서에 하나 이상의 주석들을 추가하도록 채용될 수 있다. 일반적으로, 잉킹 영역은 사용자가 상대적으로 크기가 유사한 주석들을 잉킹 영역 내에 표시되는 문서 정보에 추가할 수 있도록 생성될 수 있다. 그러나, 사용자는 원하는 바에 따라 주석 스케일링을 조정할 수 있다. 또한, 잉킹 영역은 문서에 비례하여 수동 및/또는 자동으로 재배치(re-positioning) 및/또는 크기가 변경(re-sizing)될 수 있어서, 사용자가 문서 상의 어디에나 주석들을 추가할 수 있다. 잉킹 영역을 폐쇄할 때, 그 내에 있는 주석들 및 문서 정보는 문서 크기로 스케일링된다. 생성 중에, 주석 관리 콤포넌트(210)는 구성 콤포넌트(220)로부터 잉킹 영역 성질을 얻을 수 있다. 그러한 성질은 잉킹 영역 크기. 형상, 위치, 외관 등에 관련된 정보를 포함할 수 있다. 또한, 활성/비활성, 편집, 크기, 형상, 위치, 외관 및 절단(termination)과 같은 종료후-생성 활동에 관련된 정보도 구성 콤포넌트(220)로부터 얻어질 수 있다. 그러한 정보는 사용자에 의해 구성 콤포넌트(220)로 제공 및/또는 지능을 이용하여 자동으로 생성될 수 있다.
또한, 잉킹 영역은, 예컨대, 구성 콤포넌트(220)에 의해 제공되는 잉킹 영역 성질에 따라, 표시 영역의 서브세트 또는 전체를 점유하도록 생성될 수 있다. 따라서, 사용자에게 충분한 영역을 제공하여 잉킹 영역 내에 스케일링된 문서 정보를 표시하고 주석들을 추가할 뿐만 아니라, 나머지 스케일링되지 않은 문서 정보 부분 또는 잉킹 영역의 바깥 쪽의 문서 부분을 계속해서 표시할 수 있도록, 잉킹 영역은 관심 있는 영역에 근접하게 생성 및 배치될 수 있다.
사용자가 실질적으로 문서 상의 어디에나 주석들을 추가할 수 있도록, 내비게이션 콤포넌트(230)는 문서에 비례하여 수동 및/또는 자동으로 재배치 및/또는 크기 변경을 할 수 있는 알고리즘을 제공한다. 그러한 재배치 및 크기 변경은 주석 전에, 주석과 동시에 또는 주석 후에 나타날 수 있다. 따라서, 본 발명은 주석 전, 주석 중 및 주석 후에 멀티-스케일 내비게이션을 제공한다. 알고리즘은 공간-스케일 프레임워크를 기초로 하고, 생성 공간, 이동 잉킹 영역 및 이동 문서 알고리즘을 포함한다. 공간-스케일 프레임워크는 잉킹 영역과 주석 처리되는 문서간의 기하학적 관계를 기초로 한다.
사용자가 문서에 주석 처리하면 생성 공간 알고리즘은 자동으로 잉킹 영역을 크기 변경하고 재배치한다. 통상, 사용자가 잉킹 영역의 에지 근처에서 주석 처리하면, 잉킹 영역은 자동으로 형상을 변경시켜 공간을 생성시킨다. 이는 소스 평면과 줌 평면간의 매핑을 고정하면서 잉킹 영역을 확장하고, 새로운 중심으로 잉킹 영역 중심을 이동함으로써 얻을 수 있으나, 주석 처리를 계속하기 위하여 더 큰 공간을 제공한다. 여기서, 잉킹 영역은 펜 아래에 있다. 이러한 방식은 사용자의 주석 처리 경험을 붕괴시키지 않는 평활한 전이를 제공한다.
이동 잉킹 영역 알고리즘은 주석 처리 중의 기초를 이루는 문서에 비례하여 잉킹 영역을 이동시킨다. 일반적으로, 잉킹 영역이 생성되면 잉킹 영역 중심이 고착된다. 잉킹 영역이 새로운 위치로 드래그되면, 잉킹 영역 중심과 소스 중심은 동시에 이동하고 새로운 줌 원점이 생성된다. 잉킹 영역이 위치마다 이동되면 사 용자가 기초를 이루는 문서의 임의의 점을 줌할 수 있음을 전술한 바가 보증한다.
이동 기초 문서 알고리즘은 잉킹 영역에 비례하여 주석 처리되는 문서를 이동시킨다. 이러한 방식을 이용하여, 잉킹 영역 내에 디스플레이되는 문서의 부분은 잉킹 영역 대신에 문서를 이동시킴으로써 결정된다. 일반적으로, 잉킹 영역이 주위의 문서 내용에 대하여 고정된 상태로 있도록 잉킹 영역 중심은 고착된다. 사용자가 새로운 위치로 소스 중심을 이동시킬 수 있을 때, 새로운 잉킹 영역 원점이 생성된다. 이러한 방식은 사용자가 잉킹 영역 대신에 소스 윈도우를 드래그 함으로써 기초를 이루는 문서의 임의의 점을 줌할 수 있음을 보증한다.
도 3 및 도 4는 본 발명에 따른 문서 주석 처리 방법(300 및 400)을 나타낸다. 설명의 편의를 위하여 방법은 일련의 행동들로 도시되고 설명된다. 본 발명은 설명되는 행동들 및/또는 행동들의 순서에 제한되지 않는다. 예컨대, 행동들은 다양한 순서 및/또는 동시에 일어날 수 있으며, 본 명세서에서 도시되거나 설명되지 않은 다른 행동들일 수 있다. 더욱이, 설명된 모든 행동들이 본 발명에 따른 방법을 구현하는 데에 필요하지 않을 수 있다. 또한, 방법이 상태 다이어그램 또는 이벤트를 경유하여 일련의 상관된 상태들로서 양자 택일로 표시될 수 있음을 본 기술 분야의 당업자라면 이해할 것이다.
처음으로 도 3을 참조하여, 본 발명의 일 형태에 따라 마이크로프로세서 기반 장치를 이용하여 문서를 주석 처리하는 것을 용이하게 하는 방법(300)이 설명된다. 참조번호(310)에서, 잉킹 영역 또는 줌 윈도우는 활성화된다{예컨대, 시스템(100)에 의해}. 본 발명의 일 형태에서, 잉킹 영역은 디지털 펜을 통하여 활성화 될 수 있다. 예컨대, 디지털 펜을 채용하는 사용자는 디스플레이 상의 점을 태핑(tapping)함으로써 디스플레이의 표시가능 영역 내의 줌 원점을 가리킬 수 있다. 이하에서 상세하게 설명되는 바와 같이, 잉킹 영역은 이러한 줌 원점 근처에 생성될 수 있고, 편집가능한 영역을 규정하는 줌 윈도우 아래에 있는 문서의 확대된 표시를 제공한다. 여기서, 사용자는 기초를 이루는 문서 상에 텍스트 및/또는 그래픽(예컨대, 설명문)을 추가할 수 있다. 본 발명의 다른 형태에 따라, 보이스, 마우스 및/또는 지동화와 같은 다른 수단을 통해 활성화가 얻어질 수 있다.
애니메이션이 채용되어 잉킹 영역을 생성할 수 있는 것이 주목된다. 예컨대, 애니메이션은 잉킹 영역이 페이지 중에서 증가하는 것이라고 여겨지도록 사용될 수 있다. 다른 적합한 애니메이션 기술들은 박스(안과 밖), 블라인드(수평과 수직), 체커보드(checkerboard)(맞은편과 아래), 커버(좌, 우, 위, 아래와 대각선), 커트, 디졸브(dissolve), 페이드(fade), 스플리트(split)(수평과 수직), 와이프(wipe)(좌, 우, 위와 아래), 언커버 및 이와 유사한 것, 및/또는 이들의 임의의 조합을 포함한다. 또한, 디폴트 잉킹 영역 배향(orientation), 형상, 크기, 위치 등은 미리 규정되거나 자동으로 생성될 수 있음이 주목된다, 더욱이, 잉킹 영역 특성은 수동 및/또는 자동으로 언제나 변화될 수 있다.
잉킹 영역이 생성된 후, 320에서 사용자는 잉킹 영역을 통하여 기초를 이루는 문서를 주석 처리할 수 있다. 본 발명의 일 형태에서, 사용자는 잉킹 영역 내에서 기입을 통하여 문서를 주석 처리할 수 있다. 예컨대, 사용자는 디지털 펜 또는 마우스를 사용할 수 있다. 본 발명의 다른 형태에서, 보이스 및/또는 키보드가 채용되어 잉킹 영역 내에 기입할 수 있다. 잉킹 영역을 위한 줌 인자가 선택되어 사용자의 자연적인 기입 크기에 대략 매칭시킬 수 있다. 그러한 선택은 반복 방식을 사용 및/또는 지능 기반 방식을 통하는 것을 수반할 수 있다. 반복 방식에서는 인자가 사용자의 자연적인 기입 크기에 대략 매칭될 때까지 정제(refine)되고, 지능 기반 방식에서는 인자를 자동적으로 정제하기 위하여 사용자의 기입은 저장, 분석 및 사용된다.
문서의 유사 및/또는 이종의 영역을 주석 처리하기 위하여 잉킹 영역이 사용될 수 있다. 이하에서 상세히 설명하는 바와 같이, 다양한 알고리즘들이 잉킹 영역을 이동시키기 위하여 사용될 수 있다. 이러한 알고리즘들은, 문서의 다양한 위치에서 다른 잉킹 영역들을 활성화 하는 단계, 잉킹 영역을 폐쇄하고 상이한 위치에서 다른 잉킹 영역을 활성화 하는 단계, 잉킹 영역을 이동시키는(예컨대, 드래깅 및 커트-앤드-페이스트) 단계, 잉킹 영역이 고정된 상태에서 문서를 이동시키는 단계, 및 잉킹 영역을 자동적으로 이동시키고 주석 처리 중에 그 크기를 조정하는 단계를 포함한다.
참조번호(330)에서, 사용자는 주석을 수용하고 잉킹 영역을 폐쇄할 수 있다. 본 발명의 일 형태에서, 수용은 잉킹 영역을 활성화 하는 것과 유사하게 표시될 수 있다. 예컨대, 사용자는 잉킹 영역 또는 문서 위를 태핑하고, 보이스 명령을 제공 및/또는 이를 자동적으로 폐쇄할 수 있다. 상술한 애니메이션 기술들은 주석 수용 중에 사용될 수 있다. 잉킹 영역이 폐쇄되면, 주석 뿐만 아니라 문서 내용은 기초를 이루는 문서와 일치하는 크기로 스케일링될 수 있다. 따라서, 사용자는 기초를 이루는 문서 내용과 상관된 크기에서 문서를 주석 처리하는 것으로 여겨진다. 본 발명의 다른 형태에서, 주석 스케일링은 문서 정보에 대한 주석 크기를 정제하기 위하여 구별될 수 있다.
도 4는 본 발명의 일 형태에 따른 줌 윈도우를 통하여 전자 문서 주석 처리를 용이하게 하는 예시적인 방법(400)을 나타낸다. 참조번호(410)에서, 줌 윈도우를 위한 디폴트 구성 또한 잉킹 영역 생성이 한명 이상의 사용자들을 위해 규정될 수 있다. 시스템(200)과 연결하여 설명되는 바와 같이, 그러한 구성은 줌 윈도우, 크기, 형상, 위치, 외관, 활성화/비활성화, 편집 및/또는 절단을 결정하는 성질과 관련되어 있다. 단일 디폴트 구성이 사용되는 곳에서, 구성은 줌 윈도우를 위한 요청이 수신될 때마다 검색될 수 있다. 복수의 디폴트 구성들이 생성되는 곳에서, 특정 사용자와 관련된 구성은 로그온, 패스워드, 애플리케이션, 기계 주소 등과 같은 사용자 정보를 기초로 하여 복수의 구성들로부터 얻어질 수 있다. 이러한 검색된 구성은, 예컨대, 크기, 배향, 방향(direction) 및 위치와 같은 줌 윈도우 성질 및 특성을 제공할 수 있다. 예컨대, 구성은 보통 영어가 쓰여지는 방식에 따라 줌 윈도우를 생성하기 위하여 사용될 수 있다. 또한, 줌 윈도우는 좌 내지 우 방식의 주석을 수용하기에 적합한 수평 박스로서 생성될 수 있다.
또한, 좌 내지 우 주석 처리를 용이하게 하기 위하여, 구성은 줌 원점으로부터 줌 윈도우를 오프셋하도록 사용될 수 있다. 예컨대, 구성은 줌 윈도우의 70%가 줌 원점의 우측에 존재하도록 설정될 수 있다. 예컨대, 우 내지 좌 주석 처리를 용이하게 하기 위하여 줌 윈도우의 대부분이 줌 원점의 좌측에 존재하도록 생성된 측면 여백 또는 수평 윈도우를 주석 처리하기 위하여, 다른 구성들은 수직 배향으로 구현될 수 있다.
420에서, 본 명세서에서 설명된 바와 같이, 관련된 구성을 기초로 사용자는 줌 윈도우의 생성을 초기화할 수 있다. 본 발명의 다양한 형태에서, 디폴트 구성들은 전부 또는 부분적으로 무효로 될 수 있다. 예컨대, 방법(400)은 원하는 줌 윈도우 배향을 규정하는 대안적인 메카니즘을 제공한다. 하나의 예로, 사용자는 배향을 지시하는 특정 방향 또는 형상의 디지털 펜을 채용할 수 있다. 예컨대, 줌 윈도우가 생성되어야만 한다는 것을 지시한 후에, 사용자는 줌 윈도우가 좌 내지 우 배향로 생성되어야만 한다는 것을 지시하기 위하여 펜을 좌 내지 우 방향으로 이동할 수 있다. 마찬가지로, 줌 윈도우가 위 내지 아래 배향로 생성되어야만 한다는 것을 지시하기 위하여, 사용자는 위 내지 아래 방향으로 펜을 이동할 수 있다. 실질적으로 모든 디폴트 구성들이 무효로 될 수 있다. 또한, 줌 윈도우 생성은 여전히 펜을 태핑, 보이스 명령 또는 다른 수단에 의해 활성화 될 수 있으나, 그 후의 펜 활동은 줌 윈도우 성질 및 특성을 결정하는 정보를 제공할 수 있음이 주목된다.
참조번호(430)에서, 사용자는 본 명세서에서 설명된 줌 윈도우를 통해 기초를 이루는 문서를 주석 처리할 수 있다. 상술한 기술을 사용하여 주석 중의 줌 윈도우를 이동하고, 줌 윈도우 배향에 따른 줌윈도우를 이동시킬 수 있음이 주목된다. 따라서, 우 내지 좌 주석 처리를 위해 생성된 줌 윈도우는 우 내지 좌 방향으로 이동 및/또는 증가한다. 또한, 이러한 배향은 주석 처리 중에 변화될 수 있다. 따라서, 임의의 이동 및/또는 증가는 유사하게 변화될 수 있다. 예컨대, 사용자는 여백을 주석 처리하기 위하여 위 내지 아래 배향로 줌 윈도우를 활성화 할 수 있다. 그 후, 사용자는 문서 내용을 주석 처리하기 위하여 좌 내지 우 배향로 줌 윈도우 배향을 변화시킬 수 있다.
440에서, 줌 윈도우는 폐쇄될 수 있다. 위에서 주목한 바와 같이, 임의의 주석 뿐만 아니라 줌 윈도우에 디스플레이된 문서 내용은 문서 텍스트 및/또는 그래픽에 대응하는 크기로 크기를 줄일 수 있다. 따라서, 사용자는 물리적인 종이 및 펜을 꼭 닮은 환경의 적합한 크기에서 주석 처리할 수 있다.
도 5 내지 도 8은 본 발명의 일 형태에 따른 줌 윈도우(잉킹 영역) 배치 및 내비게이션을 용이하게 하는 예시적인 스케일-스케일 프레임워크를 나타낸다. 이러한 스케일-스케일 기술은 주석 처리되는 문서와 줌 영역간의 기하학적 관계를 기초로 한다. 여기서, 주밍은 줌 원점 O으로부터 소스 윈도우 S을 통하여 줌 윈도우 Z로의 투영(projection)으로서 표현되고, 스케일링 인자 α는 수식 1로 주어진다.
α=┃Z┃/┃S┃
여기서,┃Z┃및┃S┃는 각각 줌 윈도우 및 소스 윈도우의 폭의 절대값을 의미한다. 더욱이, 유사한 삼각형에 의해, 줌 윈도우의 중심 Zc, 소스 윈도우의 중심 Sc 및 줌 원점 O은 수식 2의 관계가 있다.
Zc=O(1-α)+Scα
일반적으로, 이러한 표현은 원점 O으로부터 나오는 투영선 사에 있는 점들 Zc 및 Sc의 임의의 세트에 적용한다. 시스템과의 기하학적인 상호 작용의 공간은 이러한 파라미터들로 표현될 수 있다. 여기서, 소정의 스케일 인자 α에 대하여,이러한 파라미터들 중의 두개는 변경될 수 있는(2 자유도) 반면에, 세번째는 제약이 가해진다.
처음으로 도 5를 참조하여, 본 발명의 일 형태에 따른 개략적인 주밍 인터페이스(500)를 나타낸다. 주밍 인터페이스(500)는 줌 윈도우(Z, 520)을 갖는 스크린(510) 및 소스 윈도우(S, 520)을 포함한다. 도시된 바와 같이, 줌 원점(O, 540), 줌 중심(Zc, 550) 및 소스 중심(Sc, 560)이 스크린(510) 내이 동일한 점에 대하여 위치하도록 줌 윈도우(Z, 520) 및 소스 윈도우(S, 530)이 배향된다. 스크린(510)은 X-Y 평면을 조사하는 탑 다운 뷰로서 나타내는 것이 주목된다. 그러나, 스크린은 임의의 두 평면에 위치할 수 있다.
도 6은 X-Y 평면에 비례하여, X-Z 평면으로부터의 주밍 인터페이스(500)의 다이어그램(600)을 나타낸다. 도시된 것은 원점 평면(610), 소스 평면(620) 및 줌 평면(630) 내에 각각 위치하는 줌 원점(O, 540), 줌 중심(Zc, 550) 및 소스 중심(Sc, 560)이다. 이러한 스케일-스케일 다이어그램은 줌 원점(O, 540), 소스 윈도우(S, 530) 및 줌 윈도우(Z, 520) 사이의 매핑이 투영일 수 있다는 것을 나타낸다. 여기서, 평면들은 투영이 소스 평면(620) 상의 임의의 영역을 줌 원점(O, 540)에 대하여 줌 인자 α로 스케일링 하도록 간격을 유지하게 된다.
도 7은 주밍 인터페이스(500)의 X-Y 평면으로부터의 개략(700)을 나타낸다. 여기서, 줌 윈도우(Z, 520) 및 소스 윈도우(S, 530)는 각각 줌 원점(O, 710) 및 소스 중심(Sc, 720) 주위로 중심이 재설정된다. 도 8은 X-Z 평면으로부터 주밍 인터페이스(500)의 대응 다이어그램(800)을 나타낸다.
도 9 내지 도 11은 본 발명에 따른 주석 윈도우 위치 및 내비게이션 방법(900, 1000 및 1100)을 각각 나타낸다. 일반적으로, 명시적 방식 및 방법(1100)이 암시적 방식으로 언급될 수 있듯이, 방법(900 및 1000)이 언급될 수 있다. 설명의 편의를 위하여, 방법은 일련의 행동들로 도시되고 설명된다. 본 발명은 설명되는 행동들 및/또는 행동들의 순서에 제한되지 않는다. 예컨대, 행동들은 다양한 순서 및/또는 동시에 일어날 수 있으며, 본 명세서에서 도시되거나 설명되지 않은 다른 행동들일 수 있다. 더욱이, 설명된 모든 행동들이 본 발명에 따른 방법을 구현하는 데에 필요하지 않을 수 있다. 또한, 방법이 상태 다이어그램 또는 이벤트를 경유하여 일련의 상관된 상태들로서 양자 택일로 표시될 수 있음을 본 기술 분야의 당업자라면 이해할 것이다.
도 9에서, 본 발명의 일 형태에 따라, 주석 중에 문서에 비례하여 줌 윈도우를 이동하는 예시적인 내비게이션 방법(900)(및 대응하는 공간-스케일 다이어그램)을 나타낸다. 참조번호(910)에서, 본 명세서에서 설명된 바와 같이 줌 윈도우가 생성된다. 한번 생성되면, 줌 중심(Z, 925)이 소스 중심(S, 930)으로 고착될 수 있다. 920에서, 줌 윈도우는 새로운 위치로 드래그될 수 있다. 사용자가 줌 중심(Z, 925)을 줌 중심(Z', 930)으로 이동할 때 소스 중심(S, 930)은 동시에 소스 중심(S', 940)으로 이동하고{소스 중심(S)으로 줌 중심(Z)을 고착시키기 때문에}, 줌 원점(O, 945)은 동시에 수식 2{Z=O(1-α)+Sα}를 기초로 하여 줌 원점(O', 950)으로 이동한다.
초기 위치는 기초를 이루는 문서에 대한 줌 윈도우의 절대 위치로 언급될 수 있고, 새로운 위치는 원래의 절대 위치에 대한 상대 위치로 언급될 수 있음이 주목된다. 따라서, 사용자가 줌 윈도우를 드래그하면, 줌 중심, 소스 중심 및 소스 원점은 동시에 병진한다. 이는 줌 윈도우가 위치마다 드래그될 때 사용자가 기초를 이루는 문서의 임의의 점을 줌 할 수 있음을 보증한다. 참조번호(960)에서, 사용자는 새로운 위치를 주석 처리하기 위하여 줌 윈도우를 채용할 수 있다.
도 10은 본 발명의 일 형태에 따라, 줌 윈도우에 비례하여 주석 처리되는 무서를 이동시키는 예시적인 내비게이션 방법(1000)(및 대응하는 공간-스케일 다이어그램)을 나타낸다. 이러한 방식은 줌 윈도우의 이동 대신에 줌 윈도우 내에 있는 문서의 부분을 변화시킨다. 참조번호(1010)에서, 본 명세서에서 설명되는 바와 같이 줌 윈도우가 생성된다. 한번 생성되면, 줌 중심(Z', 1020)과 줌 중심(Z, 1015)이 동일하도록 줌 중심(Z, 1015)은 고착될 수 있다. 줌 중심(Z, 1015)이 고착됨으써, 줌 윈도우는 주위의 컨텍스트에 대하여 고정된 상태로 있게 된다. 1030에서, 사용자는 새로운 소스 중심(S', 1040)으로 소스 중심(S, 1035)을 드래그할 수 있다 (예컨대, 상대적인 펜 움직임을 통해). 줌 원점(O, 1045)은 수식 2{Z=O(1-α)+Sα}를 기초로 하여 줌 원점(O', 1050)으로 이동한다. 이러한 방식은 사용자가 줌 윈도우 대신에 소스 윈도우를 드래그 함으로써 기초를 이루는 문서의 임의의 점을 줌 할 수 있음을 보증한다. 참조번호(1060)에서, 사용자는 새로운 위치를 주석 처리하기 위하여 줌 윈도우를 채용할 수 있다.
도 11은 본 발명의 일 형태에 따라, 사용자가 문서를 주석 처리할 때 자동으로 줌 윈도우의 크기를 변경하고 줌 윈도우를 배치하는 예시적인 내비게이션 방법(1100)(및 대응하는 공간-스케일 다이어그램)을 나타낸다. 참조번호(1110)에서, 본 명세서에서 설명된 바와 같이 줌 윈도우가 생성된다. 참조번호(1120)에서, 사용자는 문서를 주석 처리하기 위하여 줌 윈도우를 채용할 수 있다. 1130에서, 사용자가 줌 윈도우의 에지 근방에서 주석 처리할 때 줌 윈도우는 형상을 변경시켜 공간을 생성한다.
본 발명의 일 형태에서, 이는 줌 윈도우가 펜 아래에 있는 상태를 유지하고 기입 및 소스 평면과 줌 평면간의 매핑의 고정을 계속하기 위한 더 큰 공간을 제공하도록 줌 중심(Z, 1135)의 이동을 통해 줌 윈도우를 줌 중심(Z', 1140)까지 확장시킴으로써 획득될 수 있다. 이러한 매핑은 소스 중심(S, 1150)의 이동을 허용하면서 줌 원점(O, 1145)이 고정된 상태를 유지하게 함으로써 고정될 수 있다. 따라서, 줌 원점(O', 1155)은 줌 원점(O, 1145)과 동일하게 설정되고, 소정의 줌 중심(Z', 1140)에서 소스 중심(S', 1160)은 수식 2{Z=O(1-α)+Sα}를 통해 결정될 수 있다. 고정된 매핑을 이용하여, 1165 및 1170에서 도시된 바와 같이 사용자에게 전체 문서 또는 그 서브세트로 한정되는 액세스가 제공될 수 있다. 이러한 방식은 사용자의 주석 처리 경험을 붕괴시키지 않는 평활한 전이를 제공한다.
도 12는 본 발명의 일 실시예에 따라, 디지털 문서 주석 처리를 수행하는 예시적인 지능 기반 시스템(1200)을 나타낸다. 시스템(1200)은 펜 기반 마이크로프로세서 디바이스(1210)를 포함한다. 디바이스(1210)는 문서들에 대해 보기 및/또는 편집을 하는데 이용할 수 있는 GUI(graphical user interface)를 포함한다. GUI는 통신 및/또는 상호 작용을 가능하게 하는 메카니즘(예컨대, 입력, 출력)을 포함할 수 있다. 예컨대, 인터페이스는 대화 박스, 고정 제어기(static controls), 드롭-다운 메뉴, 리스트 박스, 팝업 메뉴 및 그래픽 박스를 포함하는 텍스트 및/또는 그래픽 표시 (예컨대, 출력) 영역들을 포함할 수 있다. 표시 영역들은 디스플레이를 용이하게 하는 유틸리티들을 더 포함할 수 있다. 예컨대, 표시 영역들은 영역이 관찰 가능한지에 대해 판정하고, 줌, 배향 및/또는 색채/그레이 스케일을 조정하기 위하여, 내비게이션 및 툴 바 버튼들을 구현하기 위한 수직 및/또는 수평 스크롤 바들을 포함할 수 있다. 사용자는 표시 영역들과 상호 작용하여, 마우스, 롤러 볼, 키패드, 키보드, 펜 및/또는 음성 구동 등의 다양한 디바이스를 통해 정보를 관찰, 선택 및 제공할 수 있다.
정보를 받아들이기 위하여 이용된 입력 영역들은 유사한 도구들(예컨대, 대화 박스 등)과 더불어서 편집 제어기, 콤보 박스, 라디오 버튼, 체크 박스 및 푸시 버튼 등의 유틸리티들을 이용할 수 있으며, 사용자는 메카니즘 및 도구들과 관련하여 여러 가지 입력 디바이스들(예컨대, 마우스, 롤러 볼, 키패드, 키보드, 펜 및/ 또는 음성 구동)을 이용할 수 있다. 예컨대, 사용자는 편집 제어 박스로 정보를 입력하기 및/또는 연관된 체크 박스를 하이라이트 하기를 통하여 예컨대, 레지스터 위치에 파라미터 또는 변수 또는 포인터를 제공할 수 있다. 주로, 정보의 전달을 개시하기 위하여 정보 입력 후에 푸시 버튼 등의 메카니즘이 이용된다. 그러나, 본 발명이 이에 제한되는 것은 아니라는 것을 이해하여야 한다. 예컨대, 체크 박스를 단순히 하이라이트 함으로써 정보 전달을 개시할 수 있다.
사용자는 위에서 언급한 인터페이스를 이용하여, 주석 콤포넌트(1220)를 활성화시킴으로써 줌 윈도우를 시작할 수 있다. 이러한 시작은 주석 콤포넌트(1220)에게 직접 요청함으로써 이루어질 수도 있으며, 지능형 콤포넌트(1230)를 통하여 주석 콤포넌트(1220)에 간접적으로 요청함으로써 이루어질 수도 있다. 그 후, 주석 콤포넌트(1220)는 상술한 바와 같은 디바이스(1210)에 대한 줌 윈도우를 생성할 수 있다. 또한, 지능형 콤포넌트(1230)는 줌 윈도우 생성을 이용할 수 있다. 예컨대, 지능형 콤포넌트(1230)는 줌 윈도우 생성 정보를 갖는 주석 콤포넌트(1210)를 제공할 수 있다. 이러한 정보는 사용자, 주석 처리되는 문서 및/또는 문서를 관찰하는데 이용되는 애플리케이션에 기초로 할 수 있다.
지능형 콤포넌트(1230)는 주석 처리 중의 줌 윈도우에 대한 관리를 더 용이하게 할 수 있다. 예컨대, 지능형 콤포넌트(1230)는 줌 윈도우 모양, 크기, 외관, 위치 등과 관련된 정보를 제공할 수 있다. 이러한 정보도 생성 정보(generation information)와 마찬가지로, 사용자, 주석 처리되는 문서 및/또는 문서를 관찰하는데 이용된 애플리케이션에 기초로 할 수 있다. 지능형 콤포넌트(1230)는 예컨대, 베이시안 학습(Bayesian learning), 베이시안 분류자(Bayesian classifier) 및 결정 트리 학습 방법(decision tree learning method), 지지 벡터 머신(support vector machine), 선형 및 비선형 회귀 및/또는 신경 망(linear and non-linear regression and/or neural network) 등의 다른 통계 분류자들을 포함(이것에 제한되는 것은 아님)하는, 통계, 추론, 확률 및 분류자(예컨대, 명시적이거나 암시적으로 훈련된 것)에 기초하여 결정을 실행할 수 있다는 것을 이해하여야 한다.
도 13은 종래의 펜 컴퓨팅 디바이스의 여러 가지 인간 환경 광학적 한계점들을 나타내고 있다. 도면 부호 "1310"은 문서를 관찰하고 주석 처리하는데 이용된 사용자 인터페이스를 나타낸다. 사용자 인터페이스 내의 문서는 텍스트, 그래픽 및 여러 가지 포매팅, 및 손으로 기재된 주석들을 포함한다. 영역(1320)은 문서의 확대된 부분을 나타낸다. 도시된 바와 같이, 영역(1320) 내의 주석들은 대체로 문서 내에 기재된 원형보다 크다. 이러한 현상은 모니터 크기가 대체로 표준 크기의 종이에 비해 작기 때문에 펜 컴퓨팅 디바이스로 주석 처리할 때 종종 일어나게 된다. 그 결과, 종래의 시스템에서 생성된 이러한 주석들은 원래 문서를 가리게 되고 따라서 전체적으로 화면이 볼품이 없게 된다.
도 14는 문서에 주석 처리하기 위한 본 발명의 신규한 실시 형태를 이용하는 사용자 인터페이스(1410)를 나타낸다. 사용자 인터페이스(1310)와 마찬가지로, 사용자 인터페이스(1410) 내의 문서는 텍스트, 그래픽 및 여러 가지 포매팅 및 손으로 기재된 주석들을 포함하고, 영역(1420)은 문서의 확대된 부분을 나타낸다. 도시된 바와 같이, 사용자가 영역(1420) 내에 부가한 주석들은 문서 내의 텍스트와 그 크기가 유사하다. 따라서, 주석들은 물리적 문서 상에 물리적 펜으로 주석 처리한 것과 유사하게 보여진다.
도 15 내지 도 21은 문서에 대해 주석 처리하기 위한 본 발명의 신규한 실시 형태와 관련하여 이용된 사용자 인터페이스를 나타낸다. 도 15를 먼저 참조하면, 사용자는 사용자 인터페이스(1520) 내의 줌 원점(zoom origin)(1510)을 가리킴으로써 줌 윈도우를 생성한다. 도시된 바와 같이, 사용자는 사용자 인터페이스(1520) 내의 줌 원점(1510)에서 디지털 펜(1530)으로 두드린다. 도 16을 보면, 줌 원점(1520) 주변에 줌 윈도우(1610)가 생성된다. 앞서 언급한 바와 같이, 줌 윈도우(1610)는 생성 중에 이용된 특성들(디폴트 또는 사용자가 정의한 구성)에 따라 다양한 모양으로 위치될 수 있다. 도시된 바와 같이, 줌 윈도우(1610)는 수평으로 뻗은 직사각형 영역으로 위치되어 생성됨으로써, 영역의 대부분은 줌 원점(1520)의 우측에 놓이게 된다. 또한, 줌 윈도우(1610) 내에 표시된 문서 정보는 사용자가 문서 정보와 그 크기가 유사한 주석을 편안하게 부가할 수 있도록 스케일링 업(scaling up)된다. 도 16은 또한 줌 윈도우(1610) 내의 펜 주석(1620)을 나타낸다.
도 17은 사용자가 줌 윈도우(1610)를 닫은 다음의 사용자 인터페이스(1520)를 나타낸다. 앞서 언급한 바와 같이, 줌 윈도우(1610) 내에서 디지털 펜을 두드림으로써 줌 윈도우(1610)를 닫을 수 있다. 도 17은 또한, 펜 주석(1620)이 줌 윈도우의 환경과 함께 문서 내용에 비례한 크기로 축소되는 것을 나타낸다. 도 18 내지 도 21은 다른 예시적인 줌 윈도우들을 나타낸다. 도 18 및 도 19는 각각 텍 스트 및 이미지를 주석 처리하는데 이용되는 수평적인 줌 윈도우들(1800, 1900)을 나타낸다. 도 20 및 도 21은 각각 수직 방향의 줌 윈도우(2000, 2100)를 나타낸다.
도 22는 본 발명의 다른 실시 형태에서 사용 가능한 여러 가지 줌 윈도우 모양들을 나타낸다. 도면 부호 "2210"에서는 수직 직사각형 줌 윈도우를 나타낸다. 이 모양은 여백에 주석 처리하는 것과 위에서 아래로 기재하는 것에 유용하다. 도면 부호 "2220"에서는 직사각형 줌 윈도우를 나타낸다. 도면 부호 "2230"에서는 팔각형 줌 윈도우를 나타낸다. 도면 부호 "2240", "2250"은 각각 원형 및 타원형 줌 윈도우를 나타낸다. 도면 부호 "2260"은 불규칙한 형태의 줌 윈도우를 나타낸다.
본 발명의 여러 가지 실시 형태에 대한 환경을 제공하기 위하여, 도 23 및 도 24와 이하의 설명을 통해, 본 발명의 여러 가지 실시 형태가 구현될 수 있는 적합한 컴퓨팅 환경에 대한 간략하고 일반적인 설명을 하기로 한다. 컴퓨터 상에서 구동되는 컴퓨터 프로그램의 컴퓨터 실행 가능한 명령어의 일반적인 환경 하에서 본 발명을 설명하였지만, 당업자라면 다른 프로그램 모듈과 조합하여 본 발명이 구현될 수 있음을 인식할 수 있을 것이다. 일반적으로, 프로그램 모듈은 특정한 임무를 구현하거나 특별한 추상적 데이터 종류를 구현하는, 루틴, 프로그램, 콤포넌트, 데이터 구조를 포함한다.
또한, 당업자라면 본 발명의 방법이 단일 프로세서 또는 멀티 프로세서 컴퓨터 시스템, 미니 컴퓨팅 디바이스, 메인프레임 컴퓨터뿐만 아니라, 개인용 컴퓨터 헨드 핼드 컴퓨팅 디바이스, 마이크로프로세서 기반 또는 프로그램 가능한 가전 제품 등을 포함하는 다른 컴퓨터 시스템 구성으로 실행될 수 있음을 알 수 있을 것이다. 본 발명의 상술한 실시 형태는 컴퓨터 네트워크를 통해 링크되는 원격 프로세싱 디바이스에 의해 임무들이 수행되는 분산형 컴퓨팅 환경 하에서도 실행될 수 있다. 그러나, 본 발명의 일부분은 스탠드 얼론 컴퓨터 상에서 실행될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 기억 장치 디바이스에 위치할 수 있다.
도 23은 본 발명이 상호 작용할 수 있는 샘플 컴퓨팅 환경(2300)의 블록도이다. 시스템(2300)은 1 이상의 클라이언트(2310)를 포함한다. 클라이언트(2310)는 하드웨어 및/또는 소프트웨어(예컨대, 쓰레드, 프로세스, 컴퓨팅 디바이스)일 수 있다. 시스템(2300)은 또한 1 이상의 서버(2320)를 포함한다. 서버(2320)는 또한 하드웨어 및/또는 소프트웨어(예컨대, 쓰레드, 프로세스, 컴퓨팅 디바이스)일 수 있다. 서버(2320)는 예컨대, 본 발명을 구현함으로써 변형들(transformations)을 수행하는 쓰레드를 수용할 수 있다. 클라이언트(2310)와 서버(2320) 간의 통신은 2 이상의 컴퓨터 프로세스 간에서 통신되는 데이터 패킷의 형태일 수 있다. 시스템(2300)은 클라이언트(2310)와 서버(2320) 간의 통신을 용이하게 하도록 이용될 수 있는 통신 프레임워크(2340)를 포함한다. 클라이언트(2310)는 클라이언트(2310)에 로컬한 정보를 저장하는데 이용될 수 있는 1 이상의 클라이언트 데이터 저장소(2350)에 작동 가능하게 접속될 수 있다. 마찬가지로, 서버(2320)는 서버(2340)에 로컬한 정보를 저장하기 위하여 이용될 수 있는 1 이상의 서버 데이터 저 장소(2330)에 작동 가능하게 접속될 수 있다.
도 24를 참조하면, 본 발명의 여러 가지 실시 형태를 구현하기 위한 예시적인 환경(2400)은 컴퓨터(2412)를 포함한다. 컴퓨터(2412)는 프로세싱 유닛(2414), 시스템 메모리(2416), 및 시스템 버스(2418)를 포함한다. 시스템 버스(2418)는 프로세싱 유닛(2414)에 시스템 메모리(2416)를 포함(이에 제한되지 않음)하는 시스템 콤포넌트들을 연결시킨다. 프로세싱 유닛(2414)은 임의의 여러 가지 이용 가능한 프로세스일 수 있다. 이중 마이크로프로세스 및 다른 멀티프로세스 아키텍처도 프로세싱 유닛(2414)으로 이용될 수 있다.
시스템 버스(2418)는 ISA(Industrial Standard Architecture), MSA(Micro-Channel Architecture), EISA(Extended ISA), Intelligent Drive Electronics(IDE), VESA Local Bus(VLB), PCI(Peripheral Component Interconnect), USB(Universal Serial Bus), AGP(Advanced Graphics Port), PCMCIA(Personal Computer Memory Card International Association bus), SCSI(Small Computer Systems Interface)를 포함(이에 제한되지 않음)하는 임의의 다양한 버스 아키텍처를 이용하는 로컬 버스 및/또는 주변 버스 또는 외부 버스, 메모리 버스 또는 메모리 제어기를 포함하는 임의의 여러 가지 종류의 버스 구조일 수 있다.
시스템 메모리(2416)는 휘발성 메모리(2420) 및 비휘발성 메모리(2422)를 포함한다. 비휘발성 메모리(2422)에는 기동(start-up)과 같은, 컴퓨터(2412) 내의 구성 요소들 간의 정보를 전달하기 위한 기본적 루틴을 포함하는 BIOS(basic input/output system)가 저장된다. 예를 들자면(제한적 의미는 아님), 비휘발성 메모리(2422)는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM) 또는 플래시 메모리를 포함할 수 있다. 휘발성 메모리(2420)는 외부 캐시 메모리로서 작용하는 RAM(random access memory)를 포함한다. 예를 들자면(제한적 의미는 아님), RAM은 SRAM(synchronous RAM), DRAM(dynamic RAM), SDRAM(synchronous DRAM), DDR SDRAM(double data rate SDRAM), ESDRAM(enhanced SDRAM), SLDRAM(Synchlink DRAM), DRRAM(direct Rambus RAM)의 다양한 형태로 이용 가능하다.
컴퓨터(2412)는 또한 탈착 가능/불가능 휘발성/비휘발성 컴퓨터 기억 매체를 포함한다. 도 24는 예컨대 디스크 저장부(2424)를 나타낸다. 디스크 저장부(2424)는 자기 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, 재즈(Jaz) 드라이브, 집(Zip) 드라이브 LS-100 드라이브, 플래시 메모리 카드 또는 메모리 스틱 등의 디바이스들을 포함하지만, 이에 제한되는 것은 아니다. 또한, 디스크 저장부(2424)는 저장 매체를 단독으로 또는, CD-ROM(compact disk ROM device), CD-R 드라이브(CD recordable drive), CD-RW 드라이브(CD rewritable drive) 또는 DVD-ROM(digital versatile disk ROM drive) 등(이에 제한되는 것은 아님)의 광 디스크 드라이브를 포함하는 다른 저장 매체와 조합하여 포함할 수 있다. 디스크 저장 디바이스(2424)를 시스템(2418)에 용이하게 접속시키기 위하여, 인터페이스(2426)로서 탈착 가능 또는 탈착 불가능 인터페이스가 주로 사용된다.
도 24는 적합한 운영 환경(2400)에서 나타낸, 사용자와 기본적 컴퓨터 자원 간의 매개자(intermediary)로서 작용하는 소프트웨어를 나타내고 있다는 것을 이해하여야 한다. 이러한 소프트웨어로는 운영 체제(2428)를 들 수 있다. 운영 체제(2428)는 디스크 저장부(2424)에 저장될 수 있으며, 컴퓨터 시스템(2412)의 자원을 제어하거나 할당하는 역할을 한다. 시스템 애플리케이션(2430)은 운영 체제(2428)에 의해, 시스템 메모리(2416) 또는 디스크 저장부(2424)에 저장된 프로그램 모듈(2432) 및 프로그램 데이터(2434)를 통해 자원을 관리한다. 본 발명은 여러 가지 운영 체제로 또는 운영 체제들의 조합으로 실현될 수 있다는 것을 이해하여야 한다.
사용자는 입력 디바이스(2436)를 통해 컴퓨터(2412)에 명령 또는 정보를 입력한다. 입력 디바이스(2436)는 마우스, 트랙볼, 스타일러스, 터치 패드, 키보드, 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너, TV 튜너 카드, 디지털 카메라, 디지털 비디오 카메라, 웹 카메라 등의 포인팅 디바이스를 포함하지만, 이에 제한되는 것은 아니다. 이러한 입력 디바이스들은 인터페이스 포트(2438)를 경유하고 시스템 버스(2418)를 거쳐서 프로세싱 유닛(2414)에 접속된다. 인터페이스 포트(2438)는 예컨대, 시리얼 포트, 패러렐 포트, 게임 포트, USB(universal serial bus) 등을 포함한다. 출력 디바이스(2440)는 입력 디바이스(2436)와 같은 종류의 포트 중 일부를 사용한다. 따라서, 예를 들자면 USB 포트가 컴퓨터(2412)에 입력을 제공하고, 컴퓨터(2412)로부터의 정보를 출력 디바이스(2440)로 출력하는데 사용될 수 있다. 출력 어댑터(2442)는 특별한 어댑터를 요구하는 출력 디바이스(2440) 중에서도, 모니터, 스피커, 프린트 등의 출력 디바이스(2440)가 있다는 것을 설명하기 위하여 제공된다. 출력 어댑터(2442)는 예컨대, 출력 디바이스(2440)와 시스템 버스(2418) 간의 접속 수단을 제공하는 비디오, 사운드 카드를 포함하지만, 이들에 제한되는 것은 아니다. 다른 디바이스 및/또는 디바이스 시스템은 원격 컴퓨터(2444)와 같이, 입력 출력 능력을 모두 제공한다.
컴퓨터(2412)는 원격 컴퓨터(2444) 등의 1 이상의 원격 컴퓨터와의 논리적 접속을 사용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(2444)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 워크스테이션, 마이크로프로세서 기반 어플라이언스, 피어 디바이스(peer device) 또는 다른 공통 네트워크 노드 등일 수 있으며, 주로 컴퓨터(2412)와 관련하여 설명한 구성 요소들의 대부분을 포함한다. 설명의 간략화를 위하여, 원격 컴퓨터(2444)와 관련하여 메모리 저장 디바이스(2446)만을 나타내었다. 원격 컴퓨터(2444)는 네트워크 인터페이스(2448)를 통해 컴퓨터(2412)에 논리적으로 접속되고, 통신 접속(2450)을 거쳐 물리적으로 접속된다. 네트워크 인터페이스(2448)는 LAN(local-area network), WAN(wide-area network) 등의 통신 네트워크를 포함한다. LAN 기술은 FDDI(Fiber Distributed Data Interface), CDDI(Copper Distributed Data Interface), 이더넷(Ethernet), 토큰 링(Token Ring) 등을 포함한다. WAN 기술은 포인트간 링크(point-to-point link), ISDN(Integrated Services Digital Network) 등의 회로 스위치 네트워크(circuit switching network) 및 그와 유사한 것들, 패킷 스위칭 네트워크(packet switching networks), DSL(Digital Subscriber Line) 등을 포함하지만, 이들에 제한되는 것은 아니다.
통신 접속(2450)은 네트워크 인터페이스(2448)를 버스(2418)에 접속하는데 이용된 하드웨어/소프트웨어를 나타내는 것이다. 통신 접속(2450)이 컴퓨터(2412) 내부에 있는 것으로 나타나 있지만, 컴퓨터(2412) 외부에 있을 수도 있다. 네트워크 인터페이스(2448)에 접속하는데 필요한 하드웨어/소프트웨어는 예컨대, 통상적인 전화 수준의 모뎀, 케이블 모뎀, DSL 모뎀, ISDN 어댑터, 이더넷 카드를 포함한다.
상술한 것은 본 발명의 실시예들을 포함한다. 본 발명의 목적을 위한 모든 구성 요소들 및 방법론을 조합하는 것은 실질상 불가능하며, 당업자라면 본 발명의 다른 조합 및 변경이 가능하다는 것은 당연히 알 수 있을 것이다. 따라서, 본 발명은 이하에 첨부된 청구범위의 정신 및 범위 내의 모든 수정, 변형, 변경을 포함하는 의도로 이루어진 것이다.
특히 상술한 콤포넌트, 디바이스, 회로, 시스템 등과 관련하여, 그러한 콤포넌트를 나타내기 위하여 사용된 용어들("수단"을 포함)은 나타낸 콤포넌트(예컨대, 기능적인 등가물)의 특정한 기능을 수행하는 임의의 콤포넌트(즉, 본원에 개시된 것과 구조적 등가는 아니더라도, 본 발명의 실시 형태에서 나타낸 것과 동일한 기능을 수행하는 것)에 대응하는 것이다. 이러한 점에서, 본 발명은 본 발명의 여러 가지 방법의 구성을 수행하는 컴퓨터 실행 가능한 명령어를 갖는 컴퓨터 판독 가능 매체 및 시스템을 포함한다는 것을 이해하여야 할 것이다.
또한, 본 발명의 특별한 특징이 단지 몇 가지 구현예 중의 하나와 관련하여 개시되었지만, 이러한 특징은 다른 소정의 애플리케이션에 적합한 다른 구현예의 1 이상의 다른 특징과 조합될 수도 있다. 또한, "구비(including)"라는 용어가 사용되었지만, 이 용어는 "포함(comprising)"과 마찬가지로 포괄적인 의미로 사용된 것이다.
본 발명에 따르면, 문서의 영역을 줌하는 인터페이스가 제공되고, 사용자는 사용자에게 편하고 장치 표시로 적합하게 스케일링되는 크기에서 영역 내에 주석을 기입할 수 있다. 이 영역은 필요하다면, 사용자가 주석 다는 동안 자동적으로 조절될 수 있다.
본 발명에 따르면, 사용자가 원한다면 밑에 있는 문서의 전체적인 문맥을 볼 수 있도록 자동적으로 성장 및/또는 이동하고 단지 스크린의 일부분만을 덮도록 다양하게 구성될 수 있는 이동 줌 영역을 제공하기 위한 줌 가능한 사용자 인터페이스 및 자유형태 디지털 잉크를 바탕으로 할 수 있다. 이러한 새로운 특징으로 인하여 문서 주석처리 동안에 다중 스케일링 내비게이션을 생각하지 못한 종래 기술에 대하여 장점을 제공한다. 또한, 본 발명에 따르면, 신속하고 용이한 디지털 문서 주석처리가 가능하게 하고, 최종 주석은 물리적인 종이 위의 주석의 모습과 느낌을 자세하게 모방할 수 있다.

Claims (20)

  1. 자유 형태 디지틸 잉킹(free form digital inking)을 용이하게 하는 컴퓨터 시스템으로서,
    펜-기반 마이크로프로세서 디바이스 및 애플리케이션 프로그램
    을 포함하고, 상기 애플리케이션 프로그램은 컴퓨터 판독가능 매체 상에 기록되며 컴퓨터에 의해 실행될 수 있고, 상기 애플리케이션 프로그램은,
    줌 윈도우 내에 잉킹 영역(inking region)을 활성화시키기 위한 입력 디바이스;
    밑에 있는 디지털 문서에 대하여 상기 잉킹 영역을 포함하는 상기 줌 윈도우를 생성하는 주석 관리 콤포넌트(annotation management component); 및
    상기 디지털 문서에 관하여 상기 잉킹 영역 및 상기 줌 윈도우를 수동 및 자동으로 재배치(re-position) 및 크기변경(re-size)하는 내비게이션 콤포넌트(navigation component)
    를 포함하고,
    상기 잉킹 영역 및 상기 줌 윈도우의 상기 재배치 및 상기 크기변경은 적어도, 상기 잉킹 영역 내에 입력되고 디스플레이된 주석 정보의 양에 적어도 부분적으로 기초하여, 주석 이벤트 동안 상기 잉킹 영역 내에 상기 디지털 문서의 주석이 입력될 때 발생하고,
    상기 줌 윈도우의 크기는 상기 잉킹 영역의 크기에 대응하는 컴퓨터 시스템.
  2. 제1항에 있어서, 상기 주석 관리 콤포넌트는, 수동 또는 자동 기술 중 적어도 하나에 의하여 상기 디지털 문서 상에 관심 포인트(point of interest)를 식별함으로써 상기 잉킹 영역을 생성하도록 인보크(invoke)되는 컴퓨터 시스템.
  3. 제1항에 있어서, 상기 잉킹 영역은, 상기 잉킹 영역이 상기 디지털 문서로부터 생기는(grows out of the digital document) 것으로 보이도록 하는 애니메이션(animation)과 관련하여 생성되는 컴퓨터 시스템.
  4. 제1항에 있어서, 상기 잉킹 영역은, 잔여 문서(remaining document)가 동시에 보일 수 있도록, 상기 디지털 문서의 서브세트(subset)를 커버하도록 생성되는 컴퓨터 시스템.
  5. 제1항에 있어서, 상기 잉킹 영역은 상기 잉킹 영역 내의 상기 디지털 문서의 일부분을 확대하는 컴퓨터 시스템.
  6. 제5항에 있어서, 확대 인자(factor)는 사용자가 문서 정보와 유사한 크기에서 잉킹하도록 규정되는 컴퓨터 시스템.
  7. 제1항에 있어서, 상기 잉킹 영역은 디지털 펜, 마우스, 버튼 또는 음성 구동(voice activation) 중 하나를 통하여 닫히는 컴퓨터 시스템.
  8. 제1항에 있어서, 상기 잉킹 영역 내의 잉킹은 상기 잉킹 영역이 닫히는 때에 상기 디지털 문서 내의 텍스트와 유사한 크기로 스케일 다운되는(scales down) 컴퓨터 시스템.
  9. 제1항에 있어서, 상기 내비게이션 콤포넌트는 상기 디지털 문서를 내비게이션하기 위해 이동 잉킹 영역(move inking region), 이동 디지털 문서 또는 생성 공간 기술(create space technique) 중 하나 이상을 채용하는 컴퓨터 시스템.
  10. 제9항에 있어서, 상기 이동 잉킹 영역, 이동 디지털 문서 및 생성 공간 기술은 공간-스케일 프레임워크(space-scale framework)에 기초하는 컴퓨터 시스템.
  11. 제10항에 있어서, 상기 공간-스케일 프레임워크는 식
    Figure 112010006548312-pat00025
    을 통하여 내비게이션을 규정하고, ZC는 줌 중심이고, O는 줌 원점이며, α는 스케일링 인자(scaling factor)이고, SC는 스크린 중심인 컴퓨터 시스템.
  12. 제11항에 있어서, 상기 스케일링 인자는
    Figure 112010006548312-pat00026
    에 의하여 규정되고, ｜Z｜는 줌 영역의 절대값이고, ｜S｜는 소스 윈도우의 절대 값인 컴퓨터 시스템.
  13. 제1항에 있어서, 상기 잉킹 영역의 배향(orientation)은, 우에서 좌(right-to-left), 좌에서 우(left-to-right), 상에서 하(top-to-bottom), 또는 하에서 상(bottom-to-top) 방식 중 하나로 상기 문서를 가로질러 디지털 펜을 이동하여 결정되는 컴퓨터 시스템.
  14. 디지털 잉크로 디지털 문서들을 주석처리하기 위하여 줌 윈도우를 제공하는 컴퓨터-구현된 방법으로서,
    입력 디바이스를 통해 상기 줌 윈도우 내에 잉킹 영역을 활성화시키는 단계;
    주석 이벤트의 개시를 용이하게 하기 위해 상기 잉킹 영역을 포함하는 상기 줌 윈도우를 생성하는 단계;
    상기 줌 윈도우 내에 디스플레이된 콘텐츠(contents)를 스케일링하는 단계;
    펜-기반 컴퓨터 시스템에 의해, 적어도 하나의 밑에 있는 디지털 문서에 관하여 상기 잉킹 영역 및 상기 줌 윈도우를 수동 및 자동으로 재배치 및 크기변경하는 단계 - 상기 잉킹 영역 및 상기 줌 윈도우의 상기 재배치 및 상기 크기변경은 적어도, 상기 잉킹 영역 내에 입력되고 디스플레이된 주석 정보의 양의 함수로서, 주석 이벤트 동안 상기 잉킹 영역 내에 상기 적어도 하나의 밑에 있는 디지털 문서의 주석이 입력될 때 발생하고, 상기 줌 윈도우의 크기는 상기 잉킹 영역의 크기에 대응함 - ;
    상기 줌 윈도우를 관심 지역 위에 배치하는 단계;
    상기 적어도 하나의 밑에 있는 디지털 문서를 주석처리한 후에 상기 줌 윈도우를 네비게이팅하는 단계; 및
    상기 주석 정보가 상기 잉킹 영역 내에 입력된 후 상기 주석 이벤트를 종료하는 단계
    를 포함하는 컴퓨터-구현된 방법.
  15. 제14항에 있어서, 상기 줌 윈도우 내에 디스플레이된 문서 콘텐츠들 및 주석들을, 주석처리되고 있는 상기 적어도 하나의 밑에 있는 디지털 문서의 텍스트에 대응하는 크기로 스케일링 다운하는 단계를 더 포함하는 컴퓨터-구현된 방법.
  16. 제14항에 있어서, 디지털 펜, 버튼, 마우스 또는 음성 구동 중 적어도 하나로 상기 적어도 하나의 밑에 있는 디지털 문서 내의 포인트를 나타냄으로써 상기 줌 윈도우의 모양 및 위치를 규정하는 단계를 더 포함하는 컴퓨터-구현된 방법.
  17. 제14항에 있어서, 상기 줌 윈도우가 상기 적어도 하나의 밑에 있는 디지털 문서로부터 생긴다는 외관을 생성하기 위하여 상기 줌 윈도우의 생성을 애니메이팅하는(animating) 단계를 더 포함하는 컴퓨터-구현된 방법.
  18. 제14항에 있어서, 상기 줌 윈도우를 내비게이션하기 위하여 공간-스케일 기술을 채용하는 단계를 더 포함하는 컴퓨터-구현된 방법.
  19. 제14항에 있어서, 상기 줌 윈도우 내에서 디스플레이된 문서 정보와 크기가 유사한 추가 주석들의 추가가 용이하도록, 상기 줌 윈도우를 확대하는 단계를 더 포함하는 컴퓨터-구현된 방법.
  20. 전자 문서 주석처리를 용이하게 하는 컴퓨터 시스템으로서,
    펜-기반 마이크로프로세서 디바이스;
    주석 윈도우 내에 잉킹 영역을 활성화시키기 위한 수단;
    밑에 있는 전자 문서에 대하여 상기 잉킹 영역을 포함하는 상기 주석 윈도우를 생성하기 위한 수단;
    상기 주석 윈도우의 위치를 규정하기 위한 수단;
    상기 주석 윈도우의 콘텐츠를 확대하기 위한 수단;
    상기 밑에 있는 전자 문서를 주석처리하기 위하여 상기 주석 윈도우를 채용하기 위한 수단; 및
    상기 밑에 있는 전자 문서에 관하여 상기 잉킹 영역 및 상기 주석 윈도우를 수동 및 자동으로 재배치 및 크기변경하기 위한 수단
    을 포함하고,
    상기 잉킹 영역 및 상기 주석 윈도우의 상기 재배치 및 상기 크기변경은 적어도, 상기 잉킹 영역 내에 입력되고 디스플레이된 주석 정보의 양에 적어도 부분적으로 기초하여, 주석 이벤트 동안 상기 잉킹 영역 내에 상기 밑에 있는 전자 문서의 주석이 입력될 때 발생하고, 상기 주석 윈도우의 크기는 상기 잉킹 영역의 크기에 대응하는 컴퓨터 시스템.
KR1020050011222A 2004-02-10 2005-02-07 디지털 잉킹과 관련하여 동적 디지털 주밍 인터페이스를사용하는 시스템 및 방법 KR101037266B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/775,710 US7551187B2 (en) 2004-02-10 2004-02-10 Systems and methods that utilize a dynamic digital zooming interface in connection with digital inking
US10/775,710 2004-02-10

Publications (2)

Publication Number Publication Date
KR20060041817A KR20060041817A (ko) 2006-05-12
KR101037266B1 true KR101037266B1 (ko) 2011-05-26

Family

ID=34701339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050011222A KR101037266B1 (ko) 2004-02-10 2005-02-07 디지털 잉킹과 관련하여 동적 디지털 주밍 인터페이스를사용하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US7551187B2 (ko)
EP (1) EP1564632B1 (ko)
JP (1) JP4783030B2 (ko)
KR (1) KR101037266B1 (ko)
CN (1) CN100538608C (ko)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7193609B2 (en) 2002-03-19 2007-03-20 America Online, Inc. Constraining display motion in display navigation
US7847970B1 (en) * 2004-04-16 2010-12-07 Automed Technologies, Inc. System and method for reception, analysis, and annotation of prescription data
US20070198942A1 (en) * 2004-09-29 2007-08-23 Morris Robert P Method and system for providing an adaptive magnifying cursor
US7804508B2 (en) * 2004-10-06 2010-09-28 Apple Inc. Viewing digital images on a display using a virtual loupe
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US7705858B2 (en) * 2004-10-06 2010-04-27 Apple Inc. Techniques for displaying digital images on a display
US7561157B2 (en) * 2004-10-06 2009-07-14 Apple Inc. Compare mode for variable number of images
JP2006155474A (ja) * 2004-12-01 2006-06-15 Fujitsu Component Ltd 情報処理装置及び項目表示方法並びにプログラム
JP4642497B2 (ja) * 2005-02-10 2011-03-02 クラリオン株式会社 ナビゲーション装置
US7961943B1 (en) 2005-06-02 2011-06-14 Zeevi Eli I Integrated document editor
US20070046653A1 (en) * 2005-09-01 2007-03-01 Halfpenny Technologies, Inc. Digital pen methods and apparatus for healthcare systems
WO2007036831A2 (en) * 2005-09-30 2007-04-05 Koninklijke Philips Electronics N.V. Improved drm system
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7705861B2 (en) * 2006-01-19 2010-04-27 Microsoft Corporation Snap to element analytical tool
US20070245227A1 (en) * 2006-04-13 2007-10-18 Workflow.Com, Llc Business Transaction Documentation System and Method
KR100813062B1 (ko) * 2006-05-03 2008-03-14 엘지전자 주식회사 휴대용 단말기 및 이를 이용한 텍스트 표시 방법
WO2007136870A2 (en) * 2006-05-19 2007-11-29 Sciencemedia Inc. Document annotation
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
US8842074B2 (en) 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US7956849B2 (en) 2006-09-06 2011-06-07 Apple Inc. Video manager for portable multifunction device
US7889212B2 (en) * 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
US7996282B1 (en) 2006-09-29 2011-08-09 Amazon Technologies, Inc. Method and system for selecting and displaying items
US8330773B2 (en) 2006-11-21 2012-12-11 Microsoft Corporation Mobile data and handwriting screen capture and forwarding
US8214768B2 (en) * 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US20080165148A1 (en) * 2007-01-07 2008-07-10 Richard Williamson Portable Electronic Device, Method, and Graphical User Interface for Displaying Inline Multimedia Content
JP2008170900A (ja) * 2007-01-15 2008-07-24 Ricoh Co Ltd 情報処理装置、情報閲覧方法、情報閲覧プログラム及び記録媒体
US7936946B2 (en) * 2007-02-23 2011-05-03 Apple Inc. Migration for old image database
JP2008217590A (ja) * 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
US7904825B2 (en) * 2007-03-14 2011-03-08 Xerox Corporation Graphical user interface for gathering image evaluation information
US9075492B1 (en) * 2007-03-30 2015-07-07 Amazon Technologies, Inc. Method and system for displaying items
US8891145B2 (en) * 2007-05-16 2014-11-18 Xerox Corporation System and method for digitizing documents and encoding information relating to same for display by handheld computing devices
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8471823B2 (en) * 2007-08-16 2013-06-25 Sony Corporation Systems and methods for providing a user interface
US8713421B2 (en) * 2007-08-28 2014-04-29 Autodesk, Inc. Scale information for drawing annotations
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
JP2009086742A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 文書管理サーバ、携帯端末、及び文書管理システム
US8775953B2 (en) 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
US9038912B2 (en) * 2007-12-18 2015-05-26 Microsoft Technology Licensing, Llc Trade card services
US20090172570A1 (en) * 2007-12-28 2009-07-02 Microsoft Corporation Multiscaled trade cards
US20090254867A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Zoom for annotatable margins
JP4533943B2 (ja) * 2008-04-28 2010-09-01 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US20090307618A1 (en) * 2008-06-05 2009-12-10 Microsoft Corporation Annotate at multiple levels
US9274624B2 (en) * 2009-03-31 2016-03-01 Ricoh Company, Ltd. Annotating digital files of a host computer using networked tablet computers
US9134947B2 (en) * 2009-03-31 2015-09-15 Ricoh Company, Ltd. Annotating digital files of a host computer using a peripheral device
JP5343692B2 (ja) * 2009-05-12 2013-11-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20100325557A1 (en) * 2009-06-17 2010-12-23 Agostino Sibillo Annotation of aggregated content, systems and methods
JP4888539B2 (ja) * 2009-09-18 2012-02-29 コニカミノルタビジネステクノロジーズ株式会社 画像データ管理方法、画像データ管理システム、画像処理装置、およびコンピュータプログラム
US8083149B2 (en) * 2009-11-05 2011-12-27 Hand Held Products, Inc. Annotation of optical images on a mobile device
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8438504B2 (en) 2010-01-06 2013-05-07 Apple Inc. Device, method, and graphical user interface for navigating through multiple viewing areas
US20110173564A1 (en) * 2010-01-13 2011-07-14 Microsoft Corporation Extending view functionality of application
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
JP5477640B2 (ja) * 2010-03-12 2014-04-23 富士ゼロックス株式会社 電子文書処理装置及びプログラム
US20110289462A1 (en) * 2010-05-20 2011-11-24 Microsoft Corporation Computing Device Magnification Gesture
TW201205432A (en) * 2010-07-29 2012-02-01 Pegatron Corp Electronic book and annotation displaying method thereof
US8522158B2 (en) * 2010-10-19 2013-08-27 Apple Inc. Systems, methods, and computer-readable media for providing a dynamic loupe for displayed information
US9383888B2 (en) * 2010-12-15 2016-07-05 Microsoft Technology Licensing, Llc Optimized joint document review
KR20120075845A (ko) * 2010-12-29 2012-07-09 삼성전자주식회사 터치스크린 단말기에서 메모 방법 및 장치
CN102624754B (zh) * 2011-01-27 2015-04-08 腾讯科技（深圳）有限公司 终端桌面处理系统、终端及服务器和方法
CN102650925A (zh) * 2011-02-25 2012-08-29 华硕电脑股份有限公司 具触控式屏幕的电子装置及其显示控制方法
US9489121B2 (en) 2011-11-02 2016-11-08 Microsoft Technology Licensing, Llc Optimal display and zoom of objects and text in a document
US20130106888A1 (en) * 2011-11-02 2013-05-02 Microsoft Corporation Interactively zooming content during a presentation
JP5418576B2 (ja) * 2011-11-28 2014-02-19 コニカミノルタ株式会社 情報閲覧装置及び表示制御プログラム
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6124543B2 (ja) * 2011-12-26 2017-05-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
KR101984823B1 (ko) * 2012-04-26 2019-05-31 삼성전자주식회사 웹 페이지에 주석을 부가하는 방법 및 그 디바이스
JP5619066B2 (ja) * 2012-04-27 2014-11-05 京セラドキュメントソリューションズ株式会社 文書管理装置および文書管理プログラム
US9965130B2 (en) * 2012-05-11 2018-05-08 Empire Technology Development Llc Input error remediation
US20140115446A1 (en) * 2012-10-22 2014-04-24 Apple Inc. Content Control Tools for a Document Authoring Application
JP2014215911A (ja) * 2013-04-26 2014-11-17 株式会社東芝 注目領域推定装置、方法およびプログラム
US10572124B2 (en) * 2013-05-20 2020-02-25 Citrix Systems, Inc. Bound based contextual zoom
TWI493433B (zh) * 2013-08-28 2015-07-21 Acer Inc 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
US20150067489A1 (en) * 2013-09-04 2015-03-05 Evernote Corporation Zoomable pages for continuous digital writing
KR102212210B1 (ko) * 2013-10-04 2021-02-05 삼성전자주식회사 필기 정보를 공유 및 표시하는 방법 및 장치
US20150098653A1 (en) * 2013-10-07 2015-04-09 Kabushiki Kaisha Toshiba Method, electronic device and storage medium
CN105335085A (zh) * 2014-08-11 2016-02-17 富泰华工业（深圳）有限公司 用户界面操作方法
US9508166B2 (en) * 2014-09-15 2016-11-29 Microsoft Technology Licensing, Llc Smoothing and GPU-enabled rendering of digital ink
CN104484856A (zh) * 2014-11-21 2015-04-01 广东威创视讯科技股份有限公司 一种图片标注显示控制方法及处理器
CN105988568B (zh) * 2015-02-12 2020-07-24 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
US11157166B2 (en) * 2015-11-20 2021-10-26 Felt, Inc. Automove smart transcription
KR102526860B1 (ko) * 2016-03-18 2023-05-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR102520398B1 (ko) 2016-05-18 2023-04-12 삼성전자주식회사 사용자 데이터를 저장하는 전자 장치 및 그 방법
EP3523810A1 (en) * 2016-10-07 2019-08-14 Koninklijke Philips N.V. Context sensitive magnifying glass
EP3552151A1 (en) * 2016-12-08 2019-10-16 Koninklijke Philips N.V. Learning annotation of objects in image
US10481791B2 (en) 2017-06-07 2019-11-19 Microsoft Technology Licensing, Llc Magnified input panels
US10417310B2 (en) * 2017-06-09 2019-09-17 Microsoft Technology Licensing, Llc Content inker
US10482170B2 (en) * 2017-10-17 2019-11-19 Hrb Innovations, Inc. User interface for contextual document recognition
CN113254815B (zh) * 2020-02-08 2023-11-10 钉钉控股（开曼）有限公司 文档处理、页面处理方法及设备
US11336946B1 (en) 2020-08-19 2022-05-17 Amazon Technologies, Inc. Presenting options for selecting content via navigation bars and designated content spaces
US11650720B2 (en) 2020-10-06 2023-05-16 International Business Machines Corporation Dynamically adjusting zoom settings by a server in multiple user environments
WO2023108475A1 (en) 2021-12-15 2023-06-22 Citrix Systems, Inc. Application hotspot on endpoint device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06124164A (ja) * 1992-10-12 1994-05-06 Sharp Corp 手書き入力装置
JPH09305299A (ja) * 1996-05-13 1997-11-28 Nec Corp インクノート機能での自動文字サイズ判別機能
JPH10240220A (ja) 1997-03-03 1998-09-11 Toshiba Corp 注釈表示機能を持つ情報処理機器
JP2001042992A (ja) 1999-07-30 2001-02-16 Sharp Corp 手書き文字処理装置および方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689367A (ja) * 1992-09-07 1994-03-29 Hitachi Ltd 手書き情報処理装置
US5559942A (en) * 1993-05-10 1996-09-24 Apple Computer, Inc. Method and apparatus for providing a note for an application program
MX9602952A (es) * 1994-01-27 1997-06-28 Minnesota Mining & Mfg Notas de software.
US5778403A (en) 1994-09-01 1998-07-07 Microsoft Corporation Method for displaying text on a rendering device to accurately represent the text as if displayed on a target device
US5831615A (en) * 1994-09-30 1998-11-03 Intel Corporation Method and apparatus for redrawing transparent windows
US5940077A (en) 1996-03-29 1999-08-17 International Business Machines Corporation Method, memory and apparatus for automatically resizing a window while continuing to display information therein
US5939877A (en) * 1997-05-27 1999-08-17 Hewlett-Packard Company Graphical system and method for automatically scaling waveforms in a signal measurement system
US6584479B2 (en) * 1998-06-17 2003-06-24 Xerox Corporation Overlay presentation of textual and graphical annotations
US6625296B2 (en) * 1998-11-03 2003-09-23 Fuji Xerox Co., Ltd. Method and system for freeform digital ink annotation of data traces
US6762777B2 (en) * 1998-12-31 2004-07-13 International Business Machines Corporation System and method for associating popup windows with selective regions of a document
US6552719B2 (en) 1999-01-07 2003-04-22 Microsoft Corporation System and method for automatically switching between writing and text input modes
US6326957B1 (en) 1999-01-29 2001-12-04 International Business Machines Corporation System and method for displaying page information in a personal digital notepad
US6256009B1 (en) 1999-02-24 2001-07-03 Microsoft Corporation Method for automatically and intelligently scrolling handwritten input
US20010040551A1 (en) * 1999-07-29 2001-11-15 Interlink Electronics, Inc. Hand-held remote computer input peripheral with touch pad used for cursor control and text entry on a separate display
AU781901B2 (en) * 2000-03-31 2005-06-23 International Business Machines Corporation Aggregation of content as a personalized document
US20020116420A1 (en) * 2000-09-28 2002-08-22 Allam Scott Gerald Method and apparatus for displaying and viewing electronic information
US7015910B2 (en) * 2000-12-21 2006-03-21 Xerox Corporation Methods, systems, and computer program products for the display and operation of virtual three-dimensional books
JP2003050653A (ja) * 2001-07-18 2003-02-21 Internatl Business Mach Corp <Ibm> 入力イベントの発生方法及びその方法を備える情報端末
US6900819B2 (en) * 2001-09-14 2005-05-31 Fuji Xerox Co., Ltd. Systems and methods for automatic emphasis of freeform annotations
US8166388B2 (en) * 2002-05-14 2012-04-24 Microsoft Corporation Overlaying electronic ink
US20030214531A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06124164A (ja) * 1992-10-12 1994-05-06 Sharp Corp 手書き入力装置
JPH09305299A (ja) * 1996-05-13 1997-11-28 Nec Corp インクノート機能での自動文字サイズ判別機能
JPH10240220A (ja) 1997-03-03 1998-09-11 Toshiba Corp 注釈表示機能を持つ情報処理機器
JP2001042992A (ja) 1999-07-30 2001-02-16 Sharp Corp 手書き文字処理装置および方法

Also Published As

Publication number Publication date
JP2005243015A (ja) 2005-09-08
JP4783030B2 (ja) 2011-09-28
US20050177783A1 (en) 2005-08-11
EP1564632A3 (en) 2013-04-03
CN100538608C (zh) 2009-09-09
US7551187B2 (en) 2009-06-23
KR20060041817A (ko) 2006-05-12
EP1564632B1 (en) 2017-12-20
CN1658137A (zh) 2005-08-24
EP1564632A2 (en) 2005-08-17

Similar Documents

Publication Publication Date Title
KR101037266B1 (ko) 디지털 잉킹과 관련하여 동적 디지털 주밍 인터페이스를사용하는 시스템 및 방법
US20050015731A1 (en) Handling data across different portions or regions of a desktop
JP7046806B2 (ja) ジェスチャを用いたノートテイキングのための装置および方法
KR102381801B1 (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
US7302650B1 (en) Intuitive tools for manipulating objects in a display
RU2371753C2 (ru) Автоматическая регулировка высоты для электронных перьев и координатно-указательных устройств типа &#34;мышь&#34;, служащих для выделения информации на экране дисплея
RU2557463C2 (ru) Портативная сенсорная вычислительная система с двумя экранами
US7966573B2 (en) Method and system for improving interaction with a user interface
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US8166388B2 (en) Overlaying electronic ink
US20040257346A1 (en) Content selection and handling
US7464343B2 (en) Two level hierarchy in-window gallery
US20100289757A1 (en) Scanner with gesture-based text selection capability
US20160170617A1 (en) Automatic active region zooming
US20100293460A1 (en) Text selection method and system based on gestures
US20020097270A1 (en) Selection handles in editing electronic documents
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
US9727547B2 (en) Media interface tools and animations
US20190250790A1 (en) Managing content displayed on a touch screen enabled device
US20100070916A1 (en) Template skimming preview
US10430924B2 (en) Resizable, open editable thumbnails in a computing device
US20140026036A1 (en) Personal workspaces in a computer operating environment
US20230401376A1 (en) Systems and methods for macro-mode document editing
US20230393717A1 (en) User interfaces for displaying handwritten content on an electronic device
US20210081604A1 (en) Systems and methods for macro-mode document editing

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 9