KR102410724B1

KR102410724B1 - 디스플레이 상의 핸드라이팅 입력의 표현의 표시

Info

Publication number: KR102410724B1
Application number: KR1020160002547A
Authority: KR
Inventors: 지안방 장; 송 왕; 브래들리 파크 스트라지사
Original assignee: 레노보 (싱가포르) 피티이. 엘티디.
Priority date: 2015-01-21
Filing date: 2016-01-08
Publication date: 2022-06-20
Also published as: US10437461B2; CN105808134B; CN105808134A; KR20160090244A; EP3048520A1; US20160210037A1; EP3048520B1

Abstract

일 양태에서, 프로세서에 의해 실행가능한 디바이스 명령어들은 제1 핸드라이팅 입력 중 적어도 일부분의 제1 표현을 터치 가능형 디스플레이 상에 제1 위치에 표시하기 위한 것이다. 명령어들은 제1 핸드라이팅 입력과 관련된 적어도 제1 특성을 식별하고, 제2 핸드라이팅 입력에 관한 제1 입력을 수신하고, 제1 입력의 수신에 응답하여, 제2 핸드라이팅 입력의 적어도 일부분의 제2 표현을 터치 가능형 디스플레이 상에서 제2 위치에 표시하도록 실행가능하다. 명령어들은 제2 표현의 적어도 일부분을 제1 위치에 적어도 인접하여 표시하기 위한 제2 입력을 수신하고, 제2 입력의 수신에 응답하여, 사용자로부터의 추가 입력의 수신 없이, 상기 제1 특성을 이용하여 상기 제1 위치에 적어도 인접하여 상기 제2 표현의 적어도 일부분을 표시하도록 실행가능하다.

Description

디스플레이 상의 핸드라이팅 입력의 표현의 표시{PRESENTATION OF REPRESENTATION OF HANDWRITING INPUT ON DISPLAY}

본 출원은 일반적으로 디스플레이 상에 핸드라이팅 입력의 표현들(representations)을 표시(presenting)하는 것에 관한 것이다.

본원에서 알 수 있는 바와 같이, 예를 들어 디스플레이 상의 한 위치로부터의 핸드라이팅 입력의 표현을, 핸드라이팅 입력의 다른 표현이 표시되어 있는 다른 위치에 잘라붙이기할 때, 예를 들어 표현들의 다양한 크기들로 인해, 붙여진 표현이 다른 표현과 비교하여 이상하게 보이는 경우가 종종 있다. 이것은 사용자가 표현을 다른 표현 내에 붙이거나 다른 표현 옆에 붙여서 두가지 표현 모두를 이용하여 문구 또는 문장을 형성 또는 수정하려고 의도했고, 따라서 문구 또는 문장의 모든 부분이 비교적 동일해 보이게 하는 것을 의도할 때에는 바람직하지 않다.

따라서, 일 양태에서, 디바이스는 프로세서, 프로세서에 액세스가능한 터치 가능형 디스플레이, 및 프로세서에 액세스가능한 메모리를 포함한다. 메모리는 제1 핸드라이팅 입력 중 적어도 일부분의 제1 표현을 터치 가능형 디스플레이 상에 제1 위치에 표시하기 위해 프로세서에 의해 실행가능한 명령어들을 갖는다. 명령어들은 또한 제1 핸드라이팅 입력에 관련된 적어도 제1 특성을 식별하고, 제2 핸드라이팅 입력에 관한 제1 입력을 수신하고, 제1 입력의 수신에 응답하여, 제2 핸드라이팅 입력 중 적어도 일부분의 제2 표현을 터치 가능형 디스플레이 상에 제2 위치에 표시하기 위해 실행가능하다. 명령어들은 또한 제2 표현 중 적어도 일부분을 제1 위치에 적어도 인접하여 표시하기 위한 제2 입력을 수신하고, 제2 입력의 수신에 응답하여, 사용자로부터의 추가 입력의 수신 없이, 제2 표현 중 적어도 일부분을 제1 특성을 이용하여 제1 위치에 적어도 인접하여 표시하기 위해 실행가능하다.

다른 양태에서, 방법은 제1 인스턴스에서, 제1 핸드라이팅 입력의 제1 표현을 디스플레이 상에 표시하는 단계를 포함한다. 방법은 또한 디스플레이 상에 제2 핸드라이팅 입력의 제2 표현을 표시하는 단계, 제1 표현 중 적어도 일부분을 선택하는 제1 커맨드를 수신하는 단계, 및 제1 표현 중 적어도 일부분을 디스플레이 상에 제2 표현의 표시에 적어도 인접한 영역에 표시하기 위한 제2 커맨드를 수신하는 단계를 포함한다. 방법은 제2 인스턴스에서, 제2 표현의 표시에 기초하여 제1 표현 중 적어도 일부분의 표시의 적어도 하나의 양상을 적어도 부분적으로 변경함으로써, 제1 표현 중 적어도 일부분이 제1 인스턴스에서 표시되었던 것과는 적어도 하나의 양상에서 다르게 제1 표현 중 적어도 일부분을 영역에 표시하는 단계를 더 포함한다.

또 다른 양태에서, 장치는 제1 프로세서, 네트워크 어댑터, 및 핸드라이팅 입력 중 적어도 제1 표현을 디스플레이 상에 표시하고, 핸드라이팅 입력 중 적어도 제2 표현을 디스플레이 상에 표시하기 위해 제2 프로세서에 의해 실행가능한 명령어들을 포함하는 스토리지를 포함한다. 명령어들은 또한 핸드라이팅 입력의 제2 표현 중 적어도 일부분을 제1 표현의 일부분에 삽입하기 위한 커맨드를 수신하고, 제2 표현 중 적어도 일부분을 제1 표현의 일부분에 삽입하고, 제2 표현의 일부분을 적어도 하나의 양상에서 제1 표현의 모습과 적어도 유사하게 보이도록 조절하기 위해 실행가능하다. 제1 프로세서는 네트워크 어댑터를 경유하여 네트워크를 통해 명령어들을 전달한다.

본 발명의 구조 및 동작 양자에 대한 본 발명의 원리들의 세부사항은 동일한 참조번호들이 동일한 부분들을 지칭하는 첨부 도면들을 참조하면 가장 잘 이해될 수 있다.

도 1은 본 발명의 원리들에 따른 예시적인 시스템의 블록도이다.
도 2는 본 발명의 원리들에 따른 디바이스들의 네트워크의 블록도이다.
도 3은 본 발명의 원리들에 따른 예시적인 알고리즘을 보여주는 흐름도이다.
도 4 내지 도 9는 본 발명의 원리들에 따른 실례들이다.

본 개시는 일반적으로 디바이스 기반 정보에 관한 것이다. 본원에 논의되는 임의의 컴퓨터 시스템들에 있어서, 일 시스템은 서버 및 클라이언트 컴포넌트들을 포함할 수 있고, 서버 및 클라이언트 컴포넌트들은 그들 사이에서 데이터가 교환될 수 있도록 네트워크를 통해 연결된다. 클라이언트 컴포넌트들은 텔레비전들(예를 들어, 스마트 TV들, 인터넷 가능형 TV들), 데스크탑들, 랩탑들 및 태블릿 컴퓨터들과 같은 컴퓨터들, 소위 컨버터블 디바이스들(예를 들어, 태블릿 구성 및 랩탑 구성을 가짐), 및 스마트폰들을 포함하는 다른 모바일 디바이스들을 포함하는 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 이러한 클라이언트 디바이스들은 제한적이지 않은 예로서 Apple, Google, 또는 Microsoft로부터의 운영 체제들을 이용할 수 있다. Unix, 또는 Linux 운영 체제와 같은 유사한 것들이 이용될 수 있다. 이러한 운영 체제들은 Microsoft 또는 Google 또는 Mozilla에 의해 만들어진 브라우저, 또는 인터넷, 로컬 인트라넷 또는 가상 사설 네트워크와 같은 네트워크를 통해 인터넷 서버들에 의해 호스팅되는 웹 애플리케이션들에 액세스할 수 있는 다른 브라우저 프로그램과 같은 하나 이상의 브라우저를 실행할 수 있다.

본원에서 사용될 때, 명령어들은 시스템 내에서 정보를 처리하기 위한 컴퓨터 구현 단계들을 지칭한다. 명령어들은 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있고, 따라서 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들은 그들의 기능성에 관하여 제시된다.

프로세서는 어드레스 라인들, 데이터 라인들 및 제어 라인들과 같은 다양한 라인들, 및 레지스터들 및 시프트 레지스터들에 의해 로직을 실행할 수 있는 임의의 종래 범용 싱글 또는 멀티 칩 프로세서일 수 있다. 또한, 본원에 설명되는 임의의 논리 블록들, 모듈들 및 회로들은 범용 프로세서에 더하여, 본원에 설명된 기능들을 수행하도록 설계되는 DSP(digital signal processor), FPGA(field programmable gate array), 또는 ASIC(application specific integrated circuit), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 그들의 임의의 조합과 같은 다른 프로그램가능한 로직 디바이스 내에서, 또는 그것들에 의해서, 구현되거나 수행될 수 있다. 프로세서는 제어기 또는 상태 머신, 또는 컴퓨팅 디바이스들의 조합에 의해 구현될 수 있다.

본원에서 흐름도들 및/또는 사용자 인터페이스들에 의해 설명되는 임의의 소프트웨어 및/또는 애플리케이션들은 다양한 서브 루틴, 절차들 등을 포함할 수 있다. 예를 들어, 모듈에 의해 실행되는 것으로서 알려진 로직은 다른 소프트웨어 모듈들에 재분배되고/재분배되거나 단일 모듈 내에 함께 결합되고/결합되거나 공유가능한 라이브러리 내에서 이용가능하게 될 수 있다는 점이 이해되어야 한다.

소프트웨어에서 구현될 때의 로직은 제한적이지 않은 예로서 C# 또는 C++과 같은 적절한 언어로 작성될 수 있고, RAM(random access memory), ROM(read only memory), EEPROM(electrically erasable programmable read only memory), CD ROM(compact disk read only memory) 또는 DVD(digital versatile disc)와 같은 다른 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 이동식 썸(thumb) 드라이브들을 포함하는 다른 자기 저장 디바이스 등과 같은 (예를 들어, 일시적 신호가 아닐 수 있는) 컴퓨터 판독가능 스토리지 매체에 저장되거나 컴퓨터 판독가능 스토리지를 통해 전송될 수 있다. 연결은 컴퓨터 판독가능 매체를 확립할 수 있다. 그러한 연결들은 예로서 광섬유들 및 공축 배선들 및 트위스티드 페어 와이어들을 포함하는 하드와이어드 케이블들을 포함할 수 있다. 그러한 연결들은 적외선 및 라디오를 포함하는 무선 통신 연결들을 포함할 수 있다.

예로서, 프로세서는 컴퓨터 판독가능 스토리지 매체와 같은 데이터 스토리지로부터의 자신의 입력 라인들을 통해 정보를 액세스할 수 있고/있거나, 프로세서는 데이터를 송신 및 수신하도록 무선 트랜시버를 활성화함으로써 인터넷 서버로부터 무선으로 정보를 액세스할 수 있다. 데이터는 통상적으로 수신 중일 때에는 안테나와 프로세서의 레지스터들 사이의 회로망에 의해 아날로그 신호들로부터 디지털로 변환되고, 전송 중일 때에는 디지털로부터 아날로그로 변환된다. 이때, 프로세서는 계산된 데이터를 디바이스 상에 표시하기 위해, 계산된 데이터를 출력 라인들 상에 출력하도록 자신의 시프트 레지스터들을 통해 데이터를 처리한다.

일 실시예에 포함된 컴포넌트들은 임의의 적절한 조합으로 다른 실시예들에서 이용될 수 있다. 예를 들어, 본원에 설명되고/설명되거나 도면들에 도시되는 다양한 컴포넌트 중 임의의 것은 다른 실시예들로부터 배제되거나 결합되거나 교환될 수 있다.

"A, B 및 C 중 적어도 하나를 갖는 시스템"(마찬가지로, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 및 "A, B, C 중 적어도 하나를 갖는 시스템")은 A 단독, B 단독, C 단독, A 및 B 결합, A 및 C 결합, B 및 C 결합, 및/또는 A, B 및 C 결합 등을 갖는 시스템들을 포함한다.

"A, B 및 C 중 하나 이상을 갖는 시스템"(마찬가지로, "A, B 또는 C 중 하나 이상을 갖는 시스템" 및 "A, B, C 중 하나 이상을 갖는 시스템")은 A 단독, B 단독, C 단독, A 및 B 결합, A 및 C 결합, B 및 C 결합, 및/또는 A, B 및 C 결합 등을 갖는 시스템들을 포함한다.

"회로" 또는 "회로망"이라는 용어가 개요, 설명 및/또는 청구항들에서 이용된다. 본 기술분야에 잘 알려져 있는 바와 같이, "회로망"이라는 용어는 예를 들어 이산 로직 회로들로부터 VLSI와 같은 최상위 레벨의 회로 집적에 이르기까지의 모든 레벨의 이용가능한 집적을 포함하고, 실시예의 기능들을 수행하도록 프로그래밍되는 프로그래밍가능한 로직 컴포넌트들은 물론, 이 기능들을 수행하기 위한 명령어들로 프로그래밍되는 범용 또는 특수 목적 프로세서들을 포함한다.

이제 구체적으로 도 1을 참조하면, 도 1은 정보 핸들링 시스템 및/또는 컴퓨터 시스템(100)의 예시적인 블록도를 보여준다. 일부 실시예들에서, 시스템(100)은 노스캐롤라이나주 모리스빌의 Lenovo (US) Inc.에 의해 판매되는 ThinkCentre® 또는 ThinkPad® 시리즈의 퍼스널 컴퓨터들 중 하나와 같은 데스크탑 컴퓨터 시스템, 또는 노스캐롤라이나주 모리스빌의 Lenovo (US) Inc.에 의해 판매되는 ThinkStation®과 같은 워크스테이션 컴퓨터일 수 있지만; 본원의 설명에서 분명한 바와 같이, 본 발명의 원리들에 따른 클라이언트 디바이스, 서버 또는 다른 머신은 다른 특징부들을 포함하거나 시스템(100)의 특징부들 중 일부만을 포함할 수 있다는 점에 주목해야 한다. 또한, 시스템(100)은 예를 들어 XBOX® 또는 Playstation®와 같은 게임 콘솔일 수 있다.

도 1에 도시된 바와 같이, 시스템(100)은 소위 칩셋(110)을 포함한다. 칩셋은 함께 작동하도록 설계된 집적 회로들 또는 칩들의 그룹을 지칭한다. 칩셋들은 통상적으로 단일 제품으로서 거래된다(예를 들어, INTEL®, AMD® 등의 브랜드들로 거래되는 칩셋들을 생각해보자).

도 1의 예에서, 칩셋(110)은 브랜드 또는 제조사에 따라 어느 정도 달라질 수 있는 특정한 아키텍처를 갖는다. 칩셋(110)의 아키텍처는 코어 및 메모리 제어 그룹(120), 및 예를 들어 직접 관리 인터페이스 또는 직접 미디어 인터페이스(direct management interface 또는 direct media interface; DMI)(142) 또는 링크 제어기(144)를 통해 정보(예를 들어, 데이터, 신호들, 커맨드들 등)를 교환하는 I/O 제어기 허브(150)를 포함한다. 도 1의 예에서, DMI(142)는 칩 투 칩 인터페이스이다(때로는 "노스브리지"와 "사우스브리지" 사이의 링크로서 지칭됨).

코어 및 메모리 제어 그룹(120)은 하나 이상의 프로세서(122)(예를 들어, 싱글 코어 또는 멀티 코어 등), 및 FSB(front side bus)(124)를 통해 정보를 교환하는 메모리 제어기 허브(126)를 포함한다. 본원에 설명된 바와 같이, 코어 및 메모리 제어 그룹(120)의 다양한 컴포넌트들은 예를 들어 종래의 "노스브리지" 스타일 아키텍처를 대신하는 칩을 만들기 위해, 싱글 프로세서 다이로 집적될 수 있다.

메모리 제어기 허브(126)는 메모리(140)와 인터페이스한다. 예를 들어, 메모리 제어기 허브(126)는 DDR SDRAM 메모리(예를 들어, DDR, DDR2, DDR3 등)에 대한 지원을 제공할 수 있다. 일반적으로, 메모리(140)는 일종의 RAM(random access memory)이다. 그것은 종종 "시스템 메모리"라고 지칭된다.

메모리 제어기 허브(126)는 LVDS(low voltage differential signaling) 인터페이스(132)를 더 포함한다. LVDS(132)는 디스플레이 디바이스(192)(예를 들어, CRT, 플랫 패널, 프로젝터, 터치 가능형 디스플레이 등)의 지원을 위한 소위 LVDS 디스플레이 인터페이스(LDI)일 수 있다. 블록(138)은 LVDS 인터페이스(132)(예를 들어, 직렬 디지털 비디오, HDMI/DVI, 디스플레이 포트)를 통해 지원될 수 있는 기술들의 몇몇 예를 포함한다. 메모리 제어기 허브(126)는 또한 예를 들어 이산 그래픽(136)의 지원을 위해, 하나 이상의 PCI E(PCI express) 인터페이스(134)를 포함한다. PCI E 인터페이스를 이용하는 이산 그래픽은 AGP(accelerated graphics port)에의 대안적인 접근이 되었다. 예를 들어, 메모리 제어기 허브(126)는 외부 PCI E 기반 그래픽 카드(예를 들어, 하나 이상의 GPU를 포함함)를 위한 16 레인(x16) PCI E 포트를 포함할 수 있다. 예시적인 시스템은 그래픽의 지원을 위해 AGP 또는 PCI E를 포함할 수 있다.

I/O 허브 제어기(150)는 다양한 인터페이스를 포함한다. 도 1의 예는 SATA 인터페이스(151), 하나 이상의 PCI E 인터페이스(152)(선택사항으로서 하나 이상의 레거시 PCI 인터페이스), 하나 이상의 USB 인터페이스(153), LAN 인터페이스(154)(더 일반적으로는, 프로세서(들)(122)의 지시 하에서의 인터넷, WAN, LAN 등과 같은 적어도 하나의 네트워크를 통한 통신을 네트워크 인터페이스), 범용 I/O 인터페이스(GPIO)(155), 로우 핀 카운트(LPC) 인터페이스(170), 전력 관리 인터페이스(161), 클럭 발생기 인터페이스(162), 오디오 인터페이스(163)(예를 들어, 오디오 출력을 위한 스피커들(184)을 위한 것), TCO(total cost of operation) 인터페이스(164), 시스템 관리 버스 인터페이스(예를 들어, 멀티마스터 시리얼 컴퓨터 버스 인터페이스)(165), 및 도 1의 예에서 BIOS(168) 및 부트 코드(190)를 포함하는 SPI 플래쉬(serial peripheral flash) 메모리/제어기 인터페이스(166)를 포함한다. 네트워크 연결들과 관련하여, I/O 허브 제어기(150)는 PCI E 인터페이스 포트로 다중화되는 통합된 기가비트 이더넷 제어기 라인들을 포함할 수 있다. 다른 네트워크 특징부들은 PCI E 인터페이스에 독립하여 동작할 수 있다.

I/O 허브 제어기(150)의 인터페이스들은 다양한 디바이스, 네트워크 등과의 통신을 가능하게 한다. 예를 들어, SATA 인터페이스(151)는 HDD, SDD 또는 그들의 조합과 같은 하나 이상의 드라이브(180) 상에 정보를 판독, 기입, 또는 판독 및 기입하는 것을 가능하게 하지만, 어느 경우에서든, 드라이브들(180)은 일시적 신호들이 아닐 수 있는, 예를 들어 실체있는 컴퓨터 판독가능 스토리지 매체인 것으로 이해된다. I/O 허브 제어기(150)는 하나 이상의 드라이브(180)를 지원하기 위한 AHCI(advanced host controller interface)를 또한 포함할 수 있다. PCI E 인터페이스(152)는 디바이스들, 네트워크들 등에의 무선 연결(182)을 허용한다. USB 인터페이스(153)는 키보드(KB), 마우스, 및 다양한 다른 디바이스들(예를 들어, 카메라, 전화기, 스토리지, 미디어 플레이어들 등)과 같은 입력 디바이스들(184)을 가능하게 한다.

도 1의 예에서, LPC 인터페이스(170)는 하나 이상의 ASIC(171), TPM(trusted platform module)(172), 슈퍼 I/O(173), 펌웨어 허브(174), BIOS 지원(175)은 물론, ROM(177), 플래쉬(178) 및 비휘발성 RAM(NVRAM)(179)와 같은 다양한 유형의 메모리(176)의 사용을 가능하게 한다. TPM(172)과 관련하여, 이 모듈은 소프트웨어 및 하드웨어 디바이스를 인증하기 위해 이용될 수 있는 칩의 형태일 수 있다. 예를 들어, TPM은 플랫폼 인증을 수행하는 것이 가능할 수 있고, 액세스를 하고자 하는 시스템이 예상되는 시스템임을 검증하기 위해 이용될 수 있다.

시스템(100)의 전원이 켜지면, 시스템(100)은 SPI 플래쉬(166) 내에 저장된 대로의 BIOS(168)를 위한 부트 코드(190)를 실행하고, 그 후에 하나 이상의 운영 체제 및 애플리케이션 소프트웨어(예를 들어, 시스템 메모리(140) 내에 저장됨)의 제어 하에서 데이터를 처리하도록 구성될 수 있다. 운영 체제는 다양한 위치들 중 임의의 것에 저장될 수 있고, 예를 들어 BIOS(168)의 명령어들에 따라 액세스될 수 있다.

추가로, 여기에서는 명확히 하기 위해 도시되었지만, 일부 실시예들에서, 시스템(100)은 예를 들어 시스템(100)의 배향을 감지 및/또는 측정하고 그에 관련된 입력을 프로세서(122)에 제공하기 위한 자이로스코프, 예를 들어 시스템(100)의 가속도 및/또는 이동을 감지하고 그에 관련된 입력을 프로세서(122)에 제공하기 위한 가속도계, 예를 들어 사용자가 마이크로폰에 가청 입력을 제공하는 것에 기초하여 프로세서(122)에 입력을 제공하는 오디오 수신기/마이크로폰, 및 하나 이상의 이미지를 수집하고 그에 관련된 입력을 프로세서(122)에 제공하기 위한 카메라를 포함할 수 있다. 카메라는 예를 들어 열 이미징 카메라, 웹캠과 같은 디지털 카메라, 및/또는 시스템(100)에 통합되고 픽쳐들/이미지들 및/또는 비디오를 수집하기 위해 프로세서(122)에 의해 제어가능한 카메라일 수 있다. 또한, 역시 명확히 하기 위해 도시되진 않았지만, 시스템(100)은 예를 들어 적어도 하나의 위성으로부터 지리적 위치 정보를 수신하고 그 정보를 프로세서(122)에 제공하도록 구성되는 GPS 트랜시버를 포함할 수 있다. 그러나, GPS 수신기가 아닌 다른 적절한 위치 수신기가 예를 들어 시스템(100)의 위치를 결정하기 위해 본 발명의 원리들에 따라 이용될 수 있다.

도 2로 옮겨가기 전에, 예시적인 클라이언트 디바이스 또는 다른 머신/컴퓨터는 도 1의 시스템(100) 상에 도시된 것보다 더 적거나 더 많은 특징부들을 포함할 수 있다는 것이 이해되어야 한다. 어느 경우에서든, 적어도 상술한 것에 기초하여, 시스템(100)은 본 발명의 원리들을 수행하도록 구성된다는 것이 이해되어야 한다.

이제 도 2로 가면, 본 발명의 원리들에 따라, 예를 들어 인터넷과 같은 네트워크(200)를 통해 통신하는 예시적인 디바이스들이 도시되어 있다. 예를 들어, 도 2를 참조하여 설명되는 디바이스들 각각은 위에서 설명된 시스템(100)의 특징부들, 컴포넌트들 및/또는 요소들 중 적어도 일부분을 포함할 수 있다는 것이 이해되어야 한다. 어느 경우에서든, 도 2는 노트북 컴퓨터(202), 데스크탑 컴퓨터(204), 예를 들어 스마트 워치와 같은 웨어러블 디바이스(206), 스마트 텔레비전(TV)(208), 스마트 폰(210), 태블릿 컴퓨터(212), 위에서 논의되는 디스플레이(192)와 같은 터치 가능형 디스플레이에 입력을 제공하도록 구성되는 스타일러스 및/또는 전자 펜(216), 및 예를 들어 디바이스들(202 내지 212 및 216)에 액세스가능한 클라우드 스토리지를 제공할 수 있는 예를 들어 인터넷 서버와 같은 서버(214)를 보여준다. 디바이스들(202 내지 216)은 본 발명의 원리들을 수행하기 위해 네트워크(200)를 통해 서로 통신하도록 구성된다는 것이 이해된다.

도 3을 참조하면, 본 발명의 원리들에 따른 시스템(100)과 같은 디바이스(도 3을 참조하여 "본 발명의 디바이스"라고 지칭됨)에 의해 수행될 수 있는 예시적인 로직을 보여준다. 블록(300)에서 시작하여, 로직은 예를 들어 하나 이상의 필기용(note taking) 애플리케이션, 그리기 애플리케이션, 워드 프로세싱 애플리케이션, 인터넷 브라우저 애플리케이션 등과 같이, 본 발명의 원리들을 수행하기 위한 하나 이상의 애플리케이션을 개시 및/또는 실행한다. 다음으로, 로직은 블록(302)으로 진행하고, 거기에서 로직은 본 발명의 디바이스에 액세스가능한 터치 가능형 디스플레이 상의 제1 위치에서, 예를 들어 디스플레이 상에 표시되도록 사용자에 의해 스토리지로부터 요청되었고/요청되었거나 터치 가능형 디스플레이의 표면에 대하여 스타일러스 및/또는 사용자의 신체의 일부분(예를 들어, 손가락)을 이용하여 핸드라이팅함으로써 사용자에 의해 제공된 제1 핸드라이팅 입력의 적어도 일부분의 제1 표현을 표시한다.

제1 위치는 디스플레이 상에 표시되는 사용자 인터페이스(UI) 상의 위치, 및/또는 디스플레이 자체 위의 물리적 위치일 수 있다는 점에 주목해야 한다. 핸드라이팅 입력의 표현은 예를 들어 본 발명의 디바이스에 의해 식별되는 대로의 사용자로부터의 예를 들어 핸드라이팅 입력의 트레이싱, 및/또는 예를 들어 핸드라이팅 입력 내에 제공되는 캐릭터들을 포함하되, 그러한 캐릭터들이 디스플레이에의 제1 핸드라이팅 입력에 기초하여 수신된 것으로부터는 적어도 하나의 양상에서 변경되었으나 예를 들어 글꼴 텍스트 및/또는 글꼴 폰트로서는 아직 표시되지 않은 핸드라이팅 입력의 표현을 포함할 수 있다는 점에도 주목해야 한다.

어느 경우에서든, 블록(302) 이후에, 로직은 블록(304)으로 이동하고, 거기에서 로직은 제1 표현 및/또는 제1 핸드라이팅 입력 자체의 하나 이상의 특성을 식별한다. 예를 들어, 식별될 수 있는 하나 이상의 특성은 제1 핸드라이팅 입력 및/또는 제1 표현의 하나 이상의 스트로크(예를 들어, 핸드라이팅 입력 및/또는 제1 표현의 캐릭터들을 확립하는 스트로크들)(예를 들어, 캐릭터를 적어도 부분적으로 확립하는 윤곽선들, 라인들 및/또는 곡선들)의 스트로크 폭의 평균(average)들[예를 들어, 산술평균(mean), 중간(median) 및/또는 최빈(mode)], 제1 핸드라이팅 입력 및/또는 제1 표현의 캐릭터들의 캐릭터 높이의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 단어들의 단어 높이의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 캐릭터들의 캐릭터 폭의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 단어들의 단어 폭의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 각각의 캐릭터들이 점유하는 면적들의 평균, 제1 핸드라이팅 입력 및/또는 제1 표현의 단어들의 각각의 단어들이 점유하는 면적들의 평균, 제1 핸드라이팅 입력 및/또는 제1 표현의 스트로크들의 기울기 각도(들)의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 캐릭터들의 기울기 각도(들)의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 단어들의 기울기 각도(들)의 평균들, 제1 핸드라이팅 입력 및/또는 제1 표현의 캐릭터들에 의해 확립되는 베이스라인(들), 제1 핸드라이팅 입력 및/또는 제1 표현의 단어들에 의해 확립되는 베이스라인(들), 제1 표현이 표시되는 하나 이상의 컬러(예를 들어, 흑색, 회색 또는 백색 외의 컬러), (예를 들어, 동일 단어의) 2개의 캐릭터 간의 평균 거리, 2개의 단어 간의 평균 거리 등을 포함한다.

본원에서 이해되는 바와 같이, 베이스라인은 예를 들어 제1 핸드라이팅 입력 및/또는 제1 표현의 캐릭터들 및/또는 단어들의 바닥 부분들의 평균 위치에 기초하여 확립되는 (예를 들어, 디스플레이를 직립해서 보는 것에 관한) 수평선일 수 있고, 예를 들어 그러한 평균은 예를 들어 소문자 "p", "g", "y" 또는 "q"와 같은 하강 문자들을 갖는 캐릭터들을 배제 및/또는 무시할 수 있다. 하강 문자들은 예를 들어 캐릭터 자체, 및 그것이 소문자 형태인지 대문자 형태인지의 식별(예를 들어, 특정 캐릭터의 소문자 형태를 하강 문자를 갖는 캐릭터 타입으로서 식별하는 것)에 기초하여 본 발명의 디바이스에 의해서 식별되고/식별되거나, 스트로크가 다른 캐릭터들(예를 들어, 대부분의 다른 캐릭터들, 및/또는 하강 스트로크를 갖는 해당 캐릭터의 왼쪽 및 오른쪽에 있는 캐릭터들)보다 소정량(예를 들어, 임계량)만큼 내려간 것에 기초하여 스트로크를 하강 문자로서 식별하는 것에 기초하여 식별될 수 있다. 그러나, 다른 실시예들에서, 베이스라인을 확립하는 평균은 하강 문자들을 갖는 캐릭터들을 처리할 수 있다.

계속하여 도 3을 참조하면, 블록(304) 이후에, 로직은 블록(306)으로 이동하고, 거기에서 로직은 디스플레이 상에서 제2 위치에 제2 핸드라이팅 입력의 제2 표현을 표시하기 위한 제1 입력을 수신한다. 제2 위치는 예를 들어 블록(302)을 참조하여 위에서 설명된 UI와는 다른 UI 상의 위치, 동일 UI 상의 다른 위치일 수 있고/있거나, 설명된 다른 물리적 위치와는 다른 디스플레이 자체 상의 물리적 위치일 수 있다.

따라서, 본 발명의 원리들에 따른 일부 실시예들에서, 상이한 UI들을 위한 상이한 위치들은 여전히 디스플레이 자체의 동일한 및/또는 부근의 위치들에서 (예를 들어, 상이한 시간들에) 표시될 수 있고, 따라서 상이한 UI들을 표시하는 터치 가능형 디스플레이의 부분들이 반드시 상호 배타적이지는 않다는 것이 이해되어야 한다. 그러나, 본 발명의 원리들에 따른 다른 실시예들에서, 상이한 위치들은 디스플레이 자체의 상이한 물리적 위치들에 관련될 수 있고, 따라서 상호 배타적일 수 있음에도 주목해야 한다.

계속하여 블록(306)을 참조하면, 거기에서 수신되는 제1 입력은 예를 들어 디스플레이에의 제2 핸드라이팅 입력을 제2 위치에서 수신하는 것, 및/또는 현재 디바이스 및/또는 다른 디바이스(예를 들어, 클라우드 스토리지)의 저장 매체 상에 저장되어 있던 미리 수신된 제2 핸드라이팅 입력의 표현을 제2 위치에 표시하기 위한 커맨드를 수신하는 것을 포함할 수 있다는 것에 주목해야 한다. 그와 상관없이, 블록(306)에서 제1 입력을 수신한 것에 응답하여, 로직은 블록(308)으로 이동하고, 거기에서 로직은 제2 위치에서 제2 핸드라이팅 입력의 제2 표현을 (예를 들어, 제1 인스턴스에서) 표시한다. 그 후에, 로직은 블록(310)으로 이동하고, 거기에서 로직은 제2 표현의 적어도 일부분의 선택(예를 들어, 자르기 또는 복사하기 선택)을 수신한다.

블록(310)에서, 로직은 블록(312)으로 이동하고, 거기에서 로직은 블록(310)에서 선택된 제2 표현의 적어도 일부분을 제1 위치, 및/또는 제1 표현의 표시에 적어도 인접하여 표시 및/또는 삽입하기 위한 커맨드(예를 들어, 붙이기 커맨드, 이동하기 커맨드 등)를 수신한다. 제한이 아닌 실시예들에서, 인접하다는 것은 제1 위치 위에 있는 것, 제1 위치 아래에 있는 것, 제1 위치의 옆에 있는 것, 제1 위치의 적어도 일부분인 것, 및/또는 제1 위치의 임계 거리(예를 들어, 디스플레이를 보는 것에 대하여 오른쪽 위로의 임계 거리) 이내에 있는 것 중 적어도 하나를 포함할 수 있다. 그러나, 일부 실시예들에서, 예를 들어 사용자가 제1 UI로부터 제2 표현의 적어도 일부분을 선택하고, 디스플레이로부터 제1 UI를 제거하고, 제2의 다른 UI가 디스플레이 상에 표시되게 한 다음, 그 적어도 일부분을 제2 UI 상에 표시하기 위한 커맨드를 제공할 때, "인접하다"는 것은 제2 UI를 표시하는 디스플레이의 임의의 물리적 위치일 수 있다는 점에 주목해야 한다.

계속하여 도 3을 참조하면, 블록(312) 이후에, 로직은 블록(314)으로 진행하고, 거기에서 제2 표현의 적어도 일부분이 적어도 하나의 양상(예를 들어, 스트로크 폭 또는 표현 컬러)에서 제1 표현의 동일한 각각의 양상과 적어도(예를 들어, 실질적으로) 유사하게 제1 위치에 적어도 인접하여 나타나도록, 로직은 (예를 들어, 블록(312)에서 수신된 커맨드의 발행에 후속하는 사용자로부터의 어떠한 추가 입력도 없이) 블록(304)에서 식별된 제1 표현 및/또는 제1 핸드라이팅 입력의 캐릭터(들)를 이용하여 제2 표현의 적어도 일부분을 제1 위치에 적어도 인접하게 (예를 들어, 제1 인스턴스보다 시간상 나중인 제2 인스턴스에서) 표시한다. 또한, 일부 실시예들에서, 예를 들어 제1 위치에 적어도 인접하게 표시되는 제2 표현의 적어도 일부분은, 예를 들어 캐릭터 및/또는 텍스트 인식 소프트웨어를 실행함으로써 본 발명의 디바이스에 의해 식별되는 바에 따라, 제2 표현의 일부분이 적어도 하나의 숫자 캐릭터(예를 들어, 0부터 9까지의 아라비아 숫자), 알파벳 캐릭터(예를 들어, A부터 Z까지의 영어 알파벳, 일본어 및 중국어 알파벳과 같은 다른 언어들 및/또는 알파벳들의 캐릭터들도 물론 결정될 수 있음이 이해됨), 및/또는 심볼 캐릭터(예를 들어, 달러 기호($), 퍼센티지 심볼(%), 괄호 심볼((및/또는)), 파운드 기호(#) 등, 일본어 및 중국어 심볼들과 같은 다른 언어들의 심볼들도 물론 결정될 수 있음이 이해됨)를 포함한다는 결정에 응답하여, 제1 표현 및/또는 제1 핸드라이팅 입력의 특성들을 이용하여 표시된다는 점에 주목해야 한다.

따라서, 예를 들어 사용자가 그림 또는 낙서의 표현을 제2 표현에 붙여넣으려고 시도하고 있는 경우, 그림의 표현은 제2 위치에 표시될 때 식별된 특성들에 기초하여 변경되는 것이 아니라, 예를 들어 그것이 제1 위치에 있었던 것과 여전히 동일하거나 실질적으로 유사하게 표시될 것이다(예를 들어, 그렇지 않았다면 발생했을 해상도 및/또는 스케일링 변경들을 제외). 그러나, 사용자가 핸드라이팅의 표현을 제2 위치에 붙여넣으려고 시도하고 있는 경우, 본 발명의 디바이스는 그것을 그와 같이 식별할 수 있고, 그에 응답하여, 제2 위치에 표시된 다른 표현의 식별된 특성들을 이용하여 표현의 적어도 일부분을 제2 위치에 표시할 수 있다.

도 4를 참조하여 상세한 설명을 계속하면, 제1 위치의 경계들을 보여주기 위한 도해를 위한 것이라고 이해되며 실제로는 UI(400) 상에 표시되지 않을 수 있는 예시적인 박스(404)에 의해 둘러싸인 제1 위치(402)를 포함하여, 본 발명의 원리들에 따른 예시적인 핸드라이팅 애플리케이션 사용자 인터페이스(UI)(400)가 도시되어 있다. 박스(404) 내의 핸드라이팅된 단어의 각각의 표현은 그 내부의 다른 캐릭터들 및/또는 핸드라이팅된 단어들과 적어도 실질적으로 동일한 스트로크 폭의 캐릭터들을 갖는다는 점에 주목해야 한다.

또한, 박스(404) 내의 개별 단어 표현들을 둘러싸는 예시적인 박스들이 도시되어 있고, 이 박스들은 예를 들어 각각의 단어의 표현의 각각의 일부분들이 확장되는 UI 및/또는 디스플레이의 최상부, 최하부, 극좌부 및 극우부에 의해 정의될 수 있다는 점에 주목해야 한다(예를 들어, 이러한 각각의 부분들은 적어도 부분적으로는 각각 위의 블록(304)을 참조하여 위에서 설명된 것들과 같은 평균 단어 높이, 평균 단어 폭 및/또는 평균 단어 면적들을 확립하고/확립하거나 그것들을 식별하기 위해 이용될 수 있음). 또한, 박스(404) 내에서 단어 표현들의 각각의 단어들을 둘러싸는 것으로 도시된 예시적인 박스들은 박스(404) 자체와 마찬가지로 도해를 위한 것이며, UI(400) 상에 실제로 표시되지는 않을 수 있음을 이해해야 한다.

어느 경우에서든, 역시 도 4에 도시된 바와 같이, UI(400)는 박스(408)에 의해 둘러싸인 단어 "hello"의 핸드라이팅 입력의 표현(406)을 포함하며, 그것은 UI(400)를 표시하는 디스플레이 상의 제1 위치와는 물리적으로 다른, 디스플레이의 위치에 표시된다. 박스(408)는 표현(406)의 위치를 적어도 부분적으로 확립하는 것으로 이해되며, 제1 위치 내부의 핸드라이팅된 단어들의 각각의 표현들을 둘러싸는 박스들과 구성면에서 유사한 것으로 이해된다(예를 들어, 도해를 위해 도 4의 예에 도시되어 있으며, 핸드라이팅된 단어 "hello"의 표현의 각각의 부분들이 확장되는 UI 및/또는 디스플레이의 최상부, 최하부, 극좌부 및 극우부 부분들에 의해 정의됨). 또한, 도 4로부터 알 수 있는 바와 같이, 표현(406)의 스트로크 폭은 (예를 들어, 사용자가 단어 "hello"를 위한 핸드라이팅된 입력을 제공할 때 스타일러스를 디스플레이의 표면에 대고 더 세게 누르는 것, 위치(402) 내에 단어들을 입력할 때 이용된 다른 스타일러스보다 상대적으로 넓은 입력 팁을 갖는 스타일러스를 이용하는 것 등으로 인해) 위치(402) 내의 핸드라이팅된 캐릭터의 임의의 표현보다 크다(예를 들어, 적어도 2배의 폭).

이제 도 5를 참조하면, UI(400)가 다시 도시되지만, (예를 들어, 도 4에 도시된 바와 같이 그것의 위치로부터 선택된 것, 및 그것을 위치(402)의 특정한 자리에 삽입하라는 삽입 커맨드를 수신한 것에 응답하여) 현재에는 표현(406)이 핸드라이팅된 단어 "layout"의 오른쪽 및 단어 "auto"의 아래에서 위치(402) 내에 표시된다. 또한, 도 5에 도시된 바와 같이, 표현(406)은 본 발명의 원리들에 따라 위치(402) 내의 다른 표현들과 적어도 실질적으로 동일한 스트로크 폭을 갖고, 위치(402) 내의 다른 표현들과 적어도 실질적으로 동일한 캐릭터들의 크기(예를 들어, 단어의 캐릭터들의 높이 및 폭)를 갖도록 변경되었다는 점에 주목해야 한다. 그러나, 본 도면이 흑색, 백색 및 회색으로만 컬러를 보여주고 있는 것으로 인해 도 5에서는 보여지지 않지만, (예를 들어, 사용자 세팅에 따라) 단어 "hello"의 표현의 컬러(예를 들어, 녹색)는 위치(402)에 표시되는 다른 표현들의 컬러(예를 들어, 적색)와 일치되어 있지 않을 수 있음을 이해해야 한다.

이제, 도 6을 참조하면, 그것은 문구 "Technology continues to evolve today"의 핸드라이팅의 표현(602)을 포함하는, 필기용 애플리케이션을 위한 예시적인 필기용 UI(600)가 도시되어 있다. 적어도 2개의 상이한 라인 각각을 위한 끊어진 베이스라인들(604 및 606)이 도시되어 있다는 점에 주목해야 하고, 베이스라인들(604 및 606)은 도 6에 도해를 위해 도시되어 있으며, 그들은 UI(600) 상에 실제로는 표시되지 않을 수 있다는 점을 이해해야 한다(다른 실시예들에서는 표시될 수도 있음). 그와 상관없이, 베이스라인들(604 및 606) 자체는 핸드라이팅 입력의 다른 표현들을 표현(602)에 인접하여 삽입하기 위해 디바이스에 의해 사용되도록 UI(600)를 표시하는 디바이스에 의해 결정 및/또는 식별되었을 수 있으며, 본 발명의 원리들에 따라 예를 들어 삽입 내용들의 바닥 부분들이 그러한 베이스라인들 중 하나 이상에 인접할 수 있다는 점도 이해되어야 한다.

도 7은 문구 "at a rapid pace"의 핸드라이팅의 표현(702)을 포함하는, (예를 들어, UI(600)와 동일한 디스플레이 상에 표시되지만 다른 애플리케이션으로부터 만들어진) 예시적인 캔버스 및/또는 그리기 애플리케이션 UI(700)를 도시한다. 도 7에 명시적으로 도시되진 않았지만, 표현(702)은 사용자에 의해 선택되었으며, 독자의 주의를 도 8로 돌리면, 이미 나타나 있던 표현(602)의 캐릭터들, 그리고 이 경우에서는 단어들 사이의(단어 "evolve"의 표현과 단어 "at"의 표현 사이의) 표현(602)의 위치에서 UI(600)에 붙여넣어졌다는 점이 이해되어야 한다.

도 7 및 도 8에 도시된 것과 같은 문구 "at a rapid pace"의 핸드라이팅의 표현(702)과 대조적으로, 도 7에 도시된 것과 같은 표현(702)의 캐릭터들 및 실제로는 단어들은 본 발명의 원리들에 따라 도 8에 도시된 바와 같이 변경되고 표시될 때에 비교하여, UI의 적어도 하나의 수직 차원(예를 들어, 캐릭터의 주어진 스트로크에 의해 확립되고/확립되거나 그것을 통해 연장되는 수직 축)에 대하여 더 큰 기울기 각도를 갖는다는 점에 주목해야 한다(예를 들어, 캐릭터들 및 단어들은 더 직립한 것으로 보임). 도 8에 도시된 것과 같은 표현(702)은 베이스라인(606)을 따라 표시되었고, 단어 "today"의 표현은 표현(702)의 삽입으로 인해 추가 라인으로 하향 이동되었고, 그에 의해 다른 베이스라인(608)을 확립하였음에 또한 주목해야 한다.

또한, 도 8로부터, 표현(702) 내의 핸드라이팅된 캐릭터들(예를 들어, 개별 문자들)의 높이 및 폭은 도 7에 표시되었던 것보다 도 8에서 더 작게 변경되었고(예를 들어, 도 7에서 표현(702)은 제공된 핸드라이팅 입력의 적어도 실질적으로 실제 크기에서 트레이싱됨), 그에 따라, 예를 들어 도 6에 보여진 것과 같은 표현(602)의 캐릭터들의 평균(예를 들어, 중간값) 높이들 및 폭들에 기초하여 표현(602)의 캐릭터들의 높이들 및 폭들에 적어도 실질적으로 일치하게 된다.

더욱이, 도 6 내지 도 8의 백색 채색으로 인해 보여지진 않지만, 도 6에 보여진 것과 같은 표현(602)은 UI(600) 상의 표현들의 표시의 컬러에 대한 사용자 요청 및/또는 사용자 세팅, 및/또는 예시적인 필기용 애플리케이션 자체의 사용자 요청 및/또는 사용자 세팅에 따라 제1 컬러(예를 들어, 녹색)로 표시되었다는 점이 이해되어야 한다. 또한, 도 7에 보여진 것과 같은 표현(702)은 UI(700) 상의 표현들의 표시의 컬러에 대한 사용자 요청 및/또는 사용자 세팅, 및/또는 예시적인 캔버스 및/또는 그리기 애플리케이션 자체에 대한 사용자 요청 및/또는 사용자 세팅에 따라 제1 컬러와는 다른 제2 컬러(예를 들어, 청색)로 표시되었다는 점이 이해되어야 한다. 도 8에서 UI(600)에 삽입된 것으로 보여진 것과 같은 표현(702)은 그것이 UI(700) 상에 표시되었을 때의 제1 컬러보다는 UI(600) 상에 보여진 핸드라이팅 표현들의 나머지에 일치하도록, 컬러가 제1 컬러로 변경되었다는 점이 또한 이해되어야 한다.

도 9를 참조하여 상세한 설명을 계속하면, 그 자체가 본 발명의 원리들을 수행하도록 구성되는 하나 이상의 애플리케이션의 하나 이상의 세팅을 구성하기 위해 본 발명의 원리들을 수행하는 디바이스의 디스플레이 상에 표시될 수 있는 예시적인 UI(900)가 나타나 있다. 핸드라이팅 입력의 제1 표현들의 하나 이상의 특성에 관한 제1 세팅(902)이 도시되어 있는데, 그것은 본 발명의 원리들에 따라 핸드라이팅 입력의 제2 표현들을 제1 표현들에 인접하여 삽입할 때 디바이스에 의해 제2 표현들의 어느 특성들이 매칭될 수 있는지를 사용자가 선택하기 위한 것이다. 따라서, 사용자에 의해 선택가능하고 상이한 특성에 각각 연관되는 체크 박스들(904)이 도시되어 있다. 각각의 체크박스를 선택하는 것(예를 들어, 체크하는 것)은 핸드라이팅 입력의 표현을 다른 표현 내에 삽입할 때 체크 박스에 연관된 각각의 특성을 매칭시키도록 디바이스를 구성하는 반면, 각각의 체크박스를 선택해제하는 것은 그렇게 하지 않도록 디바이스를 구성한다. 어느 경우에서든, 도 9로부터, 예시적인 UI(900) 상에서 매칭을 위해 선택될 수 있는 특성들은 컬러, 스트로크 폭, 캐릭터 및/또는 단어 높이, 캐릭터 및/또는 단어 폭, 및/또는 캐릭터 및/또는 단어 기울기 각도, 및 베이스라인(들)을 포함한다는 것을 알 수 있다. 체크 박스들(904) 중 하나는 "모두 선택(all of the above)" 세팅에 관한 것이며, "모두 선택" 세팅에 연관된 박스가 선택되는 경우, 디바이스는 UI(900) 상에 표시되는 모든 다른 각각의 박스들(904)을 자동으로 체크하고, 본 발명의 원리들에 따라 모든 연관된 특성들에 따라 표현들을 일치시키도록 자기 자신을 구성할 것이라는 점에 또한 주목해야 한다.

UI(900)를 계속하여 설명하면, 그것은 사용자가 (예를 들어, 디스플레이 및/또는 UI 상에서) 임계 거리를 확립하기 위한 제2 세팅(906)을 또한 포함하며, 그에 대하여, 본 발명의 원리들에 따라 한 위치에 삽입될 때의 표현은 그 임계 거리에 기초하여, 적어도 하나의 특성이 매칭되어야 하는 다른 표현에 적어도 인접한 것으로 결정될 수 있다(예를 들어, 본 실시예에서의 "인접"은 임계 거리에 있는 것 또는 임계 거리 내에 있는 것임). 따라서, 특정 수치를 입력하기 위해 사용자에 의해 조작가능한 숫자 입력 박스(908)가 UI(900) 상에 표시되고, 예를 들어 밀리미터, 센티미터, 인치, 피트, 디스플레이의 픽셀들 등과 같이 숫자에 연관될 특정 증분을 선택하기 위해 사용자에 의해 조작가능한 증분 입력 박스(910)가 도시되어 있다. 예를 들어, 박스(910)의 선택은 다양한 증분들의 드롭다운 메뉴가 디스플레이되게 할 수 있고, 그러한 증분들이 선택된 후 박스(910) 내에 표시될 수 있다. 도 9로부터, 본 예에서는 임계 거리가 2 밀리미터로 확립되었음을 알 수 있다. 더욱이, 세팅(906)은 예를 들어 상이한 디스플레이, UI 및/또는 애플리케이션으로부터의 핸드라이팅을 삽입할 때, 및/또는 삽입 커맨드의 수신에 응답하여, 디스플레이 상의 임의의 위치(및/또는 일부 예들에서는, 특정 UI 및/또는 애플리케이션 표시 상의 임의의 위치)로 임계 거리를 확립하게끔 디바이스를 구성하기 위해 사용자에 의해 선택가능한 체크 박스(912)를 또한 포함한다는 점에 주목해야 한다. 따라서, 체크 박스(912)가 선택될 때, 박스들(908 및 910)은 임계 거리를 선택하기 위해 사용자에 의해 조작될 필요가 없고/없거나 사용자 입력이 넣어지게 할 필요가 없다.

계속하여 도 9를 참조하면, 사용자의 기호에 따라 핸드라이팅 입력(예를 들어, 이미 표시된 것들 및/또는 삽입되고 있는 것들)의 표현들이 표시될 수 있는 하나 이상의 컬러에 관한 제3 세팅(914)이 또한 UI(900) 내에 보여진다. 따라서, (예를 들어 컬러를 박스(916) 내에 타이핑해 넣는 것에 의해, 및/또는 사용자가 그 중 하나를 선택할 수 있는 다양한 컬러들의 드롭다운 메뉴가 표시되게 할 수 있는 박스(916)의 선택에 기초하여) 원하는 컬러를 입력하기 위해 사용자에 의해 조작가능한 컬러 입력 박스(916)가 보여진다. 또한, 추가의 사용자 입력 없이 그에 응답하여 자동으로 기능 및 구성 면에서 박스(916)와 유사한 다른 박스가 표시되게 하고, 그로부터 사용자가 복수의 컬러(예를 들어, 연속적인 캐릭터들 및/또는 단어들에 대해 번갈아 나오는 컬러들)의 표현들의 표시를 위해 제2 컬러를 선택할 수 있도록 선택가능한 "더 추가하기" 선택기 요소(918)가 보여진다는 점에 주목해야 한다.

어떠한 특정한 도면도 참조하지 않고서, 예를 들어 본원에 설명된 단어들, 개별 캐릭터들(예를 들어, 문자들 및 숫자들) 및/또는 특성들(예를 들어, 스트로크 폭들, 높이들, 폭들, 및/또는 기울기 각들)의 표현들이 UI(들)를 표시하는 디바이스 상에서 실행 및/또는 저장되고/저장되거나, 원격으로(예를 들어, 클라우드 스토리지) 실행 및 저장되는 소프트웨어에 의해 식별(예를 들어 서로 구별)될 수 있다는 점이 이해되어야 한다.

또한, 어떠한 특정 도면도 참조하지 않고서 다른 예를 제공하면, 예를 들어 디스플레이 상에 표시되는 특정 캐릭터 및/또는 디스플레이에서 핸드라이팅 입력으로서 수신되는 특정 캐릭터의 폭을 식별하기 위해, 본 발명의 원리들을 수행하는 디바이스는 캐릭터의 표현을 표시하는 가장 왼쪽의 픽셀 및 가장 오른쪽의 픽셀을 포함하며 그들 사이에 있고/있거나 핸드라이팅 입력이 향했던 디스플레이의 외측 표면 아래의 가장 왼쪽의 픽셀 및 가장 오른쪽의 픽셀을 포함하며 그들 사이에 있는, 디스플레이의 수평 차원의 픽셀들의 수를 식별한다. 따라서, 복수의 캐릭터의 평균 캐릭터 폭을 결정하기 위해, 본 예에서는 복수의 캐릭터 중의 각각의 캐릭터를 위한 수평 차원에서의 픽셀들의 수가 위에서 제시된 바와 같이 결정될 수 있고, 다음으로 그러한 수치들의 평균(예를 들어, 산술평균, 중간 및/또는 최빈)은 그에 따라 캐릭터들의 평균 폭을 결정하기 위해 계산될 수 있다.

이제 본 발명의 원리들은 어딘가 다른 곳에 붙여넣어질 때의 레이아웃 정보에 기초하여 크기 및 컬러와 같은 사용자의 핸드라이팅된 스트로크 속성들의 표현을 자동으로 조절하기 위한 방법, 디바이스들 및/또는 장치들을 가능하게 한다는 것을 알 수 있다. 예를 들어, 스트로크들의 주어진 컬렉션은 2개의 라인을 가지며 각각의 라인이 5개의 단어를 갖는 단락과 같은 레이아웃 또는 레이아웃들의 세트로 인식되고 조직화될 수 있다. 새로운 스트로크들이 어딘가 다른 곳으로부터 그러한 레이아웃 내로 붙여넣어지거나 이동될 때, 붙여넣어질 때의 새로운 스트로크의 (예를 들어 전체) 크기는 이미 있는 레이아웃 내의 스트로크들 및/또는 단어들의 평균(예를 들어, 바운딩) 크기로 조절될 수 있고, 스트로크들의 위치는 또한 2개의 라인에 의해 확립되는 텍스트 라인의 기존 베이스라인에 기초하여 조절될 수 있다.

마무리하기 전에, 예를 들어 본 발명의 원리들을 수행하기 위한 소프트웨어 애플리케이션이 시스템(100)과 같은 디바이스와 함께 판매될 수 있지만, 본 발명의 원리들은 그러한 애플리케이션이 예를 들어 인터넷과 같은 네트워크를 통해 서버로부터 디바이스로 다운로드되는 경우들에 적용될 수 있음을 이해해야 한다. 더욱이, 본 발명의 원리들은 예를 들어 그러한 애플리케이션이 판매 및/또는 제공 중인 컴퓨터 판독가능 스토리지 매체 상에 포함되어 있는 경우들에 적용되며, 여기에서 컴퓨터 판독가능 스토리지 매체는 일시적 신호 및/또는 신호 자체가 아니다.

구체적인 "디스플레이 상의 핸드라이팅 입력의 표현의 표시"가 본원에 상세하게 보여지고 설명되었지만, 본 출원에 의해 포괄되는 발명의 주제는 청구항들에 의해서만 한정된다는 점을 이해해야 한다.

110 : 칩셋
120 : 코어 및 메모리 제어 그룹
122 : 프로세서
126 : 메모리 제어기 허브
132 : LVDS
140 : 메모리
142 : DMI
144 : 링크 제어기
150 : I/O 제어기 허브
192 : 디스플레이 디바이스

Claims

디바이스에 있어서,
적어도 하나의 프로세서;
상기 적어도 하나의 프로세서에 액세스가능한 터치 가능형 디스플레이(touch-enabled display); 및
상기 적어도 하나의 프로세서에 액세스가능하고 상기 적어도 하나의 프로세서에 의해 실행가능한 명령어들을 갖는 스토리지
를 포함하고, 상기 명령어들은,
상기 터치 가능형 디스플레이 상에 제1 위치에, 제1 핸드 기반 입력(hand-based input) 중 적어도 일부분의 제1 표현(representation)을 표시(present)하고;
상기 제1 핸드 기반 입력과 관련된 적어도 제1 특성(characteristic)을 식별하고;
제2 핸드 기반 입력에 관한 제1 입력을 수신하고;
상기 제1 입력의 수신에 응답하여, 상기 터치 가능형 디스플레이 상에 제2 위치에, 상기 제2 핸드 기반 입력 중 적어도 일부분의 제2 표현을 표시하고;
상기 제2 표현 중 적어도 일부분을 상기 제1 위치에 적어도 인접하게 표시하기 위한 제2 입력을 수신하고;
상기 제2 입력의 수신에 응답하여 그리고 상기 제2 핸드 기반 입력이 적어도 하나의 문자(character)를 포함한다는 결정에 기초하여, 상기 제2 표현 중 적어도 일부분을 상기 제1 위치에 적어도 인접하게 상기 제1 특성을 사용하여 표시하며; 그리고
상기 제2 핸드 기반 입력이 적어도 하나의 문자를 포함하지 않는다는 결정에 기초하여, 상기 제2 표현 중 적어도 일부분을 상기 제1 위치에 적어도 인접하게 그러나 상기 제1 특성을 사용하지 않고 표시하기 위한 것인, 디바이스.
제1항에 있어서, 상기 제1 입력은 상기 제2 핸드 기반 입력을 포함하는 것인, 디바이스.
제1항에 있어서, 상기 제2 입력은 상기 제2 표현 중 적어도 일부분을 제2 위치 - 상기 제2 위치는 상기 제2 입력을 통해 특정됨 - 에 표시하기 위한 입력인 것인, 디바이스.
제1항에 있어서, 상기 제1 특성은 상기 제1 표현 내의 적어도 하나의 문자의 스트로크 폭(stroke width)에 관한 것인, 디바이스.
제1항에 있어서, 상기 제1 특성은 상기 제1 표현 내의 적어도 하나의 문자의 기울기 각도(slant angle)에 관한 것인, 디바이스.
제1항에 있어서, 상기 제1 특성은, 상기 제2 위치에 그리고 상기 제2 표현 중 적어도 일부분을 상기 제1 위치에 적어도 인접하게 상기 제1 특성을 사용하여 표시하기 전에, 상기 제2 표현 중 일부분이 상기 제1 위치에 인접하게 표시되는 제2 컬러와는 상이한 제1 컬러로 상기 제2 표현 중 일부분이 표시되도록, 상기 제1 표현이 표시되는 적어도 하나의 컬러를 포함하는 것인, 디바이스.
제1항에 있어서, 상기 제1 특성은, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 산술평균 스트로크 폭(mean stroke width), 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 중간 스트로크 폭(median stroke width), 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 최빈 스트로크 폭(mode stroke width), 상기 제1 표현의 산술평균 스트로크 폭, 상기 제1 표현의 중간 스트로크 폭, 상기 제1 표현의 최빈 스트로크 폭, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 산술평균 높이, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 중간 높이, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 최빈 높이, 상기 제1 표현의 산술평균 높이, 상기 제1 표현의 중간 높이, 상기 제1 표현의 최빈 높이, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 산술평균 폭, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 중간 폭, 상기 터치 가능형 디스플레이에서 수신된 상기 제1 핸드 기반 입력의 최빈 폭, 상기 제1 표현의 산술평균 폭, 상기 제1 표현의 중간 폭, 및 상기 제1 표현의 최빈 폭 중 하나 이상을 포함하는 것인, 디바이스.
제1항에 있어서, 상기 제1 위치에 적어도 인접하다는 것은, 상기 제1 위치 위에 있는 것, 상기 제1 위치 아래에 있는 것, 상기 제1 위치의 옆에 있는 것, 상기 제1 위치 중 적어도 일부분에 있는 것, 및 상기 제1 위치의 임계 거리(threshold distance) 내에 있는 것 중 하나 이상을 포함하는 것인, 디바이스.
제1항에 있어서, 제1 애플리케이션과 연관된 제1 사용자 인터페이스(user interface; UI)가 상기 제1 위치를 적어도 부분적으로 확립하고, 상기 제1 UI와는 상이한 제2 UI - 상기 제2 UI는 상기 제1 애플리케이션과는 상이한 제2 애플리케이션과 연관됨 - 가 상기 제2 위치를 적어도 부분적으로 확립하는 것인, 디바이스.
제1항에 있어서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행가능하고, 상기 명령어들은,
상기 제2 핸드 기반 입력이 적어도 하나의 문자를 포함하는지 여부를 결정하기 위해 문자 인식을 실행하기 위한 것인, 디바이스.
제1항에 있어서, 상기 제2 핸드 기반 입력이 적어도 하나의 문자를 포함하지 않는다는 결정은, 그림(drawing)을 포함하는 상기 제2 핸드 기반 입력에 적어도 부분적으로 기초하는 것인, 디바이스.
제1항에 있어서, 상기 적어도 하나의 문자는, 알파벳 문자, 숫자 문자, 심볼 문자로 구성된 그룹으로부터 선택되는 것인, 디바이스.
방법에 있어서,
제1 인스턴스에서, 디스플레이 상에 제1 핸드 기반 입력의 제1 표현을 표시하는 단계;
상기 디스플레이 상에 제2 핸드 기반 입력의 제2 표현을 표시하는 단계;
상기 제1 표현 중 적어도 일부분을 선택한 제1 커맨드를 수신하는 단계;
상기 제1 표현 중 적어도 일부분을 상기 디스플레이 상의 영역(area)에 상기 제2 표현의 표시에 적어도 인접하게 표시하기 위한 제2 커맨드를 수신하는 단계;
상기 제1 표현 중 적어도 일부분이 적어도 하나의 문자를 포함한다는 결정에 기초하여, 제2 인스턴스에서, 상기 제1 표현 중 적어도 일부분을 상기 영역에, 상기 제2 표현의 표시에 기초하여 상기 제1 표현 중 적어도 일부분의 표시의 적어도 하나의 양상(aspect)을 적어도 부분적으로 변경함으로써 상기 제1 표현 중 적어도 일부분이 상기 제1 인스턴스에서 표시되었던 것과는 적어도 하나의 양상에서 다르게 표시하는 단계; 및
상기 제1 표현 중 적어도 일부분이 적어도 하나의 문자를 포함하지 않는다는 결정에 기초하여, 제2 인스턴스에서, 상기 제1 표현 중 적어도 일부분을 상기 영역에, 그러나 상기 제2 표현의 표시에 기초하여 상기 제1 표현 중 적어도 일부분의 표시의 적어도 하나의 양상을 변경하지 않고 표시하는 단계
를 포함하는, 방법.
제13항에 있어서, 상기 제2 표현의 표시에 기초하여 상기 제1 표현 중 적어도 일부분의 표시의 적어도 하나의 양상을 적어도 부분적으로 변경하는 것은, 상기 제2 표현의 기울기 각도에 기초하여 상기 제1 표현 중 적어도 일부분의 기울기 각도를 변경하는 것을 포함하는 것인, 방법.
제13항에 있어서, 상기 제2 표현의 표시에 적어도 인접한 영역은 적어도 상기 제2 표현의 임계 거리 내에 있는 구역(region)인 것인, 방법.
제13항에 있어서,
상기 제1 표현 중 적어도 일부분이 적어도 하나의 문자를 포함하는지 여부를 결정하기 위해 텍스트 인식을 실행하는 단계
를 포함하는, 방법.
제13항에 있어서, 상기 적어도 하나의 문자는, 알파벳 문자, 숫자 문자, 심볼 문자로 구성된 그룹으로부터 선택되는 것인, 방법.
제13항에 있어서, 상기 제1 표현 중 적어도 일부분이 적어도 하나의 문자를 포함하지 않는다는 결정은, 문자 이외의 무언가의 그림을 포함하는 상기 제1 표현 중 적어도 일부분에 적어도 부분적으로 기초하는 것인, 방법.
장치에 있어서,
제1 프로세서;
네트워크 어댑터;
제2 프로세서에 의해 실행가능한 명령어들을 갖는 스토리지
를 포함하고, 상기 명령어들은,
핸드 기반 입력의 적어도 제1 표현을 디스플레이 상에 표시하고 핸드 기반 입력의 적어도 제2 표현을 상기 디스플레이 상에 표시하고;
상기 핸드 기반 입력의 제2 표현 중 적어도 일부분을 상기 제1 표현 중 일부분에 삽입하기 위한 커맨드를 수신하고;
상기 커맨드 및 상기 제2 표현이 적어도 하나의 문자를 포함한다는 결정에 기초하여, 상기 제2 표현 중 적어도 일부분을 상기 제1 표현 중 일부분에 삽입하고 상기 제2 표현의 일부분을 적어도 하나의 양상에서 상기 제1 표현의 모습(appearance)과 적어도 유사하게 나타내기 위해 조절하며; 그리고
상기 커맨드 및 상기 제2 표현이 적어도 하나의 문자를 포함하지 않는다는 결정에 기초하여, 상기 제2 표현 중 적어도 일부분을 상기 제1 표현 중 일부분에 삽입하지만 상기 제2 표현의 일부분을 적어도 하나의 양상에서 상기 제1 표현의 모습과 적어도 유사하게 나타내기 위해 조절하는 것을 거부(decline)하기 위한 것이고;
상기 제1 프로세서는 상기 네트워크 어댑터를 통해 네트워크에 걸쳐 상기 명령어들을 전달하는 것인, 장치.
제19항에 있어서, 상기 제2 표현 중 적어도 일부분은, 상기 제1 표현의 적어도 하나의 기울기 각도에 관하여 상기 제1 표현의 모습과 적어도 유사하게 나타내기 위해 조절되는 것인, 장치.