KR102229812B1 - 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 장치 및 방법 - Google Patents
전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 장치 및 방법 Download PDFInfo
- Publication number
- KR102229812B1 KR102229812B1 KR1020130081368A KR20130081368A KR102229812B1 KR 102229812 B1 KR102229812 B1 KR 102229812B1 KR 1020130081368 A KR1020130081368 A KR 1020130081368A KR 20130081368 A KR20130081368 A KR 20130081368A KR 102229812 B1 KR102229812 B1 KR 102229812B1
- Authority
- KR
- South Korea
- Prior art keywords
- smart terminal
- computer
- electronic pen
- input
- pen
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04807—Pen manipulated menu
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 컴퓨터의 입력 장치 및 방법에 관한 것으로, 특히 전자펜을 사용하는 스마트 단말을 이용하여 컴퓨터로 데이터를 입력하기 위한 장치 및 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 방법은, 컴퓨터에서 전자펜을 사용하는 스마트 단말의 상기 전자펜의 입력을 수신하여 처리하기 위한 방법으로, 상기 컴퓨터와 상기 스마트 단말간 미리 설정된 통신 방식으로 상기 스마트 단말로부터 상기 전자펜의 입력 신호를 수신하는 단계; 상기 컴퓨터에서 최상위 프로세스를 검출하고, 상기 검출된 최상위 프로세스에 대응하여 상기 수신된 입력 신호를 번역하는 단계; 상기 번역된 입력 신호를 상기 최상위 프로세스에 대응하는 응용프로그램 개발 모듈에서 마우스 또는 키보드의 입력 신호로 변환하는 단계; 및 상기 최상위 프로세스에서 상기 변환된 입력 신호에 대응하여 구동하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 방법은, 컴퓨터에서 전자펜을 사용하는 스마트 단말의 상기 전자펜의 입력을 수신하여 처리하기 위한 방법으로, 상기 컴퓨터와 상기 스마트 단말간 미리 설정된 통신 방식으로 상기 스마트 단말로부터 상기 전자펜의 입력 신호를 수신하는 단계; 상기 컴퓨터에서 최상위 프로세스를 검출하고, 상기 검출된 최상위 프로세스에 대응하여 상기 수신된 입력 신호를 번역하는 단계; 상기 번역된 입력 신호를 상기 최상위 프로세스에 대응하는 응용프로그램 개발 모듈에서 마우스 또는 키보드의 입력 신호로 변환하는 단계; 및 상기 최상위 프로세스에서 상기 변환된 입력 신호에 대응하여 구동하는 단계;를 포함할 수 있다.
Description
본 발명은 컴퓨터의 입력 장치 및 방법에 관한 것으로, 특히 전자펜을 사용하는 스마트 단말을 이용하여 컴퓨터로 데이터를 입력하기 위한 장치 및 방법에 관한 것이다.
컴퓨터가 우리의 생활 속에서 중요한 전자 기기로 자리 잡은 지 이미 오래되었다. 현대를 살아가는 많은 사람들은 컴퓨터를 이용하여 직장에서의 업무 처리는 물론, 쇼핑, 오락, 영화나 드라마 시청 또는 스포츠 시청 등 많은 부분의 일들을 수행하고 있다.
컴퓨터가 이처럼 우리 생활 속에 자리잡게 되면서 컴퓨터의 입력 장치들도 다양한 형태로 발전해 왔다. 컴퓨터의 입력 장치로 가장 널리 사용되는 유무선 키보드, 유무선 마우스에서부터 게임을 위한 조이스틱, 사용자의 입력 편의를 위한 터치 패드 또는 터치 패널은 물론 전문가들이 사용하는 태블릿 패드 등이 있다.
태블릿 패드의 경우 컴퓨터에서 전문 디자이너가 또는 디자이너가 되기를 희망하는 사람들이 사용하는 전문적인 프로그램에서 필요한 고가(高價)의 장비이다. 이러한 고가의 장비는 사용자마다 자신의 형편에 따라 사용하지 못하는 경우도 빈번하다. 따라서 컴퓨터를 사용하는 사용자는 컴퓨터의 입력 장치로 보다 저렴한 형태의 태블릿 장비를 필요로 한다.
한편, 우리의 생활 속에 컴퓨터보다 빠르게 침투하고 있는 전자 기기로 스마트 단말을 들 수 있다. 스마트 단말은 크게 스마트 폰과 태블릿 컴퓨터라 불리기도 하는 형태의 단말로 구분할 수 있다. 이러한 스마트 단말들은 기본적으로 적어도 하나 이상의 방식으로 무선 통신을 지원하는 것이 일반적이다.
예를 들어 스마트 단말들은 와이파이 네트워크에 접속할 수 있으며, 그 외에 3G 또는/및 LTE 등의 이동통신 네트워크에 접속할 수 있다. 이처럼 스마트 단말은 다양한 네트워크와의 접속을 통해 컴퓨터에서 수행하던 많은 기능들을 단말에서 처리할 수 있게 되었다. 예컨대, 문서 작업, e-mail의 송/신, 게임, 쇼핑, 영화나 드라마 또는 스포츠 중계 등 컴퓨터에서 이루어지던 대부분의 동작을 스마트 단말에서 처리할 수 있게 되었다.
또한 스마트 단말은 컴퓨터에서 수행하던 많은 작업을 처리할 수 있음은 물론 터치 패널을 기본적으로 채용하고 있으며, 특정한 기기들에서는 펜을 이용한 사용자 입력이 가능한 형태로 제공되고 있다. 즉, 컴퓨터에서 사용하는 태블릿 입력 장치와 유사한 방법으로 입력이 가능한 장치를 이용하고 있다.
하지만, 전문적인 작업 예를 들어 전문 디자이너가 일러스트 프로그램을 이용하여 그림을 그리거나 작업을 하는 경우에는 아직 컴퓨터를 이용해야만 하는 경우들이 존재한다. 이는 스마트 단말의 처리속도 저하 뿐 아니라 화면의 크기 제약, 적은 저장 공간 등에 기인한다.
따라서 컴퓨터와 스마트 단말을 연계하여 컴퓨터의 성능의 장점을 살리면서, 스마트 단말의 다양한 입력 방법을 컴퓨터 입력 장치로 사용할 수 있는 방법이 요구된다.
따라서 본 발명에서는 스마트 단말을 컴퓨터 입력 장치로 사용할 수 있는 장치 및 그 제어 방법을 제공한다.
또한 본 발명에서는 컴퓨터의 입력 장치로 스마트 단말을 사용함으로써 다양한 입력이 가능한 장치 및 방법을 제공한다.
본 발명의 일 실시 예에 따른 장치는, 전자펜으로 사용자 입력이 가능한 스마트 단말; 및 상기 스마트 단말과 미리 설정된 통신 방법으로 상기 전자펜 입력 신호를 상기 스마트 단말로부터 수신하여 입력 신호로 사용하는 컴퓨터;를 포함하고,
상기 스마트 단말은, 상기 스마트 단말을 구동하며, 각 응용프로세스들의 기반을 제공하기 위한 운영체계; 상기 운영체계 상에서 상기 컴퓨터로부터 최상위 프로세스 정보를 수신하여 상기 최상위 프로세스에 맞춰 사용자에게 제공하기 위한 프로세스 체크 모듈; 상기 프로세스 체크 모듈에서 설정된 정보에 근거하여 상기 스마트 단말의 모드를 설정하고 이를 상기 컴퓨터로 제공하기 위한 모드 설정 모듈; 및 상기 전자펜의 입력에 대응하여 상기 스마트 단말에서 입력 신호로 처리할 수 있도록 변환하는 전자펜 입력 개발 모듈;을 포함하고,
상기 컴퓨터는, 상기 스마트 단말의 상기 운영체계를 통해 상기 스마트 단말이 송신한 정보를 수신하여 분배하는 스마트 단말 서버 모듈; 상기 컴퓨터의 최상위 프로세스를 검사하는 프로세스 모니터 모듈; 상기 스마트 단말로부터 수신된 정보를 상기 프로세스 모니터 모듈로부터 제공된 최상위 프로세스에 대응하여 번역하는 번역 모듈; 및 상기 번역 모듈에서 번역된 정보를 상기 최상의 프로세스의 응용프로그램에 사용하기 위한 정보로 변환하는 응용프로그램 개발 모듈;을 포함할 수 있다.
본 발명의 일 실시 예에 따른 방법은, 컴퓨터에서 전자펜을 사용하는 스마트 단말의 상기 전자펜의 입력을 수신하여 처리하기 위한 방법으로, 상기 컴퓨터와 상기 스마트 단말간 미리 설정된 통신 방식으로 상기 스마트 단말로부터 상기 전자펜의 입력 신호를 수신하는 단계; 상기 컴퓨터에서 최상위 프로세스를 검출하고, 상기 검출된 최상위 프로세스에 대응하여 상기 수신된 입력 신호를 번역하는 단계; 상기 번역된 입력 신호를 상기 최상위 프로세스에 대응하는 응용프로그램 개발 모듈에서 마우스 또는 키보드의 입력 신호로 변환하는 단계; 및 상기 최상위 프로세스에서 상기 변환된 입력 신호에 대응하여 구동하는 단계;를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 방법은, 스마트 단말에서 전자펜의 입력 정보를 컴퓨터의 입력 정보로 제공하기 위한 방법으로, 상기 컴퓨터로부터 상기 컴퓨터의 최상위 프로세스 정보를 수신하는 단계; 상기 전자펜의 입력 정보를 수신하는 단계; 및 상기 수신된 입력 정보를 상기 컴퓨터와 상기 스마트 단말간 미리 설정된 통신 방식으로 송신하는 단계;를 포함할 수 있다.
본 발명에 따른 스마트 단말 및 컴퓨터를 사용하면, 스마트 단말의 다양한 입력 방법을 컴퓨터 입력 장치로 사용할 수 있다. 이를 통해 컴퓨터의 입력 장치를 추가로 구매하지 않아도 되므로 사용자의 경제적 부담을 줄일 수 있다. 또한 컴퓨터의 높은 성능의 장점과 스마트 단말의 다양한 입력 방법을 접목할 수 있으므로, 컴퓨터 사용자는 보다 입력 장치의 사용을 보다 편리하게 사용할 수 있다.
도 1은 본 발명의 실시 예에 따라 스마트 단말을 컴퓨터의 입력 장치로 사용하기 위한 스마트 단말 및 컴퓨터의 블록 구성도,
도 2는 본 발명에 따른 스마트 단말에서 스마트 단말이 컴퓨터의 입력 장치로 사용될 경우 제어부에서 수행되는 모듈들을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따라 스마트 단말이 컴퓨터의 입력 장치 모드로 동작할 경우 제어 흐름도,
도 4는 스마트 단말의 사용자 인터페이스 설정 모듈에서 펜의 파지에 대한 모드를 설정을 설명하기 위한 예시도,
도 5는 스마트 단말이 컴퓨터의 입력장치로 사용되는 본 발명에서 메뉴를 호출하는 경우를 설명하기 위한 일 예시도,
도 6a는 마우스 선택 메뉴를 도시한 일 예시도,
도 6b는 컴퓨터에서 본 발명에 따라 메뉴 툴을 구성을 설정 또는 세팅하기 위한 경우를 예시도,
도 6c는 컴퓨터에서 사용하는 그림 그리기의 응용프로그램에서 색상 메뉴를 선택하는 경우의 예를 도시한 도면,
도 6d는 컴퓨터에서 사용하는 그림 그리기 응용프로그램에서 문서를 선택하기 위한 도큐먼트를 선택하는 경우의 예를 도시한 도면,
도 6e는 컴퓨터에서 사용하는 그림 그리기의 응용프로그램에서 연결 확인 메뉴를 예시한 도면,
도 6f는 본 발명의 일 실시 예에 따라 다이나믹 드로우를 설명하기 위한 일 예시도,
도 7은 본 발명의 실시 예에 따라 컴퓨터의 제어부에서 수행되는 기능들의 블록 구성도,
도 8a는 본 발명에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창의 일 예시도.
도 8b는 본 발명에 따라 익스프레션 도크에 사용자가 사용할 아이콘을 등록하는 경우의 예시도,
도 8c는 본 발명에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창에서 설정 메뉴를 선택하는 경우 표시되는 정보의 일 예를 도시한 도면,
도 8d는 본 발명의 실시 예에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창에서 설정 메뉴 하위의 태블릿 설정을 위한 메뉴가 선택된 경우 표시되는 형태의 예시도,
도 9a는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크를 예시한 도면,
도 9b는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크에 스마트 단말이 고정된 모습을 예시한 도면,
도 9c는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크에 스마트 단말이 고정되어 키보드와 함께 예시한 도면.
도 2는 본 발명에 따른 스마트 단말에서 스마트 단말이 컴퓨터의 입력 장치로 사용될 경우 제어부에서 수행되는 모듈들을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따라 스마트 단말이 컴퓨터의 입력 장치 모드로 동작할 경우 제어 흐름도,
도 4는 스마트 단말의 사용자 인터페이스 설정 모듈에서 펜의 파지에 대한 모드를 설정을 설명하기 위한 예시도,
도 5는 스마트 단말이 컴퓨터의 입력장치로 사용되는 본 발명에서 메뉴를 호출하는 경우를 설명하기 위한 일 예시도,
도 6a는 마우스 선택 메뉴를 도시한 일 예시도,
도 6b는 컴퓨터에서 본 발명에 따라 메뉴 툴을 구성을 설정 또는 세팅하기 위한 경우를 예시도,
도 6c는 컴퓨터에서 사용하는 그림 그리기의 응용프로그램에서 색상 메뉴를 선택하는 경우의 예를 도시한 도면,
도 6d는 컴퓨터에서 사용하는 그림 그리기 응용프로그램에서 문서를 선택하기 위한 도큐먼트를 선택하는 경우의 예를 도시한 도면,
도 6e는 컴퓨터에서 사용하는 그림 그리기의 응용프로그램에서 연결 확인 메뉴를 예시한 도면,
도 6f는 본 발명의 일 실시 예에 따라 다이나믹 드로우를 설명하기 위한 일 예시도,
도 7은 본 발명의 실시 예에 따라 컴퓨터의 제어부에서 수행되는 기능들의 블록 구성도,
도 8a는 본 발명에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창의 일 예시도.
도 8b는 본 발명에 따라 익스프레션 도크에 사용자가 사용할 아이콘을 등록하는 경우의 예시도,
도 8c는 본 발명에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창에서 설정 메뉴를 선택하는 경우 표시되는 정보의 일 예를 도시한 도면,
도 8d는 본 발명의 실시 예에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창에서 설정 메뉴 하위의 태블릿 설정을 위한 메뉴가 선택된 경우 표시되는 형태의 예시도,
도 9a는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크를 예시한 도면,
도 9b는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크에 스마트 단말이 고정된 모습을 예시한 도면,
도 9c는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크에 스마트 단말이 고정되어 키보드와 함께 예시한 도면.
이하 첨부된 도면을 참조하여 본 발명을 살펴보기로 한다. 이하에 첨부된 본 발명의 도면은 본 발명의 이해를 돕기 위해 제공되는 것으로, 본 발명의 도면에 예시된 형태 또는 배치 등에 본 발명이 제한되지 않음에 유의해야 한다. 또한 본 발명에 첨부된 도면에 대한 부가적인 실시예에 대한 균등 또는 확장은 도면을 참조한 설명을 통해 이해되어야 할 것이다.
도 1은 본 발명의 실시 예에 따라 스마트 단말을 컴퓨터의 입력 장치로 사용하기 위한 스마트 단말 및 컴퓨터의 블록 구성도이다.
스마트 단말(100)과 컴퓨터(200)간은 유선 네트워크 또는 무선 네트워크를 통해 상호간 데이터를 송/수신할 수 있는 형태이다. 또한 여기서 스마트 단말이라 함은, 전자 펜의 입력이 가능한 형태의 단말을 의미하며, 전자 펜과 아울러 터치 입력이 가능한 형태를 포함한다.
또한 본 발명에 따른 컴퓨터 입력 장치는 스마트 단말(100)과 컴퓨터(200)로 구성된다. 따라서 스마트 단말(100)은 스마트 단말(100)에서 사용되는 운용체계를 사용할 수 있으며, 컴퓨터(200)는 컴퓨터에서 사용하는 운용체계를 사용할 수 있다. 이들에서 사용되는 운용체계들은 안드로이드(Android), iOS, 윈도우즈(Windows), 리눅스(Linux), 심비안(Symbian), 타이젠(Tizen), 바다(Bada) 등의 다양한 운영체제들에 의해 구동될 수 있다.
일반적으로 스마트 단말(100)에서 사용하는 운용체계는 안드로이드 운용체계가 될 수 있으며, 컴퓨터(200)에서 사용되는 운용체계는 윈도우즈가 될 수 있다. 그러면 스마트 단말(100)의 블록 구성 및 동작에 대해 먼저 살펴보기로 하자.
스마트 단말(100)은 표시부(101), 입력부(102), 스마트 단말 메모리(103), 무선 통신부(104), 외부 인터페이스(105) 및 스마트 단말 제어부(110)를 포함한다. 스마트 단말(100)은 도 1에 도시한 구성 외에 추가적인 구성을 더 포함할 수도 있으나 본 발명과 연관이 없는 부분들은 생략하였음에 유의하자.
표시부(101)는 LCD, LED, OLED 등의 형태로 구현할 수 있으며, 스마트 단말 제어부(110)의 제어에 의해 스마트 단말(100)의 상태 또는/및 동작 등을 시각적 이미지로 사용자에게 제공한다.
입력부(102)는 사용자의 입력을 검출하고, 검출된 입력 신호를 스마트 단말 제어부(110)로 제공한다. 입력부(102)는 사용자가 누르는 키 입력을 검출하기 위한 키 입력 장치와 터치 입력을 감지하기 위한 터치 입력 장치 및 전자 펜의 입력을 감지하기 위한 전자 펜 감지 장치를 포함한다. 또한 입력부(102) 중 터치 입력 장치 및 전자 펜 입력 장치는 표시부(101)의 표시된 지점에 대한 터치 또는 전자 펜 입력을 좌표값으로 감지할 수 있다. 뿐만 아니라 입력부(102) 중 전자 펜 입력 장치는 전자 펜이 입력되는 경우 전자 펜의 눌림에 대한 필압 정보를 함께 감지할 수 있다. 이처럼 입력부(102)에서 감지된 정보는 스마트 단말 제어부(110)로 제공된다.
스마트 단말 메모리(103)는 롬(ROM) 또는/및 램(RAM) 등으로 구성할 수 있으며, 스마트 단말의 운영체계와 스마트 단말의 동작에 필요한 각종 제어 데이터 및 사용자가 임의로 저장한 사용자 데이터를 저장하기 위한 영역을 가진다. 또한 스마트 단말 메모리(103)는 본 발명에 따라 컴퓨터의 입력 장치로 동작할 시 필요한 제어 데이터를 저장하는 영역을 포함한다.
무선 통신부(104)는 미리 설정된 통신 방식 예를 들어, 와이파이(WiFi) 또는 블루투스(Bluetooth) 방식으로 컴퓨터(200)와 통신하기 위한 모듈을 포함한다. 따라서 무선 통신부(104)는 스마트 단말 제어부(110)로부터 제공된 데이터를 미리 설정된 통신 방식에 따라 가공하여 컴퓨터(200)로 송신하며, 미리 설정된 통신 방식에 따라 컴퓨터(200)로부터 수신된 데이터를 처리하여 스마트 단말 제어부(110)로 제공한다.
또한 무선 통신부(104)는 컴퓨터(200)와 통신을 위한 모듈 외에 3G 또는/및 LTE 등과 같은 이동통신 네트워크와 통신하기 위한 모듈을 더 포함할 수 있다. 무선 통신부(104)에 포함된 이동통신 모듈은 이동통신 네트워크와 데이터 송/수신을 위한 동작을 추가로 수행할 수 있다. 또한 이때, 무선 통신부(104)는 음성 통신을 위해 음성 신호의 처리를 위한 보코더와 마이크 및 스피커를 더 포함할 수도 있다.
외부 인터페이스(105)는 스마트 단말(100)이 컴퓨터(200)와 같은 외부의 기기와 데이터를 송/수신하기 위한 유선 인터페이스를 제공한다. 따라서 외부 인터페이스(105)는 스마트 단말 제어부(110)로부터 제공된 데이터를 외부의 기기로 전송하기 위한 처리를 수행하며, 외부 기기로부터 수신된 데이터를 스마트 단말 제어부(110)로 제공하기 위한 인터페이스를 수행한다.
스마트 단말 제어부(110)는 스마트 단말의 전반적인 동작의 제어를 수행하며, 특히 본 발명에 따라 스마트 단말(100)이 컴퓨터(200)의 입력 장치로 사용되는 경우 필요한 제어를 수행한다. 이에 대한 보다 상세한 설명은 후술되는 도면을 참조하여 살펴보기로 한다.
다음으로 컴퓨터(200)의 내부 블록 구성 및 동작에 대하여 살펴보기로 한다.
컴퓨터(200)는 유/무선 통신부(201), 컴퓨터 메모리(202), 화상 처리부(203), 입력 인터페이스(204) 및 컴퓨터 제어부(210)를 포함할 수 있다. 컴퓨터(200)는 도 1에 도시한 구성 외에 추가적인 다른 구성을 더 포함할 수도 있으나, 본 발명을 설명하기 위한 기본적인 구성에 대해서만 도시하였음에 유의하자.
유/무선 통신부(201)는 소정의 유선 네트워크와 통신할 수 있으며, 특히 본 발명에 따라 스마트 단말(100)의 무선 통신부(104) 또는/및 외부 인터페이스(105)와 데이터 송/수신을 수행할 수 있다. 유/무선 통신부(201)와 스마트 단말(100)간의 통신에 대해서는 후술되는 도면을 참조하여 더 상세히 설명하기로 한다.
컴퓨터 메모리(202)는 하드디스크 또는/및 롬(ROM) 또는/및 램(RAM) 또는/및 씨디롬 또는/및 디브이디 등의 기록 매체를 포함하며, 컴퓨터의 운용체계 데이터와 각종 응용 프로그램 및 사용자 데이터를 저장할 수 있다. 또한 컴퓨터 메모리(202)는 본 발명에 따라 스마트 단말(100)을 입력 장치로 사용하기 위한 제어 데이터를 저장할 수 있으며, 스마트 단말(100)을 입력 장치로 사용하는 경우 발생되는 데이터 및 사용자가 지정한 데이터를 저장하기 위한 영역을 포함할 수 있다.
화상 처리부(203)는 컴퓨터 제어부(210)로부터 컴퓨터에서 구동되는 응용 프로그램의 동작 상태 및 사용자 입력 데이터 등을 수신하고, 이를 시각적 정보로 표시하기 위해 처리한 후 모니터(도면에 도시하지 않음) 등의 시각적 표현 장치로 출력한다.
입력 인터페이스(204)는 키보드, 마우스, 태블릿 패널, 조이스틱 등 사용자의 입력을 위한 각종 장치들과 인터페이스를 수행하는 장치로, 각각의 입력 장치들로부터 수신된 신호를 컴퓨터 제어부(210)로 출력한다.
컴퓨터 제어부(210)는 컴퓨터의 전반적인 동작의 제어를 수행하며, 특히 본 발명에 따라 스마트 단말(100)을 입력 장치로 사용하는 경우 스마트 단말(100)로부터 수신된 데이터를 입력 데이터로 처리하며, 화상 처리부(203)로 출력하기 위한 제어 등을 수행한다.
도 2는 본 발명에 따른 스마트 단말에서 스마트 단말이 컴퓨터의 입력 장치로 사용될 경우 제어부에서 수행되는 모듈들을 도시한 도면이다.
스마트 단말(100)의 안드로이드 어플리케이션은 사용자로부터 값을 입력받아 필터를 거쳐 컴퓨터(200)로 전송한다. 이때, 컴퓨터(200)로부터 최상위(Foreground) 프로세스를 수신한 뒤 이를 확인하여 현재 동작중인 프로세스에 맞추어 모드(Mode)를 변경한다.
스마트 단말(100)의 제어부(110)에서는 스마트 단말 운영체계(300) 하에서 각각의 모듈들이 구동된다. 예를 들어 스마트 단말(100)의 운영체계(300)가 안드로이드인 경우 안드로이드 운영체계 하에서 구동된다. 본 발명에서 설명하고자 하는 모듈들은 앞서 설명한 바와 같이 스마트 단말(100)을 이용하여 컴퓨터(200)의 입력 장치로 사용되는 경우임에 유의하자.
프로세스 체크 모듈(301)은 컴퓨터(200)의 프로세스 모니터를 통해 확인된 최우선 순위(Foreground)의 프로세스에 맞추어 모드를 변경시켜서 사용자에게 알맞은 동작을 제공한다. 여기서 최우선 순위(Foreground)의 프로세스는 컴퓨터에서 둘 이상의 프로세스 즉, 둘 이상의 응용 프로그램이 구동되는 경우 현재 실행에 우선적인 프로세스를 의미한다. 이를 예를 들어 좀 더 설명하면, 컴퓨터(200)에서 구동되는 프로그램이 워드 프로그램과 사진 편집 프로그램이 구동되고 있다고 가정하자.
이때, 둘 중 하나의 프로그램은 최상위 프로세스가 될 수 있다. 즉, 윈도우 프로그램에서 실행되고 있지만, 현재 사용하지 않는 프로그램들과 현재 사용되는 프로그램을 구분할 수 있다. 이는 컴퓨터(200)의 모니터 전체 또는 일부에 표시된 영역 중 활성화되어 있는 프로세스가 최상위(Foreground)의 프로세스가 되는 것이다.
이러한 정보는 모드 설정 모듈(302)을 통해 컴퓨터(200)로 전송될 수 있다. 예를 들어 현재 스마트 단말(100)이 어떠한 모드로 설정되어 있는지를 확인할 수 있으며, 반대로 컴퓨터(200)에서 어떠한 프로세스가 최우선 순위의 프로세스인지를 모드 설정 모듈(302)을 통해 수신하여 프로세스 체크 모듈(301)에서 확인할 수 있다.
사용자 인터페이스 설정 모듈(303)은 스마트 단말(100)에서 사용자의 인터페이스 방법을 즉, 펜의 입력 방법을 설정하기 위한 모듈이다. 일반적으로 펜을 사용할 때, 펜의 사용은 크게 왼손잡이 모드와 오른손잡이 모드가 있다. 예를 들어 오른손잡이의 경우 펜을 오른손으로 파지하므로 왼쪽에 버튼을 배치하여 양손을 모두 활용하여 효율적인 작업이 가능하도록 하였다. 화면을 터치하여 원하는 방향을 선택할 수 있다. 이를 도 4를 참조하여 살펴보기로 한다.
도 4는 스마트 단말의 사용자 인터페이스 설정 모듈에서 펜의 파지에 대한 모드를 설정을 설명하기 위한 예시도이다.
도 4의 (a)에서는 사용자 인터페이스 설정 모듈(303)이 구동되는 경우 최초 구동 시 스마트 단말(100)의 표시부(101)에 표시되는 화면의 일 예시이다. 또한 아울러 도 4의 (b)에서는 사용자 인터페이스 설정 모듈(303)에 의해 어떠한 모드로 설정할 것인가를 문의하는 팝업 메시지(501)를 표시한 상태를 도시하였다.
도 4의 (b)에 도시한 바와 같이 펜의 파지는 오른손잡이 모드와 왼손잡이 모드를 설정하기 위하여 오른쪽 모드(Right Mode), 왼쪽 모드(Left Mode)를 선택하도록 구성하였다. 이를 통해 사용자가 터치 또는 펜의 입력 또는 키 입력을 통해 특정한 모드를 선택할 수 있다. 이처럼 모드가 설정되면, 사용자 인터페이스 설정 모듈(303)은 설정된 모드를 스마트 단말 메모리(103)에 저장하고, 이에 대응하여 향후 데이터의 표시를 제어하도록 한다.
또한, 사용자 인터페이스 설정 모듈(303)은 확인된 프로세스를 통해 그래픽을 처리하기 위한 응용프로그램에서의 동작과 그래픽을 처리하기 위한 응용프로그램이 아닌 상태를 구분한다. 이를 통해 사용자 인터페이스 설정 모듈(303)은 같은 동작을 하더라도 그래픽을 처리하기 위한 응용프로그램에서 적합한 동작을 지원하는 형태가 되도록 한다. 그래픽을 처리하기 위한 응용프로그램은 예컨대, 포토샵(Photoshop)과 같은 응용프로그램이 될 수 있다.
전자펜 입력 개발 모듈(304)은 일반적으로 전자펜을 사용하는 단말에서 전자펜의 사용을 보다 효율적으로 하기 위해 공개된 개발용 툴을 의미한다. 즉, 전자펜 입력 개발 모듈(304)은 전자펜을 활용하여 드로잉(Drawing) 응용프로그램을 보다 쉽게 개발할 수 있도록 제공된 라이브러리이다. 이를 예를 들어 설명하면, 전자펜 입력 개발 모듈(304)은 삼성전자에서 사용하는 전자펜의 입력 개발 모듈일 수 있으며, 이때, 자바(JAVA)용 라이브러리가 될 수 있다.
이하의 설명에서는 전자펜 입력 개발 모듈(304)을 삼성전자에서 사용하는 전자펜 입력 개발 모듈로 가정하여 설명하기로 한다. 본 명세서에서는 설명의 편의를 위해 특정한 전자펜 입력 개발 모듈을 가정하고 있으나, 유사한 형태를 갖는 모든 스마트 단말에서 동일하게 적용할 수 있음은 당업자에게 자명하다.
스마트 단말(100)에서 사용되는 전자펜을 컴퓨터(200)의 입력 장치로 사용하는 경우 전자펜 입력 개발 모듈(304)에서 입력 장치로 구현하기 위해 필요한 부분은 아래와 같이 예시할 수 있다.
(1) CanvasView extends View : 드로잉에 관련된 클래스, 안드로이드 뷰(Android View)를 상속
(2) static int ERASER_MODE : 지우개 모드를 나타내는 식별자(ID) 값
(3) static int METASTATE_ERASER : 지우개 터치 시 발생하는 메타상태(Meta-State)의 식별자 값
(4) static int METASTATE_HAND : 손 터치 시 발생하는 메타상태(Meta-State)의 식별자 값
(5) static int METASTATE_MAX : 메타상태(Meta-State)의 최대 식별자 개수
(6) static int METASTATE_PEN : 펜 터치 시 발생하는 메타상태(Meta-State)의 식별자 값
(7) static int PEN_MODE : 펜 모드를 나타내는 식별자 값
(8) static int SELECT_MODE : 선택 모드를 나타내는 식별자 값
(9) static int TEXT_MODE : 텍스트 모드를 나타내는 식별자 값
(10) voID addTouchEvent(int what, float x, float y, float pressure, int meta_state, long down_time, long event_time) : 그리기 좌표를 입력시켜주는 함수
(11) voID changeModeTo(int mode) :현재 모드를 다른 모드로 변경
(11)에서 모드로 설정될 수 있는 값은 전자펜 모드(PEN_MODE), 지우개 모드(ERASER_MODE), 선택 모드(SELECT_MODE), 텍스트 모드(TEXT_MODE) 중 어느 하나 일 수 있으며, 그 외에 다른 모드를 추가할 수도 있다.
(12) voID clear() : 캔버스의 드로잉 된 전체 이미지를 삭제
(13) voID clearAll(boolean isUndoable) : 캔버스의 드로잉 된 전체 이미지를 삭제
(14) voID createTextBox(Point point) : 텍스트 상자를 만드는 함수
(15) voID createTextBox(RectF rect, Editable text, Alignment alignment) : 텍스트 상자를 만드는 함수
(16) boolean deleteSelectedObject() : 선택된 대상(object)을 삭제하는 메서드
(17) Bitmap getBackgroundImage() : 배경 이미지를 반환
(18) Bitmap getBitmap(boolean bOnlyIncludeForegroud) : 캔버스 뷰(CanvasView)에 그려진 전체 이미지 데이터를 반환하는 메서드
(19) byte[] getData() : 캔버스 뷰(CanvasView)에 그려진 전체 이미지 데이터를 반환하는 메서드
(20) java.util.LinkedList<ImageInfo> getImageInfos() : 사용자가 그린 이미지 정보를 이미지 정보(ImageInfo) 클래스의 배열로 전달받는 함수
(21) int getMaxTextSize() : 텍스트(Text)의 최대 크기를 가져옴
(22) int getMode() : 캔버스 뷰(CanvasView)에 설정되어 있는 현재 모드를 반환
(23) int getObjectID() : 현재 선택중인 텍스트 박스의 대상(object) 식별자를 가져옴
(24) java.util.LinkedList<ObjectInfo> getObjectInfos() : 사용자가 그린 모든 정보를 대상 정보(ObjectInfo) 클래스의 배열로 전달받는 함수
(25) PenSettingInfo getPenSettingInfo() : 캔버스 뷰(CanvasView)와 연결된 펜 세팅 정보(PenSettingInfo) 객체를 반환
필터링 모듈(Filtering Module)(305)은 전자펜 입력 시 전자 펜의 필압(筆壓)을 필터링한다. 이를 좀 더 상술하면, 전자펜의 필압에 대한 압력 값은 전자기식의 센서에 의해 그 값이 결정된다. 이 경우 실제 레벨 값을 출력할 수 있다. 예를 들어 필압의 단계가 128단계로 0~127인 경우를 가정하자. 이때, 센서에서 필압을 검출하는 형태는 위의 단계별 레벨 값이 아닌 압력에 대한 실수 값 형태로 출력된다. 그러면 필터링 모듈(305)은 필압에 대한 데이터의 특성에 근거하여 데이터 필터링 작업을 수행한다.
이때, 필터링 모듈(305)이 필터링 대상으로 하는 경우는 손 떨림의 범위를 함께 고려한다. 예를 들어 화면확대 시 손 떨림의 범위를 결정하는 경우 줌 레벨(Zoom Level) 이전에서 측정한 데이터 값과 시간 대비 값의 변화차를 분석한다. 이와 마찬가지로 필터링 모듈(305)은 필압의 범위에서 필터링 대상을 결정할 시 동일한 방법으로 입력된 필압의 값이 에러 범위에 있을 경우 필터링 대상으로 삼는다.
그러면 이상에서 설명한 각각의 모듈들을 가진 스마트 단말(100)의 스마트 단말 제어부(110)에서 컴퓨터(200)의 입력 장치로 동작하는 모드에서의 동작을 살펴보기로 한다.
도 3은 본 발명의 일 실시 예에 따라 스마트 단말이 컴퓨터의 입력 장치 모드로 동작할 경우 제어 흐름도이다.
스마트 단말 제어부(110)는 400단계에서 대기상태를 유지한다. 먼저 본 발명은 스마트 단말이 컴퓨터(100)의 입력 장치로 사용되는 경우이다. 따라서 여기서 대기상태란, 본 발명에 따라 사용자로부터의 요구에 의거하여 컴퓨터(100)로 사용자 입력을 제공하기 위한 특정한 입력을 대기하는 상태를 의미한다.
스마트 단말 제어부(110)는 402단계에서 인터페이스 설정이 요구되는가를 검사한다. 여기서 인터페이스 요구는 앞에서 설명한 바와 같이 오른손잡이 모드 또는 왼손잡이 모드를 설정하기 위한 요구 신호가 입력되는가를 검사하는 것이다. 402단계의 검사결과 인터페이스 설정이 요구되면, 스마트 단말 제어부(110)는 404단계로 진행하여 사용자 인터페이스를 설정한다. 사용자 인터페이스 설정은 도 2 및 도 4를 참조하여 이미 설명하였으므로 여기서는 더 살피지 않기로 한다.
402단계의 검사결과 인터페이스 설정이 요구되지 않은 경우 스마트 단말 제어부(110)는 406단계로 진행하여 메뉴 호출이 요구되는가를 검사한다. 406단계의 검사결과 메뉴 호출이 요구되는 경우 스마트 단말 제어부(110)는 408단계로 진행하고 그렇지 않은 경우 401단계로 진행한다.
이처럼 메뉴 호출이 요구되면, 스마트 단말 제어부(110)는 408단계에서 메뉴 호출을 수행하고, 호출된 메뉴의 설정 또는 재설정 등의 동작을 수행한다. 이러한 동작은 사용자가 입력하는 입력 정보를 입력부(102)를 통해 스마트 단말 제어부(110)에서 수신하여 처리할 수 있다. 그럼 여기서 메뉴 호출 방법을 도 5를 참조하여 예를 들어 살펴보기로 한다.
도 5는 스마트 단말이 컴퓨터의 입력장치로 사용되는 본 발명에서 메뉴를 호출하는 경우를 설명하기 위한 일 예시도이다.
도 5를 참조하면, 도 5의 (a)와 같이 메뉴 호출은 두 가지 방법을 통해 가능하다. 먼저 도 5의 (a)의 참조부호 520으로 도시한 바와 같이 전자펜(500)을 이용하여 왼쪽으로 길게 긋는 경우 메뉴 호출이 요구된 것으로 검출할 수 있다. 이와 다른 방법으로 스마트 단말에 포함된 특정한 키를 이용하여 메뉴 호출이 이루어지도록 구성할 수도 있다. 즉, 메뉴 호출에 대해서는 미리 설정된 특정한 방법을 이용할 수 있다.
도 5의 (b)에는 메뉴가 호출된 화면을 도시하였다. 스마트 단말(100)의 표시부(101)에 좌측 부분인 참조부호 530은 메뉴의 일부를 도시한 예시이다. 이러한 메뉴는 미리 설정된 방법 예를 들어 미리 설정된 키를 이용하여 메뉴를 호출하는 경우 해당하는 키를 다시 누르는 동작 또는 그림 그리기(drawing) 동작이 이루어지는 경우 메뉴를 사라지게 할 수도 있다.
이처럼 표시되는 메뉴는 도 6a 내지 도 6f와 같이 구성할 수 있다. 도 6a 지 도 6f는 메뉴의 구성 예를 설명하기 위한 예시도이다.
도 6a에는 마우스 선택 메뉴를 도시하였다. 도 6a에 도시한 바와 같이 손을 사용하는 경우를 위한 핸드 툴(HandTool) 도구(601), 이동하는 경우를 위한 무브 툴(MoveTool) 도구(602), 그 밖의 동작을 위한 일반 도구(603)를 도시하였다. 이처럼 도 6a의 화면이 표시되는 경우는 컴퓨터(200)에서 사진의 편집 또는 그림 그리기 등의 응용프로그램을 수행하는 경우 마우스의 동작을 설정하기 위한 메뉴를 호출한 경우가 된다. 이때, 사진의 편집 또는 그림 그리기 등의 응용프로그램은 포토샵 응용프로그램이 될 수 있다.
도 6b는 컴퓨터에서 본 발명에 따라 메뉴 툴을 구성을 설정 또는 세팅하기 위한 경우를 예시한 도면이다.
도 6b에 도시한 바와 같이 그림 그리기(drawing) 도구 메뉴 등을 사용자의 편의에 따라 또는 응용프로그램에서 제공하는 기본 값에 따라 다르게 설정할 수 있다. 도 6b에서는 연필, 그리기, 페이트 브러시, …, 줌 인, 줌 아웃 등의 메뉴들이 표시된 형태를 도시하였다.
도 6c는 컴퓨터에서 사용하는 그림 그리기의 응용프로그램에서 색상 메뉴를 선택하는 경우의 예를 도시하였다. 색상 메뉴는 도 6c에 도시한 바와 같이 연속적인 색상을 표현할 수도 있으며, 각각의 색상들을 구분하여 표시할 수도 있다. 또한 색상들을 선택할 때, 최상위(Foreground) 화면의 색상과 백그라운드 화면의 색상(BackgroundColor)을 선택할 수도 있다. 이러한 경우 해당 색상을 선택하기 위해 미리 설정된 시간 이상 누르면 백그라운드 색상을 선택하도록 하고, 미리 설정된 시간 이내로 선택하면, 최상위 화면의 색상을 선택하도록 할 수 있으며, 그 반대로 설정할 수도 있다. 그 외에 최상위 및 백그라운드 화면을 직접 선택하여 설정하도록 하는 등의 방법을 사용할 수도 있다.
도 6d는 컴퓨터에서 사용하는 그림 그리기 응용프로그램에서 문서를 선택하기 위한 도큐먼트를 선택하는 경우의 예를 도시한 도면이다. 도 6d에 도시한 바와 같이 새로운 문서를 만들거나 특정 문서를 호출하는 경우가 될 수 있다.
도 6e는 컴퓨터에서 사용하는 그림 그리기의 응용프로그램에서 연결 확인 메뉴를 예시한 도면이다. 도 6e의 메뉴를 이용하여 서버와 연결을 확인하거나 재 연결을 할 수 있다.
다시 도 3을 참조하여 살펴보기로 한다. 406단계에서 410단계로 진행하는 경우 스마트 단말 제어부(110)는 커서 이동이 요구되었는가를 검사한다. 즉, 마우스 커서의 동작인 커서 이동이 요구되었는가를 검사하는 것이다. 이러한 마우스의 커서의 이동은 크게 세 가지 형태로 움직이도록 설정할 수 있다. 첫째, 손가락으로 이동하는 경우, 둘째 전자펜의 호버 모드를 이용하여 이동하는 경우, 셋째 전자펜의 드래그를 이용하여 이동하는 경우가 될 수 있다.
손가락을 이용하는 경우 입력부(102)로부터 검출된 손가락의 좌표 정보는 현재 컴퓨터(200)에 표시된 커서의 현재 위치를 기준으로 하여 입력부(102)에서 검출되는 이동 정보만큼 현재 좌표로부터 이동하도록 한다. 즉, 스마트 단말의 입력부(102)가 손가락을 인식하면 컴퓨터(200)의 모니터 등을 이용하여 표시한 마우스의 커서는 현재 위치를 기준으로 하여 스마트 단말의 입력부(102)로부터 제공되는 손가락의 움직이는 상대 좌표만큼 움직이게 된다. 이때, 마우스의 클릭은 발생하지 않는 것으로 가정할 수 있다.
다시 도 3을 참조하면, 410단계의 검사결과 커서의 이동이 요구되지 않은 경우 스마트 단말 제어부(110)는 414단계로 진행하여 입력부(102)로부터 검출된 입력이 호버 동작인가를 검사한다. 414단계의 검사결과 입력부(102)로부터 호버 동작이 검출된 경우 스마트 단말 제어부(110)는 416단계로 진행하여 호버 모드를 수행한다.
그러면 호버 모드가 이루어지는 경우를 살펴보자. 호버 모드는 전자 펜이 입력부(102)로부터 미리 설정된 거리만큼 이격된 상태에서 특정 위치의 유지 또는 이동 또는 전자펜의 버튼 입력 등이 존재하는 경우를 의미한다. 입력부(102)는 전자펜이 입력부(102)에 터치가 이루어지지 않은 상태에서 미리 설정된 거리 이내로 이격된 상태를 감지하면 호버 모드로 인지하여 이를 스마트 단말 제어부(110)로 제공한다. 이때, 전자펜이 호버 모드를 유지하면서 이동시, 즉, 전자 펜이 공중에 살짝 뜬 상태로 이동하면, 스마트 단말 제어부(110)는 입력부(102)로부터 제공되는 좌표 정보에 근거하여 이동한 벡터 정보(방향과 거리)를 추출하고, 이를 컴퓨터(200)로 제공함으로써 컴퓨터(200)의 모니터 등에 커서 등이 동일한 위치만큼 이동하도록 구성할 수 있다.
이를 좀 더 상세히 설명하면, 실제 컴퓨터의 보조 입력 장치인 타블렛의 경우 펜이 공중에서 살짝 뜬 상태에서 움직이면 커서가 전자펜의 이동에 대응하여 움직이게 된다. 이를 스마트 단말에서 구현하기 위해 입력부(102)는 전자펜과 스마트 단말간에 발생하는 전압인식차를 8방향에서 측정하고 측정된 결과를 스마트 단말 제어부(110)로 제공한다. 이에 따라 스마트 단말 제어부(110)은 모든 점을 인식한 후 이 좌표를 컴퓨터(200)로 전송하는 것이다.
호버 모드에서는 마우스는 업(Up)인 상태로 마우스 커서만 움직이게 되어 일반적인 마우스 무빙을 할 수 있으며, 전자펜의 버튼을 누르면 마우스 클릭 이벤트를 발생시키도록 구성할 수 있다. 즉, 입력부(102)는 전자펜에 부가되어 있는 버튼의 입력이 검출되면, 스마트 단말 제어부(110)로 제공한다. 이에 따라 스마트 단말 제어부(110)은 외부 인터페이스(105) 또는 무선 통신부(104)를 통해 컴퓨터(200)로 제공한다. 따라서 컴퓨터(200)의 컴퓨터 제어부(210)는 유/무선 통신부(201)를 통해 스마트 단말(100)로부터 제공된 전자펜 버튼 입력을 검출하고, 이에 대응하여 마우스 클릭 이벤트로 인식할 수 있다.
다시 도 3을 참조하면, 414단계의 검사결과 줌 동작이 요구되지 않은 경우 스마트 단말 제어부(110)는 418단계로 진행하여 입력부(102)로부터 검출된 입력이 줌 동작인가를 검사한다. 418단계의 검사결과 줌 동작이 요구된 경우 스마트 단말 제어부(110)는 420단계로 진행하여 줌 동작을 수행한다.
줌 동작의 요구는 일반적으로 스마트 단말(100)에서 표시부(101)에 표시된 데이터를 확대하는 동작과 동일하게 이루어질 수 있다. 즉, 스마트 단말 제어부(110)는 입력부(102)로부터 입력된 정보가 두 지점에 터치가 이루어진 상태에서 두 지점간 거리가 멀어지는가를 검사함으로써 줌 동작인가를 검사할 수 있다. 이처럼 줌 요구가 발생하면, 스마트 단말(110)은 컴퓨터(200)로 줌 요구에 따라 화상 처리부(203)로 제공할 데이터를 확대하도록 하여 출력한다. 이를 통해 화상 처리부(203)는 모니터 등의 화면으로 출력하기 위한 시각적 데이터로 변환한 후 이를 표시하도록 한다. 이때, 컴퓨터 제어부(210)에서 줌 요구에 따라 이루어지는 확대/축소는 미리 설정된 레벨 단위가 될 수도 있으며, 이동 거리에 대응하여 미리 설정된 확대 배율/축소 등이 될 수 있다. 미리 설정된 배율 또는 레벨 단위를 확대의 경우를 예를 들어 설명하면, 110%, 130%, 150%, 200%, 300%, 500% 등의 순이 될 수도 있고, 이동 거리에 대응하여 확대 비율을 5% 단위 또는 10% 단위로 설정할 수도 있다. 이는 축소의 경우에도 동일한 또는 유사한 방식으로 설정할 수 있다.
한편, 418단계의 검사결과 줌 동작이 요구되지 않은 경우 스마트 단말 제어부(110)는 422단계로 진행하여 입력부(102)로부터 전자펜 입력이 존재하는가를 검사한다. 즉, 전자펜이 터치된 상태에서 드래그하거나 특정한 지점을 터치하거나 특정한 지점을 터치한 상태에서 유지하는 등의 동작이 검출되는가를 검사하는 것이다. 422단계의 검사결과 전자펜 입력이 존재하는 경우 제어부(110)는 424단계로 진행하여 전자펜 입력에 대응하여 동작한다. 반면에 422단계의 검사결과 전자펜 입력이 검출되지 않는 경우 430단계로 진행하여 해당하는 기능을 수행한다.
424단계로 진행하는 경우 즉, 전자펜 입력 동작은 전자펜의 드레그에 터치 또는 드래그 등의 동작이다. 전자펜의 드래그 이동은 가장 일반적인 동작 상태로서 전자펜을 스마트 단말에 터치한 상태에서 드래그하여 움직이는 동작을 의미한다. 이때는 항상 마우스는 다운(Down) 상태로서 클릭된 채로 움직이므로 드로잉(Drawing)을 할 수 있다. 또한 드래그 전자펜의 버튼을 누르게 되면 마우스 우측 버튼을 누른 상태가 되도록 할 수 있으며, 키보드와 조합하여 다양한 기능을 수행할 수 있도록 설정할 수 있다.
전자펜의 드래그 시 앞에서 설명한 바와 같이 필압(筆壓)에 따라 선의 굵기 등을 다양하게 변화시킬 수 있다. 이를 첨부된 도 6e를 참조하여 살펴보기로 하자.
도 6e는 본 발명에 따라 전자펜의 이동 시 필압을 감지하여 필압에 따라 입력된 데이터를 표시한 일 예시도이다.
입력부(102)는 전자펜의 이동 경로에 대응하는 이동 경로 정보와 함께 사용자가 전자펜을 누르는 세기 정보를 검출하고, 이를 스마트 단말 제어부(110)로 제공하며, 스마트 단말 제어부(110)는 입력부(102)로부터 제공된 실수값을 그대로 또는 미리 설정된 레벨의 정보로 변환하여 컴퓨터(200)로 제공한다. 그러면 컴퓨터 제어부(210)는 수신된 정보 즉, 레벨 정보로 수신된 경우 레벨 정보에 대응하여 선의 굵기 정보를 결정할 수 있고, 실수 값으로 수신된 경우 실수 값을 레벨 정보로 변환하여 굵기 값을 결정할 수 있다.
이처럼 선의 굵기 값이 결정된 바에 따라 표시한 일 예가 참조부호 610의 선이 될 수 있다. 즉, 참조부호 610의 선은 펜 이동 경로와 필압에 따라 선의 굵기가 결정되어 표시된 것이다. 참조부호 610의 예시는 사용자가 전자펜을 점차로 세게 눌러 이동시킨 경우 또는 사용자가 전자펜을 점차로 약하게 눌러 이동시킨 경우가 될 수 있다.
즉, 전자펜을 통해 입력되는 압력 값에 맞추어 브러쉬사이즈를 동적으로 조절하는 것이다. 필압에 관련된 연산과 구성요소에 대해서는 연산의 복잡도 및 연산 속도 등을 고려할 때 컴퓨터(200)의 플랫폼에 기술하는 것이 바람직할 수 있다.
또한 전자펜을 사용하는 경우 다이나믹 드로우(Dynamic draw) 동작이 가능하다. 도 6f는 본 발명의 일 실시 예에 따라 다이나믹 드로우를 설명하기 위한 일 예시도이다.
다이나믹 드로우는 그려진 선의 끝부분을 자연스럽게 보일 수 있도록 하는 방법이다. 다이나믹 드로우와 관련된 연산과 구성요소에 대해서는 연산의 처리 복잡도 등을 고려할 때, 컴퓨터(200)의 플랫폼에 기술되는 것이 바람직할 수 있다.
도 7은 본 발명의 실시 예에 따라 컴퓨터의 제어부에서 수행되는 기능들의 블록 구성도이다.
도 7을 참조하면, 컴퓨터 제어부(210)의 내부에서 모듈은 크게 4가지 모듈로 구분할 수 있다. 먼저 컴퓨터 제어부(210)에서 구동되는 모듈은 본 발명에 따라 스마트 단말과 인터페이스를 통해 입력을 받아들이기 위한 스마트 단말 인터페이스 모듈(700)을 포함한다. 또한 그 밖에 본 발명에 따른 동작을 위해 표현 도크 모듈(Expression Dock)(711), 표준 입력 모듈(Standard Input)(712), 포토샵과 전자펜을 이용하여 입력을 받아들여 사용하기 위한 응용프로그램 모듈(713)을 포함할 수 있다.
스마트 단말 인터페이스 모듈(700)은 안드로이드와 같은 운영체계를 갖는 스마트 단말(100)로부터 소정의 데이터를 수신하고, 이를 처리한다. 또한 스마트 단말 인터페이스 모듈(700)은 수신된 데이터를 처리한 결과를 다시 스마트 단말로 전송함과 동시에 필요한 경우 사용자에게 표시하도록 제어한다. 또한 스마트 단말 인터페이스 모듈(700)은 현재 최상위(Foreground)의 프로세스를 확인하여 이를 스마트 단말(100)로 전송한다.
그러면 스마트 단말 인터페이스 모듈(700)에 포함된 각 모듈들에 대하여 살펴보기로 하자.
스마트 단말 인터페이스 모듈(700)은 스마트 단말 서버 모듈(701), 번역 모듈(Interpreter)(702), 프로세스 모니터 모듈(Process Monitor)(703), 이벤트 조절 모듈(Event Handler)(704), 응용프로그램 개발 모듈(SDK, Software Development Kit)(705), 입력 모듈(Other Input)(706)을 포함할 수 있다.
스마트 단말 서버 모듈(701)은 스마트 단말(100)로부터 제공된 데이터를 번역 모듈(702), 프로세스 모니터 모듈(703), 이벤트 조절 모듈(704), 응용프로그램 개발 모듈(705), 입력 모듈(706)로 제공하거나 또는 번역 모듈(702), 프로세스 모니터 모듈(703), 이벤트 조절 모듈(704), 응용프로그램 개발 모듈(705), 입력 모듈(706)부터 데이터를 수신하여 스마트 단말(100)로 전송하는 제어를 수행한다.
번역 모듈(702)은 스마트 단말(100)로부터 수신된 데이터를 현재 프로세스 즉, 컴퓨터(200)에서 수행되고 있는 최상위 프로세스에 대응하여 해석하여 절절한 명령을 수행할 수 있도록 명령어로 변환하며, 변환된 명령어는 다른 모듈들로 출력한다. 또한 번역 모듈(702)은 입력 수치에 대한 필터링 및 보정을 수행함으로써 사용자가 최상의 작업상태를 유지할 수 있도록 한다.
번역 모듈(702)에서 보정이 이루어지는 수치들에 대하여 살펴보면 크게 아래 3가지가 있을 수 있다.
(1) 손 떨림 보정 : 전자펜을 통해서의 입력은 매우 민감하여 값이 미세하게 수시로 변화한다. 이로 인해 마우스 포인트가 심하게 떨리는 현상이 발생한다. 이를 필터링하여 안정된 값을 제공할 수 있도록 한다.
(2) 좌표 보정 : 서로 다른 해상도에 대해 x, y축에 대한 좌표를 조정하여 일정한 작업환경을 보장한다.
(3) 필압 보정 : 필압 레벨 값이 들어오면 해당 값에 맞추어 펜의 두께를 조정하는 등 값을 변화시킬 수 있도록 이를 조정한다.
프로세서 모니터 모듈(703)은 최상위(Foreground) 상태의 프로세스를 확인하여 수신된 데이터의 해석을 돕는다. 이와 더불어 최상위(Foreground) 프로세스가 변경되면 변경된 최상위 프로세스의 이름을 스마트 단말(100)로 전송하여 스마트 단말에서 사용자 인터페이스(UI, User Interface))와 모드가 변경되도록 한다.
프로세스 모니터 모듈(703)에서 수행되는 최상위 프로세스(ForegroundProcess)의 관찰은 컴퓨터(200) 운영체계가 윈도우 운영체계를 기반으로 하는 경우 'GetForegroundWindow API'를 이용해 가능하다. 즉, 아래와 같은 아래와 같은 함수를 호출하여 구동되도록 할 수 있다.
"HWND WINAPI GetForegroundWindow(void);"
또한 위의 함수는 Win32API 함수이므로 C# 프로그램에서 이용하는 경우 다음과 같은 선언문을 이용해 DLL 파일을 포함(import)시켜야 한다.
[DllImport("user32.dll", CharSet=CharSet.Auto, ExactSpelling=true)]
public static extern IntPtr GetForegroundWindow();
응용프로그램 개발 모듈(705)은 특정한 응용프로그램을 사용자 편의 또는 새로운 개발자가 해당 응용프로그램을 이용하여 특정한 개발을 수행하기 위한 하나의 키트(kit)이다. 이를 아도브(Adobe)사의 제품 중 가장 대중적으로 이용되고 있는 포토샵(Photoshop) 응용프로그램을 예로 설명하기로 한다. 즉, 응용프로그램 개발 모듈(705)가 포토샵 응용프로그램 개발 모듈인 것으로 가정하여 설명할 것이다. 포토샵 개발 모듈은 다른 개발자 또는 포토샵을 이용하여 사용자에게 최적화된 상황을 제공하기 위해 제공되는 개발 키트이다.
포토샵 개발 모듈은 'Photoshop Connection SDK'라 칭해지며, 스마트 단말과 같은 외부 디바이스에서 제어할 수 있도록 제공된 개발 키트이다. 하지만 본 발명에서 따른 스마트 단말에서는 포토샵뿐만 아니라 범용적인 태블릿(Tablet)으로서 기능을 소화하기 위해 컴퓨터(200)단에서 내부 소켓통신을 이용해 소프트웨어 개발 키트 접속(Connection SDK)을 이용한다. 소프트웨어 개발 키트 접속은 공용의 프로그램 언어인 자바(JAVA)언어로 제공되며, 소켓통신을 이용해 포토샵 등의 응용프로그램에 값을 전달한다.
이벤트 조절 모듈(704)과 입력 모듈(706)은 수신된 데이터가 단순한 마우스나 키보드 제어 동작으로 해석이 되면 이벤트 조절 모듈(704)을 제어하여 마우스나 키보드 입력을 제어한다.
먼저 마우스 제어에 대해 살펴보기로 한다. 마우스 제어는 'mouse_event 함수'를 이용해 아래와 같은 형태로 프로그램하여 제어할 수 있다.
VOID WINAPI mouse_event(
__in DWORD dwFlags,
__in DWORD dx,
__in DWORD dy,
__in DWORD dwData,
__in ULONG_PTR dwExtraInfo
);
마우스 제어를 위한 mouse_event는 Win32API 함수이므로 C# 프로그램에서 이용하기 위해 다음과 같은 선언문을 이용해 DLL을 포함시켜야 한다.
[DllImport("user32.dll")]
public static extern void mouse_event(
int dwFlags,
int dx,
int dy,
int cButtons,
int dwExtraInfo
);
위에 예시된 각각의 인자는 다음과 같다.
(1) DWORD dwFlags : 마우스 이벤트 값으로 다음과 같이 정의되어 있다.
- MOUSEEVENTF_ABSOLUTE (0x8000) : 마우스의 위치를 변경시킬 때 사용한다. dx, dy인자가 적용되어도 이 이벤트 플래그와 MOVE 플래그가 적용되어 있지 않으면 소용없다.
(2) MOUSEEVENTF_LEFTDOWN (0x0002) : 마우스 왼쪽 버튼을 누름
(3) MOUSEEVENTF_LEFTUP (0x0004) : 마우스 왼쪽 버튼을 올림
(4) MOUSEEVENTF_M식별자DLEDOWN (0x0020) : 마우스 가운데 버튼 누름
(5) MOUSEEVENTF_M식별자DLEUP (0x0040) : 마우스 가운데 버튼 올림
(6) MOUSEEVENTF_MOVE (0x0001) : 마우스를 이동시킴
(7) MOUSEEVENTF_RIGHTDOWN (0x0008) : 마우스 오른쪽 버튼 누름
(8) MOUSEEVENTF_RIGHTUP (0x0010) : 마우스 오른쪽 버튼 올림
(9) MOUSEEVENTF_WHEEL (0x0800) : 마우스 휠의 이동. 값은 dwData에 지정된다.
(10) MOUSEEVENTF_XDOWN (0x0080) : X 버튼 누름
(11) MOUSEEVENTF_XUP (0x0100) : X 버튼 올림
(12) DWORD dx : x좌표를 지정한다. 단 ABSOLUTE와 MOVE 플래그가 지정되어 있지 않으면 동작하지 않는다.
(13) DWORD dy : y좌표를 지정한다. x좌표와 마찬가지로 ABSOLUTE와 MOVE 플래그가 지정되어 있지 않으면 동작하지 않는다.
(14) DWORD dwData : 마우스 휠의 값을 지정한다. 현재 값 보다 값이 증가하면 앞으로 회전, 작아지면 뒤로 회전하는 효과와 같다.
(15) ULONG_PTR : 추가적인 동작을 실행하기 위해 함수포인터를 지정할 수 있다.
마우스를 이동시킬 때, 실제 모니터 화면의 해상도를 기준점으로 잡으려면 65535를 가로/세로 해상도로 나누고, 마우스 커서를 위치시킬 위치를 곱하면 된다. 이를 화면 해상도가 1024*768의 경우를 가정하면 아래 <수학식 1>과 같이 계산될 수 있다. 여기서 *는 곱셈을 의미한다.
다음으로 키보드 제어를 살펴보기로 한다. 키보드 제어는 keybd_event 함수를 이용해 아래와 같은 형태로 프로그램하여 제어할 수 있다.
VOID WINAPI keybd_event(
__in BYTE bVk,
__in BYTE bScan,
__in DWORD dwFlags,
__in ULONG_PTR dwExtraInfo
);
키보드 제어를 위한 keybd_event는 Win32API 함수이므로 C# 프로그램에서 이용하기 위해 다음과 같은 선언문을 이용해 DLL을 포함시켜야 한다.
[DllImport("user32.dll)]
public static extern void Keybd_event(
byte vk,
byte scan,
int flags,
ref int extrainfo
);
위의 프로그램에서 각각의 인자는 다음과 같다.
(1) BYTE bVk : 가상 키 코드 값이다. 0x00~0xFF까지 지정되어 있다. 단, 0x00과 0xFF는 Reserved 값이다. 또한 모든 키에 대한 헥사(Hex)값은 msdn에 상세히 개시되어 있다. 또한 모든 키에 대한 핵사 값이 개시되어 있는 인터넷 주소는 아래와 같다.
http://msdn.microsoft.com/en-us/library/windows/desktop/dd375731(v=vs.85).aspx
(2) BYTE bScan : 하드웨어 스캔코드이다. 현재는 사용되지 않는다.
(3) DWORD dwFlags : 키 스트로크 플래그이다.
- KEYEVENTF_EXTENDEDKEY (0x0001) : 키 다운을 의미한다.
- KEYEVENTF_KEYUP (0x0002) : 키 업을 의미한다.
- ULONG_PTR : 추가적인 동작을 실행하기 위해 함수 포인터를 지정할 수 있다.
다음으로 필압을 조정하는 경우에 대하여 살펴보기로 한다. 스마트 단말에서 필압은 펜의 압력에 따라 브러쉬 사이즈를 동적으로 조절하여 이를 조절하는 형식으로 구현된다. 전자펜의 경우 필압의 입력이 0~1 사이의 정수형 값으로 들어오는데 이를 100 분위 필압을 측정하게 된다. 스마트 단말에서 필압을 구현하기 위한 요소는 다음과 같다.
(1) 필압 민감도 : 필압의 변화를 얼마나 빠르게 적용할 것인가를 결정한다.
(2) 필압 상한 최소값 : 크기를 키우기 위해 필요한 최소 필압 값이다.
(3) 필입 하한 최대값 : 크기를 줄이기 위해 필요한 최소 필압 값이다.
(4) 필압 가중치 : 다음 필압 상한 값과 하한 값을 조정하는 변수 값이다.
예를 들어, 상한 최소값이 70, 하한 최대값이 30, 가중치가 5라고 하면, 가장 처음 브러쉬 사이즈가 커지는 동작을 수행하기 위해서는 처음엔 필압 값이 70, 다음에는 필압 값이 75, 다음에는 필압 값이 80이 요구가 된다는 뜻이다. 반대로 브러쉬가 줄어드는 동작을 하기위해서는 처음에는 필압 값 30, 다음에는 필압 값 25, 다음에는 필압 값 20이 되어야 브러쉬 사이즈가 줄어드는 동작을 수행하게 된다.
적용되는 필압 레벨의 경우 한 획 당 처음 10을 기준으로 0~15단계의 레벨을 제공한다. 이를 통해 브러쉬 크기가 너무 커지거나 작아지는 경우를 방지할 수 있다.
다음으로 다이나믹 드로우(Dynamic draw)에 대하여 살펴보기로 한다. 스마트 단말에서의 다이나믹 드로우는 획의 마무리를 보정해주는 역할을 한다. 브러쉬의 마지막 이동 경로를 예측하여 해당 경로 상에 강제로 드로잉을 해준다. 예상 이동경로는 가장 마지막 입력 값과 몇 회 직전의 입력 값을 이용해 현재 그려지고 있는 획의 순간 변화율(접선의 기울기)을 구하고 이를 이용해 예상되는 경로 상의 일차함수를 구한다. 이러한 방법을 통해 구해지는 최종적인 식을 하기 <수학식 2>와 같이 예시할 수 있다.
<수학식 2>에서 x의 값을 x0부터 +1씩 증가시켜가며 5회 동안 (x', y')을 구한 뒤 브러쉬 사이즈를 조절하며 해당 좌표에 드로잉을 한다.
마지막으로 손 떨림 보정에 대해 살펴보기로 한다. 손 떨림 보정의 경우 입력된 값들을 피보나치수열 Fn(1 <= n <= 50)에서 50부터 지정된 레벨까지의 깊이의 비의 평균을 구해 중간치를 구해 손 떨림을 보정한다. 피보나치수열을 수학식으로 도시하면 하기 <수학식 3>과 같이 도시할 수 있다.
<수학식 3>의 피보나치수열을 이용하여 손 떨림 보정이 이루어지는 것은 하기 <수학식 4>와 같은 계산을 통해 손 떨림 보정을 수행할 수 있다.
한편, 스마트 단말(100)을 컴퓨터(200)의 입력 장치로 사용하는 경우 컴퓨터(200)에서 구동되는 응용프로그램을 사용자에게 맞도록 설정할 필요가 있다. 거의 대부분의 응용프로그램은 설정을 사용자에게 맞출 수 있도록 설정하기 위한 메뉴를 제공한다. 따라서 본 발명에서도 스마트 단말(100)을 컴퓨터(200)의 입력 장치로 사용하기 위해 스마트 단말(100)에서 필요한 메뉴와 컴퓨터(200)에서 모니터 등의 표시장치로 제공되어 사용자에게 표시되는 형태의 메뉴를 설정하기 위한 방법이 필요하다. 따라서 이하에서는 이러한 메뉴 설정에 대해 살펴보기로 한다.
메뉴를 설정하기 위해서는 메뉴를 설정하기 위한 설정창을 사용자에게 표시하여 메뉴를 선택할 수 있도록 하는 것이 일반적이다. 본 발명에서는 스마트 단말(100)과 컴퓨터(200)간 통신이 이루어지는 경우이므로, 아래와 같은 설정창들을 제공한다.
설정창은 기본적으로 표현 도크(Expression Dock)의 아이콘 등록과 스마트 단말(100)과 관련된 설정들을 하거나 피드백 등을 할 수 있는 메뉴를 마련했다. 또한 현재 스마트 단말(100)과의 연결 상태도 확인할 수 있다. 설정창은 트레이아이콘이나 스마트 단말(100)에서 주로 사용하는 톱니바퀴 모양을 선택하면 볼 수 있다.
도 8a는 본 발명에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창의 일 예시도이다.
설정창은 왼편에 도시한 (a)의 도면과 오른편에 도시한 (b)의 도면으로 구분된다. 왼편에 도시한 (a) 도면에서 연결 주소 영역(801)은 실제 연결이 요구되거나 연결된 상태 또는 연결하는 중에는 오른편에 도시한 (b) 도면과 같이 주소 영역(802)의 색상을 변경하여 사용자에게 알릴 수 있다.
또한 익스프레션 도크(Expression Dock)에 등록할 아이콘을 추가하기 위한 추가 설정 영역(810)은 일반적으로 사용되는 "+" 기호로서, 익스프레션 도크에 아이콘을 등록할 수 있도록 한다.
도 8b는 본 발명에 따라 익스프레션 도크에 사용자가 사용할 아이콘을 등록하는 경우의 예시도이다.
앞서 설명한 바와 같이 도 8b에 도시한 등록 익스프레션 도크(811)에 특정한 아이콘을 등록하기 위해서는 도 8a에서 "+" 영역을 선택함으로써 등록 익스프레션 도크(811)를 활성화시킬 수 있다. 이후 특정한 아이콘을 등록하기 위해서는 하단에 생성된 등록 익스프레션 도크(811)에 원하는 아이콘을 드래그 하여 삽입합으로써 등록할 수 있다. 삭제는 해당 아이콘에서 마우스 오른쪽 버튼을 누르면 삭제할 수 있다. 일반적으로 사용자의 편의를 위한 등록 윽스프레션 도크(811)에는 미리 설정된 개수만큼의 아이콘만 등록하도록 하는 것이 바람직하다. 이는 너무 많은 아이콘을 등록하면, 사용자 편의를 오히려 방해할 뿐 아니라 시스템의 전체 동작에도 무리를 줄 수 있기 때문이다. 따라서 등록 익스프레션 도크(811)에는 최대 6개 또는 최대 10개까지 등록할 수 있도록 설정하는 등의 등록 수 제한을 둘 수 있다.
이처럼 아이콘을 등록한 익스프레션 도크를 이용하여 사용자는 사용자가 자주 사용하는 메뉴 또는 프로그램을 쉽게 사용할 수 있도록 한다. 예를 들어 디자이너의 경우 디자인 작업을 하다보면 단순히 하나의 프로그램만 사용하는 것이 아니라 다양한 프로그램을 복합적으로 사용하며, 인터넷에서 참고자료들을 검색하기도 한다. 이런 일련의 작업들을 태블릿을 이용해 하는 경우 태블릿으로 사용되는 스마트 단말과 스마트 단말에 입력할 수 있는 전자펜 및 마우스를 계속하여 번갈아 잡으며 동선이 발생하게 된다. 이때, 본 발명에 따른 스마트 단말 및 스마트 단말에 입력할 수 있는 전자펜을 사용하는 경우 전자펜으로도 별도의 동작 없이 작업할 수 있다.
이러한 익스프레션 도크는 평소에는 화면 좌측 또는 우측 또는 상단 또는 하단에 숨겨져 있다가 해당하는 방향의 화살표 클릭 혹은 스마트 단말의 별표 모양을 누르면 호출할 수 있다.
한편, 도 8a의 (b)에 도시한 바와 같이 설정 메뉴(820)를 선택하는 경우 그 밖의 다른 메뉴를 선택할 수 있다. 이처럼 설정 메뉴(820)를 선택하는 경우 도 8c와 같은 형태가 표시될 수 있다.
도 8c는 본 발명에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창에서 설정 메뉴를 선택하는 경우 표시되는 정보의 일 예를 도시한 도면이다.
도 8c에 도시한 바와 같이 설정 메뉴(820)를 선택하면, 태블릿 설정(Tablet Setting), 검색(Search), 피드백(FeedBack), 웹 사이트(Web Site) 등의 메뉴들이 표시될 수 있다.
이때, 사용자가 태블릿 설정을 선택하면, 태블릿 즉, 전자펜의 입력이 가능한 스마트 단말(100)의 설정 메뉴를 다시 표시할 수 있다. 이를 도 8d를 참조하여 살펴보기로 한다.
도 8d는 본 발명의 실시 예에 따라 스마트 단말 또는 컴퓨터에서 메뉴들을 설정하기 위한 설정창에서 설정 메뉴 하위의 태블릿 설정을 위한 메뉴가 선택된 경우 표시되는 형태의 예시도이다.
도 8d에 도시한 바와 같이 스마트 단말을 태블릿으로 사용하는 경우 태블릿에 관련된 즉, 스마트 단말의 입력 등에 대한 정보를 조정할 수 있다. 이때, 조정에는 특정한 값의 범위를 조정할 수도 있고, 특정 값이 입력되어도 무시할 수 있도록 하기 위해 온/오프(On /off) 등을 조정할 수 있다. 또한 특정한 경우 피드백을 통해 사용자의 의견을 수신할 수도 있다. 도 8d에 표시한 태블릿의 설정 요소들 중 일부를 설명하면 아래와 같다.
(1) Handwriting pressure sensitivity : 필압 민감도
(2) Handwriting pressure weight : 필압 가중치
(3) Handwriting pressure minimum : 필압 하한값
(4) Handwriting pressure maximum : 필압 상한값
(5) Hand vibration stabilizer : 손 떨림 보정
(6) Dynamic mode : Dynamic Draw on/off
(7) Handwriting pressure mode : 필압 on/off
다른 한편, 일반적으로 사용되는 스마트 단말은 형태적인 부분에서도 전문적으로 사용되는 태블릿과는 차이를 갖는다. 예를 들어 일반적인 스마트 단말의 크기는 전문적인 태블릿의 크기보다 작은 경우가 보편적이다. 또한 스마트 단말은 휴대용으로 만들어졌기 때문에 다른 부분의 디자인에서도 전문적으로 사용되는 태블릿과는 차이를 가진다.
따라서 스마트 단말의 뒷면이 완만한 곡선으로 이루어져 있는 경우 스마트 단말을 이용하여 드로인 등의 작업을 수행할 때, 스마트 단말이 기우뚱 거린다던지 미끄러진다던지 하는 등의 작업의 방해요소가 발생할 수 있다. 또한 스마트 단말은 전문적인 태블릿보다 작은 크기를 갖기 때문에 손의 거치문제로 인해 사용하면서 불편함이 발생하게 된다. 이를 해결하기 위한 방편으로 도크(Dock)를 갖도록 하는 것이 바람직하다.
도 9a는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크를 예시한 도면이며, 도 9b는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크에 스마트 단말이 고정된 모습을 예시한 도면이고, 도 9c는 본 발명에 따라 전자펜을 갖는 스마트 단말을 고정시키기 위한 도크에 스마트 단말이 고정되어 키보드와 함께 예시한 도면이다.
도 9a를 참조하면, 도크(900)는 스마트 단말(100)을 거치시키기 스마트 단말 거치 공간(902)을 가지며, 스마트 단말(100)이 움직이지 않도록 고정시킨다. 또한 도크(900)에는 스마트 단말(100)의 입력 장치인 전자펜을 거치하기 위한 전자펜 거치 홈(901)을 포함할 수 있다. 도크(900)는 전자펜 거지 홈(901)을 포함하여 스마트 단말(100)의 외부 네 변을 둘러싸는 형태로 구성할 수 있다. 그러나 형태적인 문제는 언제든 다른 형태 예를 들어 둥근 형태 또는 삼각형 또는 마른모 등의 다각형 등으로 변형할 수 있으며, 사용자의 취향에 따라 다양한 문양을 넣을 수도 있다.
도 9b를 참조하면, 스마트 단말(100)은 스마트 단말 거치 공간(902)에 거치되어 있으며, 전자펜은 전자펜 거치 홈(901)에 거치된 상태의 도크(900)를 도시하였다. 도크(900)는 스마트 단말(100)의 충전을 위한 충전 라인이 인출할 수 있는 공간을 가질 수 있으며, 스마트 단말(100)과 컴퓨터(200)간 유선으로 연결되는 경우 스마트 단말(100)과 컴퓨터(200)간 데이터 송수신을 위한 연결 케이블 또는 연결선이 도크의 하단 또는 도크의 외곽 일부에서 인출될 수 있는 공간을 가질 수 있다.
도 9c를 참조하면, 컴퓨터(200)의 대표적인 입력 장치 중 하나인 키보드와 본 발명에 따른 도크(900)에 스마트 단말(100)이 거치되고, 전자펜이 전자펜 거치 홈(901)에 거치된 상태에서 나란히 놓여 있는 모습을 예시하였다. 일반적으로 작업 환경은 도 9c와 동일 또는 유사한 형태가 될 수 있다.
이상에서 설명한 바와 같이 전자펜을 갖는 스마트 단말(100)에서 스마트 단말(100)을 컴퓨터(200)의 입력 장치로 사용하도록 함으로써 컴퓨터(200)에서 특별히 고가의 태블릿 입력 장치를 사용하지 않고도 사용자가 원하는 입력을 용이하게 할 수 있다.
100 : 스마트 단말
101 : 표시부
102 : 입력부
103 : 스마트 단말 메모리
104 : 무선 통신부
105 : 외부 인터페이스
110 : 스마트 단말 제어부
200 : 컴퓨터
201 : 유/무선 통신부
202 : 컴퓨터 메모리
203 : 화상 처리부
204 : 입력 인터페이스
210 : 컴퓨터 제어부
300 : 스마트 단말 운용 체계
301 : 프로세스 체크 모듈
302 : 모드 설정 모듈
303 : 사용자 인터페이스 설정 모듈
304 : 전자펜 입력 개발 모듈
305 : 필터링 모듈
700 : 스마트 단말 인터페이스 모듈
701 : 스마트 단말 서버 모듈
702 : 번역 모듈
703 : 프로세스 모니터 모듈
704 : 이벤트 조절 모듈
705 : 응용프로그램 개발 모듈
706 : 입력 모듈
711 : 표현 도크 모듈
712 : 표준 입력 모듈
713 : 응용프로그램 모듈
900 : 도크
901 : 전자펜 거치 홈
902 : 스마트 단말 거치 공간
910 : 전자펜 거치 홈에 거치된 전자펜
101 : 표시부
102 : 입력부
103 : 스마트 단말 메모리
104 : 무선 통신부
105 : 외부 인터페이스
110 : 스마트 단말 제어부
200 : 컴퓨터
201 : 유/무선 통신부
202 : 컴퓨터 메모리
203 : 화상 처리부
204 : 입력 인터페이스
210 : 컴퓨터 제어부
300 : 스마트 단말 운용 체계
301 : 프로세스 체크 모듈
302 : 모드 설정 모듈
303 : 사용자 인터페이스 설정 모듈
304 : 전자펜 입력 개발 모듈
305 : 필터링 모듈
700 : 스마트 단말 인터페이스 모듈
701 : 스마트 단말 서버 모듈
702 : 번역 모듈
703 : 프로세스 모니터 모듈
704 : 이벤트 조절 모듈
705 : 응용프로그램 개발 모듈
706 : 입력 모듈
711 : 표현 도크 모듈
712 : 표준 입력 모듈
713 : 응용프로그램 모듈
900 : 도크
901 : 전자펜 거치 홈
902 : 스마트 단말 거치 공간
910 : 전자펜 거치 홈에 거치된 전자펜
Claims (12)
- 컴퓨터에서 전자펜을 사용하는 스마트 단말의 상기 전자펜의 입력을 수신하여 처리하기 위한 방법에 있어서,
상기 컴퓨터와 상기 스마트 단말간 미리 설정된 통신 방식으로 상기 스마트 단말로부터 상기 전자펜의 입력 신호를 수신하는 단계;
상기 컴퓨터에서 포그라운드 프로세스를 검출하고, 상기 검출된 포그라운드 프로세스에 기반하여 상기 수신된 입력 신호를 변환하는 단계; 및
상기 변환된 입력 신호에 기반하여 상기 포그라운드 프로세서를 제어하는 단계를 포함하며,
상기 변환된 입력 신호가 드로잉인 경우, 상기 전자펜의 마지막 이동 경로를 예측하고, 상기 예측된 이동 경로에 기반하여 드로잉하는 단계; 및,
상기 변환된 입력 신호가 상기 드로잉인 경우 드로잉되는 좌표의 이동 정보, 필압 정보를 포함하며, 상기 필압 정보를 수신 시 피보나치수열을 이용하여 상기 전자펜을 파지한 손 떨림을 보정하는 단계를 더 포함하는 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 제1항에 있어서, 상기 미리 설정된 통신 방식은,
상기 스마트 단말과 상기 컴퓨터간 USB(universal serial bus) 방식 또는 근거리 무선 통신(Wireless LAN) 방식 또는 블루투스(Bluetooth) 방식 중 하나의 방식으로 이루어지는, 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 제1항에 있어서,
상기 변환된 입력 신호에 대응하여 구동 시 상기 필압 정보에 대응하여 드로잉 선의 굵기를 다르게 설정하는, 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 삭제
- 삭제
- 스마트 단말에서 전자펜의 입력 정보를 컴퓨터의 입력 정보로 제공하기 위한 방법에 있어서,
상기 컴퓨터로부터 상기 컴퓨터의 포그라운드 프로세스 정보를 수신하는 단계;
상기 전자펜의 입력 정보를 수신하는 단계; 및
상기 수신된 입력 정보를 상기 컴퓨터와 상기 스마트 단말간 미리 설정된 통신 방식으로 송신하는 단계를 포함하며,
상기 전자펜의 입력 정보를 수신하는 단계는,
상기 수신된 입력 정보가 드로잉을 포함하는 경우, 상기 전자펜의 마지막 이동 경로를 예측하고, 상기 예측된 이동 경로에 기반하여 드로잉에 대한 상기 전자펜의 입력 정보를 수신하는 단계를 포함하며,
상기 수신된 입력 정보가 상기 드로잉인 경우 드로잉되는 좌표의 이동 정보, 필압 정보를 포함하며, 상기 필압 정보를 수신 시 피보나치수열을 이용하여 상기 전자펜을 파지한 손 떨림을 보정하는 단계를 더 포함하는, 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 제6항에 있어서,
상기 입력 정보가 필압 정보를 포함하는 경우 실수값으로 수신된 필압 정보를 미리 설정된 단계의 필압 레벨로 변환하는 단계;를 더 포함하는, 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 제7항에 있어서,
상기 필압 정보를 상기 필압 레벨로 변환 시 상기 손 떨림을 보정하여 필압 레벨을 변환하는, 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 제8항에 있어서,
상기 손 떨림 보정 시, 상기 컴퓨터의 포그라운드 프로세스의 줌 레벨에 따라 손 떨림을 보정하는, 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 방법. - 삭제
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130081368A KR102229812B1 (ko) | 2013-07-11 | 2013-07-11 | 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 장치 및 방법 |
| US14/329,505 US9880644B2 (en) | 2013-07-11 | 2014-07-11 | Computer input apparatus and method using smart terminal with electronic pen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130081368A KR102229812B1 (ko) | 2013-07-11 | 2013-07-11 | 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150008230A KR20150008230A (ko) | 2015-01-22 |
| KR102229812B1 true KR102229812B1 (ko) | 2021-03-22 |
Family
ID=52276730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130081368A KR102229812B1 (ko) | 2013-07-11 | 2013-07-11 | 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9880644B2 (ko) |
| KR (1) | KR102229812B1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11150807B2 (en) * | 2015-02-23 | 2021-10-19 | Avago Technologies International Sales Pte. Limited | Dynamic storage system configuration |
| CN104808810B (zh) * | 2015-05-08 | 2017-12-01 | 三星电子（中国）研发中心 | 进行鼠标输入的方法及移动终端 |
| CN105373427B (zh) * | 2015-11-11 | 2019-12-03 | 麒麟合盛网络技术股份有限公司 | 一种显示应用和功能开关的方法及装置 |
| CN105608869B (zh) * | 2015-12-30 | 2020-01-07 | 广州艾想电子科技有限公司 | 一种遥控应用单元的方法及其装置 |
| KR102519578B1 (ko) * | 2016-07-05 | 2023-04-07 | 삼성전자주식회사 | 전자 장치의 화면 표시 방법 및 그 장치 |
| US10528198B2 (en) * | 2016-09-16 | 2020-01-07 | Semiconductor Energy Laboratory Co., Ltd. | Display panel, display device, input/output device, data processing device, and method for manufacturing the display panel |
| KR20200046423A (ko) * | 2018-10-24 | 2020-05-07 | 김종호 | 다수의 이종기기를 하나의 멀티 터치 기기로 통합할 수 있는 통합시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001014260A (ja) * | 1999-06-29 | 2001-01-19 | Casio Comput Co Ltd | 入力制御装置及び記録媒体 |
| JP2001290582A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | 座標入力装置、座標入力方法、情報表示システム及び記憶媒体 |
| WO2012075629A1 (en) * | 2010-12-08 | 2012-06-14 | Nokia Corporation | User interface |
| US20130107144A1 (en) * | 2011-11-01 | 2013-05-02 | Kent Displays Incorporated | Writing tablet information recording device |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3052997B2 (ja) * | 1996-01-12 | 2000-06-19 | 日本電気株式会社 | 手書き入力表示装置 |
| JP3080594B2 (ja) * | 1996-12-16 | 2000-08-28 | 三菱電機株式会社 | 情報処理装置 |
| US6906703B2 (en) * | 2001-03-28 | 2005-06-14 | Microsoft Corporation | Electronic module for sensing pen motion |
| US20080143691A1 (en) * | 2005-11-23 | 2008-06-19 | Quiteso Technologies, Llc | Systems and methods for enabling tablet PC/pen to paper space |
| US20100265214A1 (en) * | 2007-07-31 | 2010-10-21 | Kent Displays Incorporated | Writing tablet information recording device |
| US8681129B2 (en) * | 2007-11-12 | 2014-03-25 | Hewlett-Packard Development Company, L.P. | Associating auxiliary data with digital ink |
| WO2011023225A1 (en) * | 2009-08-25 | 2011-03-03 | Promethean Ltd | Interactive surface with a plurality of input detection technologies |
| US9092129B2 (en) * | 2010-03-17 | 2015-07-28 | Logitech Europe S.A. | System and method for capturing hand annotations |
| WO2012039837A1 (en) * | 2010-09-22 | 2012-03-29 | Cypress Semiconductor Corporation | Capacitive stylus for a touch screen |
| US9134561B2 (en) * | 2011-11-01 | 2015-09-15 | Kent Displays Incorporated | Writing tablet information recording device |
| US8994698B2 (en) * | 2012-03-02 | 2015-03-31 | Adobe Systems Incorporated | Methods and apparatus for simulation of an erodible tip in a natural media drawing and/or painting simulation |
| US20150116289A1 (en) * | 2012-04-23 | 2015-04-30 | N-Trig Ltd. | Pressure sensitive stylus for a digitizer |
| US9372553B2 (en) * | 2012-07-10 | 2016-06-21 | Microsoft Technology Licensing, Llc | Directional force sensing for styli |
| US20140062968A1 (en) * | 2012-08-29 | 2014-03-06 | Ten One Design Llc | Measurement of signal generated by contact of input device with surface |
| JP5362092B1 (ja) * | 2012-10-31 | 2013-12-11 | 株式会社東芝 | 電子機器および描画方法 |
| US20140198080A1 (en) * | 2013-01-11 | 2014-07-17 | Research In Motion Limited | Method and Apparatus Pertaining to Pre-Associated Stylus-Input User Preferences |
| US9946365B2 (en) * | 2013-03-11 | 2018-04-17 | Barnes & Noble College Booksellers, Llc | Stylus-based pressure-sensitive area for UI control of computing device |
| KR102180961B1 (ko) * | 2013-07-16 | 2020-11-19 | 삼성전자주식회사 | 입력 처리 방법 및 그 전자 장치 |
| US9529525B2 (en) * | 2013-08-30 | 2016-12-27 | Nvidia Corporation | Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices |
| US9329705B2 (en) * | 2013-11-06 | 2016-05-03 | Atmel Corporation | Stylus with asymmetric electronic characteristics |
-
2013
- 2013-07-11 KR KR1020130081368A patent/KR102229812B1/ko active IP Right Grant
-
2014
- 2014-07-11 US US14/329,505 patent/US9880644B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001014260A (ja) * | 1999-06-29 | 2001-01-19 | Casio Comput Co Ltd | 入力制御装置及び記録媒体 |
| JP2001290582A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | 座標入力装置、座標入力方法、情報表示システム及び記憶媒体 |
| WO2012075629A1 (en) * | 2010-12-08 | 2012-06-14 | Nokia Corporation | User interface |
| US20130107144A1 (en) * | 2011-11-01 | 2013-05-02 | Kent Displays Incorporated | Writing tablet information recording device |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150015550A1 (en) | 2015-01-15 |
| US9880644B2 (en) | 2018-01-30 |
| KR20150008230A (ko) | 2015-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102229812B1 (ko) | 전자펜을 사용하는 스마트 단말을 이용한 컴퓨터 입력 장치 및 방법 | |
| KR102003255B1 (ko) | 다중 입력 처리 방법 및 장치 | |
| US8836653B1 (en) | Extending host device functionality using a mobile device | |
| KR102016975B1 (ko) | 디스플레이 장치 및 그 제어 방법 | |
| US11402992B2 (en) | Control method, electronic device and non-transitory computer readable recording medium device | |
| CN109828850B (zh) | 一种信息显示方法及终端设备 | |
| CN109471692B (zh) | 一种显示控制方法及终端设备 | |
| KR101733115B1 (ko) | 원격 스크린내 콘텐츠 원격 제어 방법 및 장치 | |
| KR20150032392A (ko) | 지문 인식기를 구비한 단말 및 이 지문 인식기를 통한 사용자 입력의 처리 방법 | |
| CN110069178B (zh) | 界面控制方法及终端设备 | |
| CN110928461A (zh) | 一种图标移动方法及电子设备 | |
| CN109408072B (zh) | 一种应用程序删除方法及终端设备 | |
| US20150316994A1 (en) | Content zooming method and terminal implementing the same | |
| CN109857289B (zh) | 显示控制方法及终端设备 | |
| CN111143013A (zh) | 截图方法及电子设备 | |
| CN107741814B (zh) | 一种显示控制方法及移动终端 | |
| CN109521933A (zh) | 一种显示控制方法及移动终端 | |
| CN111273993A (zh) | 图标整理方法及电子设备 | |
| CN110703972B (zh) | 一种文件控制方法及电子设备 | |
| EP2731001A2 (en) | Electronic device and method for changing an object according to a bending state | |
| CN111026480A (zh) | 一种内容显示方法及电子设备 | |
| KR20210074877A (ko) | 디스플레이 장치 및 그 동작방법 | |
| KR20150002312A (ko) | 페이지 표시 방법 및 이를 구현하는 전자 장치 | |
| CN111190517B (zh) | 分屏显示方法及电子设备 | |
| CN110990032B (zh) | 应用程序安装方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |