KR20150020383A - 전자 장치 및 전자 장치의 검색 및 표시방법 - Google Patents

전자 장치 및 전자 장치의 검색 및 표시방법 Download PDF

Info

Publication number
KR20150020383A
KR20150020383A KR20130095897A KR20130095897A KR20150020383A KR 20150020383 A KR20150020383 A KR 20150020383A KR 20130095897 A KR20130095897 A KR 20130095897A KR 20130095897 A KR20130095897 A KR 20130095897A KR 20150020383 A KR20150020383 A KR 20150020383A
Authority
KR
South Korea
Prior art keywords
information
gesture
character
recognized
input
Prior art date
Application number
KR20130095897A
Other languages
English (en)
Inventor
이장우
김송근
이재호
정혜순
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130095897A priority Critical patent/KR20150020383A/ko
Priority to US14/458,943 priority patent/US20150127681A1/en
Publication of KR20150020383A publication Critical patent/KR20150020383A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

본 기술에 따른 전자 장치의 검색 및 표시방법은 손 글씨를 이용하는 전자 장치의 검색 및 표시방법에 있어서, 상기 손 글씨를 인식하는 단계; 상기 인식된 손 글씨가 제스쳐인지 문자인지 판단하는 단계; 상기 인식된 손 글씨가 상기 제스쳐이면, 상기 제스쳐를 인식하는 단계; 및 상기 인식된 제스쳐에 따라 제스쳐 정보 및 제스쳐 정보에 해당하는 기능 정보를 등록하는 단계를 포함한다.

Description

전자 장치 및 전자 장치의 검색 및 표시방법{Electronic Device And Method For Searching And Displaying Of The Same}
본 발명은 손 글씨를 이용한 검색 및 표시방법 및 이를 이용하는 전자 장치에 관한 것이다.
스마트 폰 및 테블릿 PC 등 다양한 모바일 장치들에서 입력을 직관적으로 발생시키기 위한 터치 입력의 활용도가 점점 높아지고 있다.
또한, 터치 입력은 인체(예를 들어, 손가락), 물리적인 도구, 펜 등의 입력 수단을 통하여 발생할 수 있으며, 최근에는 터치 입력을 통한 직관적인 이미지 정보 또는 문자 정보에 대한 검색의 수요가 증가하는 추세이다.
종래 전자 장치는 터치 입력의 활용도가 낮아 직접 문자 키 패드를 통한 입력으로만 파일 검색 또는 인터넷 검색이 가능한 문제점이 있다.
본 발명은 상술된 문제점을 해결하기 위해 안출된 것으로, 전자 장치 및 전자 장치의 검색 및 표시방법에 관한 것으로, 손 글씨를 이용하여 검색할 수 있는 방법을 제공한다.
본 발명의 실시예에 따른 전자 장치의 검색 및 표시방법은 손 글씨를 이용하는 전자 장치의 검색 및 표시방법에 있어서, 상기 손 글씨를 인식하는 단계; 상기 인식된 손 글씨가 제스쳐인지 문자인지 판단하는 단계; 상기 인식된 손 글씨가 상기 제스쳐이면, 상기 제스쳐를 인식하는 단계; 및 상기 인식된 제스쳐에 따라 제스쳐 정보 및 제스쳐 정보에 해당하는 기능 정보를 등록하는 단계를 포함한다.
본 발명의 실시예에 따른 전자 장치는 상기 손 글씨를 인식하는 입력부; 상기 인식된 손 글씨가 제스쳐인지 문자인지 판단하고, 상기 인식된 손 글씨가 상기 제스쳐이면 상기 제스쳐를 인식하며, 상기 인식된 제스쳐에 따라 제스쳐 정보 및 제스쳐 정보에 해당하는 기능 정보를 등록하는 제어부; 상기 제스쳐 정보 및 상기 기능 정보를 저장하는 저장부; 및 상기 인식된 손 글씨에 해당하는 기능을 표시하는 표시부를 포함한다.
본 발명에 따른 전자 장치 및 전자 장치의 검색 및 표시방법은 손 글씨를 이용한 검색 및 표시방법을 제공함으로써, 사용자는 손 글씨가 입력을 통해 빠르고 쉽게 검색 결과를 확인할 수 있다.
1은 본 발명의 실시예에 따른 전자 장치의 구성을 나타내는 블록도,
도 2는 본 발명의 실시예에 따른 입력부의 구성을 나타내는 블록도
도 3은 본 발명의 실시예에 따른 전자 장치의 손 글씨를 이용한 검색 및 표시방법을 나타내는 순서도,
도 4는 본 발명의 실시예에 따른 전자 장치의 손 글씨에 의한 제스쳐 입력에 따른 검색 및 표시방법을 나타내는 순서도,
도 5는 본 발명의 실시예에 따른 손 글씨에 의한 문자 입력에 따른 수식 계산 방법을 나타내는 순서도,
도 6은 본 발명의 실시예에 따른 전자 장치와 서버간 신호 흐름도,
도 7a 내지 도9는 본 발명의 실시예에 따른 전자 장치의 손 글씨를 이용한 검색 및 표시방법을 나타내는 도면이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 전자 장치(100)의 구성을 나타내는 블록도이다.
전자 장치(100)는 입력부(110), 통신부(120), 저장부(130), 표시부(140) 및 제어부(150)를 포함한다.
입력부(110)는 사용자의 입력을 감지하고, 사용자 입력에 대응하는 입력 신호를 제어부(150)로 전달한다. 입력부(110)는 터치 센서(111) 및 전자기 센서(112)를 포함하여 구성될 수 있다.
터치 센서(111)는 사용자의 터치 입력을 감지할 수 있다. 터치 센서(111)는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 센서(111)는 터치 입력을 감지하고, 감지된 터치 신호를 제어부(150)로 전달할 수 있다. 이때, 감지된 터치 신호에 대응하는 정보가 표시부(140) 상에 표시될 수 있다. 터치 센서(111)는 다양한 입력 수단에 의하여 사용자의 터치 입력에 의한 조작 신호를 입력받을 수 있다. 터치 센서(111)는 사용자의 인체(예를 들어, 손)나 물리적인 도구 등을 포함하는 터치 입력을 감지할 수 있다. 구현 방식에 따라 터치 센서(111)는 직접 터치뿐만 아니라, 일정한 거리 내의 근접 입력을 감지할 수도 있다.
전자기 센서(112)는 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 전자기 센서(112)는 자기장을 유도하는 코일을 포함하여 구성될 수 있으며, 전자기 센서(112)에서 발생한 자기장의 에너지 변화를 일으키는 공진 회로가 포함된 물체의 접근을 감지할 수 있다. 전자기 센서(112)는 공진 회로를 포함한 물체로써 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen) 등을 포함하는 펜일 수 있다. 전자기 센서(112)는 전자 장치(100)에 직접 접촉하는 입력뿐만 아니라 전자 장치(100)에 근접하게 이루어지는 근접 입력 또는 호버링 입력을 감지할 수 있다. 전자기 센서(112)를 위한 입력을 발생시키는 입력 수단은 키, 버튼, 다이얼 등을 구비할 수 있으며, 키, 버튼, 다이얼 등의 조작 상태에 따라 서로 다르게 자기장의 에너지 변화를 일으킬 수 있다. 이에 따라 전자기 센서(112)는 입력 수단의 키, 버튼, 다이얼 등의 조작 상태를 감지할 수 있다.
입력부(110)는 입력 패드로 구성될 수 있다. 입력부(110)는 터치 센서(111), 및 전자기 센서(112)를 입력 패드 상에 실장하는 형태로 구성될 수 있다. 입력부(110)는 입력 패드 상에 터치 센서(111)가 필름 형태로 부착되거나, 패널 형태로 결합된 입력 패드로 구성될 수 있다. 또는 입력부(110)는 전자기 센서(112)를 이용하는 EMR(Electro Magnetic Resonance) 또는 EMI(Eletro Magnetic Interference) 방식의 입력 패드로 구성될 수 있다. 입력부(110)는 복수의 센서를 이용하여 입력을 감지하기 위하여 상호 레이어 구조를 이루는 하나 이상의 입력 패드로 구성될 수 있다.
입력부(110)는 표시부(140)와 레이어 구조를 이루어 입력 스크린으로 동작할 수 있다. 예를 들어, 입력부(110)는 터치 센서(111)를 구비하는 입력 패드를 포함하고 표시부(140)와 결합된 TSP(Touch Screen Panel)로 구성될 수 있다. 또는, 입력부(110)는 전자기 센서(112)를 구비하는 입력 패드를 포함하고, 디스플레이 패널로 구성된 표시부(140)와 결합하여 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 입력부(110)의 구성을 나타내는 블록도이다.
입력부(110)는 상호 레이어 구조를 이루는 제1 입력 패드(110a) 및 제2 입력 패드(110b)를 포함하여 구성될 수 있다. 제1 입력 패드(110a) 및 제2 입력 패드(110b)는 터치 센서(111), 압력 센서(112)를 구비하는 터치 패드, 압력 패드이거나, 전자기 센서(112)를 구비하는 전자기 패드, EMR 패드일 수 있다. 제1 입력 패드(110a) 및 제2 입력 패드(110b)는 서로 다른 종류의 입력 수단에 대응하는 것으로, 서로 다른 입력 수단에 의하여 발생하는 입력을 각각 감지할 수 있다. 예를 들어, 제1 입력 패드(110a)는 터치 패드로써 인체에 의한 터치 입력을 감지할 수 있고, 제2 입력 패드(110b)는 EMR 패드로써 펜에 의한 입력을 감지할 수 있다. 입력부(110)는 제1 입력 패드(110a) 및 제2 입력 패드(110b) 각각에서 발생하는 다점 입력을 감지할 수 있다. 이때, 펜에 의한 입력을 감지하는 입력 패드는 펜에 구비되는 키, 버튼 또는 조그 다이얼 등의 조작 상태를 감지할 수 있다.
또한, 입력부(110)는 표시부(140)와 레이어 구조를 이루도록 구성될 수 있다. 제1 입력 패드(110a) 및 제2 입력 패드(110b)는 표시부(140)의 하층에 위치함으로써, 표시부(140)에 표시된 아이콘, 메뉴, 버튼 등을 통하여 발생하는 입력을 제1 입력 패드(110a) 및 제2 입력 패드(110b)를 통하여 감지하도록 한다. 표시부(140)는 일반적으로 디스플레이 패널 형태를 가질 수 있으며, 입력 패드와 결합하는 TSP 패널로 구성될 수도 있다.
도 2에 도시된 입력부(110)와 표시부(140)의 결합된 구성은 일 실시예에 불과하며, 입력부(110)를 구성하는 입력 패드의 종류 및 개수, 입력 패드와 표시부(140)의 상하층 위치 등은 전자 장치(100)의 제조 기술에 따라 다양하게 변화될 수 있다.
입력부(110)는 터치 입력을 감지할 수 있다. 본 발명의 일 실시예에 따른 터치 입력은 호버링 입력을 감지할 수 있다. 입력부(110)는 터치 입력에 대응하는 입력 신호를 생성하고, 이를 제어부(150)로 전달할 수 있다. 입력부(110)는 터치 입력의 발생 위치, 입력 수단, 입력 수단에 구비되는 버튼 등의 조작 상태를 기초로, 터치 입력의 정보를 포함하는 입력 신호를 생성할 수 있다.
통신부(120)는 전자 장치(100)의 무선 통신 기능을 지원하며, 전자 기기가 이동 통신 기능을 지원하는 경우 이동 통신 모듈로서 구성될 수 있다. 이를 위하여, 통신부(120)는 송신되는 무선 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신부 및 수신되는 무선 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함할 수 있다. 또한, 전자 장치(100)가 와이파이 통신, 블루투스 통신, 지그비(Zigbee) 통신, UWB(Ultra Wideband) 통신 및 NFC(Near Field Communication) 통신 등과 같은 근거리 무선 통신 기능을 지원하는 경우 통신부(120)는 와이파이 통신 모듈, 블루투스 통신 모듈, 지그비(Zigbee) 통신 모듈, UWB 통신 모듈, NFC 통신 모듈 등을 포함할 수 있다. 본 발명의 일 실시예에 따른 통신부(120)는 특정 서버 또는 다른 전자 장치로부터 문자를 포함하는 정보, 이미지 정보, 수식 정보 또는 수식 정보를 계산한 결과를 송수신할 수 있다.
저장부(130)는 전자 장치(100)를 위한 프로그램 또는 명령들이 저장될 수 있다. 제어부(150)는 저장부(130)에 저장된 프로그램 또는 명령들을 수행할 수 있다. 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
저장부(130)는 사용자 입력 및 입력 위치에 대응하는 동작에 대한 정보를 저장한다. 저장부(130)는 제어부(150)가 손 글씨를 인식하기 위한 손 글씨에 의한 제스쳐 정보 또는 손 글씨에 의한 문자 정보를 저장할 수 있다. 제어부(150)는 손 글씨를 인식하고, 인식된 손 글씨가 제스쳐인지 문자인지 판단할 수 있다. 제어부(150)는 손 글씨가 제스쳐로 인식되면 제스쳐 정보 및 제스쳐에 해당하는 기능을 저장부(130)에 저장할 수 있다. 제스쳐 정보는 제스쳐의 적어도 하나 이상의 스트로크(stroke)정보, 적어도 하나 이상의 렉탱글(rectangle) 정보를 포함할 수 있다. 스트로크 정보는 제스쳐의 획에 관한 정보이고, 렉탱글 정보는 획이 모여 형성된 제스쳐의 모양에 관한 정보이다. 제어부(150)는 제스쳐 정보를 유니코드(Unicode) 또는 타임스탬프(Time Stamp)형태로 변환하고 변환된 제스쳐 정보를 저장부(130)에 저장할 수 있게 한다. 제어부(150)는 저장부(130)에 저장된 제스쳐 정보 및 문자 정보에 따라 손 글씨의 속성을 판단할 수 있다.
표시부(140)는 전자 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 표시부(140)는 현재 구동 중인 애플리케이션, 프로그램 또는 서비스에 대응하는 가이드 정보를 UI(User Interface) 또는 GUI(Graphic User Interface)와 함께 표시할 수 있다.
표시부(140)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
표시부(140)는 입력부(110)를 구성하는 터치 센서(111) 및/또는 전자기 센서(112)와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다. 이때, 터치 스크린으로 동작하는 표시부(140)는 입력 장치의 기능을 수행할 수도 있다.
표시부(140)는 제어부(150)의 제어에 따라, 저장부(130)에 저장된 문서 정보를 표시할 수 있다. 표시부(140)는 제어부(150)의 제어에 따라, 감지된 제스쳐에 따라 문자 또는 이미지 중 적어도 하나에 강조 표시하거나, 감지된 제스쳐에 따라 문자 또는 이미지 중 적어도 하나를 검색한 결과를 표시하거나, 감지된 제스쳐에 따라 문자 또는 이미지 중 적어도 하나에 포함되어 있는 태그를 검색한 결과를 표시할 수 있다.
제어부(150)는 전자 장치(100)의 전반적인 동작을 위하여 각 구성 요소를 제어할 수 있다. 제어부(150)는 입력부(110)를 통해 감지된 손 글씨를 인식한다. 제어부(150)는 인식된 손 글씨가 제스쳐인지 문자인지 판단하여 제스쳐로 인식되면 제스쳐 정보 및 제스쳐 정보에 해당하는 기능을 등록할 수 있다. 여기서, 제스쳐 정보 및 제스쳐 정보에 해당하는 기능은 사용자에 의해 선택될 수 있다. 제어부(150)는 등록된 제스쳐 정보 및 제스쳐 정보에 해당하는 기능에 대한 정보를 데이터베이스화하여 저장부(130)에 저장할 수 있다. 제스쳐 정보 및 제스쳐 정보에 해당하는 기능에 대한 정보를 저장부(130)에 저장할 수 있다. 예를 들어, 제스쳐 정보는 제스쳐의 적어도 하나 이상의 스트로크(stroke)정보, 적어도 하나 이상의 렉탱글(rectangle) 정보를 포함할 수 있다. 스트로크 정보는 제스쳐의 획에 관한 정보이고, 렉탱글 정보는 획이 모여 형성된 제스쳐의 모양에 관한 정보이다. 제어부(150)는 제스쳐 정보를 유니코드(Unicode) 또는 타임스탬프(Time Stamp)형태로 변환하여 저장부(130)에 저장할 수 있다. 예를 들어, 제스쳐 정보에 해당하는 기능에 대한 정보는 제스처 입력 감지되는 경우 생성되는 기능에 관한 것으로, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 강조 표시, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 검색 결과 표시, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상에 포함된 태그 검색 결과 표시 등을 포함할 수 있다. 제어부(150)는 입력부(110)를 통해 제스쳐 입력이 감지되면, 저장부(130)에 저장된 제스처 정보를 검색하여 해당 제스쳐 입력을 인식한다. 제어부(150)는 인식된 제스쳐 입력에 따라 제스쳐 정보에 해당하는 기능을 실행한다. 인식된 손 글씨가 문자로 판단되면, 제어부(150)는 저장부(130)에 저장된 문자 정보에 따라 손 글씨에 의한 문자를 인식하고 인식된 문자에 따라 검색 기능을 수행하여 검색결과를 표시할 수 있다. 제어부(150)는 인식된 문자가 수식(수학식)인 경우 이에 따른 계산을 수행하여 계산 결과를 표시부(140)에 표시할 수 있게 한다. 다른 실시예에 따르면, 제어부(150)는 인식된 문자가 수식(수학식)인 경우 이를 특정 포맷(예를 들어, 수식 포맷)으로 변경하고, 특정 포맷을 통신부(120)를 통해 특정 서버로 전송할 수 있다.
도 3은 본 발명의 실시예에 따른 전자 장치(100)의 손 글씨를 이용한 검색 및 표시방법을 나타내는 순서도이다.
전자 장치(100)는 301 단계에서, 입력부(110)를 통해 감지된 손 글씨를 인식할 수 있다. 전자 장치(100)는 303 단계에서, 인식된 손 글씨가 제스쳐인지 문자인지 판단한다. 전자 장치(100)는 305 단계에서, 인식된 손 글씨가 제스쳐로 인식된 경우, 인식 엔진을 이용하여 제스쳐를 인식한다. 전자 장치(100)는 307 단계에서, 인식된 제스쳐에 따라 제스쳐 정보 및 제스쳐 정보에 해당하는 기능을 등록한다. 여기서, 제스쳐 정보는 제스쳐의 적어도 하나 이상의 스트로크(stroke)정보, 적어도 하나 이상의 렉탱글(rectangle) 정보를 포함할 수 있다. 스트로크 정보는 제스쳐의 획에 관한 정보이고, 렉탱글 정보는 획이 모여 형성된 제스쳐의 모양에 관한 정보이다. 전자 장치(100)는 제스쳐 정보를 유니코드(Unicode) 또는 타임스탬프(Time Stamp)형태로 변환하여 저장할 수 있다. 제스쳐 정보에 해당하는 기능 정보는 제스처 입력 감지되는 경우 실행되는 기능에 관한 것으로, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 강조 표시, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 검색 결과 표시, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상에 포함된 태그 검색 결과 표시 등을 포함할 수 있다. 전자 장치(100)는 309 단계에서, 사진 응용 프로그램, 스케쥴 응용 프로그램, 메모 응용 프로그램, 지도 응용 프로그램, 인터넷 브라우저 응용 프로그램 등의 응용 프로그램이 실행되면 입력부(110)를 통해 제스쳐 입력을 감지할 수 있다. 전자 장치(100)는 311 단계에서, 감지된 제스쳐 입력에 따라 기 설정된 동작을 수행한다. 여기서, 기 설정된 동작은 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 강조 표시, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 검색 결과 표시, 텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상에 포함된 태그 검색 결과 표시, 컨텐츠가 지도인 경우 지도를 확대하여 표시하거나 지도에 포함된 정보(예를 들어, 인접하는 좌표의 도로 또는 주소)를 표시하는 동작을 포함할 수 있다. 전자 장치(100)는 313 단계에서, 인식된 손 글씨가 문자로 인식된 경우, 사진 응용 프로그램, 스케쥴 응용 프로그램, 메모 응용 프로그램, 지도 응용 프로그램, 인터넷 브라우저 응용 프로그램 등의 응용 프로그램이 실행되면 인식 엔진을 이용하여 문자를 인식한다. 전자 장치(100)는 315 단계에서, 인식된 문자에 따라 기 설정된 동작을 수행하거나 검색을 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 전자 장치(100)의 손 글씨에 의한 제스쳐 입력에 따른 검색 및 표시방법을 나타내는 순서도이다.
전자 장치(100)는 401 단계에서, 사진 응용 프로그램, 스케쥴 응용 프로그램, 메모 응용 프로그램, 지도 응용 프로그램, 인터넷 브라우저 응용 프로그램 등의 응용 프로그램이 실행되면 문자 정보 또는 이미지 정보 중 적어도 하나에 제스쳐 입력을 감지한다. 전자 장치(100)는 403 단계에서, 문자 정보 또는 이미지 정보 중 적어도 하나에 태그 정보가 포함되어 있는지 판단한다. 전자 장치(100)는 405 단계에서, 문자 정보 또는 이미지 정보 중 적어도 하나에 태그 정보가 포함되어 있지 않으면, 문자 정보 또는 이미지 정보 중 적어도 하나에 강조 표시(예를 들어, 하이라이트, 색 변화)한다. 전자 장치(100)는 407 단계에서, 문자 정보 또는 이미지 정보를 검색한 결과를 썸네일(thumb nail) 화면으로 표시할 수 있다. 전자 장치(100)는 409 단계에서, 검색한 결과를 표시할 수 있다. 전자 장치(100)는 411 단계에서, 검색한 결과가 선택되면 선택된 파일 또는 선택된 인터넷 주소(예를 들어, URL)로 이동할 수 있다. 전자 장치(100)는 413 단계에서, 문자 정보 또는 이미지 정보 중 적어도 하나에 태그 정보가 포함되어 있으면, 태그 정보 검색 결과를 표시할 수 있다.
도 5는 본 발명의 실시예에 따른 손 글씨에 의한 문자 입력에 따른 수식 계산 방법을 나타내는 순서도이다.
전자 장치(100)는 501 단계에서 인식된 손 글씨가 문자로 인식된 경우, 사진 응용 프로그램, 스케쥴 응용 프로그램, 메모 응용 프로그램, 지도 응용 프로그램, 인터넷 브라우저 응용 프로그램 등의 응용 프로그램이 실행되면 인식 엔진을 이용하여 문자를 인식한다. 전자 장치(100)는 503 단계에서, 인식된 문자가 수식인지 판단한다. 전자 장치(100)는 505 단계에서, 인식된 문자가 수식인 경우 수식을 특정 포맷(예를 들어, 수식 포맷)으로 변경하거나 인식된 수식을 계산할 수 있다. 전자 장치(100)는 507 단계에서, 인식된 문자가 수식이 아닌 경우 인식된 문자에 따라 기 설정된 동작을 수행하거나 검색을 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 전자 장치(100)와 서버(200)간 신호 흐름도이다.
전자 장치(100)는 601 단계에서, 인식된 손 글씨가 문자로 인식된 경우, 인식된 문자가 수식인지 판단하여 특정 포맷(예를 들어, 수식 포맷)으로 변경한다. 전자 장치(100)는 603 단계에서, 특정 포맷(예를 들어, 수식 포맷)을 서버(200)로 전송한다. 서버(200)는 605 단계에서, 특정 포맷(예를 들어, 수식 포맷)에 따라 계산을 수행한다. 서버(200)는 607 단계에서, 계산된 결과를 전자 장치(100)로 전송할 수 있다.
도 7a 내지 도9는 본 발명의 실시예에 따른 전자 장치의 손 글씨를 이용한 검색 및 표시방법을 나타내는 도면이다.
도 7a는 본 발명의 실시예에 따른 제스쳐 입력에 따른 문자 정보 또는 이미지 정보 검색 방법 및 표시방법을 나타내는 도면이다.
전자 장치(100)는 표시부(140)를 통해 표시된 문자 정보 또는 이미지 정보(710)에 제스쳐 입력(720)이 감지된 경우, 문자 정보 또는 이미지 정보(710)를 강조 표시(730)할 수 있다. 예를 들어, 강조 표시(730)는 하이라이트 표시 또는 색 변경일 수 있다. 이때, 전자 장치(100)는 문자 정보 또는 이미지 정보(710) 또는 제스쳐 입력(720) 중 적어도 하나 이상에 강조 표시(730)할 수 있다. 또한, 전자 장치(100)는 문자 정보 또는 이미지 정보(710)를 검색한 결과를 썸네일 화면(740)으로 표시할 수 있다. 전자 장치(100)는 검색한 결과가 선택(750)되면 선택된 파일 또는 선택된 인터넷 주소(예를 들어, URL)로 이동할 수 있다.
도 7b는 본 발명의 실시예에 따른 제스쳐 입력에 따른 문자 정보 또는 이미지 정보 검색 방법 및 표시방법을 나타내는 도면이다.
전자 장치(100)는 표시부(140)를 통해 표시된 태그 정보를 포함하는 문자 정보 및/또는 이미지 정보(760)에 제스쳐 입력(720)이 감지된 경우, 태그 정보 검색 결과를 표시할 수 있다(770).
도 8은 본 발명의 실시예에 따른 제스쳐 입력에 따른 지도 검색 방법 및 표시방법을 나타내는 도면이다.
전자 장치(100)는 A 화면에서, 지도(820)를 포함하는 응용 프로그램이 실행된 상태에서, 지도(820) 상에 소정 부분에 제스쳐 입력이 감지되면(810), B 화면에서와 같이 감지된 제스쳐 입력을 중심으로 지도를 확대하거나 표시하거나 지도에 포함된 정보(예를 들어, 인접하는 좌표의 도로 또는 주소)를 표시한다.
도 9는 본 발명의 실시예에 따른 인식된 문자에 따른 수식 계산을 나타내는 도면이다.
전자 장치(100)는 손 글씨로 작성된 문자(910)를 인식하여 저장부(130)에 저장된 글씨체(예를 들어, 타이포그래피)로 변경할 수 있다(920). 이때, 전자 장치(100)는 손 글씨로 작성된 문자(910)가 수식인 경우 이를 인식하여 계산 결과를 표시할 수 있다(920).
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 손 글씨를 이용하는 전자 장치의 검색 및 표시방법에 있어서,
    상기 손 글씨를 인식하는 단계;
    상기 인식된 손 글씨가 제스쳐인지 문자인지 판단하는 단계;
    상기 인식된 손 글씨가 상기 제스쳐이면, 상기 제스쳐를 인식하는 단계; 및
    상기 인식된 제스쳐에 따라 제스쳐 정보 및 제스쳐 정보에 해당하는 기능 정보를 등록하는 단계를 포함하는 전자 장치의 검색 및 표시방법.
  2. 제 1항에 있어서,
    상기 인식된 손 글씨가 문자이면, 문자를 인식하는 단계; 및
    상기 인식된 문자에 따라 기 설정된 동작을 수행하거나 검색하는 단계를 더 포함하는 전자 장치의 검색 및 표시방법.
  3. 제 1항에 있어서,
    응용 프로그램이 실행되면, 제스쳐 입력을 감지하는 단계; 및
    감지된 제스쳐 입력에 따라 해당하는 기능을 실행하는 단계를 더 포함하는 전자 장치의 검색 및 표시방법.
  4. 제 3항에 있어서,
    상기 감지된 제스쳐 입력에 따라 해당하는 기능을 실행하는 단계는
    문자 정보 또는 이미지 정보 중 적어도 하나에 상기 제스쳐 입력을 감지하는 단계;
    상기 문자 정보 또는 상기 이미지 정보 중 적어도 하나에 태그 정보를 포함하는지 판단하는 단계; 및
    상기 태그 정보가 포함되어 있으면 상기 태그 정보를 검색하는 단계를 포함하는 전자 장치의 검색 및 표시방법.
  5. 제 4항에 있어서,
    상기 감지된 제스쳐 입력에 따라 해당하는 기능을 실행하는 단계는
    상기 태그 정보가 포함되어 있지 않으면 상기 문자 정보 또는 이미지 정보 중 적어도 하나에 강조 표시하는 단계를 포함하는 전자 장치의 검색 및 표시방법.
  6. 제 5항에 있어서,
    상기 감지된 제스쳐 입력에 따라 해당하는 기능을 실행하는 단계는
    상기 태그 정보가 포함되어 있지 않으면 상기 문자 정보 또는 이미지 정보를 검색한 결과를 썸네일로 표시하는 단계; 및
    상기 검색한 결과가 선택되면 선택된 파일 또는 선택된 인터넷 주소를 표시하는 단계를 포함하는 전자 장치의 검색 및 표시방법.
  7. 제 2항에 있어서,
    상기 인식된 문자에 따라 기 설정된 동작을 수행하거나 검색하는 단계는
    상기 인식된 문자가 수식인지 판단하는 단계; 및
    상기 인식된 문자가 수식이면 수식 포맷으로 변경하거나 상기 수식을 계산하는 단계를 포함하는 전자 장치의 검색 및 표시방법.
  8. 제 1항에 있어서,
    상기 제스쳐 정보는
    상기 인식된 제스쳐의 적어도 하나 이상의 스트로크(stroke)정보 또는 적어도 하나 이상의 렉탱글(rectangle) 정보를 적어도 하나 이상 포함하는 전자 장치의 검색 및 표시방법.
  9. 제 2항에 있어서,
    상기 제스쳐 정보에 해당하는 기능 정보는
    텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 강조 표시 정보, 상기 텍스트, 상기 컨텐츠 또는 상기 이미지 중 적어도 하나 이상 검색 결과 표시 정보, 상기 텍스트, 상기 컨텐츠 또는 상기 이미지 중 적어도 하나 이상에 포함된 태그 검색 결과 표시 또는 상기 컨텐츠가 지도인 경우 지도를 확대하여 표시하거나 지도에 포함된 정보를 표시하는 정보 중 적어도 하나 이상인 것을 특징으로 하는 전자 장치의 검색 및 표시방법.
  10. 제 9항에 있어서,
    상기 제스쳐 정보를 유니코드(Unicode) 또는 타임스탬프(Time Stamp)형태로 변환하여 저장하는 동작을 더 포함하는 전자 장치의 검색 및 표시방법.
  11. 상기 손 글씨를 인식하는 입력부;
    상기 인식된 손 글씨가 제스쳐인지 문자인지 판단하고, 상기 인식된 손 글씨가 상기 제스쳐이면 상기 제스쳐를 인식하며, 상기 인식된 제스쳐에 따라 제스쳐 정보 및 제스쳐 정보에 해당하는 기능 정보를 등록하는 제어부;
    상기 제스쳐 정보 및 상기 기능 정보를 저장하는 저장부; 및
    상기 인식된 손 글씨에 해당하는 기능을 표시하는 표시부를 포함하는 전자 장치.
  12. 제 11항에 있어서,
    상기 제어부는
    상기 인식된 손 글씨가 상기 문자이면 상기 문자를 인식하고, 상기 인식된 문자에 따라 기 설정된 동작을 수행하거나 검색하는 전자 장치.
  13. 제 11항에 있어서,
    상기 제어부는
    응용 프로그램이 실행되면, 제스쳐 입력을 감지하고, 감지된 제스쳐 입력에 따라 해당하는 기능을 실행하는 전자 장치.
  14. 제 13항에 있어서,
    상기 제어부는
    문자 정보 또는 이미지 정보 중 적어도 하나에 상기 제스쳐 입력을 감지하고, 상기 문자 정보 또는 상기 이미지 정보 중 적어도 하나에 태그 정보를 포함하는지 판단하며, 상기 태그 정보가 포함되어 있으면 상기 태그 정보를 검색하는 전자 장치.
  15. 제 14항에 있어서,
    상기 제어부는
    상기 태그 정보가 포함되어 있지 않으면 상기 문자 정보 또는 이미지 정보 중 적어도 하나에 강조 표시하여 상기 표시부에 출력되도록 제어하는 전자 장치.
  16. 제 15항에 있어서,
    상기 제어부는
    상기 태그 정보가 포함되어 있지 않으면 상기 문자 정보 또는 이미지 정보를 검색한 결과를 썸네일로 표시하여 상기 표시부에 출력되도록 제어하고, 상기 검색한 결과가 선택되면 선택된 파일 또는 선택된 인터넷 주소를 표시하여 상기 표시부에 출력되도록 제어하는 전자 장치.
  17. 제 12항에 있어서,
    상기 제어부는
    상기 인식된 문자가 수식인지 판단하며, 상기 인식된 문자가 수식이면 수식 포맷으로 변경하거나 상기 수식을 계산하는 전자 장치.
  18. 제 11항에 있어서,
    상기 제스쳐 정보는
    상기 인식된 제스쳐의 적어도 하나 이상의 스트로크(stroke)정보 또는 적어도 하나 이상의 렉탱글(rectangle) 정보를 적어도 하나 이상 포함하는 전자 장치.
  19. 제 12항에 있어서,
    상기 제스쳐 정보에 해당하는 기능 정보는
    텍스트, 컨텐츠 또는 이미지 중 적어도 하나 이상 강조 표시 정보, 상기 텍스트, 상기 컨텐츠 또는 상기 이미지 중 적어도 하나 이상 검색 결과 표시 정보, 상기 텍스트, 상기 컨텐츠 또는 상기 이미지 중 적어도 하나 이상에 포함된 태그 검색 결과 표시 또는 상기 컨텐츠가 지도인 경우 지도를 확대하여 표시하거나 지도에 포함된 정보를 표시하는 정보 중 적어도 하나 이상인 것을 특징으로 하는 전자 장치.
  20. 제 12항에 있어서,
    상기 제어부는
    상기 제스쳐 정보를 유니코드(Unicode) 또는 타임스탬프(Time Stamp)형태로 변환하는 전자 장치.
KR20130095897A 2013-08-13 2013-08-13 전자 장치 및 전자 장치의 검색 및 표시방법 KR20150020383A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130095897A KR20150020383A (ko) 2013-08-13 2013-08-13 전자 장치 및 전자 장치의 검색 및 표시방법
US14/458,943 US20150127681A1 (en) 2013-08-13 2014-08-13 Electronic device and search and display method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130095897A KR20150020383A (ko) 2013-08-13 2013-08-13 전자 장치 및 전자 장치의 검색 및 표시방법

Publications (1)

Publication Number Publication Date
KR20150020383A true KR20150020383A (ko) 2015-02-26

Family

ID=52579193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130095897A KR20150020383A (ko) 2013-08-13 2013-08-13 전자 장치 및 전자 장치의 검색 및 표시방법

Country Status (2)

Country Link
US (1) US20150127681A1 (ko)
KR (1) KR20150020383A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150338939A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes
KR20160021524A (ko) * 2014-08-18 2016-02-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9733826B2 (en) * 2014-12-15 2017-08-15 Lenovo (Singapore) Pte. Ltd. Interacting with application beneath transparent layer
US9423908B2 (en) * 2014-12-15 2016-08-23 Lenovo (Singapore) Pte. Ltd. Distinguishing between touch gestures and handwriting
JP6043334B2 (ja) * 2014-12-22 2016-12-14 京セラドキュメントソリューションズ株式会社 表示装置、画像形成装置、及び、表示方法
US20160179364A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Disambiguating ink strokes and gesture inputs
KR102568097B1 (ko) * 2015-06-22 2023-08-18 삼성전자 주식회사 파싱 데이터의 관련 정보를 표시하는 방법 및 전자 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788815B2 (en) * 2000-11-10 2004-09-07 Microsoft Corporation System and method for accepting disparate types of user input
US20030071850A1 (en) * 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US7096432B2 (en) * 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
WO2005099381A2 (en) * 2004-04-07 2005-10-27 Xoopit, Inc. Expression and time-based data creation and creator-controlled organization
US8145997B2 (en) * 2005-06-30 2012-03-27 Canon Kabushiki Kaisha Method for simultaneously performing a plurality of handwritten searches
AU2007297253A1 (en) * 2006-09-17 2008-03-20 Nokia Corporation Method, apparatus and computer program product for a tag-based visual search user interface
US20080071770A1 (en) * 2006-09-18 2008-03-20 Nokia Corporation Method, Apparatus and Computer Program Product for Viewing a Virtual Database Using Portable Devices
US8347206B2 (en) * 2007-03-15 2013-01-01 Microsoft Corporation Interactive image tagging
CA2800893A1 (en) * 2010-05-28 2011-12-01 Adapx, Inc. Methods and systems for automated creation, recognition and display of icons
JP2014102669A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
KR101997447B1 (ko) * 2012-12-10 2019-07-08 엘지전자 주식회사 이동단말기 및 그 제어 방법
US9465985B2 (en) * 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition

Also Published As

Publication number Publication date
US20150127681A1 (en) 2015-05-07

Similar Documents

Publication Publication Date Title
CN103677618B (zh) 用于终端的文本识别设备和方法
KR20150020383A (ko) 전자 장치 및 전자 장치의 검색 및 표시방법
EP2821908B1 (en) Portable terminal device using touch pen and handwriting input method thereof
CN103631518B (zh) 移动终端和用于移动终端的显示控制
US20140075302A1 (en) Electronic apparatus and handwritten document processing method
EP2793116A2 (en) Terminal apparatus mountable in vehicle, mobile device for working with the terminal apparatus, and methods for providing service thereof
EP2770423A2 (en) Method and apparatus for operating object in user device
US20140059428A1 (en) Portable device and guide information provision method thereof
EP2871563A1 (en) Electronic device, method and storage medium
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
KR20150014083A (ko) 전자 장치 및 전자 장치의 입력 인식 방법
US20160147436A1 (en) Electronic apparatus and method
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US20150346996A1 (en) Electronic apparatus and method
US20140354605A1 (en) Electronic device and handwriting input method
US20150261346A1 (en) Touch control method of capacitive and electromagnetic dual-mode touch screen and handheld electronic device
KR20140120972A (ko) 터치스크린을 가지는 전자 장치에서 텍스트 입력하는 방법 및 장치
EP2808777B1 (en) Method and apparatus for gesture-based data processing
US20140219564A1 (en) Electronic device and handwritten document processing method
US20180203597A1 (en) User terminal device and control method therefor
US8948514B2 (en) Electronic device and method for processing handwritten document
US20150098653A1 (en) Method, electronic device and storage medium
US20160117093A1 (en) Electronic device and method for processing structured document
CN104956378A (zh) 电子设备和手写文档处理方法
JP6411067B2 (ja) 情報処理装置及び入力方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid