KR102129374B1 - 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말 - Google Patents

사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말 Download PDF

Info

Publication number
KR102129374B1
KR102129374B1 KR1020120093979A KR20120093979A KR102129374B1 KR 102129374 B1 KR102129374 B1 KR 102129374B1 KR 1020120093979 A KR1020120093979 A KR 1020120093979A KR 20120093979 A KR20120093979 A KR 20120093979A KR 102129374 B1 KR102129374 B1 KR 102129374B1
Authority
KR
South Korea
Prior art keywords
screen
data
user
touch
handwriting
Prior art date
Application number
KR1020120093979A
Other languages
English (en)
Other versions
KR20140027850A (ko
Inventor
이유진
구한준
전한경
조승환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120093979A priority Critical patent/KR102129374B1/ko
Priority to CN201310379097.7A priority patent/CN103631519B/zh
Priority to EP18187824.0A priority patent/EP3416038B1/en
Priority to EP13181880.9A priority patent/EP2703985B1/en
Priority to CN202011245492.2A priority patent/CN112269529A/zh
Priority to JP2013175317A priority patent/JP6896239B2/ja
Priority to US14/011,632 priority patent/US9335835B2/en
Publication of KR20140027850A publication Critical patent/KR20140027850A/ko
Application granted granted Critical
Publication of KR102129374B1 publication Critical patent/KR102129374B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 일 측면에 따른 휴대 단말의 사용자 인터페이스 제공 방법은, 애플리케이션을 실행하는 단계와; 사용자의 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하는 단계와; 상기 사용자의 필기 데이터를 인식하고, 상기 인식된 필기 데이터를 미리 설정된 포맷을 갖는 데이터로 변환하는 단계와; 상기 변환된 데이터를 미리 설정된 방식으로 처리하고, 상기 변환된 데이터의 처리 결과를 터치스크린을 통해 사용자에게 표시하는 단계를 포함한다.

Description

사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말{METHOD FOR PROVIDING USER INTERFACE, MACHINE-READABLE STORAGE MEDIUM AND PORTABLE TERMINAL}
본 발명은 사용자 인터페이스 제공 방법에 관한 것으로서, 특히 필기 입력을 지원하는 사용자 인터페이스 제공 방법에 관한 것이다.
일반적으로 이동 통신 단말과 같은 휴대 단말에 구비되는 사용자 입력부는 키패드로 구성된다, 이러한 키패드를 통한 사용자 입력은 단말기에 장착되어 있는 버튼을 사용자가 직접 손으로 키를 눌러서 입력하는 방식과 터치 스크린을 이용한 입력 방식이 있다. 이러한 입력 방식 중 터치 스크린을 이용한 입력 방식은 소프트 키보드 입력 방식과 필기 입력(Handwriting Recognition)방식 등이 있는데, 소프트 키보드 입력 방식이란 휴대 단말에서 일반 키보드와 마우스의 휴대성 문제를 극복하기 위해 터치 스크린에 키보드 형태의 입력 창을 띄워서 펜 클릭 또는 손가락 클릭으로 입력을 받는 방식을 말한다. 또한, 필기 입력 방식은 사람의 수기(즉, 필기체)를 인식하여 데이터 코드로 변환시켜 주는 방식이다.
종래의 필기 입력 방식은, 필기 입력을 원하는 위치에 커서를 위치하고, 필기 입력 애플리케이션을 실행하고, 필기 입력 화면으로 전환하고,　필기 데이터를 입력하고, 사용자가 필기 데이터의 인식 결과를 확인한 후 저장 버튼을 누르는 5단계를 거쳐야 하므로, 필기 입력 절차가 불편하고, 또한 명확한 사용자 입력 의도가 없이도 원하지 않는 입력이 수시로 발생할 가능성이 존재한다는 문제점이 있다.
본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.
본 발명의 일 목적은 호버링을 이용하여 입력 모드 전환이 가능하도록 함으로써 사용자가 원하지 않는 입력의 발생을 차단하는 방법을 제공함에 있다.
본 발명의 다른 목적은 사용자가 쓴 글씨를 필기 인식하여 텍스트로 변환하고, 변환된 텍스트를 화면에 실행 중인 애플리케이션의 입력부에 자동으로 삽입함으로써 필기 입력 절차를 단순화함에 있다.
본 발명의 일 측면에 따른 휴대 단말의 사용자 인터페이스 제공 방법은, 애플리케이션을 실행하는 단계와; 사용자의 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하는 단계와; 상기 사용자의 필기 데이터를 인식하고, 상기 인식된 필기 데이터를 미리 설정된 포맷을 갖는 데이터로 변환하는 단계와; 상기 변환된 데이터를 미리 설정된 방식으로 처리하고, 상기 변환된 데이터의 처리 결과를 터치스크린을 통해 사용자에게 표시하는 단계를 포함한다.
본 발명의 다른 측면에 따라, 휴대 단말의 사용자 인터페이스 제공 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체 및 이러한 저장 매체를 구비한 휴대 단말이 제공된다.
본 발명의 또 다른 측면에 따른 사용자 인터페이스를 제공하는 휴대 단말은, 애플리케이션을 저장하는 저장부와; 입력 데이터를 표시하고, 터치 수단의 접촉 또는 호버링을 검출하는 터치스크린과; 상기 애플리케이션을 실행하고, 사용자의 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하고, 상기 사용자의 필기 데이터를 인식하고, 상기 인식된 필기 데이터를 미리 설정된 포맷을 갖는 데이터로 변환하고, 상기 변환된 데이터를 미리 설정된 방식으로 처리하고, 상기 변환된 데이터의 처리 결과를 상기 터치스크린을 통해 사용자에게 표시하도록 구성된 제어부를 포함한다.
본 발명은 사용자가 단말 기능 실행 중 추가 구성 요소(H/W 키, S/W 버튼)없이 펜의 호버링 기능만으로 필기 입력 모드로 전환하여 필기 입력이 가능하다. 또한, 본 발명에서는 사용자에 의해 입력된 스트로크 데이터가 필기 인식을 통해 자동으로 텍스트 변환되어 텍스트 입력 창에 삽입 및 실행됨으로써, 종래 필기 입력의 5단계 절차를 거치지 않고 빠른 문자 전송 및 검색 실행 등이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 휴대 단말을 나타내는 개략적인 블록도,
도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도,
도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도,
도 4는 본 발명의 일 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 흐름도,
도 5는 호버링 동작을 설명하기 위한 도면,
도 6은 본 발명의 바람직한 실시 예에 따른 음성 인식 애플리케이션에서의 사용자 인터페이스 제공 방법을 설명하기 위한 흐름도,
도 7은 음성 인식 애플리케이션의 초기 화면을 나타내는 도면,
도 8은 필기 입력 버튼의 일 예를 나타내는 도면,
도 9는 필기 입력 모드 표시 방법의 일 예를 나타내는 도면,
도 10은 필기 입력 모드 표시 방법의 다른 예를 나타내는 도면,
도 11은 필기 입력 데이터의 일 예를 나타내는 도면,
도 12는 변환된 텍스트 데이터를 처리하는 방법의 일 예를 나타내는 도면,
도 13 내지 도 15는 본 발명의 다른 실시 예에 따른 메시지 애플리케이션에서의 사용자 인터페이스 제공 방법을 설명하기 위한 도면들,
도 16 내지 도 18은 본 발명의 또 다른 실시 예에 따른 갤러리 애플리케이션에서의 사용자 인터페이스 제공 방법을 설명하기 위한 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 휴대 단말을 나타내는 개략적인 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 휴대 단말의 전면 사시도이며, 도 3은 본 발명의 일 실시 예에 따른 휴대 단말의 후면 사시도이다.
도 1을 참조하면, 휴대 단말(100)은 서브 통신 모듈(130), 커넥터(165) 및 이어폰 연결잭(167)과 같은 외부 장치 연결부를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. “외부 장치”는 상기 모바일 장치(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 내비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 상기 "외부 장치"는 근거리 통신에 의하여 무선으로 상기 휴대 단말(100)에 연결될 수 있는 블루투스 통신 장치, NFC(Near Field Communication) 장치와 같은 근거리 통신 장치, 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 또한, 상기 외부 장치는 다른 장치, 휴대폰, 스마트폰, 태블릿PC, 데스크탑 PC, 및 서버를 포함할 수 있다.
휴대 단말(100)은 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북, 랩탑, 태블릿(Tablet) PC, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다. 상기 휴대 단말(100)은 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 이동 단말로서 구현될 수 있다.
도 1을 참조하면, 휴대 단말(100)은 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 휴대 단말(100)은 제어부(110), 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다. 서브 통신 모듈(130)은 무선랜 모듈(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송 통신 모듈(141), 오디오 재생 모듈(142) 및 동영상 재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 모바일 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 모바일 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 모바일 장치(100)에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치스크린(190), 및 터치스크린 컨트롤러(195)를 제어할 수 있다.
이동 통신 모듈(120), 서브 통신 모듈(130) 및 멀티미디어 모듈(140)의 방송 통신 모듈(141)은 통신부로 통칭될 수 있으며, 상기 통신부는 외부 장치와의 직접 연결 또는 네트워크를 통한 연결을 위해 제공되며, 유선 또는 무선 통신부일 수 있다. 상기 통신부는 상기 제어부(110), 저장부(175), 카메라 모듈(150) 등으로부터의 데이터를 유선 또는 무선으로 전송하거나, 외부 통신선 또는 대기로부터 데이터를 유선 또는 무선 수신하여 상기 제어부(110)로 전달하거나 저장부(175)에 저장할 수 있다.
이동 통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 휴대 단말(100)이 외부 장치와 연결되도록 한다. 이동 통신 모듈(120)은 휴대 단말(100)에 입력되는 전화번호, 또는 네트워크 주소를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 등의 데이터 교환 또는 일방향 전송 또는 수신을 위한 무선 신호를 송/수신한다.
서브 통신 모듈(130)은 무선랜 모듈(131)과 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리 통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리 통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신 모듈(132)은 제어부(110)의 제어에 따라 휴대 단말(100)과 화상 형성 장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
휴대 단말(100)은 성능에 따라 이동 통신 모듈(120), 무선랜 모듈(131), 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 휴대 단말(100)은 성능에 따라 이동 통신 모듈(120), 무선랜 모듈(131), 및 근거리 통신 모듈(132)의 조합을 포함할 수 있다.
멀티미디어 모듈(140)은 방송 통신 모듈(141), 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 방송 통신 모듈(141)은 제어부(110)의 제어에 따라 방송 통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송 부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예를 들어, 파일 확장자가 mp3, wma, ogg, wav 등인 파일)을 스피커(163)를 통해 재생할 수 있다. 동영상 재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, mkv 등인 파일)을 터치스크린(190)을 통해 재생할 수 있다.
멀티미디어 모듈(140)은 방송 통신 모듈(141)을 제외하고 오디오 재생 모듈(142)과 동영상 재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)은 제어부(110)에 포함될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))을 포함할 수 있다. 제1 카메라(151)는 상기 모바일 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 모바일 장치(100)의 후면에 배치될 수 있다. 이러한 카메라 배치와 다르게, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다.
카메라(151, 152)는 렌즈계, 이미지 센서, 플래쉬 등을 포함할 수 있다. 카메라(151, 152)는 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
렌즈계는 외부로부터 입사된 광을 수렴시킴으로써 피사체의 이미지를 형성한다. 상기 렌즈계는 적어도 하나의 렌즈를 포함하며, 각 렌즈는 볼록 렌즈, 비구면 렌즈 등일 수 있다. 상기 렌즈계는 그 중심을 지나는 광축(optical axis)에 대해 대칭성을 가지며, 상기 광축은 이러한 중심 축으로 정의된다, 상기 이미지 센서는 렌즈계를 통해 입사된 외부 광에 의해 형성된 광학적 이미지를 전기적 이미지 신호로 검출한다. 상기 이미지 센서는 M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비하며, 상기 화소 유닛은 포토다이오드 및 복수의 트랜지스터들을 포함할 수 있다. 상기 화소 유닛은 입사된 광에 의해 생성된 전하를 축적하고, 축적된 전하에 의한 전압은 상기 입사된 광의 조도를 나타낸다. 정지 이미지 또는 동영상을 구성하는 한 이미지를 처리하는 경우에 있어서, 상기 이미지 센서로부터 출력되는 이미지 신호는 상기 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성되고, 상기 이미지 신호는 하나의 프레임(즉, 정지 이미지)을 나타낸다. 또한, 상기 프레임은 M×N 화소로 구성된다. 상기 이미지 센서로는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 사용할 수 있다.
상기 구동부는 제어부(110)의 제어에 따라 상기 이미지 센서를 구동한다. 상기 구동부는 제어부(110)로부터 수신한 제어 신호에 따라 상기 이미지 센서의 전체 화소들 또는 전체 화소 중에서 관심 영역의 화소들만을 작동하고, 상기 화소들로부터 출력되는 이미지 데이터는 제어부(110)로 출력된다.
상기 제어부(110)는 상기 카메라(151, 152)로부터 입력되는 이미지 또는 상기 저장부(175)에 저장된 이미지를 프레임(frame) 단위로 처리하며, 상기 터치스크린(190)의 화면 특성(크기, 화질, 해상도 등)에 맞도록 변환된 이미지 프레임을 상기 터치스크린(190)으로 출력한다.
GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다.
입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동 모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다. 커넥터(165)를 제외한 입/출력 모듈(160)은 사용자 입력을 수신하거나 사용자에게 정보를 알리기 위한 수단으로서 사용되며, 입/출력 모듈(160)의 다른 예들은, 이에 한정되지 않지만, 마우스, 트랙볼(trackball), 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 상기 제어부(110)와의 정보 통신 및 상기 터치스크린(190) 상의 커서 움직임 제어를 위해 제공될 수 있다.
버튼(161)은 상기 휴대 단말(100)의 전면(100a), 측면(100b) 또는 후면(100c)에 형성될 수 있으며, 전원 버튼(161d)과, 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)을 갖는 볼륨 버튼(161e)과, 메뉴 버튼(161b)과, 홈 버튼(161a)과, 돌아가기 버튼(back button)(161c)과, 검색 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 휴대 단말(100) 외부로 출력할 수 있다. 스피커(163)는 휴대 단말(100)이 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 휴대 단말(100)의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말(100)은 다른 장치(도시되지 아니함)로부터 음성 또는 화상 통화가 수신되는 경우, 진동 모터가 동작한다. 진동 모터는 상기 휴대 단말(100) 내에 하나 또는 복수로 형성될 수 있다. 진동 모터는 터치스크린(160)을 터치하는 사용자의 터치 동작 및 터치스크린(160) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
커넥터(165)는 상기 휴대 단말(100)과 외부 장치(도시되지 아니함) 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 상기 휴대 단말(100)은 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)로부터 데이터를 수신할 수 있다. 또한 상기 휴대 단말(100)은 커넥터(165)에 연결된 유선 케이블을 통해 전원 소스(도시되지 아니함)로부터 전원을 입력받거나, 상기 전원 소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 휴대 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰 연결잭(Earphone Connecting Jack, 167)에는 이어폰(도시되지 아니함)이 삽입되어 상기 휴대 단말(100)에 연결될 수 있다.
센서 모듈(170)은 휴대 단말(100)의 상태(위치, 방위, 움직임 등)를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(170)은 사용자의 휴대 단말(100)에 대한 접근 여부를 검출하는 근접 센서, 휴대 단말(100) 주변의 빛의 양을 검출하는 조도 센서(도시되지 아니함), 또는 휴대 단말(100)의 동작(예를 들어, 휴대 단말(100)의 회전, 가속, 감속, 진동 등)을 검출하는 모션/방위 센서, 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다. 또한, 모션/방위 센서는 가속도 센서, 지구 자기장을 이용해 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor, 도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 자이로(gyro) 센서, 충격센서, GPS, 나침반 센서(compass sensor), 가속도 센서 등을 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서 모듈(170)의 센서는 휴대 단말(100)의 성능에 따라 추가되거나 삭제될 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다.
상기 저장부(175)는 내비게이션, 화상 통화, 게임 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 사용자 인터페이스를 제공하는 방법과 관련된 데이터베이스들 또는 데이터, 상기 휴대 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라에 의해 촬영된 이미지들 등을 저장할 수 있다. 상기 저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계에게 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 상기 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punchcard), 페이퍼 테이프(papertape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.
전원 공급부(180)는 제어부(110)의 제어에 따라 휴대 단말(100)에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 휴대 단말(100)에 전원을 공급한다. 또한, 전원 공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 단말(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원 소스로부터 무선으로 입력되는 전원을 휴대 단말(100)로 공급할 수도 있다.
터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 인터페이스를 제공할 수 있다. 터치스크린(190)은 사용자 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 터치 수단(예, 손가락, 스타일러스 펜 등)을 통해 적어도 하나의 터치를 수신할 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수도 있다.
또한, 휴대 단말(100)의 하단 측면에는 스타일러스 펜(168)이 형성될 수 있다. 스타일러스 펜(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 및 탈착될 수 있다. 추가적으로, 스타일러스 펜(168)이 삽입되는 휴대 단말(100) 내부의 일 영역에는 상기 스타일러스 펜(168)의 장착 및 탈착에 대응하는 동작하는 펜 탈착 스위치(미도시)가 구비되어, 제어부(100)로 상기 스타일러스 펜(168)의 장착 및 탈착에 대응하는 신호를 제공할 수 있다.
나아가, 본 발명에서 터치는 터치스크린(190)과 터치 수단(손가락, 스타일러스 펜)의 접촉에 한정되지 않고, 비접촉(예, 터치스크린(190)과 터치 수단의 간격이 1 cm 이하)을 포함할 수 있다. 터치스크린(190)에서 검출 임계 간격은 휴대 단말(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치스크린(190)은, 터치 수단과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 터치스크린(190)과 터치 수단의 간격에 따라 그 출력 값이 변화할 수 있도록 구성된다. 즉, 터치스크린(190)은 상기 터치 이벤트에 의해 검출되는 값(예컨대, 전류 값, 전압 값, 정전 용량 값 등)과 호버링 이벤트에 의해 검출되는 값을 다르게 출력할 수 있도록 구성된다.
한편, 터치스크린 컨트롤러(195)는 터치스크린(190)으로부터 수신된 아날로그 신호를 디지털 신호(예를 들어, (X, Y) 좌표 및 검출 값)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(190)에 표시된 단축 아이콘이 선택되도록 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110) 또는 터치스크린(190)에 포함될 수도 있다.
더 나아가, 터치스크린 컨트롤러(195)는 터치스크린(190)으로부터 출력되는 값에 근거하여 터치 수단과 터치스크린(190) 사이의 거리를 산출할 수 있고, 산출된 거리 값을 디지털 신호(예컨대, Z 좌표)로 변환하여 제어부(110)로 제공할 수 있다.
또한, 터치스크린(190)은 손가락에 의한 입력과 스타일러스 펜에 의한 입력을 구분하여 검출할 수 있도록, 손가락에 의한 입력과 스타일러스 펜에 의한 입력을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수도 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력 값을 터치스크린 컨트롤러(195)에 제공하고, 터치스크린 컨트롤러(195)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값들을 서로 다르게 인식하여, 터치스크린(190)으로부터의 입력이 손가락에 의한 입력인지, 스타일러스 펜에 의한 입력인지를 구분할 수도 있다. 예를 들어, 터치스크린(190)은 정전용량(capacitive) 방식의 터치스크린 패널과 EMR(Electromagnetic resonance) 방식의 터치스크린 패널이 조합된 구조를 가질 수 있다.
도 2를 참조하면, 휴대 단말(100)의 전면(100a) 중앙에는 터치스크린(190)이 배치된다. 상기 터치스크린(190)은 휴대 단말(100)의 전면(100a)의 대부분을 차지하도록 크게 형성된다. 도 2에서는, 상기 터치스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 휴대 단말(100)의 전원을 켰을 때 상기 터치스크린(190) 상에 표시되는 첫 화면이다. 또한 상기 휴대 단말(100)이 여러 페이지의 서로 다른 홈 화면들을 갖고 있을 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 애플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인 메뉴 아이콘(191-4), 시간, 날씨 등이 표시될 수 있다. 상기 메인 메뉴 아이콘(191-4)은 상기 터치스크린(190) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 휴대 단말(100)의 상태를 표시하는 상태 바(Status Bar, 192)가 형성될 수도 있다.
상기 터치스크린(190)의 아래에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.
홈 버튼(161a)은 터치스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen), 메뉴 화면, 애플리케이션 화면 등이 표시된 상태에서, 상기 홈 버튼(161a)이 눌려지면, 터치스크린(190)에 메인 홈 화면이 디스플레이될 수 있다. 즉, 터치스크린(190) 상에서 애플리케이션들이 실행되는 도중 홈 버튼(191a)이 터치되면, 상기 터치스크린(190)상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치스크린(190) 상에 최근에(recently) 사용된 애플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.
메뉴 버튼(161b)은 터치스크린(190) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 애플리케이션을 종료시킬 수 있다.
휴대 단말(100)의 전면(100a) 가장자리에는 제1 카메라(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 휴대 단말(100)의 후면(100c)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다.
휴대 단말(100)의 측면(100b)에는 예를 들어 전원 버튼(160a), 볼륨 버튼(161b), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 장치(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.
또한, 휴대 단말(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 휴대 단말(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
나아가, 전술한 본 발명의 일 실시 예에 따른 휴대 단말(100)에 구비된 제어부(110)는 특히 본 발명의 일 실시 예에 따른 사용자 인터페이스 제공 방법을 수행할 수 있도록 구성된다.
도 4는 본 발명의 일 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 흐름도이다.
상기 방법은 S410~S450 단계를 포함한다.
S410 단계는 애플리케이션을 실행하는 단계이며, 사용자는 터치스크린(190), 입/출력 모듈(160) 또는 카메라 모듈(150)을 통하여 버튼, 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행함으로써, 원하는 애플리케이션을 실행한다. 이러한 애플리케이션은 사용자 입력을 수신하는 임의의 애플리케이션일 수 있으며, 예를 들어, 음성 인식 애플리케이션, 스케줄 관리 애플리케이션, 문서 작성 애플리케이션, 음악 애플리케이션, 인터넷 애플리케이션, 지도 애플리케이션, 카메라 애플리케이션, 이메일 애플리케이션, 이미지 편집 애플리케이션, 검색 애플리케이션, 파일 탐색 애플리케이션, 비디오 애플리케이션, 게임 애플리케이션, SNS 애플리케이션, 전화 애플리케이션, 메시지 애플리케이션 등일 수 있다.
S420 단계는 필기 입력 모드로 전환하는 단계이며, 애플리케이션이 실행 중인 상태에서 사용자가 모드 전환 요청을 하면, 제어부(110)는 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하여 동작한다.
이러한 모드 전환 요청은, 사용자가 터치스크린(190)의 표면 위에서 터치 수단을 이용하여 미리 설정된 시간 동안 또는 미리 설정된 패턴으로 호버링 동작을 하는 경우, 애플리케이션이나 운영 시스템이 제공하는 필기 입력 버튼 또는 필기 입력 메뉴 항목을 선택하는 경우, 미리 설정된 터치 패턴을 입력하는 경우 등에 발생할 수 있다. 호버링 패턴이나 터치 패턴은, 예를 들어, 터치 수단이 원형, 삼각형, 사각형 등의 미리 설정된 패턴의 궤적을 그리는 경우를 말한다.
이러한 필기 입력 모드는 아이콘, 텍스트 등과 같은 지시자, 버튼, 또는 기능별 버튼들을 갖는 툴 바, 별도의 필기 입력 화면 또는 창을 통해 사용자에게 표시될 수 있다. 필기 입력 모드는 별도의 필기 입력 화면의 표시 없이 애플리케이션 화면이 그대로 보여지는 형태, 별도의 필기 입력 화면이 표시되는 형태로 실행될 수 있다.
도 5는 호버링 동작을 설명하기 위한 도면이다.
도시된 바와 같이, 사용자는 휴대 단말(100)의 터치스크린(190)의 표면 위에 스타일러스 펜(168)을 검출 임계 간격 이내로 유지함으로써 호버링 동작을 수행한다.
S430 단계는 사용자 필기 데이터를 수신하는 단계이며, 필기 입력 모드에서 사용자는 터치 수단을 이용하여 터치스크린(190)에 원하는 내용의 필기 데이터를 입력한다. 이때, 상기 필기 데이터는 애플리케이션 창에 오버랩되는(즉, 겹치는) 방식으로 표시된다. 이러한 필기 데이터는 제어부(110)가 인식하여 디지털 텍스트 데이터로 변환 가능한 형태(예를 들어, 문자열)이거나, 즉 이미지-텍스트 변환이 가능한 형태이거나, 이미지-텍스트 변환이 불가능한 형태(예를 들어, 드로잉)일 수 있다.
한편, 제어부(110)는 실행 중인 애플리케이션이 변환된 데이터를 처리할 수 있는지를 확인하고, 입력 데이터의 처리가 불가능하거나 필요 없는 경우에 제어부는 변환된 데이터를 애플리케이션에 입력하지 않고 저장할 수도 있다. 또한, 필기 데이터가 입력된 화면 자체를 캡쳐하여 저장할 수도 있다.
S440 단계는 변환된 데이터를 애플리케이션에 입력하는 단계이며, 제어부(110)는 사용자가 입력한 필기 데이터를 미리 설정된 포맷으로 변환하고, 변환된 데이터를 상기 실행 중인 애플리케이션에 입력한다. 제어부(110)는 사용자가 입력한 필기 데이터를 인식하고, 상기 필기 데이터가 이미지-텍스트 변환이 가능한 형태인 경우에 상기 필기 데이터를 미리 설정된 포맷의 텍스트 데이터로 변환하고, 상기 필기 데이터가 이미지-텍스트 변환이 가능한 형태가 아닌 경우에는 상기 필기 데이터를 미리 설정된 포맷의 이미지 데이터로 변환한다. 상기 이미지 데이터는 비트맵 데이터, 좌표 열들로 표현되는 스트로크 데이터 등일 수 있다.
S450 단계는 입력 데이터를 처리하는 단계이며, 실행 중인 애플리케이션은 입력 데이터에 따른 프로그램 동작을 수행한다. 이러한 입력 데이터는 애플리케이션 화면의 입력 창에 표시된 후, 사용자가 별도의 버튼 또는 메뉴 항목을 선택함으로써 후속 처리될 수 있다. 또는, 이러한 입력 데이터는 애플리케이션 화면의 입력 창에 표시된 후, 사용자가 별도의 버튼 또는 메뉴 항목을 선택함으로써 후속 처리될 수 있다.
예를 들어, 음성 인식 애플리케이션은 입력 데이터를 외부 서버로 전송하고, 상기 외부 서버로부터 수신한 응답 결과를 사용자에게 제공할 수 있다. 스케줄 관리 애플리케이션, 문서 작성 애플리케이션, 이메일 애플리케이션 또는 메시지 애플리케이션은 입력 데이터를 문서(파일, 메시지, 이메일 등)에 삽입할 수 있다. 음악 애플리케이션, 인터넷 애플리케이션, 카메라 애플리케이션, 이미지 편집 애플리케이션, 검색 애플리케이션, 파일 탐색 애플리케이션, 비디오 애플리케이션 또는 전화 애플리케이션은 입력 데이터가 지시하는 동작을 수행하고, 동작 수행의 결과를 사용자에게 제공할 수 있다.
도 6은 본 발명의 바람직한 실시 예에 따른 음성 인식 애플리케이션에서의 사용자 인터페이스 제공 방법을 설명하기 위한 흐름도이다.
상기 방법은 S610~S680 단계를 포함한다.
S610 단계는 음성 인식 애플리케이션을 실행하는 단계이며, 사용자는 터치스크린(190), 입/출력 모듈(160) 또는 카메라 모듈(150)을 통하여 버튼, 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행함으로써, 음성 인식 애플리케이션을 실행한다.
예를 들어, 사용자는 홈 버튼(161a)을 더블 클릭함으로써 음성 인식 애플리케이션을 실행할 수 있다. 이하, 음성 인식 애플리케이션이 프로그램 동작의 주체로 예시되어 있으나, 프로그램 동작은 제어부(110)가 수행하는 것으로 기술될 수 있다.
도 7은 음성 인식 애플리케이션의 초기 화면을 나타내는 도면이다.
음성 인식 애플리케이션은 초기 구동되면, “어떤 작업을 실행할까요?”, 또는 “What would you like to do?”라는 사용 안내 문구를 애플리케이션 창(710a)에 표시한다.
애플리케이션 창(710a)의 하부에는, 클릭한 경우에 사용 방법을 음성으로 안내하는 음성 안내 버튼(720)과, 클릭한 경우에 음성 인식 모드를 실행하는 음성 인식 버튼(730)과, 클릭한 경우에 사용 방법의 예들을 표시하는 도움말 버튼(740)이 제공된다.
S620 단계는 호버링을 감지하는 단계이며, 제어부(110)는, 사용자가 터치스크린(190)의 표면 위에서 스타일러스 펜(168)을 이용하여 호버링 동작을 하는지의 여부를 판단한다. 즉, 사용자는 터치스크린(190)의 표면 위에 스타일러스 펜(168)을 검출 임계 간격 이내로 유지함으로써 호버링 동작을 수행하고, 제어부(110)는 터치스크린(190)의 검출 값에 근거하여 호버링 이벤트를 감지한다. 호버링 이벤트가 감지된 경우에 S630 단계로 진행하고, 호버링 이벤트가 감지되지 않은 경우에 S620 단계를 반복한다.
S630 단계는 모드 전환 조건의 만족 여부, 즉 모드 전환 요청을 확인하는 단계이며, 제어부(110)는 호버링 이벤트가 좌표 이동 없이 미리 설정된 시간 동안 지속되는지의 여부를 판단한다. 이때의 좌표 이동은 초기 호버링 이벤트가 발생한 초기 좌표를 기준으로 미리 설정된 크기의 영역을 벗어나는지의 여부에 따라 그 이동 여부가 판단될 수도 있다. 본 예와 다르게, 제어부(110)는 호버링 이벤트가 좌표 이동 여부와 관계 없이 미리 설정된 시간 동안 지속되는지의 여부만을 판단할 수도 있다. 모드 전환 조건이 만족된 경우에 S640 단계로 진행하고, 모드 전환 조건이 만족되지 못한 경우에 S620 단계로 복귀한다. 이러한 모드 전환 조건은 필기 입력 버튼의 클릭을 더 포함할 수도 있다.
호버링 이벤트가 좌표 이동 없이 미리 설정된 시간 동안 지속되는 것은 미리 설정된 호버링 패턴의 한 예에 해당한다.
도 8은 필기 입력 버튼의 일 예를 나타내는 도면이다. 호버링 이벤트가 미리 설정된 시간 동안 지속된 경우에, 애플리케이션 창(710b)에는 필기 입력 모드를 나타내는 펜촉 모양의 지시자를 갖는 필기 입력 버튼(810)이 표시된다.
S640 단계는 필기 입력 모드로 전환하는 단계이며, 제어부(110)는 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하여 동작한다. 필기 입력 모드에서 사용자는 스타일러스 펜(168)을 이용하여 터치스크린(190)에 원하는 내용의 필기 데이터를 입력한다. 이러한 필기 입력 모드는 아이콘, 텍스트 등과 같은 지시자, 버튼, 또는 기능별 버튼들을 갖는 툴 바, 별도의 필기 입력 화면 또는 창을 통해 사용자에게 표시될 수 있다.
도 9는 필기 입력 모드 표시 방법의 일 예를 나타내는 도면이다. 필기 입력 모드로의 전환에 따라, 애플리케이션 창(710c)에는 필기 입력 모드를 나타내는 펜촉 모양의 지시자(910)가 표시된다. 이러한 지시자(910)는 이미지, 텍스트, 또는 이들의 조합일 수 있다.
도 10은 필기 입력 모드 표시 방법의 다른 예를 나타내는 도면이다. 필기 입력 모드로의 전환에 따라, 애플리케이션 창(710d)의 위 또는 그 상부에는 필기 입력 툴 바(1010)가 표시되며, 상기 툴 바(1010)는 펜 도구 사용 및 펜 설정(펜 종류, 두께, 색상 등의 설정)을 위한 제1 메뉴 항목(1011), 지우개 사용 및 지우개 크기 설정을 위한 제2 메뉴 항목(1012), 실행 취소를 위한 제3 메뉴 항목(1013), 다시 실행을 위한 제4 메뉴 항목(1014), 필기 입력 모드의 취소를 위한 제5 메뉴 항목(1015), 그리고 필기 입력 데이터의 저장을 위한 제5 메뉴 항목(1016)을 포함한다.
도 11은 필기 입력 데이터의 일 예를 나타내는 도면이다. 사용자는 스타일러스 펜(168)을 이용하여 터치스크린(190)의 화면에 원하는 내용, 본 예에서는 “weather in Seoul” 또는 “서울 날씨”라는 내용의 필기 데이터(1110)를 입력한다. 본 예에서는 애플리케이션 창(710e)이 터치스크린의 화면의 대부분을 차지하고 있으므로, 사용자는 애플리케이션 창(710e)에 필기 데이터(1110)를 입력하는 것으로 예시되어 있다.
S650 단계는 필기 입력 모드의 종료 요청 또는 애플리케이션 실행 모드로의 전환 요청을 확인하는 단계이며, 사용자는 검출 임계 간격 이상으로 스타일러스 펜(168)을 터치스크린(190)으로부터 미리 설정된 시간 동안 이격함으로써 필기 입력 모드를 종료할 수 있다. 본 예와 다르게, 사용자는 도 10에 도시된 바와 같은 이미 선택되어 있는 펜 도구 사용 및 펜 설정을 위한 제1 메뉴 항목(1011)을 선택 해제함으로써 필기 입력 모드를 종료할 수도 있다.
S660 단계는 애플리케이션 실행 모드로 전환하는 단계이며, 제어부(110)는 검출 임계 간격 이상으로 스타일러스 펜(168)이 터치스크린(190)으로부터 이격된 상태(즉, 터치 업 상태)가 미리 설정된 시간 동안 지속된 경우에, 필기 입력 모드를 종료하고 애플리케이션 실행 모드로 전환한다.
S670 단계는 필기 데이터를 인식 및 변환하는 단계이며, 제어부(110)는 사용자가 입력한 필기 데이터(1110)를 인식하고, 상기 필기 데이터(1110)를 이미지-텍스트 변환함으로써 미리 설정된 포맷의 텍스트 데이터로 변환한다.
S680 단계는 변환된 텍스트 데이터를 처리하는 단계이며, 실행 중인 애플리케이션은 변환된 텍스트 데이터에 따른 프로그램 동작을 수행한다.
도 12는 변환된 텍스트 데이터를 처리하는 방법의 일 예를 나타내는 도면이다. 애플리케이션은 애플리케이션 창(710f)에 변환된 텍스트 데이터(1210)를 표시하고, 상기 변환된 텍스트 데이터(1210)를 검색어로 하여 서울 날씨를 검색하고, 검색 결과(1220)를 애플리케이션 창(710f)에 표시한다. 이 때, 애플리케이션은 변환된 텍스트 데이터(1210)와 휴대 단말(100)의 현재 위치(예를 들어, 서교동)를 검색어로 하여 서울 날씨를 검색할 수도 있다.
상기 음성 인식 애플리케이션은 상기 변환된 텍스트 데이터(1210)를 다시 음성 데이터로 변환하고, 상기 변환된 음성 데이터를 음성 인식 서버로 전송하고, 상기 음성 인식 서버로부터 수신한 응답 결과를 사용자에게 제공할 수도 있다.
전술한 예에서, 필기 입력 모드로의 전환이 호버링 동작을 수반하는 것으로 예시하고 있으나, 이러한 호버링 동작의 수행 없이, 필기 입력 메뉴 항목 또는 버튼의 클릭만으로 필기 입력 모드로 전환할 수도 있다.
예를 들어, 도 8에 도시된 필기 입력 버튼(810) 또는 도 10에 도시된 툴 바(1010)는 애플리케이션 실행에 수반하여 자동으로 고정 표시되거나, 미리 설정된 터치 패턴을 입력하는 경우, 애플리케이션이나 운영 시스템이 제공하는 메뉴(예를 들어, 홈 화면 또는 메뉴 화면)를 통해 제공할 수도 있다.
도 13 내지 도 15는 본 발명의 다른 실시 예에 따른 메시지 애플리케이션에서의 사용자 인터페이스 제공 방법을 설명하기 위한 도면들이다.
도 13은 메시지 애플리케이션의 화면을 나타내는 도면이다.
사용자가 애플리케이션 창(1210a)의 “이삼성”으로부터 수신한 메시지(1220) 위에서 미리 설정된 호버링 패턴을 입력한 경우에, 제어부(110)는 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하여 동작한다.
도 14는 필기 입력 데이터의 일 예를 나타내는 도면이다. 사용자는 스타일러스 펜(168)을 이용하여 터치스크린(190)의 화면에 원하는 내용, 본 예에서는 “홍길동입니다.”라는 내용의 필기 데이터(1410)를 입력한다. 본 예에서는 애플리케이션 창(1210b)이 터치스크린(190)의 화면의 대부분을 차지하고 있으므로, 사용자는 애플리케이션 창(1210b)에 필기 데이터(1410)를 입력하는 것으로 예시되어 있다. 제어부는 사용자가 입력한 필기 데이터(1410)를 인식하고, 상기 필기 데이터(1410)를 이미지-텍스트 변환함으로써 미리 설정된 포맷의 텍스트 데이터로 변환한다.
도 15는 변환된 텍스트 데이터를 처리하는 방법의 일 예를 나타내는 도면이다. 메시지 애플리케이션은 애플리케이션 창(1510) 내의 입력 창(1520)에 변환된 텍스트 데이터를 삽입 및 표시한다. 메시지 애플리케이션은 변환된 텍스트 데이터가 삽입된 메시지를 “이삼성”으로부터 수신한 메시지에 대한 응답 메시지로서 자동으로 전송할 수도 있다.
도 16 내지 도 18은 본 발명의 또 다른 실시 예에 따른 갤러리 애플리케이션에서의 사용자 인터페이스 제공 방법을 설명하기 위한 도면들이다.
도 16은 갤러리 애플리케이션의 화면을 나타내는 도면이다.
사용자가 애플리케이션 창(1610a) 내 선택한 사진 이미지(1620a) 위에서 미리 설정된 호버링 패턴을 입력한 경우에, 제어부(110)는 모드 전환 요청에 따라 애플리케이션 실행 모드에서 필기 입력 모드로 전환하여 동작한다.
도 17은 필기 입력 데이터의 일 예를 나타내는 도면이다. 사용자는 스타일러스 펜(168)을 이용하여 터치스크린(190)의 화면에 원하는 내용, 본 예에서는 “홍길동에게…”라는 내용의 필기 데이터(1710)를 입력한다. 본 예에서는 애플리케이션 창(1610b)이 터치스크린(190)의 화면의 대부분을 차지하고 있으므로, 사용자는 애플리케이션 창(1610b)에 필기 데이터(1710)를 입력하는 것으로 예시되어 있다. 제어부(110)는 사용자가 입력한 필기 데이터(1710)를 인식하고, 상기 필기 데이터(1710)를 이미지-텍스트 변환함으로써 미리 설정된 포맷의 텍스트 데이터로 변환한다.
도 18은 변환된 텍스트 데이터를 처리하는 방법의 일 예를 나타내는 도면이다. 갤러리 애플리케이션은 원본 사진 이미지(1620a)에 변환된 텍스트 데이터를 오버레이하여 저장하고, 저장된 사진 이미지(1620b)를 애플리케이션 창(1610c)에 표시한다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 휴대 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 휴대 단말이 기설정된 사용자 인터페이스 제공 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 사용자 인터페이스 제공 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 휴대 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 휴대 단말의 요청 또는 자동으로 해당 프로그램을 상기 휴대 단말로 전송하는 제어부를 포함할 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
100: 휴대 단말, 110: 제어부, 120: 이동 통신 모듈, 130: 서브 통신 모듈, 140: 멀티미디어 모듈, 150: 카메라 모듈, 155: GPS 모듈, 160: 입/출력 모듈, 170; 센서 모듈, 175: 저장부, 180: 전원 공급부, 190: 터치스크린, 195: 터치스크린 컨트롤러

Claims (16)

  1. 휴대 단말의 사용자 인터페이스 제공 방법에 있어서,
    터치스크린 상의 제 1 화면을 통하여 음성 인식 애플리케이션을 표시하는 단계와;
    사용자의 요청이 수신되면, 상기 제1 화면이 표시되는 동안 상기 터치스크린 상의 일 영역에 필기 데이터를 수신하기 위한 제2 화면을 표시하는 단계와;
    상기 제 2 화면을 통하여, 사용자로부터 필기 데이터를 수신하고, 상기 수신된 필기 데이터를 인식하는 단계와;
    상기 음성 인식 애플리케이션에 의해, 상기 인식된 필기 데이터에 대응하는 질문을 서버로 전송하는 단계와;
    상기 음성 인식 애플리케이션에 의해, 상기 서버로부터 상기 질문에 대한 검색 결과를 수신하는 단계와;
    상기 제 1 화면 상의 상기 음성 인식 애플리케이션을 통하여, 상기 인식된 필기 데이터에 대응하는 미리 설정된 포맷의 텍스트 데이터 및 상기 검색 결과를 함께 표시하는 단계;를 포함함을 특징으로 하는 휴대 단말의 사용자 인터페이스 제공 방법.
  2. 제1항에 있어서,
    상기 사용자의 요청은,
    터치 수단을 이용한 호버링 패턴의 입력, 상기 터치 수단을 이용한 터치 패턴의 입력, 필기 입력 버튼의 클릭, 및 필기 입력 메뉴 항목의 클릭 중의 하나임을 특징으로 하는 휴대 단말의 사용자 인터페이스 제공 방법.
  3. 제2항에 있어서, 상기 호버링 패턴의 입력은,
    상기 터치스크린의 표면 위에 상기 터치 수단을 미리 설정된 검출 임계 간격 이내로 미리 설정된 시간 동안 유지함으로써 이루어짐을 특징으로 하는 휴대 단말의 사용자 인터페이스 제공 방법.
  4. 제1항에 있어서, 상기 수신된 필기 데이터는 상기 제 2 화면을 통하여 표시됨을 특징으로 하는 휴대 단말의 사용자 인터페이스 제공 방법.
  5. 제1항에 있어서,
    상기 인식된 필기 데이터는 상기 미리 설정된 포맷의 상기 텍스트 데이터로 변환됨을 특징으로 하는 휴대 단말의 사용자 인터페이스 제공 방법.
  6. 삭제
  7. 삭제
  8. 제1항 내지 제5항 중 어느 한 항에 따른 휴대 단말의 사용자 인터페이스 제공 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체.
  9. 제8항의 기계로 읽을 수 있는 저장 매체를 포함하는 휴대 단말.
  10. 사용자 인터페이스를 제공하는 휴대 단말에 있어서,
    입력 데이터를 표시하고, 터치 수단의 접촉 또는 호버링을 검출하는 터치스크린과;
    상기 터치스크린 상의 제 1 화면을 통하여 음성 인식 애플리케이션을 표시하고,
    사용자의 요청이 수신되면, 상기 제1 화면이 표시되는 동안 상기 터치스크린 상의 일 영역에 필기 데이터를 수신하기 위한 제2 화면을 표시하고,
    상기 제 2 화면을 통하여, 사용자로부터 필기 데이터를 수신하고, 상기 수신된 필기 데이터를 인식하고,
    상기 음성 인식 애플리케이션에 의해, 상기 인식된 필기 데이터에 대응하는 질문을 서버로 전송하고,
    상기 음성 인식 애플리케이션에 의해, 상기 서버로부터 상기 질문에 대한 검색 결과를 수신하고,
    상기 제 1 화면 상의 상기 음성 인식 애플리케이션을 통하여, 상기 인식된 필기 데이터에 대응하는 미리 설정된 포맷의 텍스트 데이터 및 상기 검색 결과를 함께 표시하도록 구성된 제어부;를 포함함을 특징으로 하는 사용자 인터페이스를 제공하는 휴대 단말.
  11. 제10항에 있어서, 상기 사용자의 요청은,
    상기 터치 수단을 이용한 호버링 패턴의 입력, 상기 터치 수단을 이용한 터치 패턴의 입력, 필기 입력 버튼의 클릭, 및 필기 입력 메뉴 항목의 클릭 중의 하나임을 특징으로 하는 사용자 인터페이스를 제공하는 휴대 단말.
  12. 제11항에 있어서, 상기 호버링 패턴의 입력은,
    상기 터치스크린의 표면 위에 상기 터치 수단을 미리 설정된 검출 임계 간격 이내로 미리 설정된 시간 동안 유지함으로써 이루어짐을 특징으로 하는 사용자 인터페이스를 제공하는 휴대 단말.
  13. 제10항에 있어서, 상기 수신된 필기 데이터는 상기 제 2 화면을 통하여 표시됨을 특징으로 하는 사용자 인터페이스를 제공하는 휴대 단말.
  14. 제10항에 있어서,
    상기 인식된 필기 데이터는 상기 미리 설정된 포맷의 상기 텍스트 데이터로 변환됨을 특징으로 하는 사용자 인터페이스를 제공하는 휴대 단말.
  15. 삭제
  16. 삭제
KR1020120093979A 2012-08-27 2012-08-27 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말 KR102129374B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020120093979A KR102129374B1 (ko) 2012-08-27 2012-08-27 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
CN201310379097.7A CN103631519B (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备
EP18187824.0A EP3416038B1 (en) 2012-08-27 2013-08-27 Method and apparatus for providing user interface
EP13181880.9A EP2703985B1 (en) 2012-08-27 2013-08-27 Method of providing user interface, machine-readable storage medium, and portable terminal
CN202011245492.2A CN112269529A (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备
JP2013175317A JP6896239B2 (ja) 2012-08-27 2013-08-27 ユーザインターフェース提供方法、機械可読保存媒体及び携帯端末
US14/011,632 US9335835B2 (en) 2012-08-27 2013-08-27 Method and apparatus for providing user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120093979A KR102129374B1 (ko) 2012-08-27 2012-08-27 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말

Publications (2)

Publication Number Publication Date
KR20140027850A KR20140027850A (ko) 2014-03-07
KR102129374B1 true KR102129374B1 (ko) 2020-07-02

Family

ID=49084785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120093979A KR102129374B1 (ko) 2012-08-27 2012-08-27 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말

Country Status (5)

Country Link
US (1) US9335835B2 (ko)
EP (2) EP3416038B1 (ko)
JP (1) JP6896239B2 (ko)
KR (1) KR102129374B1 (ko)
CN (2) CN103631519B (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RO128874B1 (ro) * 2012-12-19 2017-08-30 Softwin S.R.L. Sistem, pix electronic şi metodă pentru achiziţia semnăturii olografe dinamice, utilizând dispozitive mobile cu ecran capacitiv
US11256410B2 (en) * 2014-01-22 2022-02-22 Lenovo (Singapore) Pte. Ltd. Automatic launch and data fill of application
US20150339936A1 (en) * 2014-05-21 2015-11-26 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
US20150338939A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes
KR102302233B1 (ko) * 2014-05-26 2021-09-14 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US10817124B2 (en) 2014-06-03 2020-10-27 Lenovo (Singapore) Pte. Ltd. Presenting user interface on a first device based on detection of a second device within a proximity to the first device
CN105321515A (zh) * 2014-06-17 2016-02-10 中兴通讯股份有限公司 一种移动终端的车载应用控制方法、装置及终端
US9916017B2 (en) * 2014-07-03 2018-03-13 Adobe Systems Incorporated Smart eraser to erase digital strokes
USD768669S1 (en) * 2014-08-01 2016-10-11 Alexander Mackenzie & Pranger Display screen or portion thereof with graphical user interface
CN105468133B (zh) * 2014-08-25 2021-02-12 中兴通讯股份有限公司 一种触控处理方法和装置
USD762726S1 (en) * 2014-09-02 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102380228B1 (ko) * 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
KR102336983B1 (ko) * 2014-12-30 2021-12-08 엘지전자 주식회사 필기 입력에 의해 이미지 데이터를 처리하는 펜 타입의 멀티 미디어 디바이스 및 그 제어 방법
CN104618456A (zh) * 2015-01-13 2015-05-13 小米科技有限责任公司 信息发布方法及装置
KR102281341B1 (ko) * 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
KR101718071B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
WO2017047930A1 (ko) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
DE102015221304A1 (de) * 2015-10-30 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Verbesserung der Erkennungsgenauigkeit bei der handschriftlichen Eingabe von alphanumerischen Zeichen und Gesten
CN106886362B (zh) * 2015-12-16 2020-10-30 创新先进技术有限公司 信息处理方法及装置
WO2017115692A1 (ja) * 2015-12-28 2017-07-06 アルプス電気株式会社 手書き入力装置、情報入力方法及びプログラム
CN105892915B (zh) * 2016-03-30 2020-02-21 联想(北京)有限公司 一种信息处理方法及电子设备
KR20180005070A (ko) * 2016-07-05 2018-01-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106774900A (zh) * 2016-12-19 2017-05-31 广州中国科学院先进技术研究所 一种书写交互系统及方法
US10977880B2 (en) * 2017-05-31 2021-04-13 General Electric Company Hover time remaining for an aircraft
CN107300986B (zh) * 2017-06-30 2022-01-18 联想(北京)有限公司 输入法切换方法及装置
CN110007800B (zh) * 2019-04-10 2020-11-10 广州视源电子科技股份有限公司 一种触摸操作模式的控制方法、装置、设备及存储介质
KR102315109B1 (ko) * 2019-11-22 2021-10-21 주식회사 포시에스 대화형 및 문서형 전자문서 작성 장치 및 방법과 대화형으로 작성 가능한 전자문서 제공 방법
CN113793601B (zh) * 2020-05-27 2024-04-02 北京声智科技有限公司 一种语音识别方法及装置
US11922009B2 (en) 2021-12-17 2024-03-05 Google Llc Using a stylus to input typed text into text boxes
CN114610188B (zh) * 2022-02-09 2024-02-13 广东能龙教育股份有限公司 一种界面笔迹书写方法及系统、控制装置、存储介质
CN118094608A (zh) * 2024-04-29 2024-05-28 山东水文印务有限公司 水文数据管理方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258945A (ja) * 1996-03-25 1997-10-03 Hitachi Ltd 個人情報機器
JP2000010690A (ja) * 1998-06-19 2000-01-14 Canon Inc 情報処理装置及び方法
US6415258B1 (en) * 1999-10-06 2002-07-02 Microsoft Corporation Background audio recovery system
US20030028884A1 (en) * 2001-08-03 2003-02-06 Swart William D. Video and digital multimedia aggregator content availability notification system and method
CN1404323A (zh) * 2001-08-31 2003-03-19 英业达集团(上海)电子技术有限公司 对应用无线通讯协议的网站资料进行搜索的方法
US6938221B2 (en) * 2001-11-30 2005-08-30 Microsoft Corporation User interface for stylus-based user input
US20030214531A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms
US7499033B2 (en) 2002-06-07 2009-03-03 Smart Technologies Ulc System and method for injecting ink into an application
US6989822B2 (en) * 2003-11-10 2006-01-24 Microsoft Corporation Ink correction pad
US7106312B2 (en) * 2003-11-10 2006-09-12 Microsoft Corporation Text input window with auto-growth
US7848573B2 (en) * 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
DE102004010406B3 (de) * 2004-03-01 2005-10-27 Siemens Ag Informations- oder Unterhaltungssystem eines Kraftfahrzeuges und Verfahren zur Auswahl eines Listeneintrags
US7496513B2 (en) * 2005-06-28 2009-02-24 Microsoft Corporation Combined input processing for a computing device
JP4708913B2 (ja) * 2005-08-12 2011-06-22 キヤノン株式会社 情報処理方法及び情報処理装置
KR100715593B1 (ko) 2006-01-05 2007-05-10 (주) 엘지텔레콤 펜 타입 메시지입력이 가능한 휴대형 단말기 및 그제어방법
KR101445869B1 (ko) * 2007-07-11 2014-09-29 엘지전자 주식회사 미디어 인터페이스
CN101424973A (zh) * 2007-11-02 2009-05-06 夏普株式会社 输入装置
CN101430620A (zh) * 2007-11-06 2009-05-13 英华达股份有限公司 一种具有多点触控式屏幕的笔记型计算机
CN101452700A (zh) * 2007-11-30 2009-06-10 王瑞璋 一种语音辨识系统
JP2010026686A (ja) * 2008-07-17 2010-02-04 Life Interface:Kk 統合的インタフェースを有する対話型コミュニケーション端末及びそれを用いたコミュニケーションシステム
CN101359275B (zh) * 2008-09-28 2010-07-21 宇龙计算机通信科技(深圳)有限公司 用于数字设备的手写输入方法、手写输入装置及移动终端
JP5531412B2 (ja) * 2009-01-14 2014-06-25 シャープ株式会社 電子機器および情報処理方法
KR101053411B1 (ko) 2009-02-04 2011-08-01 허성민 문자 입력 방법 및 그 단말기
US8280434B2 (en) * 2009-02-27 2012-10-02 Research In Motion Limited Mobile wireless communications device for hearing and/or speech impaired user
US20100251112A1 (en) 2009-03-24 2010-09-30 Microsoft Corporation Bimodal touch sensitive digital notebook
US9678659B2 (en) * 2009-12-31 2017-06-13 Verizon Patent And Licensing Inc. Text entry for a touch screen
CN101847057A (zh) * 2010-06-01 2010-09-29 郭小卫 一种触摸板获取输入信息的方法
JP5739131B2 (ja) * 2010-10-15 2015-06-24 京セラ株式会社 携帯電子機器、携帯電子機器の制御方法及びプログラム
KR101741073B1 (ko) * 2010-12-07 2017-05-29 엘지전자 주식회사 이동 단말기 및 이의 기능 실행 방법
CN102541395A (zh) * 2010-12-09 2012-07-04 三竹资讯股份有限公司 移动装置金融看盘软件语音输入自选股的装置与方法
KR101755376B1 (ko) * 2010-12-23 2017-07-26 엘지전자 주식회사 음성 명령 기능을 이용한 이동단말기 제어 방법 및 그 이동단말기
EP2527968B1 (en) * 2011-05-24 2017-07-05 LG Electronics Inc. Mobile terminal
CN102510426A (zh) * 2011-11-29 2012-06-20 安徽科大讯飞信息科技股份有限公司 个人助理应用访问方法及系统
CN102646022B (zh) * 2012-04-10 2014-07-09 北京搜狗科技发展有限公司 一种获取候选项的方法和装置

Also Published As

Publication number Publication date
US9335835B2 (en) 2016-05-10
KR20140027850A (ko) 2014-03-07
CN112269529A (zh) 2021-01-26
US20140055399A1 (en) 2014-02-27
JP2014044725A (ja) 2014-03-13
JP6896239B2 (ja) 2021-06-30
EP2703985B1 (en) 2018-08-08
EP3416038A1 (en) 2018-12-19
CN103631519B (zh) 2020-12-01
EP2703985A1 (en) 2014-03-05
CN103631519A (zh) 2014-03-12
EP3416038B1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
KR102129374B1 (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102139526B1 (ko) 전자 장치의 화면상에 표시되는 복수의 객체들을 실행하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
KR102035305B1 (ko) 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR101987098B1 (ko) 터치 입력을 처리하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US10254915B2 (en) Apparatus, method, and computer-readable recording medium for displaying shortcut icon window
AU2014219558B2 (en) Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
EP2770416B1 (en) Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US9658762B2 (en) Mobile terminal and method for controlling display of object on touch screen
KR20140140957A (ko) 화면 데이터의 미러링 방법, 저장 매체 및 전자 장치
KR102022042B1 (ko) 데이터 전송 방법 및 시스템
KR20140104709A (ko) 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US20140337720A1 (en) Apparatus and method of executing function related to user input on screen
US20140372123A1 (en) Electronic device and method for conversion between audio and text
US10409478B2 (en) Method, apparatus, and recording medium for scrapping content
KR102117295B1 (ko) 전자 장치의 페어링 방법 및 장치
KR102051585B1 (ko) 멀티 터치를 이용한 핸드 라이팅 기능을 갖는 전자 장치 및 제어 방법
KR102118091B1 (ko) 오브젝트에 대한 사전 실행 기능을 가지는 모바일 장치 및 그 제어방법
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
KR20140092106A (ko) 터치 스크린 상의 사용자 입력을 처리하는 방법 및 단말과 저장 매체
KR102129319B1 (ko) 터치 입력을 처리하는 방법, 저장 매체 및 전자 장치
US11659077B2 (en) Mobile terminal and method for controlling the same
KR20200086653A (ko) 컨텐츠의 스크롤 시 대표 정보를 표시하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)