KR20180103547A - 휴대 장치 및 휴대 장치의 화면 제어방법 - Google Patents

휴대 장치 및 휴대 장치의 화면 제어방법 Download PDF

Info

Publication number
KR20180103547A
KR20180103547A KR1020170030649A KR20170030649A KR20180103547A KR 20180103547 A KR20180103547 A KR 20180103547A KR 1020170030649 A KR1020170030649 A KR 1020170030649A KR 20170030649 A KR20170030649 A KR 20170030649A KR 20180103547 A KR20180103547 A KR 20180103547A
Authority
KR
South Korea
Prior art keywords
touch
text
screen
portable device
character recognition
Prior art date
Application number
KR1020170030649A
Other languages
English (en)
Inventor
한민석
노민진
손민식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170030649A priority Critical patent/KR20180103547A/ko
Priority to PCT/KR2018/002829 priority patent/WO2018164534A1/ko
Priority to US16/492,831 priority patent/US11474683B2/en
Publication of KR20180103547A publication Critical patent/KR20180103547A/ko
Priority to KR1020200052058A priority patent/KR102278213B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

휴대 장치 및 휴대 장치의 화면 제어방법이 제공된다. 보다 상세하게는 텍스트 표시 영역에서 수신되는 터치의 연속적인 움직임에 대응되어 선택되는 텍스트의 문자 인식 결과에 따라 휴대 장치의 화면을 변경하는 휴대 장치 및 휴대 장치의 화면 제어방법이 개시된다. 개시되는 실시예 중 일부는 텍스트 표시 영역 내 텍스트에서 수신되는 터치의 연속적인 움직임에 의해 선택되는 텍스트의 문자 인식 결과에 대응되는 제어 정보에 따라 휴대 장치의 화면을 변경하는 휴대 장치 및 휴대 장치의 화면 제어방법을 제공한다.

Description

휴대 장치 및 휴대 장치의 화면 제어방법{PORTABLE APPARATUS AND A SCREEN CONTROL METHOD THEREOF}
아래 실시예들은 휴대 장치 및 휴대 장치의 화면 제어방법에 관한 것으로, 상세하게는 휴대 장치에 표시되는 말 풍선(speech bubble)에서 검출된 터치의 연속적인 움직임에 대응하여 화면을 변경하는 휴대 장치 및 휴대 장치의 화면 제어방법에 관한 것이다.
기술의 발전으로 휴대 장치는 통화, 데이터 전송뿐만 아니라 멀티 태스킹(multitasking), 또는 다양한 어플리케이션을 통해 다양한 서비스 및 기능들을 제공할 수 있다.
휴대 장치는 버튼(또는, 키) 클릭, 터치 패널을 통한 터치(또는, 터치 제스처), 마이크를 통한 음성 및 센서를 통한 모션에 의해 사용자 입력을 수신한다. 사용자 입력은 일 회 또는 연속되는(또는, 상술된 사용자 입력의 조합에 의한) 복수 회를 포함할 수 있다. 휴대 장치는 수신된 사용자 입력에 대응되는 화면(예를 들어, 설정 화면(setting))을 표시, 또는, 어플리케이션(예를 들어, 카메라 어플리케이션 등)을 실행할 수 있다.
본 발명의 실시예에 따른 휴대 장치의 화면 제어방법은, 휴대 장치에 표시되는 어플리케이션 화면에서, 문자 인식 가능한 텍스트를 포함하는 말 풍선에서 터치를 검출하는 단계, 상기 터치의 연속적인 움직임을 검출하는 단계, 상기 터치의 연속적인 움직임에 대응하여 상기 텍스트를 문자 인식하는 단계, 및 상기 문자 인식된 상기 텍스트에 대응되는 제어 명령에 따라 상기 어플리케이션 화면을 다른 화면으로 변경하는 단계를 포함하고, 상기 텍스트는 상기 말 풍선 내 텍스트 전부 및 일부 텍스트 중 하나를 포함한다.
본 발명의 일측에 따르면, 상기 말 풍선은 사용자의 말 풍선 및 상대방의 말 풍선 중 적어도 하나를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 터치의 연속적인 움직임은 싱글 터치 제스처 및 멀티 터치 제스처를 포함하고, 플릭, 스와이프, 드래그 및 회전을 포함할 수 있다.
본 발명의 다른 실시예에 따른 휴대 장치의 화면 제어방법은, 휴대 장치에 표시되는 어플리케이션 화면에서, 말 풍선 내 문자 인식 가능한 텍스트에서 터치를 검출하는 단계, 상기 터치에 대응하여 상기 텍스트에서 커서를 표시하는 단계, 상기 터치의 연속적인 움직임을 검출하는 단계, 상기 터치의 연속적인 움직임에 대응하여 상기 커서에서부터 상기 텍스트 중 선택된 일부 텍스트를 문자 인식하는 단계, 및 상기 문자 인식된 상기 텍스트에 대응되는 제어 명령의 수신에 따라 상기 어플리케이션 화면을 다른 화면으로 변경하는 단계를 포함한다.
본 발명의 실시예에 따른 휴대 장치는, 외부와 연결하는 통신부, 말 풍선을 포함하는 어플리케이션 화면을 표시하는 터치 스크린, 및 상기 통신부 및 상기 터치 스크린을 제어하는 프로세서를 포함하고, 상기 프로세서는, 문자 인식 가능한 텍스트를 포함하는 말 풍선에서 검출된 터치의 연속적인 움직임에 따라 선택되는 상기 텍스트를 상기 통신부를 통해 외부로 전송하고, 상기 통신부를 통해 수신되는 상기 텍스트의 문자 인식 결과에 대응되는 제어 정보에 따라 상기 어플리케이션 화면을 다른 화면으로 변경하도록 제어한다.
본 발명에 따르면, 채팅 어플리케이션 화면에 표시되는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 대응되어 선택되는 텍스트의 문자 인식 결과에 따라 다른 화면으로 변경하는 휴대 장치 및 휴대 장치의 화면 제어방법이 제공될 수 있다.
채팅 어플리케이션 화면에 표시되는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 의해 선택되는 텍스트의 문자 인식 결과에 따라 제공되는 제어 정보를 통해 다른 화면으로 변경하는 휴대 장치 및 휴대 장치의 화면 제어방법이 제공될 수 있다.
이에 한정되지 않고 본 발명의 다양한 실시예에 따르면, 채팅 어플리케이션 화면에 표시되는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 대응되어 선택되는 텍스트의 문자 인식 결과에 따라 다양한 다른 화면으로 변경하는 휴대 장치 및 휴대 장치의 화면 제어방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 휴대 장치 및 서버 사이의 동작을 나타내는 개략적인 도면이다.
도 2는 본 발명의 실시예에 따른 휴대 장치 및 서버를 나타내는 개략적인 블럭도이다.
도 3은 본 발명의 실시예에 따른 휴대 장치의 화면 제어방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 4e는 본 발명의 실시예에 따른 휴대 장치의 화면 제어방법의 예를 나타내는 도면이다.
도 5a 내지 도 5f는 본 발명의 다른 실시예에 따른 휴대 장치의 화면 제어방법의 예를 나타내는 도면이다.
도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 휴대 장치의 화면 제어방법의 예를 나타내는 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
'제1', '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있으며, 상술된 구성 요소들은 상술된 용어들에 의해 한정되지 않는다. 상술된 용어들은 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위에서 제1 구성 요소는 제2 구성 요소로 명명될 수 있다. 또한, 제2 구성 요소는 제1 구성 요소로 명명될 수도 있다. '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 실시예에 따른 어플리케이션(application)은 컴퓨터(또는, 휴대 장치)용 OS(Operating System) 또는 모바일 OS 위에서 실행되어 사용자가 사용하는 소프트웨어를 의미한다. 예를 들어, 어플리케이션은 웹 브라우저(web browser), 카메라 어플리케이션, 모바일 결제(mobile payment) 어플리케이션(또는, 전자 결제 어플리케이션, 결제 어플리케이션), 포토 앨범(photo album) 어플리케이션, 워드 프로세서(word processor), 스프레드 시트(spread sheet), 연락처(contacts) 어플리케이션, 캘린더(calendar) 어플리케이션, 메모(memo) 어플리케이션, 알람(alarm) 어플리케이션, SNS(Social Network System) 어플리케이션, 통화 어플리케이션(call), 게임 장터(game store), 게임 어플리케이션(game), 채팅(chatting) 어플리케이션, 지도(Map) 어플리케이션, 뮤직 플레이어(music player) 또는 비디오 플레이어(video player) 등을 포함할 수 있다.
본 발명의 실시예에 따른 어플리케이션은 휴대 장치 또는 휴대 장치와 무선 또는 유선으로 연결되는 외부 장치(예를 들어, 웨어러블 장치, 서버 등)에서 실행되는 소프트웨어를 의미할 수 있다. 또한, 본 발명의 실시예에 따른 어플리케이션은 수신되는 사용자 입력에 대응하여 휴대 장치에서 실행되는 소프트웨어를 의미할 수 있다.
콘텐트(content)는 실행되는 어플리케이션을 통해 재생(play)되거나 또는 표시될 수 있다. 예를 들어, 어플리케이션 중 하나인 비디오 플레이어에서 재생되는 비디오 파일 또는 오디오 파일, 게임 어플리케이션에서 실행되는 게임 파일, 뮤직 플레이어에서 재생되는 뮤직 파일, 포토 앨범 어플리케이션에서 표시되는 포토 파일, 웹 브라우저에서 표시되는 웹 페이지 파일, 또는, 전자 결제 어플리케이션에서 표시되는 결제 정보(예를 들어, 모바일 카드 번호, 결제 대금, 상품 이름, 서비스 이름, 또는, 가게 이름 등) 등을 포함할 수 있다. 또한, 콘텐트는 통화 어플리케이션에서 표시되는 통화 화면(예를 들어, 발신자 전화 번호(caller ID), 발신자 이름, 통화 시작 시간, 또는 영상 통화에 의한 발신자 동영상(또는, 발신자 이미지) 등을 포함)을 포함할 수 있다.
콘텐트는 실행되는 어플리케이션 화면 및 어플리케이션 화면을 구성하는 유저 인터페이스(user interface)를 포함할 수 있다. 또한, 콘텐트는 하나의 콘텐트 또는 복수의 콘텐츠(contents)를 포함할 수도 있다.
위젯(widget)은 사용자와 어플리케이션 또는 OS와의 상호 작용을 보다 원활하게 지원해주는 그래픽 유저 인터페이스(GUI, Graphic User Interface) 중 하나인 미니 어플리케이션을 의미한다. 예를 들어, 날씨 위젯, 계산기 위젯, 시계 위젯 등이 있다.
본 발명의 실시예에서 '말 풍선(bubble speech)'은 실행된 어플리케이션을 통해 사용자 및/또는 상대방이 입력한 텍스트가 표시되는 영역을 의미할 수 있다. '말 풍선'은 '텍스트 표시 영역(text display area)'이라고 칭할 수 있다.
본 발명의 실시예에서, '사용자 입력'은 예를 들어, 사용자의 버튼(또는 키) 선택, 사용자의 버튼(또는 키)의 눌림(또는, 클릭), 사용자의 소프트 버튼(또는 소프트 키) 터치, 사용자에 의해 터치 스크린에서 수신(또는, 검출)되는 터치(또는, 호버링 같은 비 접촉 포함), 사용자에 의해 터치 스크린에서 수신(또는, 검출)되는 터치 제스처(또는, 호버링 같은 비 접촉 포함, 사용자의 음성, 사용자의 출현(presence, 예를 들어, 사용자가 카메라 인식 범위 내 나타남), 또는 사용자의 모션을 포함하는 용어로 사용될 수 있다. 또한, '버튼(또는 키)의 선택'은 버튼(또는 키)의 눌림(또는, 클릭) 또는 소프트 버튼(또는 소프트 키)의 터치를 의미하는 용어로 사용될 수 있다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 휴대 장치 및 서버 사이의 동작을 나타내는 개략적인 도면이다.
도 1을 참조하면, 휴대 장치(100) 및 하나 또는 복수의 서버가 표시된다.
휴대 장치(100)의 전면(100a) 중앙 영역에 터치 스크린(touch screen, 190)이 위치한다. 터치 스크린(190)는 플랫(flat) 터치 스크린, 플랫 터치스크린의 일측에서 곡면으로 연장되는 싱글 에지 터치 스크린(single edge touch screen, 도시되지 아니함) 및 플랫 터치스크린의 양측에서 각각 곡면으로 연장되는 양측 에지 터치 스크린(dual edge touch screen)을 포함할 수 있다. 또한, 터치 스크린(190)는 얇고 유연한 인쇄 회로 기판(도시되지 아니함)을 통해 휘거나 구부릴 수 있다.
도 1에서, 터치 스크린(190)에 사용자 입력에 의해 실행된 채팅 어플리케이션의 화면(191)이 표시된다. 채팅 어플리케이션 화면(191)은 타이틀 영역(191a), 표시 영역(191b) 및 입력 영역(191c)를 포함할 수 있다. 입력 영역(191c)내 입력 창(191c1)을 선택하는 경우, 터치 스크린(190)에 키패드(166, 도 2 참조)가 표시될 수 있다.
채팅 어플리케이션에서, 발신자에 의해 입력된 텍스트는 표시 영역(191b)의 말 풍선(speech bubble, 또는, 텍스트 표시 영역(text display area), 191b1, 191b11)에 표시될 수 있다. 텍스트는 단어, 문장 또는 단락을 포함할 수 있다. 상술된 텍스트는 한글의 자음과 모음, 영어의 알파벳, 일본어, 중국어, 프랑스어, 독일어 등 채팅 어플리케이션에서 제공 가능한 언어를 포함할 수 있다. 말 풍선은 텍스트 표시 영역이라고 칭할 수 있다.
사용자가 텍스트 입력 창(191c1)을 통해 입력한 텍스트는 표시 영역(191b)의 말 풍선(191b2)에 표시될 수 있다. 사용자는 말 풍선(191b1, 191b11, 191b2)에 표시되는 텍스트 중 일부를 터치(또는, 선택)하거나 또는 터치 후 연속적인 움직임(또는, 터치 제스처)을 입력할 수 있다. 사용자는 말 풍선 내 텍스트의 터치(또는, 터치의 연속적인 움직임)를 통해 휴대 장치(100)의 화면을 제어(예를 들어, 재-부팅(reboot), 설정 화면 표시, 어플리케이션 실행 등)할 수 있다.
휴대 장치(100)의 전면(100a) 상부에는 제1 카메라(151), 하나 또는 복수의 스피커(163), 조도 센서(171) 및 근접 센서(172, 도2 참조)가 위치할 수 있다. 휴대 장치(100)의 후면(도시되지 아니함)에는 제2 카메라(152, 도2 참조) 및 플래시(flash, 153, 도2 참조)가 위치할 수 있다.
휴대 장치(100)의 전면(100a)의 하부에는 홈 버튼(161a), 최근 실행 앱 버튼(161b), 및 돌아 가기 버튼(161c)이 위치한다. 버튼(161)은 물리 버튼(예를 들어, 홈 버튼(161a), 전원/잠금 버튼(161d), 볼륨 버튼(161e) 등)뿐만 아니라 터치 버튼(예를 들어, 홈 버튼(161a), 최근 실행 앱 버튼(161b), 돌아 가기 버튼(161c))으로 구현될 수 있다. 또한, 버튼(161)은 터치 스크린(190)내 텍스트 또는 다른 아이콘과 함께 표시될 수 있다.
휴대 장치(100)의 측면에 전원/잠금 버튼(161d), 및 볼륨 버튼(161e)이 위치할 수 있다. 휴대 장치(100)의 측면은 휴대 장치(100)의 전면(100a) 및 후면을 연결하며, 좌 측면, 우 측면, 상단 및 하단을 포함할 수 있다.
휴대 장치(100)의 상단, 측면 및/또는 하단에 하나 또는 복수의 마이크(162, 도2 참조)가 위치할 수 있다. 휴대 장치(100)의 상단, 측면 및/또는 하단에 커넥터(165) 및/또는 스피커(163)가 위치할 수 있다. 또한, 휴대 장치(100)의 상단 또는 하단에는 버튼(도시되지 아니함)을 가지는 입력 펜(167, 도2 참조)이 삽입 가능한 삽입구(도시되지 아니함)가 위치할 수 있다. 입력 펜(167, 도2 참조)은 삽입구(도시되지 아니함)를 통해 휴대 장치(100) 내부에 보관될 수 있으며, 사용을 위해 휴대 장치(100)에서부터 인출될 수 있다.
문자 인식 서버(200)는 휴대 장치(100)에서 선택된 텍스트에 대응되는 전기적 신호(또는, 전기적 신호에 대응되는 패킷)를 문자 인식을 통해 생성되는 텍스트 데이터(예를 들어, 텍스트, 또는, 코드 등)로 변환할 수 있다. 변환된 텍스트 데이터는 휴대 장치(100)를 거쳐 제어 서버(300)로 전송되거나 또는 제어 서버(300)로 바로 전송될 수 있다.
제어 정보 서버(300)는 변환된 텍스트 데이터를 휴대 장치(100)에서 인식가능한 제어 정보(예를 들어, 휴대 장치(100)를 제어하는 제어 명령어)로 변환할 수 있다. 제어 정보는 제어 정보 서버(300)에서부터 휴대 장치(100)로 전송될 수 있다. 문자 인식 서버(200) 및 제어 정보 서버(300)에 대한 상세한 설명은 후술된다.
도 2는 본 발명의 실시예에 따른 휴대 장치 및 서버를 나타내는 개략적인 블럭도이다.
도 1 및 도 2를 참조하면, 휴대 장치(100)는 이동 통신부(120), 서브 통신부(130) 및 커넥터(165) 중 적어도 하나를 이용하여 다른 장치(예를 들어, 다른 휴대 장치, 또는, 서버 등)와 기능적으로 연결될 수 있다.
휴대 장치(100)는 터치 스크린(190)을 가지고 통신부(120 또는 130)를 통해 데이터를 다른 장치로 송신하거나 또는 다른 장치에서부터 수신할 수 있다. 휴대 장치(100)는 입력 펜(167), 터치 스크린(190)을 가지고 통신부(120 또는 130)를 통해 데이터를 외부로 송신하거나 또는 외부에서부터 수신할 수 있다.
휴대 장치(100)는 제어부(110), 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), 위치 정보 수신부(positioning information receiver, 155), 입/출력부(160), 센서부(170), 저장부(175) 및 전원 공급부(180)를 포함한다. 또한, 휴대 장치(100)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 포함한다.
제어부(110)는 프로세서(processor, 111)를 포함할 수 있다. 또한, 제어부(110)는 휴대 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 휴대 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 휴대 장치(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 113)을 더 포함할 수 있다.
제어부(110)는 휴대 장치(100)의 전반적인 동작 및 휴대 장치(100)의 내부 구성 요소들(110 내지 195)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원 공급부(180)를 이용하여 내부 구성 요소들(120 내지 195)에게 전원 공급을 제어한다.
프로세서(111)는 그래픽 처리를 위한 GPU(graphic processing unit, 도시되지 아니함)를 포함할 수 있다. 또한, 프로세서(111)는 센서를 제어하는 센서 프로세서(sensor processor, 도시되지 아니함) 또는 통신을 제어하는 통신 프로세서(communication processor, 도시되지 아니함)를 더 포함할 수 있다
프로세서(111)는 코어(core, 도시되지 아니함)와 GPU를 포함하는 SoC(system on chip) 형태로 구현될 수 있다. 또한, 프로세서(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
프로세서(111), 롬(112) 및 램(113)은 버스(bus)에 의해 상호 연결될 수 있다.
제어부(110)는 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), 위치 정보 수신부(155), 입/출력부(160), 센서부(170), 저장부(175), 전원 공급부(180), 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.
본 발명의 실시예에서 ‘휴대 장치의 제어부’라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함하는 의미일 수 있다. 또한, ‘휴대 장치의 제어부’라는 용어는 프로세서(111)를 의미할 수도 있다.
이동 통신부(120)는 제어부(110)의 제어에 의해 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망을 통해 다른 장치와 연결할 수 있다.
서브 통신부(130)는 제어부(110)의 제어에 의해 하나 또는 둘 이상의 안테나를 이용하여 무선랜 통신부(131) 및/또는 근거리 통신부(132)를 통해 다른 장치와 연결할 수 있다. 서브 통신부(130)는 무선랜용 안테나, 전자 결제를 위한 마그네틱 보안 전송(magnetic secure transmission, MST)용 안테나 또는 NFC(near field communication) 통신용 안테나를 포함할 수 있다.
무선랜 통신부(131)는 제어부(110)의 제어에 의해 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜 통신부(131)는 예를 들어, 와이-파이(Wi-Fi) 통신을 지원할 수 있다.
근거리 통신은 블루투스(bluetooth) 통신, 블루투스 저 에너지(bluetooth low energy) 통신, 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband) 통신, 마그네틱 보안 전송(MST) 통신 및/또는 NFC 통신 등을 포함할 수 있다.
휴대 장치(100)는 기능 및/또는 성능에 따라 이동 통신부(120), 무선랜 통신부(131), 및 근거리 통신부(132) 중 하나, 또는 이동 통신부(120), 무선랜 통신부(131), 및 근거리 통신부(132)의 조합을 포함할 수 있다. 본 발명의 다양한 실시예에서 ‘통신부’라는 용어는 이동 통신부(120) 및/또는 서브 통신부(130)를 포함할 수 있다.
멀티미디어부(140)는 제어부(110)의 제어에 의해 오디오 재생, 동영상 재생 및/또는 외부의 방송을 수신할 수 있다.
오디오 재생부(141)는 제어부(110)의 제어에 의해 휴대 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav를 포함하는 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다.
본 발명의 다양한 실시예에 따라 오디오 재생부(141)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 청각 피드백을 재생할 수 있다. 예를 들어, 오디오 재생부(141)는 제어부(110)의 제어에 의해 압력 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 청각 피드백(예를 들어, 저장부(175)에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다.
동영상 재생부(142)는 제어부(110)의 제어에 의해 휴대 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv를 포함하는 비디오 파일)을 비디오 코덱을 이용하여 재생할 수 있다.
본 발명의 다양한 실시예에 따라 동영상 재생부(142)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 시각 피드백을 재생할 수 있다. 예를 들어, 시각 피드백(예를 들어, 저장부(175)에 저장된 동영상 소스의 출력 등)은 제어부(110)의 제어에 의해 비디오 코덱을 통해 재생될 수 있다.
방송 수신부(143)는 제어부(110)의 제어에 의해 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보(예를 들어, EPG(electronic program guide) 또는 ESG(electronic service guide))를 수신할 수 있다.
멀티미디어부(140)는 휴대 장치(100)의 성능 또는 구조에 대응하여 방송 수신부(143)을 제외하고 오디오 재생부(141)과 동영상 재생부(142)를 포함할 수 있다. 또한, 제어부(110)는 멀티미디어부(140)의 오디오 재생부(141) 및 동영상 재생부(142) 중 적어도 하나를 포함하도록 구현될 수도 있다.
카메라(150)는 제어부(110)의 제어에 의해 정지 이미지 또는 동영상을 촬영할 수 있다. 카메라(150)는 전면에 위치하는 제1 카메라(151) 및 후면에 위치하는 제2 카메라(152)를 포함한다. 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(153))을 포함할 수 있다.
카메라(150)는 휴대 장치(100)의 전면에 위치하는 제1 카메라(151) 및 제1 카메라(151)에 인접(예를 들어, 두 광축 사이의 간격이 5 ㎜ 보다 크고 80 ㎜ 보다 작은)한 추가 카메라(예를 들어, 제3 카메라(도시되지 아니함))를 더 포함할 수 있다. 또한, 카메라(150)는 제1 카메라(151)와 제3 카메라를 하나의 유닛(unit)으로 구현된 형태를 더 포함할 수도 있다. 제어부(110)는 제1 카메라(151) 및 제3 카메라를 이용하여 3 차원 정지 이미지 또는 3 차원 동영상을 촬영할 수 있다.
카메라(150)는 휴대 장치(100)의 후면에 위치하는 제2 카메라(152) 및 제2 카메라(152)에 인접(예를 들어, 광축 사이의 간격이 5 ㎜ 보다 크고 80 ㎜ 보다 작은)한 추가 카메라(예를 들어, 제4 카메라(도시되지 아니함))를 더 포함 할 수 있다. 또한, 카메라(150)는 제2 카메라(도시되지 아니함)와 제4 카메라를 하나의 유닛(unit)으로 구현된 형태를 더 포함할 수도 있다. 제어부(110)는 제2 카메라(152) 및 제4 카메라를 이용하여 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 카메라(150)는 별도의 어댑터(도시되지 아니함)에 착탈가능한 추가 렌즈(도시되지 아니함)를 이용하여 광각 촬영, 망원 촬영 또는 접사 촬영을 할 수 있다.
위치 정보 수신부(155)는 지구 궤도상에 있는 복수의 위성(도시되지 아니함)에서부터 주기적으로 신호(예를 들어, 위성의 궤도 정보, 위성의 시간 정보 및 항법 메시지 등)를 수신한다.
휴대 장치(100)는 복수의 위성에서부터 수신되는 신호를 이용하여 각각의 위성과 휴대 장치(100)의 위치를 산출하고, 송/수신 시간차를 이용하여 거리를 산출할 수 있다. 삼각 측량을 통해 휴대 장치(100)의 위치, 시간 또는 이동 속도를 산출할 수 있다. 궤도 보정 또는 시간 보정을 위해 추가의 위성이 필요할 수 있다.
실내의 경우, 휴대 장치(100)는 무선 AP를 이용하여 휴대 장치(100)의 위치 또는 이동 속도를 검출할 수 있다. 실내에서 휴대 장치(100)의 위치 검출은 셀 아이디(cell-ID) 방식, 강화 셀 아이디(enhanced cell-ID) 방식 또는 AoA(angle of arrival) 방식을 이용할 수 있다. 또한, 휴대 장치(100)는 무선 비컨(beacon, 도시되지 아니함)을 이용하여 실내에 위치하는 휴대 장치(100)의 위치 또는 이동 속도를 검출할 수 있다.
입/출력부(160)는 하나 또는 둘 이상의 버튼(161), 하나 또는 둘 이상의 마이크(162), 하나 또는 둘 이상의 스피커(163), 하나 또는 둘 이상의 진동 모터(164), 커넥터(165), 키패드(166) 및 입력 펜(167) 중 적어도 하나를 포함할 수 있다.
도 1 및 도 2를 참조하면, 버튼(161)은 사용자 입력을 수신할 수 있다. 버튼(161)은 휴대 장치(100)의 전면 하부에 위치하는 홈 버튼(161a), 최근 실행 앱 버튼(161b), 및/또는 돌아가기 버튼(161c)을 포함할 수 있다. 버튼(161)은 휴대 장치(100)의 측면에 위치하는 하나 또는 복수의 볼륨 버튼(161d) 및 전원/잠금 버튼(161e)을 포함할 수 있다. 또한, 버튼(161)은 홈 버튼(161a), 볼륨 버튼(161d) 및 전원/잠금 버튼(161e)만으로 구현될 수도 있다.
버튼(161) 중 일부 버튼(예를 들어, 161a, 161b, 161c, 도시되지 아니한 다른 버튼도 가능)은 물리 버튼뿐만 아니라 터치 버튼으로도 구현될 수 있다. 또한, 버튼(161) 중 일부 버튼(161a, 161b, 161c)은 터치 스크린(190) 상에 텍스트, 이미지 또는 아이콘 형태로 표시될 수 있다.
제어부(110)는 사용자 입력의 수신에 대응하여 버튼(161)에서부터 전송되는 전기 신호를 수신할 수 있다. 제어부(110)는 수신되는 신호(예를 들어, 버튼(161) 눌림 등)를 이용하여 사용자 입력을 검출할 수 있다.
도 1 및 도 2에 도시된 버튼(161)의 형태, 위치, 기능, 명칭 등은 설명을 위한 하나의 예이며, 이에 한정되지 않고 변경, 변형 또는 수정할 수 있다는 것은 해당 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 수 있다.
마이크(162)는 제어부(110)의 제어에 의해 외부에서부터 수신되는 음성(voice) 또는 사운드(sound)를 전기적인 신호로 생성한다. 마이크(162)에서 생성된 전기적인 신호는 제어부(110)의 제어에 의해 오디오 코덱에서 변환되어 저장부(175)에 저장되거나 또는 스피커(163)를 통해 출력될 수 있다.
도 1 및 도 2를 참조하면, 마이크(162)는 휴대 장치(100)의 전면, 측면 및/또는 후면에 하나 또는 둘 이상 위치할 수 있다.
스피커(163)는 제어부(110)의 제어에 의해 오디오 코덱에 의해 디코딩 되는 다양한 신호(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 출력한다.
도 1 및 도 2를 참조하면, 휴대 장치(100)의 전면, 측면 및/또는 후면에 하나 또는 복수의 스피커(163)가 위치할 수 있다. 또한, 휴대 장치(100)의 측면에 복수의 스피커(도시되지 아니함)가 위치할 수도 있다.
본 발명의 실시예에 따라 스피커(163)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 청각 피드백을 출력할 수 있다. 예를 들어, 스피커(163)는 제어부(110)의 제어에 의해 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 청각 피드백을 출력할 수 있다.
진동 모터(164)는 제어부(110)의 제어에 의해 전기 신호를 기계적 진동으로 변환한다. 진동 모터(164)는 리니어 진동 모터(linear vibration motor), 바 타입 진동 모터(bar type vibration motor), 코인 타입 진동 모터(coin type vibration motor) 또는 압전 소자 진동 모터(piezoelectric element vibration motor)를 포함할 수 있다.
진동 모터(164)는 휴대 장치(100)의 내부에 하나 또는 둘 이상 위치할 수 있다. 진동 모터(164)는 휴대 장치(100)의 전체를 진동시키거나 또는 일 부분만을 국부적으로(locally) 진동시킬 수도 있다.
본 발명의 실시예에 따라 진동 모터(164)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 촉각 피드백을 출력할 수 있다. 또한, 진동 모터(164)는 제어부(110)의 제어 명령에 기초하여 기 저장되거나 외부에서부터 수신된 다양한 촉각 피드백(예를 들어, 진동의 세기 및 진동 지속 시간)을 제공할 수 있다.
커넥터(165)는 휴대 장치(100)와 외부 장치(도시되지 아니함) 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 예를 들어, 커넥터(165)는 마이크로 USB 타입 커넥터 또는 USB-C 타입 커넥터를 포함할 수 있다.
키패드(166)는 휴대 장치(100)의 제어를 위한 사용자 입력을 수신한다. 키패드(166)는 버튼(또는, 키)를 가지고, 터치 스크린(190)내 표시되는 가상 키패드(도시되지 아니함), 사용자 입력에 가해지는 압력(또는, 힘)에 대응되는 압력 터치 키패드(도시되지 아니함) 및 휴대 장치(100)의 전면의 하단 영역에 위치하는 물리적인 키패드(도시되지 아니함) 중 하나를 포함할 수 있다.
키패드(166)는 근거리 통신을 이용하거나, 또는, 유선으로 연결가능한 별개의 키패드(또는, 키보드, 도시되지 아니함)를 더 포함할 수 있다.
입력 펜(167)은 휴대 장치(100)의 측면 및 후면 중 하나에 인입/인출 가능하고, 사용자에 의해 휴대 장치(100)의 터치 스크린(190) 또는 터치 스크린(190)에 표시되는 필기/그리기 어플리케이션 화면(예를 들어, 메모 화면, 노트 패드 화면, 캘린더 화면, 등)을 구성하는(또는, 표시되는) 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘) 및/또는 콘텐트(예를 들어, 텍스트 파일, 이미지 파일, 오디오 파일, 비디오 파일, 결제 정보 또는 웹 페이지)를 선택(또는, 터치)하거나 필기(handwriting), 또는 그리기(drawing, painting or sketching)할 수 있다.
센서부(170)는 하나 또는 복수의 센서를 통해 휴대 장치(100)의 상태 및/또는 휴대 장치(100)의 상태(예를 들어, 기울기(또는 각도), 흔들림 등)를 검출할 수 있다.
센서부(170)는 사용자의 휴대 장치(100)에 대한 접근 여부를 검출하는 근접 센서(proximity sensor, 171), 휴대 장치(100) 주변의 빛의 양을 검출하는 조도 센서(illuminance sensor, 172), 또는, 사용자의 지문을 스캔하는 센서(finger print sensor, 173)를 포함할 수 있다.
근접 센서(171) 및 조도 센서(172) 중 적어도 하나는 휴대 장치(100)의 전면에 위치할 수 있다.
지문 센서(173)는 휴대 장치(100)의 전면에 위치하는 버튼(예를 들어, 홈 버튼 등), 휴대 장치(100)의 측면에 위치하는 버튼(예를 들어, 전원 버튼 등), 또는 휴대 장치(100)의 후면에 위치할 수 있다. 또한, 지문 센서는 휴대 장치(100)의 터치 스크린(190)의 일부 영역(예를 들어, 홈 버튼(161a)에 인접되는 영역으로 터치 스크린(190)의 내부, 도시되지 아니함)에 위치하며 사용자의 지문을 스캔 할 수도 있다.
센서부(170)는 가속도 센서(acceleration sensor, 도시되지 아니함). 지자기 센서(도시되지 아니함) 또는 자이로 센서(gyro sensor, 도시되지 아니함), 중력 센서(gravity sensor, 도시되지 아니함), 또는 고도계(altimeter, 도시되지 아니함)를 더 포함할 수도 있다. 또한, 센서부(170)는 심박 센서(도시되지 아니함)를 포함하는 생체 신호 센서(도시되지 아니함)를 더 포함할 수도 있다.
센서부(170)에 포함되는 센서는 사용자 상태(예를 들어, 체온, 심박수, 뇌파 등) 및 휴대 장치(100) 상태를 검출하고, 검출에 대응되는 전기적인 신호를 생성하여 제어부(110)로 전송한다. 센서부(170)에 포함되는 센서는 휴대 장치(100)의 성능에 따라 추가, 변경, 또는, 삭제될 수 있다는 것은 해당 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 수 있다.
저장부(175)는 제어부(110)의 제어에 의해 구성 요소(110 내지 195)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI에 대응되는 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
저장부(175)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되게 출력되어 사용자에 의해 인지 가능한 시각 피드백(예를 들어, 비디오 소스 등), 스피커(163)에서 출력되어 사용자에 의해 인지 가능한 청각 피드백(예를 들어, 사운드 소스 등) 및 진동 모터(164)에서 출력되어 사용자에 의해 인지 가능한 촉각 피드백(예를 들어, 햅틱 패턴 등)을 저장할 수 있다.
저장부(175)는 사용자에게 제공되는 피드백의 피드백 제공 시간(예를 들어, 500 ㎳)을 저장할 수 있다.
본 발명의 실시예에서 ‘저장부’라는 용어는 저장부(175), 제어부(110) 내 롬(112), 램(113) 또는 휴대 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드 등, 도시되지 아니함)를 포함한다. 저장부(175)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(180)는 제어부(110)의 제어에 의해 휴대 장치(100)의 구성 요소(110 내지 195)에게 전원을 공급할 수 있다. 전원 공급부(180)는 제어부(110)의 제어에 의해 커넥터(165)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 장치(100)의 각 구성 요소들에게 공급할 수 있다. 또한, 전원 공급부(180)는 제어부(110)의 제어에 의해 하나 또는 둘 이상의 배터리(185)를 충전할 수 있다.
전원 공급부(180)는 케이블을 통해 액세서리 장치(예를 들어, 시계 등, 도시되지 아니함)로 배터리(185)의 충전된 전력을 공급할 수 있다. 또한, 전원 공급부(180)는 제어부(110)의 제어에 의해 배터리(185)와 기능적으로 연결되는 별도의 송신 코일(도시되지 아니함)을 이용하여 다른 휴대 장치 또는, 액세서리 장치(도시되지 아니함)를 무선으로 충전할 수 있다. 무선 충전 방식은 예를 들어, 자기 공진 방식, 전자기파 방식, 또는 자기 유도 방식을 포함할 수 있다.
터치 스크린(190)은 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는, 모바일 결제를 포함하는 전자 결제 등)에 대응되는 GUI(graphical user interface)를 사용자에게 제공할 수 있다. 터치 스크린(190)은 사용자 입력(예를 들어, 터치 등)을 수신하는 터치 패널(도시되지 아니함) 및 화면 표시를 위한 디스플레이 패널(도시되지 아니함)을 포함한다. 터치 패널은 정전 방식 터치 패널(capacitive touch panel), 감압 방식 터치 패널(resistive touch panel) 또는 초음파 방식 터치 패널(ultrasonic touch panel) 등을 포함할 수 있다.
터치 스크린(190)은 실행되는 어플리케이션 화면 또는 GUI를 통해 입력되는 싱글 터치(또는 멀티 터치) 또는 싱글 터치 제스처(또는 멀티 터치 제스처)에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 각각 전송할 수 있다. 터치 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 펜(167)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다.
본 발명의 실시예에 따른 터치 스크린(190)은 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 다른 화면 변경에 대응되는 시각 피드백을 출력할 수 있다. 본 발명의 실시예에서, 디스플레이부는 터치 스크린(190)을 포함하는 의미일 수 있다.
사용자가 터치 스크린(190)를 강하게 터치(예를 들어, 임계치를 초과)하는 경우, 터치 스크린(190)의 아래에 위치하고, 터치 스크린(190)에 가해지는 압력을 검출하는 압력 터치 패드(포스 터치 패드, 또는, 압력 센서, 가해지는 압력을 검출가능 전극(또는 전극 층, force touch pad)을 포함, 도시되지 아니함)가 위치할 수 있다. 압력 터치 패드에서 임계치(예를 들어, 터치 스크린(190)에 입력되는 터치에 의해 변경되는 정전 용량의 50% 또는 전압(또는 전류)의 50%)를 초과하는 압력(또는, 터치)이 수신되는 경우, 제어부(110)는 수신되는 압력 터치(또는, 포스 터치, force touch)를 검출할 수 있다.
상술된 임계치, 정전 용량 및/또는 전압(또는 전류)는 하나의 실시예이며, 휴대 장치(100)의 구조 및/또는 기능에 따라 변경(예를 들어, 임계치 변경, 검출 가능한 정전 용량 변경 등)될 수 있다는 것은 해당 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 수 있다.
터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신되는 싱글 터치(또는 멀티 터치) 또는 싱글 터치 제스처(또는 멀티 터치 제스처)에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 디지털 신호를 이용하여 터치 스크린(190)에 수신되는 터치의 터치 위치(예를 들어, X 좌표와 Y 좌표)를 산출할 수 있다.
제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 입력된 터치에 대응하여 터치 스크린(190)에 표시된 단축 아이콘(또는, 아이콘이라고도 칭함)을 선택되지 않은 다른 단축 아이콘과 구분되게 표시하거나 또는 선택된 단축 아이콘에 대응되는 어플리케이션(예를 들어, 게임 어플리케이션)를 실행하여 터치 스크린(190)에 게임 어플리케이션 화면을 표시할 수 있다.
문자 인식 서버(200)는 휴대 장치(100)에서부터 터치의 연속적인 움직임에 대응되는 신호(또는, 패킷)을 통신부(도시되지 아니함)를 통해 수신한다. 문자 인식 서버(200)의 제어부(도시되지 아니함)는 문자 인식 알고리즘을 이용하여 수신된 패킷을 분석하여 문자 인식을 수행할 수 있다.
문자 인식 서버(200)의 제어부는 문자 인식 알고리즘을 이용하여 수신된 전기적 신호(또는 전기적 신호에 대응되는 패킷)를 음소, 단어 또는 문장 형태의 텍스트를 포함하는 문자 인식 데이터(또는 텍스트 데이터)로 변환할 수 있다.
문자 인식 서버(200)의 제어부는 텍스트 데이터를 통신부(도시되지 아니함)를 통해 휴대 장치(200) 및/또는 제어 정보 서버(300)로 전송할 수 있다.
제어 정보 서버(300)의 제어부(도시되지 아니함)는 텍스트 데이터를 이용하여 제어 정보(예를 들어, 제어 명령어)를 결정(또는, 선택, 변환, 생성)할 수 있다. 제어 정보는 휴대 장치(100)의 화면(또는, 동작, 기능)을 제어할 수 있다. 제어 정보 서버(300)의 제어부는 제어 정보를 통신부(도시되지 아니함)를 통해 휴대 장치(200)로 전송할 수 있다.
본 발명의 실시예에서, 문자 인식 서버(200)는 휴대 장치(100)와 일체형(100-1)으로 구현될 수 있다. 문자 인식 서버(200)는 휴대 장치(100)의 구성 요소(110 내지 195)와 별개인 구성 요소로 휴대 장치(100)에 포함(예를 들어, 일체형 휴대 장치, 100-1)될 수 있다. 예를 들어, 문자 인식 서버(200)는 휴대 장치(100)의 저장부(175)에 내장(embedded)되거나 또는 별도의 저장부(도시되지 아니함)에 구현될 수도 있다.
본 발명의 다른 실시예에서, 별개인 문자 인식 서버(200) 및 제어 정보 서버(300)는 문자 인식 서버(200)와 일체형(200-1)으로 구현될 수 있다. 일체형 문자 인식 서버(200)는 인식된 텍스트 데이터를 제어 정보로 변환할 수 있다. 일체형 문자 인식 서버(200)는 수신되는 텍스트 데이터를 제어 정보로 변환할 수 있다. 일체형 문자 인식 서버(200)는 제어 정보를 통신부를 통해 휴대 장치(100)로 전송할 수 있다.
도 1 및 도 2에 도시된 휴대 장치(100)의 구성 요소들은 휴대 장치(100)의 성능에 대응하여 적어도 하나의 구성 요소가 추가(예를 들어, 별도 터치 스크린 추가), 삭제(예를 들어, 도 2에서 점선으로 표기되는 구성 요소, 등) 또는 변경될 수 있다는 것은 해당 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 수 있다.
도 3은 본 발명의 실시예에 따른 휴대 장치의 화면 제어방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 4e는 본 발명의 실시예에 따른 휴대 장치의 화면 제어방법의 예를 나타내는 도면이다.
도 5a 내지 도 5f는 본 발명의 다른 실시예에 따른 휴대 장치의 화면 제어방법의 예를 나타내는 도면이다.
도 3의 단계(S310)에서, 휴대 장치의 화면에 표시된 채팅 어플리케이션(chat application)에서 채팅이 진행된다.
도 4a를 참조하면, 휴대 장치(100)의 터치 스크린(190)에 채팅 어플리케이션 화면(191)이 표시된다. 채팅 어플리케이션 화면(191)은 타이틀 영역(191a), 표시 영역(191b) 및 입력 영역(191c)를 포함할 수 있다. 타이틀 영역(191a)에 채팅하는 상대방 이름(또는, 닉네임, 호칭 등을 통해 상대방을 식별 가능)이 표시될 수 있다.
표시 영역(191b)에 상대방(발신자 및 수신자 중 하나)과 사용자 사이에 주고받는 말 풍선(191b1 내지 191b2)이 표시될 수 있다. 말 풍선에 상대방 또는 사용자에 의해 입력된 텍스트(예를 들어, 자음, 모음, 단어, 문장 또는 단락 등)가 표시될 수 있다. 또한, 말 풍선에 아이콘(단축 아이콘), 심볼, 이모티콘 또는 이미지(예를 들어, 썸네일(thumbnail) 이미지처럼 작은 크기 등)를 더 표시할 수 있다.
입력 영역(191c)의 텍스트 입력 창(191c1)을 통해 사용자는 텍스트를 입력할 수 있다. 또한, 입력 영역(191c)의 각 입력 창(191c2, 191c3)을 통해 사용자는 아이콘(단축 아이콘), 심볼, 이모티콘 또는 이미지(예를 들어, 썸네일(thumbnail) 이미지처럼 작은 크기 등)등을 입력할 수 있다. 사용자가 입력 창(191c1)을 선택하는 경우, 터치 스크린(190)에 키패드(166)가 표시될 수도 있다.
사용자는 엄지를 포함하는 신체의 일부 및/또는 입력 펜(167)을 이용하여 키패드(166)를 터치(또는 터치 제스처)하여 텍스트를 입력할 수 있다. 사용자는 마이크(162)를 통해 음성으로 텍스트를 입력할 수 있다. 또한, 사용자는 센서(170)를 통해 모션으로 텍스트를 입력할 수도 있다.
본 발명의 다른 실시예인 도 5a를 참조하면, 휴대 장치의 화면에 표시된 채팅 어플리케이션에서 채팅이 진행된다.
표시 영역(191b-1)에 상대방(발신자 및 수신자 중 하나)과 사용자 사이에 주고받는 말 풍선(191b1-1 내지 191b2-1)이 표시될 수 있다.
도 3의 단계(S310)의 휴대 장치의 화면에 표시된 채팅 어플리케이션에서 채팅이 진행(도 5a에 대응)은 도 3의 단계(S310)의 휴대 장치의 화면에 표시된 채팅 어플리케이션에서 채팅이 진행(도 4a에 대응)과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3의 단계(S320)에서, 말 풍선 내 텍스트에서 터치가 수신된다.
도 4a 및 도 4b를 참조하면, 사용자는 말 풍선(191b11)에 터치(또는, 호버링 포함, 410)를 입력한다. 터치(410)는 탭(tap) 또는 더블 탭(double tap)을 포함할 수 있다. 사용자는 채팅 어플리케이션 화면에 표시되는 말 풍선(191b1-1 내지 191b2-1)에 각각 터치를 할 수도 있다. 채팅 어플리케이션 화면에 표시되는 모든 말 풍선(예를 들어, 사용자 말 풍선, 또는 상대방(예를 들어, 김 팀장님) 말 풍선)에 사용자는 터치할 수 있다.
제어부(또는, 프로세서)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 터치(410)를 검출할 수 있다. 제어부(또는, 프로세서)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 터치(410)에 대응되는 터치 위치(410a, 예를 들어, X1 좌표와 Y1 좌표)를 산출할 수 있다. 산출된 터치 위치(410a)는 최초 터치 위치로 칭해질 수 있다.
제어부(110)는 터치 위치(410a), 터치의 검출 시간(예를 들어, 오전 9시 35분), 터치의 압력 값, 및 터치에 대응되는 전기 신호 등에 대응되는 압력 터치 정보를 저장부(175)에 저장할 수 있다. 터치(410)는 예를 들어, 엄지를 포함하는 손가락들 중 하나, 또는 입력 펜(167)에 의해 발생할 수 있다.
문자 인식 대상 텍스트에서 검출된 최초 터치 위치(410a)에 커서(도시되지 아니함)가 표시될 수 있다. 표시된 커서에서부터 터치의 연속적인 움직임(예를 들어, 최초 위치(410a)에서부터 최후 위치(410b)까지의 이동, 410-1)에 대응하여 문자 인식 대상 텍스트가 선택될 수도 있다.
사용자는 말 풍선(191b11)에 압력 터치(도시되지 아니함)를 입력한다. 제어부(110)는 압력 터치 패널(도시되지 아니함), 터치 스크린(190) 및/또는 터치 스크린 컨트롤러(195)를 이용하여 압력 터치를 검출할 수도 있다. 압력 터치는 압력 터치 패널을 통해 검출될 수 있다. 압력 터치 패널은 예를 들어, 터치 스크린(190)의 하단, 터치 스크린(190)의 내부, 디스플레이 패널(도시되지 아니함)의 하단, 또는 터치 패널(도시되지 아니함)의 상단을 포함할 수 있다. 압력 터치 패널은 터치 스크린(190)과 별개로 구별될 수 있다. 또한, 압력 터치 패널은 터치 스크린(190)에 포함될 수도 있다.
압력 터치의 압력은 압력 터치 패널을 통해 검출될 수 있다. 압력 터치 패널은 입력되는 압력에 대응되는 전기적 신호(예를 들어, 전압인 경우, 0 V ~ 3 V 사이, 휴대 장치에 따라 다름)를 제어부(110)로 전송할 수 있다. 제어부(110)는 수신된 전기적 신호를 이용하여 압력을 산출할 수 있다. 또한, 제어부(110)는 수신된 전기적 신호에 대응되는 압력을 매핑(mapping)할 수도 있다.
본 발명의 다른 실시예인 도 5a 및 도 5b를 참조하면, 말 풍선 내 텍스트에서 터치가 수신된다.
제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 터치(420)를 검출할 수 있다. 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 터치(420)에 대응되는 터치 위치(420a, 예를 들어, X2 좌표와 Y2 좌표)를 산출할 수 있다. 산출된 터치 위치(420a)는 최초 터치 위치로 칭해질 수 있다.
도 3의 단계(S320)의 말 풍선 내 텍스트에서 터치가 수신(도 5a 및 도 5b에 대응)은 도 3의 단계(S320)의 말 풍선 내 텍스트에서 터치가 수신(도 4a 및 도 4b에 대응)과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3의 단계(S330)에서, 검출된 터치의 연속적인 움직임이 수신된다.
도 4c 및 도 4d를 참조하면, 사용자는 말 풍선(191b11)에 터치의 연속적인 움직임(예를 들어, 연속되는 터치(410a에서부터 410b까지)에 대응되는 복수의 X 좌표와 Y 좌표, 410-1)을 입력한다. 또한, 사용자는 최초 터치 위치(410a)에서 설정 시간(예를 들어, 500 ㎳ 이하, 변경 가능)동안 터치(410)를 유지할 수 있다. 최초 터치 위치(410a)에서 터치(410)를 유지한 후, 사용자는 터치의 연속적인 움직임(예를 들어, 연속되는 터치(410a에서부터 410b까지)에 대응되는 복수의 X 좌표와 Y 좌표, 410-1)을 입력할 수 있다.
제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 말 풍선(191b11)내 터치의 연속적인 움직임(410-1)을 검출할 수 있다. 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 말 풍선(191b11)내 터치의 연속적인 움직임 위치(예를 들어, 복수의 X 좌표와 복수의 Y 좌표, 410a, 410b, 및 410a과 410b 사이의 좌표들)을 검출할 수 있다.
말 풍선(191b11)내 터치의 연속적인 움직임(예를 들어, 최초 위치(410a)에서부터 최후 위치(410b)까지의 이동, 410-1)은 터치 스크린(190)에 입력되는 터치 제스처(touch gesture)를 의미할 수 있다. 말 풍선(191b11)내 터치의 연속적인 움직임(예를 들어, 최초 위치(410a)에서부터 말 풍선과 표시 영역의 경계(또는, 경계선) 방향으로 이동, 410-1)은 터치 스크린(190)에 입력되는 터치 제스처를 의미할 수 있다.
본 발명의 실시예에서, 터치의 연속적인 움직임(410-1)은 최초 위치(410a)를 기준으로 시작하는 스와이프(swipe), 드래그(drag), 플릭(flick) 또는 회전(rotate)을 포함할 수 있다. 또한, 터치의 연속적인 움직임(410-1)은 싱글 터치의 연속적인 움직임뿐만 아니라 최초 위치(410a) 및 다른 위치(도시되지 아니함)를 기준으로 시작하는 멀티 터치의 연속적인 움직임을 포함할 수 있다.
도 4b 내지 도 4d를 참조하면, 터치의 연속적인 움직임(410-1)에 대응하여 말 풍선 내 말 풍선(191b11) 내 모든 텍스트 및 일부 텍스트가 선택될 수 있다. 터치의 연속적인 움직임(410-1)에 대응하여 최초 터치 위치(410a)에서부터 문자 인식 대상인 텍스트(또는, 문자 인식 대상 텍스트)의 선택이 표시(또는, 시작)될 수 있다.
터치의 연속적인 움직임(410-1)에 대응하여 최초 터치 위치(410a)에서부터 문자 인식 대상인 텍스트(또는, 문자 인식 대상 텍스트)가 선택될 수 있다. 터치의 연속적인 움직임(410-1)에 대응하여 최초 터치 위치(410a)의 문자 인식 대상인 텍스트(또는, 문자 인식 대상 텍스트)의 시작 위치가 문자 인식 비대상(또는, 선택되지 않은)인 텍스트와 구별(예를 들어, 글꼴(font) 색상 변경, 글꼴 굵기 변경, 또는 글꼴 강조 색(high-light) 추가 등)될 수 있다. 터치의 연속적인 움직임(410-1)에 대응하여 최초 터치 위치(410a)에 표시된 커서에서부터 선택되는 문자 인식 대상인 텍스트(또는, 문자 인식 대상 텍스트)는 문자 인식 비대상(또는, 선택되지 않은)인 텍스트와 구별(예를 들어, 글꼴(font) 색상 변경, 글꼴 굵기 변경, 또는 글꼴 강조 색(high-light) 추가 등)될 수 있다.
최초 터치 위치(410a)의 문자 인식 대상인 텍스트(또는, 문자 인식 대상 텍스트)는 최초 터치 위치(410a)에 위치하는 자음, 모음, 자음과 모음을 포함하는 음소(phoneme) 또는, 단어(word)를 포함할 수 있다.
최초 터치 위치(410a)는 '서울특별시'의 '서'에 위치할 수 있다. 최초 터치 위치(410a)에 대응하여 선택되는 텍스트는 '서'일 수 있다. 최초 터치 위치(410a)에서부터 시작되는 터치의 연속적인 움직임(410-1)의 진행에 의해 선택되는 텍스트는 '서울특별시'일 수 있다. 말 풍선(191b11)내 '서울특별시' 중 어느 위치에서든 최초 터치 위치(410a)가 검출되는 경우, 최초 터치 위치(410a)에서부터 시작되는 터치의 연속적인 움직임(410-1)의 진행에 의해 선택되는 텍스트는 '서울특별시'일 수 있다.
최초 터치 위치(410a)에서부터 최후 터치 위치(410b)까지 터치의 연속적인 움직임(410-1)에 대응하여 선택되는 텍스트(410s)는 '서울특별시 강남구 역삼1동 736-32'일 수 있다. 최초 터치 위치(410a)에서부터 최후 터치 위치(410b)까지 터치의 연속적인 움직임(410-1)에 대응하여 선택되는 텍스트(410s)는 '서울특별시 강남구 역삼1동 736-32'로 확장될 수 있다. 또한, 최초 터치 위치(410a)에서부터 최후 터치 위치(410b)까지 터치의 연속적인 움직임(410-1)에 대응하여 선택되는 텍스트는 '서울특별시 강남구' 및 다음 라인의 '역삼1동 736-32'까지 확장될 수 있다. 터치의 연속적인 움직임(410-1)에 따라 최종적으로 선택된 텍스트(410s)는 '서울특별시 강남구 역삼1동 736-32' 일 수 있다.
또한, 최초 터치 위치(410a)에서부터 최후 터치 위치(410b)까지 터치의 연속적인 움직임(410-1)에 대응하여 선택되는 텍스트는 말 풍선(191b11) 내 입력되어 표시되는 모든 텍스트(예를 들어, '주소는 서울특별시 강남구 역삼1동 736-32입니다')일 수 있다. 사용자는 문자 인식 대상 텍스트의 선택을 위해 최초 터치 위치를 말 풍선(191b11) 내에 위치하도록 터치할 수 있다.
터치의 연속적인 움직임(410-1)에 따라 최종적으로 선택된 텍스트(예를 들어, '주소는 서울특별시 강남구 역삼1동 736-32입니다')는 제어부(110)의 제어에 의해 저장부(175)에 저장(또는, 임시 저장)될 수 있다.
사용자는 터치의 연속적인 움직임(410-1)의 최후 위치(410b)에서 터치(말 풍선(191b11, 또는 터치 스크린(190))와 접촉)를 해제(touch-off)될 수 있다. 터치의 연속적인 움직임(410-1)의 방향은 상측, 하측, 좌측 및 우측 중 하나의 방향일 수 있다.
본 발명의 다른 실시예인 도 5c 및 도 5d를 참조하면, 검출된 터치의 연속적인 움직임이 수신된다.
사용자는 말 풍선(191b11-1)에 터치의 연속적인 움직임(예를 들어, 연속되는 터치(420a에서부터 420b까지)에 대응되는 복수의 X 좌표와 Y 좌표, 420-1)을 입력한다. 또한, 사용자는 최초 터치 위치(420a)에서 설정 시간(예를 들어, 500 ㎳ 이하, 변경 가능)동안 터치(420)를 유지할 수 있다. 최초 터치 위치(420a)에서 터치(420)를 유지한 후, 사용자는 터치의 연속적인 움직임(예를 들어, 연속되는 터치(420a에서부터 420b까지)에 대응되는 복수의 X 좌표와 Y 좌표, 420-1)을 입력할 수 있다.
도 5b 내지 도 5d를 참조하면, 터치의 연속적인 움직임(420-1)에 대응하여 최초 터치 위치(420a)에서부터 텍스트가 선택될 수 있다.
최초 터치 위치(420a)는 '설정'의 '설'에 위치할 수 있다. 최초 터치 위치(420a)에서부터 최후 터치 위치(420b)까지 터치의 연속적인 움직임(420-1)에 대응하여 선택되는 텍스트는 '설정 화면에서 Wi-Fi'로 확장될 수 있다.
사용자는 터치의 연속적인 움직임(420-1)의 최후 위치(420b)에서 터치(말 풍선(191b11-1, 또는 터치 스크린(190))사이의 접촉)를 해제(touch-off)할 수 있다.
도 3의 단계(S330)의 터치의 연속적인 움직임(420-1)에 대응하여 문자 인식 대상인 텍스트의 선택(도 5b 및 도 5d에 대응)은 도 3의 단계(S330)의 터치의 연속적인 움직임(410-1)에 대응하여 문자 인식 대상인 텍스트의 선택(도 4b 및 도 4d에 대응)과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3의 단계(S340)에서, 선택된 텍스트의 문자 인식이 진행된다.
도 4d를 참조하면, 제어부(110)는 저장된 텍스트에 대응되는 신호를 무선 통신 규격에 따라 문자 인식 서버(200)에서 수신할 수 있도록 전송(또는, 변환하여 전송)할 수 있다. 또한, 제어부(110)는 저장된 문자 인식 대상인 텍스트에 대응되는 신호를 포함하는 패킷(packet)을 전송하도록 통신부(130)를 제어할 수 있다. 패킷은 무선 통신 규격 또는, 근거리 통신의 규격을 따르는 패킷일 수 있다.
문자 인식 서버(200)의 제어부(도시되지 아니함)는 수신된 패킷에 대해 문자 인식 알고리즘을 이용하여 문자 인식을 수행한다. 문자 인식 알고리즘은 패킷에 포함된 텍스트를 음소 단위, 단어 단위 또는 문장 단위로 분할하여 기준 패턴(또는, 표준 패턴)와 비교하여 음소(단어, 또는, 문장)를 인식할 수 있다. 문자 인식 알고리즘은 패턴 매칭법(pattern matching), 구조 분석법(structure analysis), 특징 매칭법(feature matching), 또는 획 분석법(stroke analysis)을 포함할 수 있다. 상술된 문자 인식 알고리즘은 용도(또는 목적)에 따라 선택적 또는 구분되게 사용될 수 있다.
문자 인식 서버(200)의 저장부(도시되지 아니함)는 특정 음소(특정 단어, 또는 특정 문장 등)에 대응되는 음소 데이터 베이스를 저장(갱신(update) 가능)할 수 있다. 문자 인식 서버(200)의 제어부는 인식된 음소 및 기 저장된 데이터 베이스를 이용하여 문자 데이터(선택된 텍스트에 대응)를 생성할 수 있다. 문자 인식 서버(200)의 제어부는 단어 또는 문장 형태인 문자 인식 데이터를 생성할 수 있다.
문자 인식 서버(200)의 제어부는 생성된 문자 데이터를 저장부에 저장할 수 있다. 문자 인식 서버(200)의 제어부는 문자 데이터를 제어 정보(이후 설명)보다 먼저 통신부(도시되지 아니함)를 통해 휴대 장치(100)로 전송할 수 있다. 문자 인식 서버(200)의 제어부는 텍스트 데이터를 통신부(도시되지 아니함)를 통해 제어 정보 서버(300)로 전송할 수 있다.
제어 정보 서버(300)의 제어부는 문자 데이터를 이용하여 제어 정보(예를 들어, 제어 명령어)로 변환할 수 있다. 문자 데이터는 문자 인식 서버(200) 또는 일체형 휴대 장치(100-1)엥서부터 수신될 수 있다. 제어 정보는 휴대 장치(100)의 화면(또는, 동작, 기능)을 제어할 수 있다. 또한, 제어 정보는 문자 인식 서버(200)의 화면(또는, 동작, 기능)을 제어할 수도 있다.
제어 정보 서버(300)는 제어 정보 데이터 베이스를 포함할 수 있다. 제어 정보 서버(300)는 제어 정보 데이터 베이스를 저장부에 저장할 수 있다.
제어 정보 서버(300)의 제어부는 저장된 제어 정보 데이터 베이스를 이용하여 인식된 텍스트 데이터에 대응되는 제어 정보를 결정(또는, 선택, 변환, 생성)할 수 있다. 제어 정보 서버(300)는 텍스트 데이터 및 제어 정보 데이터 베이스를 이용하여 휴대 장치(100)를 제어하는 제어 정보(예를 들어, 휴대 장치(100)가 파싱(parsing) 가능한)를 결정(또는, 선택, 변환, 생성)할 수도 있다. 예를 들어, 말 풍선(191d11) 내 텍스트에서 터치의 연속적인 움직임이 수신되는 경우, 휴대 장치(100)는 통신부를 통해 선택된 텍스트에 대응되는 전기적 신호(예를 들어, 디지털 신호, 아날로그 신호, 또는, 패킷)를 문자 인식 서버(100)로 전송할 수 있다. 문자 인식 서버(200)는 수신된 전기적 신호(또는 패킷)를 문자 인식을 통해 텍스트 데이터(예를 들어, '서울특별시 강남구 역삼1동 736-32')로 변환할 수 있다. 문자 인식 서버(200)는 텍스트 데이터를 이용하여 제어 정보를 결정(또는, 선택, 변환, 생성)할 수 있다.
상술된 제어 정보는 텍스트 데이터(예를 들어, '서울특별시 강남구 역삼1동 736-32')에 대응되는 위치를 실행되는(또는 기 실행된) 지도 어플리케이션의 화면에 표시하도록 할 수 있다. 상술된 제어 정보는 텍스트 데이터(예를 들어, '서울특별시 강남구 역삼1동 736-32')에 대응되는 상호(shop(company) name)을 실행되는(또는 기 실행된) 웹 브라우저의 화면에 표시하도록 할 수 있다. 상술된 제어 정보에 대응되는 어플리케이션은 이에 한정되지 않고 설정(또는, 링크된)에 따라 다양한 어플리케이션이 실행될 수 있다.
제어 정보 서버(300)의 제어부는 통신부를 통해 제어 정보를 휴대 장치(100)로 전송할 수 있다.
문자 인식 서버(200)에서 문자 인식이 수행되는 경우, 휴대 장치(100)의 화면에 문자 인식 서버(200)에서 진행되는 문자 인식에 대응되는 텍스트(예를 들어, '문자 인식 중'), 이미지('문자 인식 중'에 대응되는), 심볼 및 플래시를 포함하는 동영상('문자 인식 중'에 대응되는)이 표시될 수 있다.
제어 정보 서버(300)에서 제어 정보가 결정(또는, 선택, 변환, 생성)되는 경우, 휴대 장치(100)의 화면에 제어 정보 서버(300)에서 제어 정보 결정에 대응되는 텍스트(예를 들어, '제어 정보 결정 중'), 이미지('제어 정보 결정 중'에 대응되는), 심볼 및 플래시를 포함하는 동영상('제어 정보 결정 중'에 대응되는)이 표시될 수 있다.
아래의 [표 1]은 제어 정보의 일 예일 수 있다.
No. 문자 인식 대상 텍스트
 문자 인식 타입 결정된 어플리케이션 이름
1 OO시 XX구 동 787-8
YY역 부근
ZZ대학교 정문		 주소
 지도 어플리케이션
2 AA 레스토랑(BB동)
 상호 지도 어플리케이션
3 여권 사진
 사진 사진 어플리케이션
4 환경 설정
Wi-Fi		 화면 환경 설정 화면
…… ……
 …… ……
[표 1]을 참조하면, 문자 인식 대상 텍스트는 터치의 연속적인 움직임에 의해 선택되는 문자 인식 대상 텍스트의 나타낼 수 있다. 선택된 문자 인식 대상 텍스트의 문자 인식 결과에 따라 문자 인식 타입이 결정될 수 있다. 문자 인식 타입에 의해 휴대 장치(100)에서 실행되는(또는, 현재 실행 중인) 어플리케이션(또는, 어플리케이션 이름, 어플리케이션 종류, 또는, 저장된 어플리케이션 경로 등) 이 결정될 수 있다.
[표 1]에 표시되는 항목(예를 들어, 문자 인식 대상 텍스트, 문자 인식 타입, 결정된 어플리케이션 등)은 각각 비트열(도시되지 아니함) 또는 크기(예를 들어, 비트, 또는, 바이트)을 가질 수 있다. [표 1]에 대응되는 제어 정보는 제어 정보 서버(300)뿐만 아니라 휴대 장치(100) 또는 일체형 휴대 장치(100-1)에서 변환되어 저장될 수 있다.
[표 1]에 표시되는 항목(예를 들어, 문자 인식 대상 텍스트, 문자 인식 타입, 결정된 어플리케이션 등)은 이에 한정되지 않고, 추가, 삭제 및 변경될 수도 있다.
[표 1]을 참조하면, 문자 인식 대상 텍스트는 터치의 연속적인 움직임에 의해 선택되는 문자 인식 대상 텍스트의 나타낼 수 있다. 선택된 문자 인식 대상 텍스트의 문자 인식 결과에 따라 문자 인식 타입이 결정될 수 있다. 문자 인식 대상 텍스트는 인공 지능(artificial intelligence, AI) 기술(예를 들어, deep learning을 포함)을 통해 인식 결과에 대한 정확도가 지속적으로 향상될 수 있다.
여러 형태로 작성된 텍스트 데이터들을 비-지도학습(unsupervised learning)을 통해 의미(label)가 없는 데이터들간의 패턴이 파악될 수 있다. 데이터들 사이의 유사성에 근거하여 데이터의 요소가 군집화된다. 학습된 데이터를 토대로 텍스트의 내용을 Context와 사용자의 의도와 맞게 추론해내어 [표 1]에서 제시한 일 예의 문자 인식 대상 텍스트의 형태와 정확히 일치하지 않더라도 해당 텍스트가 어떤 타입인지 분류해줄 수 있다.
문자 인식 타입에 의해 휴대 장치(100)에서 실행되는(또는, 현재 실행 중인) 어플리케이션(또는, 어플리케이션 이름, 어플리케이션 종류, 또는, 저장된 어플리케이션 경로 등)이 결정될 수 있다.
휴대 장치(100) 및 문자 인식 서버(200)는 일체형 휴대 장치(100-1)로 구현될 수 있다. 일체형 휴대 장치(100-1)의 동작은 상술된 별개인 휴대 장치(100)의 동작 및 문자 인식 서버(200)의 동작과 실질적으로 유사하므로 중복되는 설명은 생략될 수 있다. 문자 인식 서버(200) 및 제어 정보 서버(300)는 일체형 문자 인식 서버(200-1)로 구현될 수 있다. 일체형 문자 인식 서버(200-1)의 동작은 상술된 별개인 문자 인식 서버(200)의 동작 및 제어 정보 서버(300)의 동작과 실질적으로 유사하므로 중복되는 설명은 생략될 수 있다.
본 발명의 다른 실시예인 도 5d를 참조하면, 선택된 텍스트의 문자 인식이 진행된다. 제어부(110)는 저장된 텍스트에 대응되는 신호를 무선 통신 규격에 따라 문자 인식 서버(200)에서 수신할 수 있도록 전송(또는, 변환하여 전송)할 수 있다.
제어 정보 서버(300), 또는, 문자 인식 서버(또는, 일체형 문자 인식 서버)는 문자 인식 결과에 대응되는 제어 정보를 휴대 장치(100)로 전송할 수 있다.
도 3의 단계(S340)의 선택된 텍스트의 문자 인식(도 5d에 대응)은 도 3의 단계(S340)의 선택된 텍스트의 문자 인식(도 4d에 대응)과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3의 단계(S350)에서, 문자 인식 결과에 따라 현재 화면이 변경된다.
도 4e를 참조하면, 휴대 장치(100)의 제어부(110)는 통신부를 통해 제어 정보를 수신할 수 있다. 휴대 장치(100)의 제어부(110)는 통신부를 통해 제어 정보 서버(300)에서부터 제어 정보를 수신할 수 있다. 또한, 휴대 장치(100)의 제어부(110)는 통신부를 통해 일체형 문자 인식 서버(200-1)에서부터 제어 정보를 수신할 수 있다.
휴대 장치(100)의 제어부(110)는 통신부를 통해 텍스트 데이터('서울특별시 강남구 역삼1동 736-32')를 수신할 수 있다. 또한, 휴대 장치(100)의 제어부(110)는 통신부를 통해 일체형 문자 인식 서버(200-1)에서부터 텍스트 데이터를 수신할 수 있다. 휴대 장치(100)는 텍스트 데이터 및 제어 정보를 함께 수신하거나 또는 별개로 각각 수신할 수 있다.
제어부(110)는 수신된 제어 정보를 파싱 할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 현재 화면(191)을 변경할 수 있다. 제어부(110)는 제어부(110)는 제어 정보의 파싱을 통해 현재 화면(예를 들어, 채팅 어플리케이션 화면, 191)을 다른 화면(예를 들어, 지도 어플리케이션 화면, 192)로 변경할 수 있다.
상술된 현재 화면의 변경은 변경된 어플리케이션 화면의 표시뿐만 아니라 실행되는 어플리케이션의 변경(예를 들어, 표시되는 지도 어플리케이션에서 제1 화면(터치의 연속적인 움직임에 대응되어 문자 인식된 제1 텍스트(예를 들어, 설정 화면, 도 5e 참조)의 위치)에서부터 제2 화면(터치의 연속적인 움직임에 대응되어 문자 인식된 제2 텍스트(Wi-Fi, 도 5f 참조)의 위치)으로 변경)도 포함할 수 있다.
또한, 현재 화면의 변경은 동일한 어플리케이션(예를 들어, 지도 어플리케이션)의 제1 화면(191)을 다른 화면(예를 들어, 다른 상대방(예를 들어, 김 대리, 도시되지 아니함)의 채팅 이력, 도시되지 아니함)의 변경을 포함할 수 있다.
제어부(110)는 제어 정보의 파싱을 통해 실행 예정인 지도 어플리케이션(예를 들어, 어플리케이션의 타이틀 영역(192a)에 지도 어플리케이션으로 표시)을 결정할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 지도 어플리케이션 화면(192)의 지도 표시 영역(192b)에 문자 인식 결과에 따른 회식 장소 위치(192b1)을 결정할 수 있다.
제어부(110)는 제어 정보의 파싱을 통해 지도 어플리케이션 화면(192)에 사용자의 현재 위치(예를 들어, 사무실)에서부터 회식 장소 위치(191b1) 사이의 최적 소요 시간(예를 들어, 10 분), 최적 거리(예를 들어, 4.5 ㎞)를 팝업(pop-up. 192b2)으로 표시할 수 있다. 팝업(192b) 내 방향 키(192b21, 192b22)의 선택에 따라 최단 거리, 또는, 최단 소요 시간이 표시될 수 있다.
제어부(110)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 화면 변경에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다. 제어부(110)는 말 풍선 내에서 수신되는 터치의 연속적인 움직임에 의해 선택된 텍스트의 문자 인식 결과에 따른 화면 변경에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다.
제어부(110)는 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나를 제공할 수 있다. 또한, 제어부(110)는 시각 피드백, 청각 피드백, 및 촉각 피드백의 조합을 사용자에게 제공할 수 있다.
시각 피드백은 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 화면 변경에 대응하는 시각 효과(예를 들어, 별도 이미지 또는 별도 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과, 도시되지 아니함)를 포함할 수 있다. 제어부(110)는 시각 피드백을 터치 스크린(190)에 표시할 수 있다.
청각 피드백은 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 화면 변경에 대응되는 사운드를 포함할 수 있다. 제어부(110)는 청각 피드백을 스피커(163)를 통해 출력할 수 있다. 제어부(110)는 청각 피드백을 하나의 스피커 또는 복수의 스피커를 통해 출력할 수 있다.
촉각 피드백은 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 화면 변경에 대응되는 진동을 포함할 수 있다. 제어부(110)는 촉각 피드백을 진동 모터(164)를 통해 출력할 수 있다. 진동 모터(164)가 복수인 경우, 제어부(110)는 촉각 피드백을 복수의 진동 모터 중 하나를 선택적으로 출력할 수 있다.
환경 설정(setting, 도시되지 아니함)을 통해 사용자에게 제공되는 피드백 제공 시간(예를 들어, 500 ㎳)이 변경될 수 있다. 또한, 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 화면 변경에 대응하여 제공되는 복수의 피드백(예를 들어, 시각 피드백, 청각 피드백, 및 촉각 피드백) 중 적어도 하나가 선택될 수 있다.
본 발명의 다른 실시예인 도 5e 및 도 5f를 참조하면, 휴대 장치(100)의 제어부(110)는 통신부를 통해 제어 정보를 수신할 수 있다. 휴대 장치(100)의 제어부(110)는 통신부를 통해 제어 정보 서버(300) 또는, 일체형 문자 인식 서버(200-1)에서부터 제어 정보를 수신할 수 있다. 휴대 장치(100)의 제어부(110)는 문자 인식 서버(또는, 일체형 문자 인식 서버, 200)에서부터 통신부를 통해 텍스트 데이터('설정 화면에서 Wi-Fi')를 수신할 수 있다. 휴대 장치(100)는 텍스트 데이터 및 제어 정보를 함께 수신하거나 또는 별개로 각각 수신할 수 있다.
제어부(110)는 수신된 제어 정보를 파싱 할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 현재 화면(191-1)을 변경할 수 있다. 제어부(110)는 제어부(110)는 제어 정보의 파싱을 통해 현재 화면(예를 들어, 채팅 어플리케이션 화면, 191-1)을 다른 화면(예를 들어, 환경 설정, 193)로 변경할 수 있다. 상술된 현재 화면의 변경은 변경된 어플리케이션 화면의 표시뿐만 아니라 실행되는 어플리케이션의 변경도 포함할 수 있다.
제어부(110)는 제어 정보의 파싱을 통해 실행 예정인 환경 설정 화면(예를 들어, 화면의 타이틀 영역(193a)에 환경 설정(settings)으로 표시)을 결정할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 설정 표시 영역(193b)에 Wi-Fi(193b1)를 포함하는 설정들을 포함하는 환경 설정 화면(193)을 표시할 수 있다. 환경 설정 화면(193)을 표시에 순차적으로 또는 연속적으로 Wi-Fi 화면(193b11)을 표시할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 바로 Wi-Fi 화면(193b11)을 표시할 수 있다. 사용자는 Wi-Fi 화면(193b11) 내 Wi-Fi on/off 스위치(193b11-1)를 이용하여 꺼진(off) Wi-Fi를 켤(on) 수 있다.
본 발명의 다른 실시예에서, 표시된 환경 설정 화면(193)에 포함되는 설정들은 말 풍선 내에서 선택된 텍스트의 문자 인식 결과에 따라 각각의 화면(예를 들어, 소리 및 진동(sound and vibration), 화면(display), 에지 스크린(edge screen), 화면 잠금 및 보안(lock screen and security), 배터리(battery), 사용자 매뉴얼(user manual), 블루투스, 비행 모드, 모바일 핫-스팟(hotspot), 데이터 사용, 등)이 표시될 수 있다. 상술된 환경 설정 화면(193)에 표시되지 않은 나머지 설정들의 화면들이 말 풍선 내에서 선택된 텍스트의 문자 인식 결과에 따라 표시될 수 있다. 또한, 환경 설정 화면(193)뿐만 아니라 퀵 패널(quick panel, 도시되지 아니함)에 포함되는 설정들의 화면이 말 풍선 내에서 선택된 텍스트의 문자 인식 결과에 따라 표시될 수 있다.
본 발명의 다른 실시예에서, 화면 변경뿐만 아니라 휴대 장치(100)의 기능(또는, 설정)을 바로 변경할 수 있다. 예를 들어, 말 풍선 내에서 선택된 텍스트(예를 들어, '회의 시간엔 휴대폰을 진동 모드로 변경')의 문자 인식 결과에 따라 제어부(110)는 수신된 제어 정보에 대응하여 휴대 장치(100)의 벨 소리를 진동 모드로 바로 변경할 수 있다. 말 풍선 내에서 선택된 텍스트(예를 들어, '어두운 곳에서는 화면을 더 밝게')의 문자 인식 결과에 따라 제어부(110)는 수신된 제어 정보에 대응하여 휴대 장치(100)의 화면 밝기를 더 밝도록 변경할 수 있다. 또한, 말 풍선 내에서 선택된 텍스트(예를 들어, '배터리 잔량이 부족')의 문자 인식 결과에 따라 제어부(110)는 수신된 제어 정보에 대응하여 휴대 장치(100)의 배터리 모드를 배터리 절약 모드로 바로 변경할 수 있다. 상술된 휴대 장치(100)의 기능(또는, 설정) 변경은 이에 한정되지 않고, 휴대 장치가 지원 가능한 기능(또는, 설정)에 적용될 수 있다.
본 발명의 다른 실시예에서, 말 풍선 내 선택된 텍스트의 문자 인식에 대응되는 제어 정보에 따라 실행되는 어플리케이션은 휴대 장치(100)에서 인스톨된 외부 장치 제어 어플리케이션(예를 들어, 가정(home) 내 가전 장치(또는, 전자 장치), 사무실(office) 내 사무용 전자 장치, 또는 IoT(internet of things)) 장치 등을 포함할 수 있다. 가정 내 가전 장치(또는, 전자 장치)는 홈 네트워크(home network)에 연동되는 가전 장치(또는, 전자 장치)로 냉장고, 세탁기, 로봇 청소기, 에어컨, TV를 포함하는 디스플레이 장치, 스피커를 포함하는 오디오 장치, 도어 잠금 장치, CCTV를 포함하는 보안 장치, 가스 차단 장치, 전원 차단 장치, 또는, 가스 검출 센서, 화재 감시 센서, 방범 센서 등을 포함하는 센서 장치 등을 포함할 수 있다. 사무용 전자 장치는 사내 네트워크(intranet 포함)에 연동되는 프린터, 복사기, 스피커, 또는 팩스 등을 포함할 수 있다. 또한, IoT 장치는 전등, 가정 내 설치된 각종 센서들, 출입문 잠금 장치 등을 포함할 수 있다. IoT 장치는 가전 장치에 포함될 수 있다.
도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 휴대 장치의 화면 제어방법의 예를 나타내는 도면이다.
도 6a 및 도 6b를 참조하면, 휴대 장치의 화면에 표시된 채팅 어플리케이션(191)에서 채팅이 진행된다. 표시 영역(191b-2)에 상대방(발신자 및 수신자 중 하나)과 사용자 사이에 주고받는 말 풍선(191b1-2 내지 191b2-2)이 표시될 수 있다.
사용자는 말 풍선(191b11-2)에 터치(또는, 호버링 포함, 도시되지 아니함)를 입력한다. 말 풍선(191b11-2)에서 입력되는 터치 및/또는 터치의 연속적인 움직임은 상술된 도 3의 단계(S320 및 S330)에서 입력되는 터치 및/또는 터치의 연속적인 움직임과 실질적으로 유사(예를 들어, 터치 또는 터치 제스처의 차이)하므로 중복되는 설명은 생략된다.
최초 터치 위치에서부터 최후 터치 위치까지 터치의 연속적인 움직임에 대응하여 선택되는 텍스트(430s)는 '거실 에어컨을 강풍'일 수 있다. 터치의 연속적인 움직임에 대응하여 선택되는 텍스트(430s)는 도 4d에서 터치의 연속적인 움직임에 대응하여 선택되는 텍스트(410s)과 실질적으로 유사(예를 들어, 선택되는 텍스트의 차이)하므로 중복되는 설명은 생략된다.
터치의 연속적인 움직임에 대응하여 선택되는 텍스트(430s)의 문자 인식의 진행은 도 3의 단계(S340)에서의 선택된 텍스트의 문자 인식 진행과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 6b를 참조하면, 휴대 장치(100)의 제어부(110)는 통신부를 통해 제어 정보를 수신할 수 있다. 제어부(110)는 수신된 제어 정보를 파싱 할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 현재 화면(191-2)을 변경할 수 있다. 제어부(110)는 제어부(110)는 제어 정보의 파싱을 통해 현재 화면(예를 들어, 채팅 어플리케이션 화면, 191-2)을 다른 화면(예를 들어, 에어컨 제어 어플리케이션, 194)로 변경(또는, 실행)할 수 있다.
제어부(110)는 제어 정보의 파싱을 통해 타이틀 영역(194a)에 우리집 에어컨으로 표시되는 에어컨 제어 어플리케이션 화면(194)을 표시(또는, 실행)할 수 있다. 제어부(110)는 제어 정보의 파싱을 통해 에어컨 제어 어플리케이션 화면(194)의 에어컨 제어 어플리케이션 표시 영역(194b)에 동작 모드(예를 들어, 강풍, 194b1) 및 현재 온도(예를 들어, 23℃, 194b2)가 표시될 수 있다. 또한, 사용자는 에어컨 제어 어플리케이션 화면(194)의 에어컨 제어 어플리케이션 표시 영역(194b)에서 동작 모드(예를 들어, 강풍)를 선택할 수도 있다.
제어부(110)는 말 풍선 내 텍스트에서 수신되는 터치의 연속적인 움직임에 따른 화면 변경(화면(191)에서부터 화면(193, 194)으로)에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다. 제어부(110)는 말 풍선 내에서 수신되는 터치의 연속적인 움직임에 의해 선택된 텍스트의 문자 인식 결과에 따른 화면 변경(화면(191)에서부터 화면(193, 194)으로)에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다.
도 3의 단계(S350)에서, 문자 인식 결과에 따라 현재 화면이 변경되는 경우, 휴대 장치의 화면 제어방법은 종료된다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 또한, 컴퓨터 판독 가능 프로그램은 서버의 컴퓨터 판독 가능 저장 매체에 저장되고, 상기 컴퓨터 프로그램은 네트워크를 통해 컴퓨팅 장치에 다운로드 될 수 있다.
휴대 장치 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 상술된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 휴대 장치 110: 제어부
190: 터치스크린 191: 어플리케이션 화면
191a: 타이틀 영역 191b: 표시 영역
191b1: 말 풍선 191c: 입력 영역
410: 터치 410-1: 터치의 연속적인 움직임

Claims (19)

  1. 휴대 장치에 표시되는 어플리케이션 화면에서, 문자 인식 가능한 텍스트를 포함하는 텍스트 표시 영역에서 터치를 검출하는 단계;
    상기 터치의 연속적인 움직임을 검출하는 단계;
    상기 터치의 연속적인 움직임에 대응하여 상기 텍스트를 문자 인식하는 단계; 및
    상기 문자 인식된 상기 텍스트에 대응되는 제어 명령에 따라 상기 어플리케이션 화면을 다른 화면으로 변경하는 단계를 포함하고,
    상기 텍스트는 상기 텍스트 표시 영역 내 텍스트 전부 및 일부 텍스트 중 하나를 포함하는 휴대 장치의 화면 제어방법.
  2. 제1항에 있어서,
    상기 텍스트 표시 영역은 사용자의 텍스트 표시 영역 및 상대방의 텍스트 표시 영역 중 적어도 하나를 포함하는 휴대 장치의 화면 제어방법.
  3. 제1항에 있어서,
    상기 터치는 정전 방식 터치 및 포스 터치 중 하나를 포함하는 휴대 장치의 화면 제어방법.
  4. 제1항에 있어서,
    상기 터치의 연속적인 움직임은 싱글 터치 제스처 및 멀티 터치 제스처를 포함하고, 플릭, 스와이프, 드래그 및 회전을 포함하는 휴대 장치의 화면 제어방법.
  5. 제1항에 있어서,
    상기 문자 인식하는 단계에 있어서,
    상기 문자 인식은 상기 휴대 장치 및 상기 휴대 장치와 통신으로 연결되는 문자 인식 서버 중 하나에서 수행되는 휴대 장치의 화면 제어방법.
  6. 제1항에 있어서,
    상기 다른 화면으로 변경하는 단계에 있어서,
    상기 제어 명령에 따라 상기 다른 화면 변경에 대응되는 어플리케이션이 실행되는 휴대 장치의 화면 제어방법.
  7. 제1항에 있어서,
    상기 다른 화면으로 변경하는 단계에 있어서,
    상기 다른 화면은 상기 어플리케이션의 다른 화면, 다른 어플리케이션 화면 및 환경 설정 화면 중 적어도 하나를 포함하는 휴대 장치의 화면 제어방법.
  8. 제1항에 있어서,
    상기 다른 화면으로 변경하는 단계에 있어서,
    상기 다른 화면은 하나의 어플리케이션 화면에서 연속되는 복수의 다른 화면 및 환경 설정 화면에서 연속되는 복수의 다른 화면 중 하나를 포함하는 휴대 장치의 화면 제어방법.
  9. 제1항에 있어서,
    상기 다른 화면으로 변경하는 단계에 있어서,
    상기 제어 명령은 외부에서 수신되는 휴대 장치의 화면 제어방법.
  10. 제1항에 있어서,
    상기 텍스트 표시 영역 내 문자 인식되는 상기 일부 텍스트는 상기 터치의 연속적인 움직임에 의해 선택되는 휴대 장치의 화면 제어방법.
  11. 제10항에 있어서,
    상기 텍스트 표시 영역 내 상기 터치의 연속적인 움직임에 의해 선택되는 상기 일부 텍스트는 다른 텍스트와 구별되게 표시되는 휴대 장치의 화면 제어방법.
  12. 제1항에 있어서,
    상기 다른 화면으로 변경에 대응되는 피드백을 제공하는 단계를 더 포함하고,
    상기 피드백은 시각 피드백, 청각 피드백 및 촉각 피드백 중 적어도 하나를 포함하는 휴대 장치의 화면 제어방법.
  13. 휴대 장치에 표시되는 어플리케이션 화면에서, 텍스트 표시 영역 내 문자 인식 가능한 텍스트에서 터치를 검출하는 단계;
    상기 터치에 대응하여 상기 텍스트에서 커서를 표시하는 단계;
    상기 터치의 연속적인 움직임을 검출하는 단계;
    상기 터치의 연속적인 움직임에 대응하여 상기 커서에서부터 상기 텍스트 중 선택된 일부 텍스트를 문자 인식하는 단계; 및
    상기 문자 인식된 상기 텍스트에 대응되는 제어 명령의 수신에 따라 상기 어플리케이션 화면을 다른 화면으로 변경하는 단계를 포함하는 휴대 장치의 화면 제어방법.
  14. 제13항에 있어서,
    상기 일부 텍스트는 선택되지 않은 다른 텍스트와 구별되게 표시되는 휴대 장치의 화면 제어방법.
  15. 제13항에 있어서,
    상기 문자 인식하는 단계에 있어서,
    상기 문자 인식은 상기 휴대 장치 및 상기 휴대 장치와 통신으로 연결되는 문자 인식 서버 중 하나에서 수행되는 휴대 장치의 화면 제어방법.
  16. 제13항에 있어서,
    상기 제어 명령은 상기 휴대 장치와 통신으로 연결되는 문자 인식 서버 및 제어 정보 서버 중 하나에서 수신되는 휴대 장치의 화면 제어방법.
  17. 외부와 연결하는 통신부;
    텍스트 표시 영역을 포함하는 어플리케이션 화면을 표시하는 터치 스크린; 및
    상기 통신부 및 상기 터치 스크린을 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    문자 인식 가능한 텍스트를 포함하는 텍스트 표시 영역에서 검출된 터치의 연속적인 움직임에 따라 선택되는 상기 텍스트를 상기 통신부를 통해 외부로 전송하고, 상기 통신부를 통해 수신되는 상기 텍스트의 문자 인식 결과에 대응되는 제어 정보에 따라 상기 어플리케이션 화면을 다른 화면으로 변경하도록 제어하는 휴대 장치.
  18. 제17항에 있어서,
    상기 프로세서는 터치의 연속적인 움직임에 따라 상기 텍스트 표시 영역 내 텍스트 전부 및 일부 텍스트 중 하나를 표시하도록 제어하는 휴대 장치.
  19. 제17항에 있어서,
    압력 터치 패드를 더 포함하고,
    상기 터치는 상기 압력 터치 패드를 통해 검출되는 휴대 장치.



KR1020170030649A 2017-03-10 2017-03-10 휴대 장치 및 휴대 장치의 화면 제어방법 KR20180103547A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170030649A KR20180103547A (ko) 2017-03-10 2017-03-10 휴대 장치 및 휴대 장치의 화면 제어방법
PCT/KR2018/002829 WO2018164534A1 (ko) 2017-03-10 2018-03-09 휴대 장치 및 휴대 장치의 화면 제어방법
US16/492,831 US11474683B2 (en) 2017-03-10 2018-03-09 Portable device and screen control method of portable device
KR1020200052058A KR102278213B1 (ko) 2017-03-10 2020-04-29 휴대 장치 및 휴대 장치의 화면 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030649A KR20180103547A (ko) 2017-03-10 2017-03-10 휴대 장치 및 휴대 장치의 화면 제어방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052058A Division KR102278213B1 (ko) 2017-03-10 2020-04-29 휴대 장치 및 휴대 장치의 화면 제어방법

Publications (1)

Publication Number Publication Date
KR20180103547A true KR20180103547A (ko) 2018-09-19

Family

ID=63448734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030649A KR20180103547A (ko) 2017-03-10 2017-03-10 휴대 장치 및 휴대 장치의 화면 제어방법

Country Status (3)

Country Link
US (1) US11474683B2 (ko)
KR (1) KR20180103547A (ko)
WO (1) WO2018164534A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200379570A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Haptics application programming interface
KR20190092326A (ko) * 2019-07-18 2019-08-07 엘지전자 주식회사 음성 제공 방법 및 음성 제공 장치를 제어하는 지능형 컴퓨팅 디바이스
US11212383B2 (en) * 2020-05-20 2021-12-28 Snap Inc. Customizing text messages in modifiable videos of multimedia messaging application

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463260B1 (en) * 2004-12-06 2008-12-09 Nvidia Corporation Handheld graphics text processing system and method
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
KR101667705B1 (ko) 2009-09-25 2016-10-19 엘지전자 주식회사 이동단말기의 멀티 브라우징 장치 및 방법
KR101668118B1 (ko) * 2010-07-23 2016-10-21 삼성전자주식회사 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법
KR20130125067A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20140011881A (ko) * 2012-07-20 2014-01-29 트랜스지보강 주식회사 제어권 이동을 통한 원격제어시스템 및 방법
KR101909498B1 (ko) 2012-09-19 2018-10-19 주식회사 케이티 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법
US20150254518A1 (en) * 2012-10-26 2015-09-10 Blackberry Limited Text recognition through images and video
KR102044339B1 (ko) * 2013-01-17 2019-11-13 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 화상 형성 장치 및 화상 형성 장치의 제어 방법
US9911361B2 (en) * 2013-03-10 2018-03-06 OrCam Technologies, Ltd. Apparatus and method for analyzing images
US20160266769A1 (en) * 2013-03-14 2016-09-15 Motorola Mobility Llc Text display and selection system
KR20140133083A (ko) * 2013-05-09 2014-11-19 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9552138B2 (en) * 2013-05-10 2017-01-24 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR102032407B1 (ko) * 2013-05-10 2019-10-16 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP6231774B2 (ja) * 2013-05-23 2017-11-15 キヤノン株式会社 電子機器およびその制御方法
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
KR102282487B1 (ko) 2014-05-08 2021-07-26 삼성전자주식회사 애플리케이션 실행 장치 및 방법
KR20160051081A (ko) 2014-10-31 2016-05-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102339461B1 (ko) 2014-12-18 2021-12-15 삼성전자 주식회사 전자 장치의 텍스트 기반 컨텐츠 운용 방법 및 장치
WO2016153258A1 (ko) * 2015-03-23 2016-09-29 주식회사 큐키 모바일 기기의 애플리케이션 실행 장치 및 그 방법
US9847974B2 (en) * 2016-04-28 2017-12-19 Xerox Corporation Image document processing in a client-server system including privacy-preserving text recognition
US10360910B2 (en) * 2016-08-29 2019-07-23 Garmin Switzerland Gmbh Automatic speech recognition (ASR) utilizing GPS and sensor data

Also Published As

Publication number Publication date
WO2018164534A1 (ko) 2018-09-13
US11474683B2 (en) 2022-10-18
US20200150794A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7324813B2 (ja) 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
JP7165220B2 (ja) スタイラスでユーザインタフェースを操作するためのデバイス及び方法
US20230214107A1 (en) User interface for receiving user input
US20230040146A1 (en) User device and method for creating handwriting content
US10852936B2 (en) Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device
KR101892723B1 (ko) 실시간 필기 인식 관리
US8751971B2 (en) Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface
JP2022191324A (ja) 電子デバイス上の手書き入力
EP3105661A1 (en) Character recognition on a computing device
US11132498B2 (en) Portable device and method for controlling cursor of portable device
KR101815720B1 (ko) 진동 제어 방법 및 장치
KR20140097902A (ko) 햅틱 패턴을 생성하는 휴대 단말 및 방법
US11474683B2 (en) Portable device and screen control method of portable device
KR102278213B1 (ko) 휴대 장치 및 휴대 장치의 화면 제어방법
EP3803557A1 (en) Device, method, and graphical user interface for moving drawing objects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
A107 Divisional application of patent