KR102535056B1 - 전자 장치 및 터치 인식 방법 - Google Patents

전자 장치 및 터치 인식 방법 Download PDF

Info

Publication number
KR102535056B1
KR102535056B1 KR1020160099048A KR20160099048A KR102535056B1 KR 102535056 B1 KR102535056 B1 KR 102535056B1 KR 1020160099048 A KR1020160099048 A KR 1020160099048A KR 20160099048 A KR20160099048 A KR 20160099048A KR 102535056 B1 KR102535056 B1 KR 102535056B1
Authority
KR
South Korea
Prior art keywords
touch
processor
size
recognition area
electronic device
Prior art date
Application number
KR1020160099048A
Other languages
English (en)
Other versions
KR20180015478A (ko
Inventor
김민규
유대영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020160099048A priority Critical patent/KR102535056B1/ko
Priority to PCT/KR2017/008295 priority patent/WO2018026170A1/en
Priority to EP17837221.5A priority patent/EP3449349B1/en
Priority to CN201780047257.4A priority patent/CN109564498B/zh
Priority to US15/668,278 priority patent/US10824325B2/en
Publication of KR20180015478A publication Critical patent/KR20180015478A/ko
Application granted granted Critical
Publication of KR102535056B1 publication Critical patent/KR102535056B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0445—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using two or more layers of sensing electrodes, e.g. using two layers of electrodes separated by a dielectric layer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/08—Touch switches specially adapted for time-pieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Abstract

본 발명의 다양한 실시예에 따른 전자 장치에 있어서, 터치스크린 디스플레이와, 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서와, 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이에 대한 터치 입력을 수신하고, 상기 수신된 터치 입력의 상기 터치스크린 디스플레이 상의 제1 위치를 확인하고, 적어도 하나의 조건에 기초하여, 상기 확인된 제1 위치와 연관된 상기 터치스크린 디스플레이 상의 영역을 설정하고, 상기 수신된 터치 입력이 해제된 경우, 상기 터치 입력이 해제된 상기 터치스크린 디스플레이 상의 제2 위치를 확인하고, 상기 확인된 제2 위치가 상기 설정된 영역 내인지 여부를 판단하고, 상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하도록 하는 인스트럭션들을 저장하는 것을 특징으로 하는 장치를 제공한다.
다른 실시예가 가능하다.

Description

전자 장치 및 터치 인식 방법{AN ELECTRONIC APPARAUTUS AND MEHTOD OF RECOGNIZING A TOUCH IN THE APPARATUS}
본 발명의 다양한 실시예는 터치스크린을 구비하는 전자 장치 및 이를 이용한 터치 인식 방법에 관한 것이다.
터치스크린은 전자 장치에 구현되는 입출력 수단이다. 터치스크린을 구비한 전자 장치는 디스플레이에 표시된 GUI(Graphic User Interface) 객체(예, 아이콘, 버튼, 텍스트 등)를 선택하는 터치 신호를 인식하고, 이에 응답하여 GUI 객체를 활성화할 수 있다. 전자 장치는 객체를 선택하는 터치 신호가 표시된 객체 영역을 벗어난 경우, 객체를 선택하는 터치 동작을 취소하는 입력으로 인식할 수 있다.
휴대용 전자 장치(예: 스마트폰, 웨어러블 기기 등)는 터치스크린에 객체(예: 버튼, 아이콘 또는 메뉴 리스트 등)를 표시함에 있어, 터치스크린의 크기에 따라 일정 크기 이상으로 표시하기 어려울 수 있다. 객체(예: 버튼, 아이콘)의 크기가 일정 수준 이하로 작아지면, 사용자가 선택한 객체 이외에 다른 객체가 선택되거나 사용자의 의도에 반하는 터치 입력으로 인식될 수 있다. 예를 들어, 사용자가 이동 중이거나 전자 장치가 움직임 상태일 경우, 사용자의 의사와 상관없이 GUI 객체를 선택한 터치 신호를 정확하게 인식하지 못하고 취소 입력으로 인식하는 경우가 발생될 수 있다.
이로 인해, 전자 장치를 구현하는데 있어서, 터치 조작의 오류를 최소화하면서 터치 인식 성능을 향상시킬 수 있는 방안이 요구되고 있다.
본 발명의 다양한 실시예는, 사용자의 의도에 의해 선택된 객체를 정확하게 인식할 뿐만 아니라, 사용자의 의도에 반하여 터치 입력이 취소되는 것을 방지할 수 있는 전자 장치 및 터치 인식 방법을 제공한다.
본 발명의 다양한 실시예는, 사용자의 의도를 반영하여 터치 시간을 기반으로 터치 입력의 인식률을 향상시킬 수 있는 전자 장치 및 터치 인식 방법을 제공한다.
본 발명의 다양한 실시예에 따른 전자 장치는, 터치스크린 디스플레이, 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이에 대한 터치 입력을 수신하고, 상기 수신된 터치 입력의 상기 터치스크린 디스플레이 상의 제1 위치를 확인하고, 적어도 하나의 조건에 기초하여, 상기 확인된 제1 위치와 연관된 상기 터치스크린 디스플레이 상의 영역을 설정하고, 상기 수신된 터치 입력이 해제된 경우, 상기 터치 입력이 해제된 상기 터치스크린 디스플레이 상의 제 2 위치를 확인하고, 상기 확인된 제 2 위치가 상기 설정된 영역 내인지 여부를 판단하고, 상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하도록 하는 인스트럭션들을 저장하는 것을 특징으로 한다.
본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법은, 객체를 선택하는 터치 입력을 수신하는 동작과, 상기 수신된 터치 신호에 대응하는 터치스크린 디스플레이 상의 제1 위치를 확인하는 동작과, 적어도 하나의 조건에 기초하여, 상기 확인된 제1 위치와 연관된 영역을 설정하는 동작과, 상기 터치 입력이 해제된 경우, 터치 입력이 해제된 제2 위치를 확인하는 동작과, 상기 확인된 제2 위치가 상기 설정된 영역 내인지 여부를 판단하는 동작과, 그리고 상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하는 동작을 포함하는 것을 특징으로 한다.
본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법은, 터치스크린에 대한 터치 입력을 수신하는 동작과, 상기 터치스크린에 터치된 제1 위치를 기반으로 터치스크린 상의 영역을 제1` 크기로 설정하는 동작과, 터치 입력이 유지되는 터치 지속 시간이 경과됨에 따라 상기 설정된 영역의 제2 크기로 감소하는 동작과, 그리고 상기 터치 입력이 해제된 경우, 상기 터치 입력이 해제된 제2 위치가 상기 설정된 영역을 벗어난 경우, 상기 터치 입력을 취소 입력으로 인식하는 동작을 포함하는 것을 특징으로 한다.
본 발명의 다양한 실시예에 따른 전자 장치 및 터치 인식 방법은, 객체를 선택하는 터치 입력을 정확하게 인식하고, 사용자의 의도에 반하여 터치 입력이 취소되는 것을 방지할 수 있다. 또한, 본 발명의 다양한 실시예들은 객체 인식 영역의 크기 조절을 통해 터치 입력에 대한 사용자의 의도를 반영함으로써, 터치 오인식을 방지하여 터치 입력의 인식률을 향상시킬 수 있다.
도 1은 다양한 실시예에서의, 네트워크 환경 내의 전자 장치를 도시한다.
도 2는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4는 전자 장치의 터치 입력 인식 방법의 일 예를 설명하는 도면이다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법을 설명하는 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법을 설명하는 도면이다.
도 7a 및 도 7b은 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 8a 및 8b 는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 9는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 10a 및 도 10b는, 본 발명의 다양한 실시예에 따른 객체 인식 영역의 변경을 나타내는 그래프들이다.
도 11a 및 도 11는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 12는 본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법을 설명하는 도면이다.
도 13은 본 발명의 다양한 실시예에 따른 전자 장치의 객체 인식 영역의 보정 동작을 나타내는 예시도이다.
도 14는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 15은 본 발명의 일 실시예에 따른 프로세서의 구성을 나타낸 도면이다.
도 16은 본 발명의 일 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타내는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치에 포함된 압력 센서를 나타내는 도면이다.
도 18은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다 도 19는 본 발명의 일 실시예에 따른 전자 장치의 터치 입력 인식 방법을 설명하는 도면이다.
도 20a 내지 도 20e는 본 발명의 다양한 실시예에 따른 객체 인식 영역을 도식화한 그래프이다.
도 21a 내지 도 21e는 본 발명의 다양한 실시예에 따른 객체 인식 영역 및 보정 영역을 도식화한 그래프이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예에서의, 네트워크 환경 내의 전자 장치를 도시한다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다.
도 2를 참조하면, 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), (가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 3을 참조하면, 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다.
프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4는 전자 장치의 터치 입력 인식 방법의 일 예를 설명하는 도면이다.
도 4를 참조하면, 일 실시 예에 따른, 터치스크린을 구비하는 전자 장치는 디스플레이(예: 디스플레이(160))에 표시된 객체 (예: 아이콘 또는 버튼)를 선택하는 터치 입력을 인식하고, 선택된 객체를 활성화하여 이와 연관된 기능을 실행할 수 있다.
예를 들어, 410 동작 에서, 전자 장치는, 터치스크린(예: 터치 패널(252))에 대한 사용자 터치에 응답하여 터치 및 터치 해제 신호를 검출할 수 있다. 전자 장치는 디스플레이를 제어하여 적어도 하나의 객체(예: 아이콘, 앱, 실행 키, 또는 리스트 항목 등)를 포함하는 GUI 화면을 표시할 수 있다. 사용자는 GUI 화면에 표시된 객체를 선택하기 위해 디스플레이를 터치 및 터치 해제(또는 탭) 할 수 있다.
420 동작 에서, 전자 장치는 객체를 선택하는 터치 입력을 판단하기 위해, 터치 해제 좌표가 터치에 의해 선택된 객체의 표시 범위 내에 포함되는지 여부를 결정할 수 있다. 전자 장치는 터치스크린(예, 표시 패널)에 표시된 객체가 표시된 영역의 좌표를 통해 객체의 표시 범위를 확인할 수 있다.
430 동작 에서, 전자 장치는 터치 해제(예: 릴리즈) 좌표가 객체의 표시 범위 내에서 검출된 경우, 터치 신호를 객체를 선택하는 선택 입력으로 인식할 수 있다. 전자 장치는 선택 입력에 응답하여 선택된 객체와 관련된 기능(예, 객체 활성화 등)을 실행할 수 있다.
반면에, 440 동작 에서, 전자 장치는, 터치 해제 좌표가 객체의 표시 범위를 벗어난 위치에서 검출되면, 터치 신호에 대해 객체 선택을 취소하는 취소 입력으로 인식할 수 있다.
그러나, 상술한 터치 인식 방법의 경우, 객체의 크기가 작거나, 사용자 또는 전자 장치의 움직임, 터치스크린 구현 상의 왜곡 문제 등의 다양한 요인으로 인하여 사용자의 의도에 터치 해제 좌표에 오류가 발생하거나 사용자의 의도와 상관없이, 터치 해제 좌표가 객체의 표시 범위를 벗어난 위치에서 검출되어 터치가 취소 입력으로 인식되는 경우가 발생될 수 있다.
이러한 문제점들을 해결하기 위해, 본 발명의 다양한 실시 예들은, 터치 시간에 따른 터치 인식 범위를 고려하여 터치를 인식하는 방안을 제공할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법을 설명하는 도면이다.
도 5를 참조하면, 일 실시예에 따른 전자 장치(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 510 동작에서, 터치 입력을 감지(또는 수신)할 수 있다. 여기서, 프로세서는 도 1 또는 도 2의 프로세서일 수 있다. 본 발명의 실시예에 따른 전자 장치는, 터치스크린(또는 표시 패널)을 제어하여, 사용자와의 인터렉티브를 위한 GUI 화면을 사용자에게 제공할 수 있다. GUI 화면은 홈 화면, 앱 실행 화면, 텍스트 작성 화면, 키패드 화면, 또는 웹 브라우저 화면 등을 포함할 수 있으며, 이에 한정하는 것은 아니다. 여기서, 프로세서는, 터치스크린으로부터 전달된 터치 신호에 포함된 터치 좌표를 통해 최초 터치된 위치, 터치의 이동, 터치 해제된 위치 중 적어도 하나를 확인할 수 있다.
예컨대, 터치스크린은 터치 기구(예, 손가락 또는 펜)에 의한 터치에 반응하여 아날로그 신호(예, 터치 신호)를 발생하고, 이를 디지털 신호로 변환하여 전자 장치의 프로세서로 전달할 수 있다. 터치 신호는 적어도 하나의 터치 좌표(X, Y) 정보를 포함할 수 있다. 일 실시예에 따르면, 프로세서는, 터치스크린으로부터 최초 터치 신호가 감지된 경우, 터치 좌표를 확인하여 객체가 선택됐는지를 판단할 수 있다. 프로세서는 터치에 의해 객체가 선택된 경우, 객체가 선택됐음을 알림하는 정보를 디스플레이에 표시할 수 있다. 예를 들어, 프로세서는, 터치에 의해 객체가 선택된 경우, 객체를 플로팅(floating) 상태로 표현하도록 디스플레이를 제어할 수 있다.
520 동작 에서, 프로세서는 터치 신호에 반응하여 터치 신호가 최초로 발생된 위치의 최초 터치 좌표(X1, Y1) 및 최초 터치 시간(T1)을 저장할 수 있다.
일 예에서, 프로세서는 최초의 터치 신호에 적어도 하나의 터치 좌표를 포함하는 경우, 정전용량의 크기, 터치 압력의 크기를 기준으로 터치의 중심점을 선택하고, 터치의 중심점을 최초 터치 좌표로 지정할 수 있다. 예를 들어, 프로세서는 지속적으로 수신되는 터치 신호들 중 제1 터치가 객체 내에, 제2 터치가 객체 외부의 터치 좌표로 인지되는 경우, 제1 터치된 위치를 최초 터치 좌표로 지정할 수 있다. 또는 프로세서는 제1 터치 및 제2 터치가 객체 표시 영역 내에서 감지되는 경우 객체 표시 영역의 중심과 근접한 터치 위치가 최초 터치 좌표로 지정될 수 있다.
일 예에서, 프로세서는, 최초 터치 시간을 "0"으로 저장하고, 터치가 유지되는 동안 터치 지속 시간을 카운팅할 수 있다. 또는, 프로세서는, 터치 신호가 수신된 시점의 전자 장치의 현재 시간을 최초 터치 시간으로 저장할 수 있다.
530 동작에서, 프로세서는, 터치 신호의 수신 여부를 통해 터치 해제가 검출되는지를 판단할 수 있다. 프로세서는, 터치스크린으로부터 터치 신호가 수신되지 않을 경우 터치 해제된 것으로 결정할 수 있다.
한편, 프로세서는, 535 동작 에서, 터치 해제가 발생되지 않고, 터치가 롱 프레스 입력에 대응하여 설정된 시간 동안 유지되는 경우, 터치 신호를 롱 프레스 입력으로 판단할 수 있다. 537동작 에서 프로세서는 롱 프레스 입력에 대응하는 기능을 실행할 수 있다. 일 실시예에 따르면, 프로세서는, 터치 좌표가 변화된 경우, 터치가 이동한 것으로 결정하고, 터치의 이동에 응답하여 터치의 위치 변화량 또는 터치의 이동 속도 등을 산출할 수 있다. 프로세서는, 터치 좌표, 터치의 해제 여부, 터치의 이동 여부, 터치의 위치 변화량 또는 터치의 이동 속도 등을 기반으로 사용자 입력(제스처)를 구분할 수 있다.
540 동작에서, 프로세서는 터치 해제로 결정된 경우, 마지막으로 수신된 터치 신호의 터치 좌표를 확인하여 최종 터치 해제 좌표(X2, Y2) 및 터치 해제 시간(T2)을 저장할 수 있다.
일 실시예에 따른 프로세서는, 최초 터치 시간(T1) 및 터치 해제 시간(T2)를 기반으로 터치 지속 시간을 측정 및 확인할 수 있다.
예를 들어, 프로세서는 최초 터치 시간을 "0"으로 저장 한 후, 터치가 유지되는 동안 즉, 터치 신호가 지속적으로 수신되는 동안 이를 카운팅할 수 있으며, 터치 신호가 수신되지 않은 시점에서의 카운팅된 시간을 확인하여 터치 지속 시간을 측정할 수 있다.
다른 예를 들어, 프로세서는 최초의 터치 시점의 전자 장치의 현재 시간과, 최종 터치 해제 시점의 전자 장치의 현재 시간의 차이를 계산하여 터치 지속 시간을 측정할 수도 있다.
550 동작에서, 프로세서는 터치 지속 시간을 기반으로 객체 인식 영역(A1)을 결정할 수 있다.
일 실시예에 따르면, 프로세서는, 최초 터치 좌표를 중심점으로 기 설정된 기준 크기로 최초 객체 인식 영역(A)을 결정할 수 있다. 객체 인식 영역은 화면에 실행중인 앱의 종류, 화면에 표시된 객체의 형태, 전자 장치의 움직임 상태, 전자 장치의 종류, 또는 표시 패널의 크기 중 적어도 하나의 조건을 기반으로 다양한 형태로 설정될 수 있다. 객체 인식 영역은 최초 터치 좌표를 중심으로 사각형, 원형, 직사각형, 정사각형, 또는 타원형 중 적어도 하나일 수 있으며, 꼭 이에 한정하는 것은 아니다.
일 실시예에 따르면, 프로세서는, 최초 터치 좌표를 중심점으로 기준 크기를 갖도록 최초 객체 인식 영역(A)을 설정하고, 터치 지속 시간에 비례하여 최초 객체 인식 영역의 크기가 기준 크기에서 작아지도록 조정할 수 있다. 여기서, 객체 인식 영역의 기준 크기는 터치된 위치와 연관된 객체의 크기 및 형태에 따라 변경될 수 있다.
객체 인식 영역의 감소 비율은 설정에 따라 달라질 수 있으며, 앱 종류, 객체의 형태, 또는 전자 장치의 움직임 상태에 따라 상이하게 설정될 수 있다.
최초 객체 인식 영역은 객체의 표시 범위보다 상대적으로 큰 크기로 설정될 수 있으며, 터치 지속 시간이 경과됨에 따라 작은 크기로 감소될 수 있다.
일 예를 들면, 프로세서는 최초 터치 좌표를 중심점으로 최초 객체 인식 영역(A)이 설정된 후, 터치 지속 시간이 0.5초를 경과하면, 최초 객체 인식 영역에서 0.5초에 대응하여 감소된 객체 인식 영역(A1)을 확인할 수 있다. 또는, 프로세서는 터치 지속 시간이 1.5초를 경과하면, 최초 객체 인식 영역(A)에서 1.5초에 대응하여 감소된 객체 인식 영역(A1)을 확인할 수 있다. 이 경우, 1.5초에 대응하여 감소된 최초 객체 인식 영역은, 1초에 대응하여 감소된 객체 인식 영역보다 작은 크기의 객체 인식 영역일 수 있다.
일 예에서, 프로세서는 객체 인식 영역을 표시 패널에 표시하지 않도록 제어하는 것이 바람직하나, 사용자에게 알림하기 위해 표시 패널에 터치된 지점을 기반으로 객체 인식 영역을 표시하도록 제어할 수 도 있다. 예컨대, 사용자 편의를 위하여 프로세서는, 터치 좌표의 위치를 나타내는 지시자(indicator), 객체 인식 영역를 나타내는 지시자 또는 정보를 화면 상에 표현하도록 제어할 수도 있다.
560 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있는지를 판단할 수 있다. 예컨대, 프로세서는 표시 패널에 표시된 화면 정보를 확인하여 화면에 표시된 객체의 위치, 객체의 표시 범위를 확인할 수 있다.
570 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있다고 판단되면, 터치 신호를 객체를 선택하는 터치 입력으로 판단(또는 인식)할 수 있다. 프로세서는 터치 해제에 응답하여, 객체의 선택 입력에 응답하여 대응하는 기능을 실행하고, 이를 디스플레이에 표시하도록 제어할 수 있다.
565 동작 에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위를 벗어난 경우, 터치 해제 좌표가 결정된 객체 인식 영역(A1) 내에 포함되어 있는지를 판단할 수 있다. 프로세서는 터치 해제 좌표가 객체의 표시 범위를 벗어났으나, 객체 인식 영역(A1) 범위 내에 포함되어 있는 경우, 570 동작으로 진입하여 터치 해제 좌표가 객체의 표시 범위를 벗어났음에도 불구하고, 객체를 선택하는 터치 입력으로 판단할 수 있다.
580 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위 범위를 벗어나고, 결정된 객체 인식 영역(A1)을 벗어난 경우, 터치 신호에 대해 터치 입력이 취소된 것으로 판단할 수 있다.
일 실시예에 따르면, 프로세서는, 터치 신호에 대해 터치 입력이 취소된 것으로 인식하여 디스플레이 상에 아이콘이 선택됐음을 나타내는 정보를 표시하지 않을 수 있다. 예를 들어, 프로세서는 터치에 의해 객체가 선택된 경우, 객체를 플로팅 상태로 표현하도록 제어하다가, 터치 입력이 취소된 것으로 판단되면 객체의 표시를 기본 표시 상태로 복귀하도록 제어할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치의 객체 인식 영역을 결정하는 방법을 설명하는 도면이다.
도 6를 참조하면, 일 실시예에 따른 전자 장치의 프로세서는, 610 동작 에서, 터치 입력을 감지(또는 수신)할 수 있다. 여기서, 프로세서는 도 1 또는 도 2의 프로세서일 수 있다. 프로세서는 터치스크린으로부터 전달된 터치 신호에 포함된 터치 좌표를 통해 화면에 표시된 객체가 선택됐음을 판단할 수 있다.
일 실시예에서, 상기 프로세서는 객체가 선택됐다고 판단되면, 객체가 선택됐음을 알림하는 정보를 디스플레이에 표시할 수 있다. 예를 들어, 프로세서는 객체를 하이라이트 표시하거나, 객체를 플로팅 상태로 표현하도록 제어할 수 있다.
620 동작에서, 프로세서는 터치 신호에 반응하여 터치 신호가 최초로 발생된 위치의 최초 터치 좌표(X1, Y1) 및 최초 터치 시간(T1)을 저장할 수 있다.
630 동작에서, 프로세서는 터치 좌표(X1, Y1)를 중심점으로 객체 인식 영역(A)을 기준 크기를 갖는 제1 크기로 결정할 수 있다. 여기서, 객체 인식 영역(A)은, 객체를 선택하기 위한 터치 범위와 별도로 터치 시점을 기준으로 생성되는 영역이며, 사용자의 편의를 위하여 객체 인식 영역을 나타내는 정보를 디스플레이 상에 표시될 수 있으나, 표시되지 않는 것이 바람직할 수 있다.
640 동작에서, 프로세서는 터치 신호가 수신되는 동안, 결정된 객체 인식 영역(A)의 크기를 터치 지속 시간을 기반으로 조정한다. 예컨대, 프로세서는 터치 지속 시간이 증가됨에 따라 점차적으로 객체 인식 영역의 제1 크기가 감소하여 제2 크기를 갖도록 조정할 수 있다. 일 예에 따르면, 프로세서는, 터치 좌표를 중심점으로 공유하면서 객체 인식 영역이 감소되도록 조정[예, A의 크기를 A1의 크기로 조정]할 수 있다. 예컨대, 프로세서는, 객체 인식 영역의 정보 및 감소 비율을 데이터화하여 임시적으로 저장할 수 있으며, 터치 신호에 포함된 터치 좌표가 변경되더라도 최초 터치 지점을 기준으로 결정된 제1 객체 인식 영역의 크기가 줄어들도록 제어할 수 있다.
일 실시예에서, 프로세서는 터치 신호가 수신된 시점부터 시간을 카운팅할 수 있으며 시간이 카운팅될 때마다 제1 객체 인식 영역(A)을 일정 크기만큼씩 감소시키거나, 일정 시간 간격(예: 100ms)마다 제1 객체 인식 영역(A)을 일정 크기만큼 씩 감소시켜 제2 객체 인식 영역(A1)의 크기로 조정되도록 제어할 수 있다.
650 동작에서, 프로세서는, 터치 신호가 수신되지 않는 경우, 터치 해제 됐음을 감지하고, 마지막으로 수신된 터치 신호의 터치 좌표를 확인하여 터치 해제 좌표(X2, Y2) 를 저장할 수 있다.
660 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있는지를 판단할 수 있다. 예컨대, 프로세서는 표시 패널에 표시된 화면 정보를 확인하여 화면에 표시된 객체의 위치, 객체의 표시 범위를 확인할 수 있다.
670 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있다고 판단되면, 터치 신호를 객체를 선택하는 터치 입력으로 판단(또는 인식)할 수 있다. 프로세서는 터치 해제에 응답하여, 객체의 선택 입력에 응답하여 대응하는 기능을 실행하고, 이를 디스플레이에 표시하도록 제어할 수 있다.
665 동작 에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위를 벗어난 경우, 조정된 객체 인식 영역[A1] 내에 포함되어 있는지를 판단할 수 있다. 프로세서는 터치 해제 좌표가 객체의 표시 범위를 벗어났으나, 객체 인식 영역 [A1] 내에 포함되어 있는 경우, 670 동작으로 진입하여 터치 해제 좌표가 객체의 표시 범위를 벗어났음에도 불구하고, 객체를 선택하는 터치 입력으로 판단할 수 있다.
680 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위 범위를 벗어나고, 조정된 객체 인식 영역[A1]을 벗어난 경우, 터치 신호에 대해 터치 입력이 취소된 것으로 판단할 수 있다. 일 실시예에 따르면, 프로세서는, 터치 신호에 대해 터치 입력이 취소된 것으로 인식하여 디스플레이 상에 아이콘이 선택됐음을 나타내는 정보를 표시하지 않을 수 있다. 예를 들어, 프로세서는 터치에 의해 객체가 선택된 경우, 객체를 플로팅 상태로 표현하도록 제어하다가, 터치 입력이 취소된 것으로 판단되면 객체의 표시를 기본 상태로 복귀하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 상술한 실시 예에 따른 터치 입력 인식 방법을 지원할 수 있으며, 이하, 화면 예시도를 통해 사용자 인터렉션에 객체 인식 영역을 설명하기로 한다.
이하, 설명의 편의를 위하여, 도면에서는 터치 좌표의 위치를 나타내는 지시자, 객체 인식 영역을 나타내는 지시자가 화면에 표시된 도면으로 설명하기로 한다. 이는 설명을 위해 도면에 가시적으로 표시된 것일 뿐, 전자 장치의 표시 패널에는 객체 인식 영역을 표현하는 지시자 또는 형태가 표시되지 않는 것이 바람직하다. 그러나, 객체 인식 영역을 나타내는 지시자는 설정에 따라 화면에 표시될 수도 있다.
도 7a 및 도 7b은 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 7a 및 도 7b를 참조하면, 일 실시예에 따른 전자 장치는, 프로세서는 디스플레이를 제어하여, 적어도 하나의 객체가 포함된 제1 화면(710)을 표시 할 수 있다. 도 710 에서, 적어도 하나의 객체는 앱 아이콘이 될 수 있으나, 이에 한정하는 것은 아니다. 일 예에서, 710 화면은 홈 화면일 수 있으며, 적어도 하나의 앱 실행 아이콘(720) 및 위젯 항목(721)을 포함할 수 있다.
사용자는 제1 화면에서 어느 하나의 객체를 선택하기 위해 객체가 표시된 위치에서 터치 및 터치 해제(또는 탭) 할 수 있다. 프로세서는 터치스크린으로부터 사용자의 터치에 대응하여 발생된 터치 신호를 수신할 수 있다. 터치 신호는 터치 패널 위에서 터치 기구(예: 사용자의 손가락 또는 터치 펜)의 접촉 또는 호버링에 대응하여 발생될 수 있으며, 터치 좌표 정보를 포함할 수 있다.
프로세서는 수신된 터치 신호에 반응하여 최초 터치 좌표(730) 위치를 확인하고, 최초 터치 좌표(730)를 중심적으로 최초 객체 인식 영역(740)를 결정할 수 있다. 사용자의 터치 영역을 확대해 보면, 사용자가 앱 실행을 위해 아이콘을 터치한 경우, 프로세서는 터치된 위치를 나타내는 최초 터치 좌표(730)를 확인할 수 있다. 프로세서는 최초 터치 좌표(730)를 기준으로 제1 반경을 갖는 제1 객체 인식 영역(740)을 생성할 수 있다.
프로세서는 터치스크린으로부터 터치 신호를 지속적으로 수신하다가 더 이상 터치 신호가 수신되지 않는 경우, 터치 해제 됐다고 결정하고, 터치 해제 좌표(도 7b의 735) 또는 마지막으로 수신된 터치 신호의 최종 터치 좌표를 확인할 수 있다. 예컨대, 터치 해제 좌표(735)는 터치스크린으로부터 수신된 터치 신호들 중 마지막에 저장된 터치 좌표일 수 있다. 또한, 최초 터치 좌표(730) 및 터치 해제 좌표(735)는 동일한 위치인 것으로 판단될 수 있으나, 전자 장치의 움직임 등에 의해 서로 다른 위치로 판단될 수 있다.
프로세서는, 터치 신호가 지속적으로 수신됐던 터치 지속시간을 확인하고, 7b에 도시된 바와 같이, 터치 지속 시간이 경과됨에 따라 크기가 감소된 제2 객체 인식 영역(745)을 결정할 수 있다. 프로세서는 최초 터치 좌표(730)에서 입력이 수행되는 시점에 저장된 시간(T1)과 최종 터치 해제 좌표(735)에서 입력 해제가 수행되는 시점에 저장된 시간(T2)를 기반으로 최초로 생성된 제1 객체 인식 영역(740)을 제2 객체 인식 영역(745)으로 감소되도록 제어할 수 있다. 제2 객체 인식 영역(745)을 보면, 도 7a의 제1 객체 인식 영역보다 감소된 크기임을 확인할 수 있다. 여기서, 제2 객체 인식 영역(745)은, 최초 터치 좌표(730)를 중심점으로 설정된 제1 객체 인식 영역(740)의 크기 보다 줄어든 크기이며, 제1 객체 인식 영역(745)의 중심점과 동일할 수 있다.
프로세서는, 터치 해제 좌표(735)가 앱 아이콘(720)의 표시 영역에 존재하거나, 제2 객체 인식 영역(745) 내에 존재하는 경우, 선택된 아이콘을 선택하는 선택입력으로 판단하여 해당 아이콘에 대응하는 앱을 실행할 수 있다.
반면에, 프로세서는, 터치 해제 좌표(735)의 위치가 선택된 객체(720)의 표시 영역을 벗어나거나, 제2 객체 인식 영역(745)을 벗어난 경우, 앱을 선택하는 터치 입력이 취소된 것으로 판단하고, 터치 입력에 대응하는 기능을 실행하지 않을 수 있다.
도 8a 및 8b 는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 8a 및 8b를 참조하면, 본 발명의 일 실시예에 따르면, 전자 장치는 터치 지속 시간에 반응하여 객체 인식 영역이 변경되도록 제어할 수 있다. 이로 인해, 전자 장치는 터치 해제 좌표가 객체의 표시 범위를 벗어나더라도 객체를 선택하는 터치 입력으로 인식하거나, 터치 입력이 취소된 것으로 인식할 수 있다.
전자 장치의 프로세서는 터치스크린에 적어도 하나의 객체 예를 들면 기능 실행 키(810)를 표시할 수 있다. 실행 키(810)는 화면에 표시된 하나의 버튼 키일 수 있다. 사용자는 버튼 선택을 위해, 버튼 위에 터치 및 터치 해제할 수 있다. 프로세서는 제1 위치에서 터치 좌표(820)를 인식하고, 제2 위치에서 터치 해제 좌표(825)를 인식할 수 있다.
일 실시예에 따르면, 사용자의 의도에 반하여, 전자 장치의 움직임, 터치스크린의 구현 상의 문제로 인하여, 터치좌표와 터치 해제 좌표가 상이하게 인식될 수 있다. 이 경우, 터치 시간과 터치 해제 시간 즉, 터치 지속 시간이 짧아 도 8a에 도시된 바와 같이, 객체 인식 영역(830)은 기능 실행 키(810)가 표시된 표시 범위보다 더 큰 범위로 설정된 상태일 수 있다.
일 예에서, 프로세서는, 도 8a에 도시된 바와 같이, 터치가 해제된 제2 위치(825)가 버튼 키의 표시 범위를 벗어난 위치이나, 설정된 객체 인식 영역(830) 내에 존재하므로, 터치 해제에 응답하여 버튼 키를 선택하는 선택 입력으로 결정하고, 이에 대응하는 기능을 실행할 수 있다.
반면에, 도 8b는 터치 지속 시간에 대응하여 객체 인식 영역이 줄어든 예를 나타낸다. 다른 예에서, 프로세서는, 터치가 유지되는 터치 지속 시간에 대응하여 터치 시점에 설정된 객체 인식 영역이 감소되도록 제어할 수 있다. 도 8b의 객체 인식 영역(831)은 터치 지속 시간이 도 8a에서의 터치 지속 시간보다 긴 경우에 설정된 영역에 해당될 수 있다.
사용자의 터치가 유지되는 동안, 프로세서는 터치 시점에 설정된 객체 인식 영역(830)의 크기가 감소되도록 설정하고, 터치 지속 시간 동안 객체 인식 영역의 크기를 감소시켜 터치 해제 시점에 대응하는 영역은 831의 크기로 설정할 수 있다.
이 경우, 프로세서는 제1 위치에서 터치좌표(820)를 인식하고, 제2 위치에서 터치 해제 좌표(825)를 인식할 수 있다. 프로세서는, 제2 위치의 터치 해제 좌표(825)가 기능실행 키(810)의 표시 범위를 벗어났으며, 제1 위치를 중심점으로 설정된 객체 인식 영역(831)의 범위 역시 벗어났으므로, 터치 입력이 취소된 것으로 결정할 수 있다. 이에 프로세서는, 터치 입력이 취소된 것으로 결정됐으므로, 터치 및 터치 해제에 응답하여 기능을 실행하지 않을 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다. 도 10a 및 도 10b는, 본 발명의 다양한 실시예에 따른 객체 인식 영역의 변경을 나타내는 그래프들이다.
도 9를 참조하면, 다양한 실시예에 따른 전자 장치는 다양한 방식을 이용하여 객체 인식 영역을 생성하고, 생성된 객체 인식 영역을 조절하도록 지원할 수 있다.
일 예를 들면, 전자 장치는 일정 시간 간격으로 객체 인식 영역의 크기가 일정 크기만큼씩 감소되도록 설정될 수 있다. 910을 참조하면, 최초 터치 좌표(920)가 저장된 시점 예컨대, 터치 후 0m일 경우, 프로세서는, 객체(910)를 선택하는 터치신호가 수신되면, 최초 터치 좌표(920)를 중심점으로 제1 크기로 제1 객체 인식 영역(920)을 설정할 수 있다.
다음에, 터치가 제1 시간 예컨대, 터치 후 250ms 가 경과된 경우, 프로세서는, 최초 터치 좌표를 중심점으로 제1 객체 인식 영역(930)이 제2 객체 인식 영역(931)의 크기로 감소되도록 설정할 수 있다.
다음에 터치가 제2 시간 예컨대, 터치 후 450ms가 경과된 경우, 프로세서는 최초 터치 좌표를 중심점으로 제2 객체 인식 영역(931)을 제3 객체 인식 영역(932)의 크기로 감소되도록 설정할 수 있다.
일 예를 들어, 객체 인식 영역은 시간이 경과됨에 따라 크기가 반비례하도록 다음과 같은 방정식을 통해 설정될 수 있다. 여기서, Ad는 시간에 대응하여 감소되는 객체 인식 영역이고, A1은 터치 시점에 설정된 최초의 객체 인식 영역, Td는 터치 시작 시점과, 터치 해제 시점의 차이 즉, 터치 지속 시간을 의미하며, Te는 객체 인식 영역을 유지하는 시간을 의미할 수 있다.
Figure 112016075634567-pat00001
다른 실시예에 따르면, 프로세서는 객체 인식 영역이 시간의 흐름에 따라 도 10a의 그래프 형태 또는 도 10b의 그래프 형태로 감소되도록 설정될 수도 있다. 예컨대, 도 10a의 도면을 살펴보면, 최초 객체 인식 반경이 150픽셀일 경우, 시간이 증가됨에 따라 객체 인식 반경이 감소하여, 터치 지속 시간이 500 ms 이 경과된 시점은 객체 인식 반경이 0로 감소된 것을 확인할 수 있다. 여기서, 프로세서는 터치 인식 반경이 0으로 감소됐다고 확인되면, 객체 인식 영역은 객체의 표시 범위로 한정되거나, 또는 터치 입력의 취소로 인식할 수 있다.
도 10b의 도면을 살펴보면, 최초 객체 인식 반경이 150 픽셀일 경우 시간이 증가됨에 따라 객체 인식 반경을 감소하고, 250 ms 시간이 경과된 시점에 객체 인식 반경을 대략 70 픽셀로 감소하고 250 ms 이 경과된 시점부터는 객체 인식 반경을 70 픽셀을 유지되는 것을 확인할 수 있다. 여기서, 10 a 및 도 10b의 그래프 형태는 설명을 위해 도시된 형태일 뿐, 이에 한정되는 것은 아니며, 전자 장치의 움직임 상태, 전경 화면의 실행 앱, 객체의 크기, 종류 등에 의해 그래프의 형태는 상이할 수 있다.
일 실시예에 따르면, 전자 장치는 객체의 크기나 형태에 대응하여 객체 인식 영역을 상이하게 생성할 수 있다. 예를 들어, 객체 인식 영역은 최초 터치 좌표를 중심점으로 하는 원형, 타원형, 직사각형, 정사각형 등 다양한 형태로 설정될 수 있다.
도 11a 및 도 11b는 본 발명의 다양한 실시예에 따른 객체 인식 동작을 나타내는 예시도이다.
도 11a 및 도 11b를 참조하면, 다양한 실시예에 따르면, 전자 장치는 객체 인식 영역을 기반으로 시간에 따라 터치 입력이 취소되는 위치를 상이하게 설정하도록 지원할 수 있다. 예를 들어, 사용자는 터치 스크린에 특정 기능을 실행하기 위해 터치를 하였으나, 해당 터치 동작이 취소되기를 원할 수 있다. 전자 장치는 터치 신호를 기반으로 다양한 사용자의 터치 제스처 동작과, 터치 제스처의 취소 동작을 구분하는 기능을 지원할 수 있다
일 예를 들어, 전자 장치 예컨대, 표시부의 크기가 제한적인 웨어러블 장치의 경우, 터치 패널 전체를 하나의 터치 영역으로 설정하며, 이러한 전자 장치는, 사용자의 터치가 터치 패널 외부 즉 전자 장치의 밖으로 터치 도구(예: 사용자의 손가락 또는 펜)를 이동됐다고 판단 한 경우, 터치 입력의 취소로 결정한다. 이 경우, 사용자는 터치 동작을 취소하기 위해 터치 패널 외부 즉 전자 장치의 밖으로 터치 도구(예: 사용자의 손가락 또는 펜)를 이동해야 하는 불편함이 존재 할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 터치 입력 취소로 판단하기 위한 조건으로 객체 인식 영역을 설정할 수 있다. 예를 들어, 프로세서는, 최초로 터치된 위치를 기반으로 생성된 객체 인식 영역을 벗어난 위치에서 터치 해제가 발생된 경우, 터치 입력 취소로 판단하고, 객체 인식 영역 내에 포함된 위치에서 터치 해제가 발생된 경우, 터치 입력으로 판단하여 이에 해당되는 기능을 실행할 수 있다.
도 11 a를 참조하면, 웨어러블 장치의 프로세서는, 디스플레이에 다양한 화면을 표시할 수 있다. 여기서, 화면(1110)은 적어도 하나의 아이콘(1120,1121)을 포함하는 화면이 표시되어 있으나, 웨어러블 장치에 따라 시간만을 나타내는 화면, 사용자의 건강 정보만을 나타내는 화면 등을 표시할 수 있다.
사용자가 웨어러블 장치를 제어하기 위해 디스플레이의 제1 위치(1130)에 터치할 수 있다. 이후, 프로세서는, 사용자가 제1 위치(1130)에서 터치했음을 감지하고, 제1 위치(1130)를 기반으로 객체 인식 영역(1140)을 생성할 수 있다. 여기서, 화살표, 1130 및 1140의 지시자는 설명의 편의를 위하여 도면 상에 표현되어 있으나, 이는 설명을 위해 도시한 것일뿐, 디스플레이 상에 가시적으로 표현하지 않는 것이 바람직 할 수 있다.
이후, 사용자는 터치 해제 할 수 있다. 프로세서는, 도 11a의 객체 인식 영역(1130) 내에 포함된 제2 위치(1135)에서 터치 해제가 발생되었으므로 터치 신호를 터치 입력으로 판단하고, 이에 해당되는 기능을 실행할 수 있다.
도 11b를 참조하면, 사용자가 웨어러블 장치에서 제1 위치(1130)에서 터치 한 후, 제1 시간이 경과된 경우, 객체 인식 영역은 (1141)의 크기와 같이 감소될 수 있다. 사용자는 터치 입력 취소를 위해 제 1 객체(1120)의 영역이 아닌 위치(예를 들어, 제 2 객체의 영역(1121)로 터치를 이동시킬 수 있다. 이 경우, 프로세서는 객체 인식 영역의 크기가 감소되었으므로, 제2 위치(1135)에서 터치 해제가 검출되는 경우 터치입력이 취소된 것으로 인식할 수 있다. 사용자는 웨어러블 장치에서 전체 터치 패널 외부로 터치를 이동시키지 않고, 작은 거리를 이동하더라도 사용자의 편의에 따라 터치 입력을 취소할 수 있다.
다양한 실시예에 따르면, 터치 패널을 하나의 터치 범위로 인식되도록 설정된 터치스크린을 구비하는 전자 장치는, 상기 터치 패널에 대한 터치가 검출되면, 상기 하나의 터치 범위와는 별도로 터치된 제1 위치를 중심으로 객체 인식 영역이 설정되고, 상기 터치가 설정된 객체 인식 영역을 벗어난 위치로 이동될 경우, 상기 터치를 취소 입력으로 인식될 수 있다. 이 때, 상기 터치를 취소 입력으로 인식하기 위한 위치 정보는 객체 인식 영역이 터치 지속 기간을 기반으로 조정됨에 따라 변경될 수 있다.
다양한 실시예에 따르면, 전자 장치의 터치스크린 디스플레이 또는, 터치 패널은, 화면이 표시되는 활성(active) 영역, 및 상기 활성 영역 주변의 비활성(inactive) 영역을 포함할 수 있다. 전자 장치는, 터치된 제1 위치를 중심으로 활성 영역 내에 터치 인식 영역을 설정하고, 터치가 해제된 제2 위치가 활성 영역 내에 생성된 터치 인식 영역 내에 존재하지를 판단하여 터치 입력으로 인식하거나, 터치 취소 입력으로 인식할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법을 설명하는 도면이다. 도 13은 본 발명의 다양한 실시예에 따른 전자 장치의 객체 인식 영역의 보정 동작을 나타내는 예시도이다.
도 12 및 도 13을 참조하면, 일 실시예에 따른 전자 장치의 프로세서는, 1210 동작 에서, 터치 스크린으로부터 감지된 터치 신호를 검출(수신)할 수 있다. 터치 스크린은 적어도 하나의 객체(예: 아이콘, 앱, 실행 키, 또는 리스트 항목 등)를 포함하는 화면이 표시된 상태일 수 있다.
1220 동작 에서, 프로세서는 터치 신호에 반응하여 터치 신호가 최초로 발생한 위치의 최초 터치 좌표(X1, Y1) 및 최초의 터치 시간(T1)을 확인하여 저장한다.
1230 동작에서, 프로세서는, 터치 신호의 수신 여부를 통해 터치 해제 이벤트가 검출되는지를 판단한다. 프로세서는, 터치스크린으로부터 터치 신호가 수신되지 않을 경우 터치 해제된 것으로 결정할 수 있다.
한편, 프로세서는, 1235 동작 에서, 터치 해제가 발생되지 않고, 터치가 롱 프레스 입력에 대응하여 설정된 시간 동안 유지되는 경우, 터치 신호를 롱 프레스 입력으로 판단할 수 있다. 1237 동작 에서 프로세서는 롱 프레스 입력에 대응하는 기능을 실행할 수 있다.
1240 동작에서, 프로세서는 터치 해제로 결정된 경우, 마지막으로 수신된 터치 신호의 터치 좌표를 확인하여 최종 터치 해제 좌표(X2, Y2) 및 터치 해제 시간(T2)을 저장한다.
1250 동작에서, 프로세서는 터치 지속 시간을 기반으로 객체 인식 영역(A1)을 결정(또는 생성) 한다. 프로세서는, 최초 터치 시간(T1) 및 터치 해제 시간(T2)를 기반으로 터치 지속 시간을 측정 및 확인할 수 있다.
1260 동작 에서, 프로세서는, 전자 장치의 움직임 및 화면 정보 중 적어도 하나를 기반으로 객체 인식 영역의 크기를 보정할 수 있다.
일 예에서, 1260 동작은 도 14의 동작과 동일한 방법으로 객체 인식 영역의 크기를 보정할 수 있다. 예컨대, 프로세서는 1차적으로 터치 지속 시간이 경과됨에 따라 기준 크기에서 점점 줄어든 객체 인식 영역(A1)을 결정하고, 2차적으로, 화면에 실행된 앱 종류, 화면에 표시된 객체의 형태, 크기, 또는 전자 장치의 움직임 상태 중 적어도 하나의 조건을 기반으로 결정된 객체 인식 영역(A1)의 크기를 다시 확대시키거나 축소되도록 보정(A2)할 수 있다. 전자 장치는 전자 장치의 상태에 따라 객체 인식 영역의 확대 또는 축소되도록 보정값이 설정될 수 있다.
도 13에 도시된 바와 같이, 일 실시 예에 따른, 프로세서는 최초 터치된 위치를 기반으로 객체 인식 영역을 생성할 수 있다. 도 13의 1330은 객체 인식 영역을 나타낸 것이며, 1340은 전자 장치의 움직임 및 화면 정보를 기반으로 객체 인식 영역이 보정된 영역을 나타낸 것이다.
여기서, 1330의 객체 인식 영역은 터치 지속 시간에 대응하여 최초 객체 인식 영역(A)에서 조정된 크기의 영역(A1)일 수 있으며, 1340은 터치 지속 시간에 대응하여 조정된 크기의 객체 인식 영역(A1)에 대해 전자 장치의 움직임 또는 화면 정보를 기반으로 크기가 확대되거나 축소되도록 보정된 영역(A2)일 수 있다.
다양한 실시예에 따르면, 전자 장치의 프로세서는, 센서부 예를 들어, 진동센서, 가속도 센서, 자이로 센서, 이미지 센서, 지자기 센서, 기압 센서, 생체 센서 등과 같이 전자 장치에 구비된 센서들로부터 센서값을 획득하고, 센서값을 기반으로 전자 장치가 정적 상태인지 또는 동적 상태인지를 판단할 수 있다. 여기서, 정적 상태는 전자 장치의 움직임이 없는 상태 또는 임계치 이내의 움직임이 발생된 상태이고, 동적 상태는 전자 장치의 움직임이 임계치 보다 큰 상태(예, 사용자가 전자 장치를 소지한 채로 뛰거나 걷는 경우) 일 수 있다.
전자 장치가 정적 상태인 경우, 터치 위치에 대한 오류 확률이 적으므로, 객체 인식 영역이 축소되도록 보정값이 설정될 수 있으며, 전자 장치가 동적 상태인 경우, 터치 위치에 대한 오류 확률이 상대적으로 크므로, 객체 인식 영역이 증가되도록 보정값이 설정될 수 있다.
다른 예를 들어, 전자 장치는 현재 화면에 실행 중인 앱을 판단하고, 실행 중인 앱이 운동량을 측정하는 앱과 같이 동적 상태가 요구되는 종류일 경우, 객체 인식 영역이 증가되도록 보정값이 설정될 수 있다.
다른 예를 들어, 전자 장치는 터치가 발생된 위치의 객체의 크기가 기 설정된 기준값보다 작은 경우, 객체 인식 영역이 증가되도록 보정값이 설정될 수 있다.
다른 예를 들어, 프로세서는 디폴트된 객체 인식 영역의 형태가 원형일 경우, 터치가 발생된 위치의 객체 형태를 판단하고 객체 형태가 직사각형 또는 정사각형 형태일 경우, 객체 형태에 따라 객체 인식 영역의 형태를 직사각형 또는 정사각형 형태로 보정할 수 있다.
1270 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있는지를 판단한다. 예컨대, 프로세서는 표시 패널에 표시된 전경 화면 정보를 확인하여 화면에 표시된 객체의 위치, 객체의 표시 범위를 확인할 수 있다.
1275 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위를 벗어난 경우, 보정된 객체 인식 영역(A2) 내에 포함되어 있는지를 판단하고, 프로세서는 터치 해제 좌표가 객체 인식 영역 범위 내에 포함되어 있는 경우, 1280 동작으로 진입하여 객체를 선택하는 터치 입력으로 인식할 수 있다.
1280 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있다고 판단되면, 터치 및 터치 해제에 의해 객체를 선택하는 터치 입력으로 인식한다. 이에 응답하여, 프로세서는 객체의 선택 입력에 대응하는 기능을 실행하고, 이를 표시 패널에 표시하도록 제어할 수 있다.
1290 동작에서, 프로세서는 터치 해제 좌표가 객체의 표시 범위 범위를 벗어나고, 보정된 객체 인식 영역(A2)을 벗어난 경우, 터치 신호에 응답하는 터치 입력을 취소된 것으로 인식할 수 있다.
도 14는 본 발명의 다양한 실시예에 따른 터치 인식 동작을 나타내는 예시도이다.
도 14를 참조하면, 전자 장치의 프로세서는 1410 동작에서, 터치를 감지할 수 있다. 여기서, 도 14의 프로세서 동작은 도 6 또는 도 12의 프로세서 동작과 병렬적으로 동작하거나, 또는 동작의 일부에 포함될 수 있다.
1420 동작에서, 프로세서는, 화면 정보 및 전자 장치의 움직임 정보 중 적어도 하나를 확인(또는 획득)할 수 있다. 1430 동작에서, 프로세서는 전자 장치가 동적 상태인지 여부를 결정하고, 1440 동작에서 전자 장치가 동적 상태로 판단되면 객체 인식 영역의 기 설정된 기준 크기보다 큰 크기를 갖도록 설정할 수 있다. 1450 동작에서 프로세서는, 전자 장치가 동적 상태가 아닌 것으로 판단되면, 객체 인식 영역을 기 설정된 기준 크기로 유지하거나 또는 기준 크기보다 작은 크기를 갖도록 설정할 수 있다.
다양한 실시예에 따른 전자 장치의 터치 입력 인식 방법에 있어서, 터치스크린 디스플레이 상에 표시된 객체를 선택하는 터치 입력을 수신하는 동작과, 상기 수신된 터치 신호에 대응하는 터치스크린 디스플레이 상의 제1 위치를 확인하는 동작과, 적어도 하나의 조건에 기초하여, 상기 확인된 제1 위치와 연관된 영역을 설정하는 동작과, 상기 터치 입력이 해제된 경우, 터치 입력이 해제된 제2 위치를 확인하는 동작과, 상기 확인된 제2 위치가 상기 설정된 영역 내인지 여부를 판단하는 동작과, 그리고 상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하는 동작을 포함할 수 있다.
상기 적어도 하나의 기능을 실행할지 여부를 결정하는 동작은, 상기 제1 위치가 상기 터치스크린 디스플레이 상에 표시된 객체의 표시 범위 내에 포함되고, 상기 제2 위치가 객체의 표시 범위 내에 포함되거나, 상기 설정된 영역 내에 포함된 경우, 객체 선택에 대응하는 적어도 하나의 기능을 실행하는 동작과, 상기 제2 위치가 객체의 표시 범위 또는 상기 설정된 영역을 벗어난 경우 상기 객체를 선택하는 터치 입력을 취소 입력으로 인식하는 동작을 더 포함할 수 있다.
상기 제1 위치를 확인하는 동작은, 상기 제1 위치가 상기 터치스크린 디스플레이에 표시된 객체의 표시 범위에 포함된 경우, 상기 객체가 선택됐다고 인지하고, 객체가 선택됐음을 알림하는 정보를 상기 터치스크린 디스플레이에 표시하는 동작을 더 포함하고, 상기 객체를 선택하는 터치를 취소 입력으로 인식하는 경우, 상기 객체가 선택됐음을 알림하는 정보의 표시를 취소하는 동작을 더 포함할 수 있다.
상기 제1 위치의 터치 좌표 및 제2 위치의 터치 좌표를 저장하는 동작과, 상기 터치 입력을 수신한 터치 시점과, 상기 터치 해제 입력이 해제된 시점의 차이를 나타내는 터치 지속 시간을 측정하는 동작과, 및 상기 터치 지속 시간이 경과됨에 따라 상기 설정된 영역의 크기가 줄어들도록 조정하는 동작을 더 포함할 수 있다.
터치스크린의 화면에 실행된 앱 종류, 화면에 표시된 객체의 크기, 전자 장치의 움직임 상태 중 적어도 하나의 조건을 기반으로 상기 설정된 영역의 기준 크기를 확대하거나 축소하도록 조절하는 동작을 더 포함할 수 있다.
센서부로부터 전달된 센서값을 이용하여 전자 장치의 움직임 상태를 판단하는 동작을 더 포함하고, 상기 전자 장치가 움직이는 정도가 기 설정된 임계값 보다 큰 경우, 상기 설정된 영역을 기준 크기보다 큰 크기를 갖도록 조절할 수 있다.
상기 터치 입력을 수신하는 동작은, 상기 터치 입력에 따른 터치 압력을 측정하는 동작을 더 포함하고, 상기 터치된 제1 위치에서 감지되는 터치의 압력 정보를 기반으로 터치 압력이 기 실정된 임계값을 초과한 경우, 상기 최초로 설정되는 영역의 크기를 기준 크기보다 작은 크기로 결정하는 동작; 및 상기 터치 압력이 기 설정된 임계값 이하인 경우, 상기 최초로 설정된 영역의 크기를 기준 크기보다 큰 크기를 갖도록 결정하는 동작을 더 포함할 수 있다.
도 15은 본 발명의 일 실시예에 따른 프로세서의 구성을 나타낸 도면이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 프로세서(1510)는 인식 영역 결정 모듈(1520), 터치 입력 결정 모듈(1530), 인식 영역 보정 모듈(1540)을 포함할 수 있다. 여기서, 프로세서(1510)는 도 1, 도 2에 도시된 프로세서일 수 있다.
인식 영역 결정 모듈(1520)은 터치스크린으로부터 터치 신호가 수신되면, 터치 신호에 의해 최초 터치 좌표(X1, Y1)를 확인한다. 터치스크린으로부터 전달된 터치 신호는 터치 좌표를 포함할 수 있다.
일 예를 들어, 인식 영역 결정 모듈(1520)은 최초 터치 좌표를 중심점으로 하여 일정 형태의 객체 인식 영역을 생성 할 수 있다. 객체 인식 영역은 직사각형, 정사각형, 원형, 타원형 등 설정에 따라 다양한 형태로 설정될 수 있다. 예를 들어, 객체 인식 영역은 디폴트값으로 최초 터치 좌표를 기준으로 반경 150픽셀로 최초 인식 범위가 설정될 수 있으나, 이에 한정하는 것은 아니다. 객체 인식 영역은 전자 장치의 종류, 화면에 표시된 실행 앱의 종류, 화면 정보, 및 전자 장치의 움직임 정보 중 적어도 하나의 정보를 기반으로 기 설정된 기준값보다 작거나 크게 설정될 수 있다. 예를 들어, 전자 장치가 웨어러블 장치와 같이 제한적인 크기의 표시부를 구비하는 경우, 아이콘의 크기가 작으므로, 최초 터치 인식 범위는 기준값보다 작게 설정될 수 있다.
인식 영역 결정 모듈(1520)은 최초 터치 좌표를 기준으로 최초 객체 인식 영역을 결정하고, 터치 지속 시간이 경과됨에 따라 객체 인식 영역의 크기가 감소되도록 조정할 수 있다. 객체 인식 범위의 감소 비율은 일정 시간 간격으로 일정 크기로 감소될 수 있다. 객체 인식 영역의 감소 비율은 설정에 따라 달라질 수 있으며, 앱 종류, 객체의 형태, 전자 장치의 움직임 상태에 따라 상이하게 설정될 수 있다. 일 예를 들어, 인식 범위 결정 모듈은 100ms 간격으로 인식 범위를 일정 크기 예를 들어 20 내지 50픽셀씩 감소하도록 제어할 수 있으나, 이에 한정하는 것은 아니다. 최초의 객체 인식 영역은 객체의 표시 범위보다 상대적으로 큰 크기로 설정될 수 있으며, 터치 지속 시간이 경과됨에 따라 객체 인식 영역은 작은 크기로 감소될 수 있다. 일 실시 예에 따르면, 프로세서는 감소하는 객체 인식 영역이 객체의 표시 범위보다 작은 경우 크기 조절 동작을 수행하지 않을 수 있다.
일 실시예에 따르면, 인식 영역 결정 모듈(1520)은, 메모리에 저장된 그래프정보를 기반으로 객체인식 영역을 결정하고, 시간의 흐름에 따라 결정된 객체 인식 영역 범위의 크기를 감소시킬 수 있다.
예를 들어, 도 20a 내지 도 20e에 도시된 그래프들의 값을 이용하여 터치 지속 시간에 대한 객체 인식 영역을 결정할 수 있다. 도 20a의 그래프의 경우 다음과 같은 방정식을 통해 객체 인식 영역을 결정할 수 있다.
Figure 112016075634567-pat00002
여기서, Ad는 시간에 대응하여 감소되는 객체 인식 영역이고, A1은 터치 시점에 설정된 최초의 객체 인식 영역, Td는 터치 시작 시점과, 터치 해제 시점의 차이 즉, 터치 지속 시간을 의미하며, Te는 객체 인식 영역을 유지하는 시간을 의미한다. 이는 설명을 위해 도시한 것일 뿐이며, 20b 내지 도 20e 각각의 그래프값들에 대한 방정식을 이용해 객체 인식 영역을 결정할 수 있다. 예컨대, 도 20b는 지수함수를 나타낸 그래프이며, 도 20c는 로그함수를 나타낸 그래프이다. 도 20d는 easeinout 함수를 나타내며 도 20e는 easeoutin 함수를 나타낸다. 인식 영역 결정 모듈(1520)은 각 그래프들을 참조하여 시간값의 변화에 따라 다양한 크기의 객체 인식 영역을 결정할 수 있다. 각 그래프들에 대한 방정식은 일반적인 기술에 해당되므로 구체적인 설명은 생략하기로 한다.
터치 입력 결정 모듈(1530)는 터치스크린으로부터 최초 터치 신호가 감지된 경우, 터치 좌표를 확인하여 객체가 선택됐는지를 판단할 수 있다. 터치 입력 결정 모듈(1530)는 터치에 의해 객체가 선택된 경우, 객체가 선택됐음을 알림하는 정보를 디스플레이에 표시할 수 있다. 예를 들어, 터치 입력 결정 모듈(1530)은, 터치에 의해 객체가 선택된 경우, 객체를 플로팅(floating) 상태로 표현하도록 디스플레이를 제어할 수 있다.
터치 입력 결정 모듈(1530) 는 터치 해제 좌표가 객체의 표시 범위에 포함되어 있는지를 판단할 수 있다. 예컨대, 프로세서는 표시 패널에 표시된 화면 정보를 확인하여 화면에 표시된 객체의 위치, 객체의 표시 범위를 확인할 수 있다. 터치 입력 결정 모듈(1530)은 터치 해제 좌표가 객체의 표시 범위에 포함되어 있다고 판단되면, 터치 신호를 객체를 선택하는 터치 입력으로 판단(또는 인식)할 수 있다. 터치 입력 결정 모듈(1530)은 터치 해제에 응답하여, 객체의 선택 입력에 응답하여 대응하는 기능을 실행하고, 이를 디스플레이에 표시하도록 제어할 수 있다.
터치 입력 결정 모듈(1530)은 터치 해제 좌표가 객체의 표시 범위를 벗어난 경우, 결정된 객체 인식 영역 내에 포함되어 있는지를 판단할 수 있다. 터치 입력 결정 모듈(1530)은 터치 해제 좌표가 객체의 표시 범위를 벗어났으나, 객체 인식 영역 범위 내에 포함되어 있는 경우, 터치 해제 좌표가 객체의 표시 범위를 벗어났음에도 불구하고, 객체를 선택하는 터치 입력으로 판단할 수 있다.
터치 입력 결정 모듈(1530)은 터치 해제 좌표가 객체의 표시 범위 범위를 벗어나고, 결정된 객체 인식 영역을 벗어난 경우, 터치 신호에 대해 터치 입력이 취소된 것으로 인식할 수 있다. 터치 입력 결정 모듈(1530)은 터치 신호에 대해 터치 입력이 취소된 것으로 인식하여 디스플레이 상에 아이콘이 선택됐음을 알림하는 정보를 표시하지 않을 수 있다. 예를 들어, 터치 입력 결정 모듈(1530)은 터치에 의해 객체가 선택된 경우, 객체를 플로팅 상태로 표현하도록 제어하다가, 터치 입력이 취소된 것으로 판단되면 객체의 표시를 기본 상태로 복귀하도록 제어할 수 있다.
인식 영역 보정 모듈(1540)은, 전자 장치의 움직임 및 화면 정보 중 적어도 하나를 기반으로 객체 인식 영역을 보정할 수 있다. 예컨대 인식 영역 보정 모듈(1540)은, 화면에 실행된 앱 종류, 화면에 표시된 객체의 형태, 크기, 전자 장치의 움직임 상태 중 적어도 하나의 조건을 기반으로 객체 인식 영역을 기준크기보다 크거나 또는 작아지도록 보정할 수 있다. 전자 장치는 전자 장치의 움직임 상태에 따른 보정값이 설정될 수 있다.
인식 영역 보정 모듈(1540)은, 센서부 예를 들어, 진동센서, 가속도 센서, 자이로 센서, 이미지 센서, 지자기 센서, 기압 센서, 또는 생체 센서 등과 같이 전자 장치에 구비된 센서들로부터 센서값을 획득하고, 센서값을 기반으로 전자 장치가 정적 상태인지 또는 동적 상태인지를 판단할 수 있다.
인식 영역 보정 모듈(1540)은, 전경 화면에 실행 중인 앱을 판단하고, 실행 중인 앱이 운동량을 측정하는 앱과 같이 동적 상태가 요구되는 종류일 경우, 객체 인식 영역이 증가되도록 보정할 수 있다.
일 실시예에 따르면, 인식 영역 보정 모듈(1540)은, 터치가 발생된 위치의 객체의 크기가 기 설정된 기준값보다 작은 경우, 최초 객체 인식 영역을 기준 크기보다 큰 크기로 형성할 수 있다.
일 실시 예에 따르면, 인식 영역 보정 모듈(1540)은, 디폴트된 객체 인식 영역의 형태가 원형일 경우, 터치가 발생된 위치의 객체 형태를 판단하고 객체 형태가 직사각형 또는 정사각형 형태일 경우, 객체 형태에 따라 객체 인식 영역의 형태를 직사각형 또는 정사각형 형태로 보정할 수 있다.
일 실시예에 따르면, 인식 영역 보정 모듈(1540)은 인식 영역 결정 모듈(1520)이 결정한 객체 인식 영역을 도 21a 내지 도 21에 도시된 바와 같이, 조건 별로 보정된 값들을 이용해 객체 인식 영역을 보정할 수 있다. 도 21a 내지 도 21e에 도시된 각각의 그래프들은 easing 함수들을 나타낸 것으로, 조건 별로, 객체 인식 영역을 다양한 형태로 변경하기 위해 사용될 수 있다. 도 21a은 스케일 값이 증가할 수록 지수함수의 곡선 기울기가 증가된 형태를 도시한다. 도 21a의 그래프를 참조하면, 프로세서는 조건 별로 객체 인식 영역의 크기를 설정하고, 시간의 흐름에 따라 줄어드는 크기량을 다르게 설정할 수 있다. 도 21b는 로그함수의 그래프를 나타내며, 조건 별로 객체 인식 영역의 크기를 설정하고, 로그 함수값을 적용하여 시간의 흐름에 따라 줄어드는 크기량을 다르게 설정할 수 있다. 도 21c는 하강 시의 속도 증가/감소하는 형태를 나타낸 그래프이며, period는 하강 시간을 의미한다. 프로세서는 전자 장치에 포함된 댜앙한 센서들로부터 수집된 정보를 통해 전자 장치의 움직임을 판단할 수 있고, 전자 장치가 위에서 아래로 떨어진다고 판단하는 경우, 21c 그래프를 참조하며 객체 인식 영역의 크기를 변경할 수 있다. 이와 반대로, 21d는 상승 시의 속도 증가 / 감소하는 형태를 나타낸 그래프이며, period는 상승 시간을 의미한다. 프로세서는, 전자 장치의 움직임을 판단하여 조건에 부합하는 경우, 21d의 그래프를 참조하여 객체 인식 영역의 크기를 변경할 수 있다. 도 21e는 discrete 함수를 나타낸 것으로 프로세서는 도 21e 그래프를 참조하여 객체 인식 영역의 생성 시간을 조절할 수 있다. 예를 들어, 프로세서는 일정 시간(500ms)동안에는 객체 인식 영역을 생성하고, 일정 시간(500ms)이후에는 객체 인식 영역을 제외하고, 객체의 표시 범위 내에서 터치를 인식하는 것으로 설정할 수 있다. 도 21f는 cubic Bezier함수를 나타낸 그래프로, 프로세서는 도 21f를 참조하여 설정된 기준 크기의 객체 인식 영역을 다양한 조건 하에 상이한 크기를 갖도록 변경할 수 있다. 상술한 그래프들은 발명의 설명을 위한 예시일 뿐이며, 이에 한정하지 않는다.
일 실시예에 따르면, 전자 장치는 터치 압력을 감지할 수 있는 센서를 더 포함할 수 있다. 전자 장치의 프로세서는, 터치된 위치에서 감지되는 터치의 압력 정보를 확인하고, 기 설정된 임계값보다 터치의 압력이 클 경우, 최초 생성되는 객체 인식 영역의 크기를 기준크기보다 작은 크기로 결정하고, 터치의 압력이 임계값보다 작을 경우, 최초 생성되는 객체 인식 영역의 크기를 기준크기보다 큰 크기로 결정하는 동작을 더 포함할 수도 있다. 이하, 터치 압력을 감지할 수 있는 전자 장치의 구조에 대해 설명하기로 한다.
다양한 실시예에 따르면, 전자 장치에 있어서, 터치스크린 디스플레이와, 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서와, 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이에 대한 터치 입력을 수신하고, 상기 수신된 터치 입력의 상기 터치스크린 디스플레이 상의 제 1 위치를 확인하고, 적어도 하나의 조건에 기초하여, 상기 확인된 제 1 위치와 연관된 상기 터치스크린 디스플레이 상의 영역을 설정하고, 상기 수신된 터치 입력이 해제된 경우, 상기 터치 입력이 해제된 상기 터치스크린 디스플레이 상의 제 2 위치를 확인하고, 상기 확인된 제 2 위치가 상기 설정된 영역 내인지 여부를 판단하고, 상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하도록 하는 인스트럭션들을 저장할 수 있다.
상기 프로세서는, 상기 제1 위치의 터치 좌표 및 제2 위치의 터치 좌표를 인식하고, 상기 터치 입력을 수신한 시점과, 상기 터치 입력이 해제된 시점의 차이를 나타내는 터치 지속 시간을 확인하고, 상기 터치 지속 시간이 경과됨에 따라 상기 설정된 영역의 크기가 줄어들도록 조정할 수 있다.
상기 프로세서는, 상기 제1 위치가 상기 터치스크린 디스플레이 상에 표시된 객체의 표시 범위 내에 포함된 경우, 객체가 선택됐다고 판단하고, 객체가 선택됐음을 나타내는 정보를 디스플레이에 표시하도록 제어하고, 상기 제2 위치가 객체의 표시 범위 내에 포함되거나, 상기 설정된 영역 내에 포함된 경우, 객체 선택에 대응하는 적어도 하나의 기능을 실행하고, 상기 제2 위치가 객체의 표시 범위 또는 상기 설정된 영역을 벗어난 경우 상기 객체를 선택하는 터치를 취소 입력으로 인식하고, 상기 객체가 선택됐음을 나타내는 정보의 표시를 취소하도록 제어할 수 있다.
상기 터치스크린 디스플레이는, 화면이 표시되는 활성(active) 영역, 및 상기 활성 영역 주변의 비활성(inactive) 영역을 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 상기 제2 위치가 상기 터치스크린 디스플레이의 활성 영역 내에 생성된 상기 터치 인식 영역 내인지 여부를 판단한 것에 적어도 일부 기초하여, 상기 터치 입력을 취소하도록 제어할 수 있다.
상기 프로세서는, 상기 터치 신호가 발생되는 시점부터 터치 지속 시간을 측정하고, 상기 터치 지속 시간이 경과됨에 따라 상기 활성 영역 내에 생성된 상기 터치 인식영역의 크기를 감소하도록 제어할 수 있다.
상기 프로세서는, 상기 터치스크린 디스플레이의 화면에 실행된 앱 종류, 화면에 표시된 객체의 크기, 전자 장치의 움직임 상태 중 적어도 하나의 조건을 기반으로 상기 최초로 설정된 영역의 기준 크기를 확대하거나 축소하도록 조절할 수 있다.
상기 전자 장치의 움직임 상태를 감지하는 센서부를 더 포함하고, 상기 프로세서는, 상기 센서부로부터 전달된 센서값을 기반으로 상기 전자 장치가 움직이는 정도가 기 설정된 임계값 보다 큰 경우, 상기 설정된 영역을 기준 크기보다 큰 크기를 갖도록 제어할 수 있다.
상기 메모리는, 응용 프로그램을 동적 프로그램으로 분류하기 위한 기준정보를 포함하고, 상기 프로세서는, 상기 터치 스크린 디스플레이의 화면에 실행 중인 앱의 종류가 전자 장치의 움직임 또는 운동량과 관련된 동적 프로그램으로 분류된 경우, 상기 설정된 영역을 기준 크기보다 큰 크기를 갖도록 제어할 수 있다.
상기 프로세서는, 상기 터치스크린 디스플레이 화면에 표시된 객체의 형태를 확인하고, 상기 확인된 객체의 형태에 대응하여 상기 설정된 영역의 형태로 설정할 수 있다.
상기 프로세서는, 상기 터치 지속 시간이 일정 시간 간격으로 경과 될 때 마다 점차적으로 상기 설정된 영역의 크기를 일정 크기만큼 줄어들도록 설정할 수 있다.
상기 프로세서는, 상기 제1 위치를 중심점으로 공유하여 상기 설정된 영역의 크기가 줄어들도록 조절할 수 있다.
터치 입력에 따른 터치 압력을 감지하는 센서를 더 포함하고, 상기 프로세서는, 상기 터치된 제1 위치에서 감지되는 터치의 압력 정보를 기반으로 터치 압력이 기 실정된 임계값을 초과한 경우, 상기 최초로 설정되는 영역의 크기를 기준 크기보다 작은 크기로 결정하고, 상기 터치 압력이 기 설정된 임계값 이하인 경우, 상기 최초로 설정된 영역의 크기를 기준 크기보다 큰 크기를 갖도록 결정할 수 있다.
도 16은 일 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타낸다. 도 16에 도시된 적층 구조는 도 1에 도시된 디스플레이(110)에 적용될 수 있다. 따라서, 도 16에 도시된 구성들은 도 1의 전자 장치(101)의 전면(제1 면)과 후면(제2 면) 사이에 배치될 수 있다.
일 실시 예에 따른 디스플레이의 적층 구조에 있어서, 커버 글래스(1610)는 디스플레이 패널(1630)에 의해 생성된 빛을 투과시킬 수 있다. 커버 글래스(1610) 상에 사용자는 신체의 일부(예: 손가락)를 접촉함으로써 "터치"(전자 펜을 이용한 접촉을 포함함)을 수행할 수 있다. 커버 글래스(1610)는, 예를 들어, 강화 유리, 강화 플라스틱, 가요성(flexible) 고분자 소재 등으로 형성되어, 디스플레이 및 디스플레이가 탑재된 전자 장치를 외부 충격으로부터 보호할 수 있다. 일 실시 예에 따르면, 커버 글래스(1610)는 글래스 윈도우(glass window) 또는 커버 윈도우(cover window)로도 언급될 수 있다.
터치 센서(1620)에서는, 외부 물체(예: 사용자의 손가락 또는 전자 펜)의 접촉에 의해 다양한 물리량(예: 전압, 광량, 저항, 전하량 또는 커패시턴스 등)이 변화할 수 있다. 터치 센서(1620)는 물리량의 변화에 기반하여 디스플레이 상(예: 커버 글래스(1610)의 표면 상)의 외부 물체에 의한 터치의 적어도 하나의 위치를 검출할 수 있다. 예를 들어, 터치 센서(1620)은 정전식 터치 센서, 감압식 터치 센서, 적외선 방식 터치 센서, 저항막 방식 터치 센서 또는 피에조(piezo) 터치 센서 등을 포함할 수 있다. 일 실시 예에 따르면, 터치 센서(1620)는 구현 형태에 따라서 터치 패널 등 다양한 명칭으로 언급될 수 있다.
디스플레이 패널(1630)은 적어도 하나의 콘텐트 혹은 아이템(item)(예: 텍스트, 이미지, 비디오, 아이콘, 위젯, 또는 심볼 등)를 출력할 수 있다. 디스플레이 패널(1630)은, 예를 들어, 액정 디스플레이(LCD) 패널, 발광 다이오드(LED) 디스플레이 패널, 유기 발광 다이오드(OLED) 디스플레이 패널, 마이크로 전자기계 시스템(MEMS) 디스플레이 패널, 또는 전자 종이 디스플레이 패널을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이 패널(1630)은 터치 센서(또는 터치 패널)(1620)와 일체로 구현될 수 있다. 이 경우, 디스플레이 패널(1630)은 터치스크린 패널(TSP: touch screen panel), 혹은 터치스크린 디스플레이 패널로도 언급될 수 있다.
압력 센서(1640)는, 디스플레이(예: 커버 글래스(1610)의 표면)에 대한 외부 물체(예: 사용자의 손가락, 전자 펜)에 의한 압력(혹은, 힘)을 검출할 수 있다. 일 실시 예에 따르면, 압력 센서(1640)는 제1 전극(1641), 제2 전극(1642), 및 유전층(dielectric layer)(1643)을 포함할 수 있다. 예를 들어, 압력 센서(1640)는 터치의 압력에 의해 변화하는 제1 전극(1641) 및 제2 전극(1642) 사이의 정전 용량에 기초하여 터치의 압력을 감지할 수 있다. 도 2에서는 압력 센서(1640)가 단일의 센서로 구현된 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(1640)는 2 이상의 센서들의 집합으로 구현될 수도 있다. 예를 들어, 압력 센서(1640)는 3×2의 어레이로 배열된 6개의 센서들의 집합으로 구현될 수도 있다. 압력 센서(1640)의 구성은 도 17을 참조하여 상세히 설명된다.
햅틱 액추에이터(haptic actuator)(1650)는 외부 물체(예: 사용자의 손가락 또는 전자 펜 등)에 의한 터치(호버링(hovering) 및/또는 "포스 터치" 포함)가 수신될 때, 사용자에게 촉각적 피드백(haptic feedback)(예: 진동)을 제공할 수 있다. 이를 위해 햅틱 액추에이터(1660)는 압전부재(Piezoelectric member) 및/또는 진동판 등을 포함할 수도 있다.
앞서 설명한 도 16의 디스플레이의 적층 구조는 일례로서, 다양한 변형이 가능하다. 예를 들면, 터치 센서(1620)는 커버 글래스(1610)의 배면에 직접 형성되거나(이른바, 커버 글래스 일체형 터치 패널), 별도로 제작되어 커버 글래스(1610)와 디스플레이 패널(1630) 사이에 삽입되거나(이른바 애드 온(add-on) 터치 패널), 디스플레이 패널(1630) 위에 직접 형성되거나(이른바, 온-셀(on-cell) 터치 패널), 디스플레이 패널(1630) 내부에 포함될 수 있다(이른바, 인-셀(in-cell) 터치 패널). 또한, 다양한 실시 예에 따르면, 상술한 적층 구조에는 불투명 또는 투명하게 구현된 에어리어(area) 방식 지문 센서가 추가적으로 포함될 수도 있다.
도 17은 일 실시 예에 따른 전자 장치에 포함된 압력 센서를 나타낸다.
도 17을 참조하면, 일 실시 예에 따른 압력 센서(1740)는 제1 전극(1741), 제2 전극(1742), 및 유전층(1743)을 포함할 수 있다. 예컨대, 압력 센서(1740)는, 도 16에 도시된 압력 센서(1640)에 대응될 수 있다. 다만, 압력 센서(1740)의 구성은 도 17에 도시된 예에 제한되지 않는다.
일 실시 예에 따르면, 제1 전극(1741) 및/또는 상기 제2 전극(1742)은 투명 또는 불투명하게 구현될 수 있다. 예를 들어, 불투명하게 구현되는 경우, 제1 전극(1741) 및/또는 제2 전극(1742)의 도전 부재(예: 도전 패치, 도전 와이어)은 구리(Cu), 은(Ag), 마그네슘(Mg), 티타늄(Ti) 및/또는 불투명한 그래핀(graphene)으로 구현될 수 있다. 투명하게 구현되는 경우, 제1 전극(1741) 및/또는 제2 전극(1742)은 ITO(indium tin oxide), IZO(indium zinc oxide), 은 나노 와이어(Ag nanowire), 메탈 메쉬(metal mesh), 투명 고분자 전도체 및/또는 투명 그래핀으로 구현될 수 있다.
일 실시 예에 따르면, 제1 전극(1741) 및/또는 제2 전극(1742) 중 하나는 접지(GND) 역할을 수행하는 하나의 금속판으로 구현될 수 있고, 다른 하나는 전술한 소재를 이용하여 반복된 다각형 패턴으로 형성될 수 있다(이른바, self-capacitance 방식). 도 17에서 제1 전극(1741)은 어레이 패턴(array)으로 배열된(arrange) 사각형 도전 패치로 구현되어 있으나, 이에 제한되는 것은 아니다.
또 다른 예를 들면, 제1 전극(1741) 및 제2 전극(1742) 중 하나(예: 송신단(Tx))는 제1 방향으로 연장된 패턴으로 형성될 수 있고, 다른 하나(예: 수신단(Rx))는 제1 방향과 지정된 각도(예: 직각)으로 교차하는 제2 방향으로 연장된 패턴으로 형성될 수도 있다(이른바, mutual-capacitance 방식). 일 실시 예에 따르면, 제1 전극(1741) 및/또는 제2 전극(1742)은 Strain gage pattern으로 구부러진 도전 와이어로 구현될 수도 있다. 예를 들면, 제1 전극(1741)은 디스플레이 패널(예: 도 16의 1630)의 배면에 직접 형성될 수 있다. 또는, 제1 전극(1741)은 FPCB(flexible printed circuit board) 상에 인쇄될 수 있으며, 해당 FPCB는 디스플레이 패널의 일 면에 부착될 수 있다.
유전층(1743)은 지정된 커패시턴스를 가진 유전 물질, 예를 들어, 실리콘 폼(foam), 실리콘 멤브레인(membrane), OCA(optical clean adhesive), 스폰지, 고무, 폴리머(예: PC(polycabonate) 및/또는 PET(polyethylene terephthalate) 등)으로 구현될 수 있다.
도 18은 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 18을 참조하면, 일 실시 예에 따른 전자 장치(1801)는 디스플레이 패널(1810), 디스플레이 구동 회로(DDI; display driving IC)(1815), 터치 센서(1820), 터치 센서 IC(1825), 압력 센서(1830), 압력 센서 IC(1835), 햅틱 액추에이터(1840), 메모리(1850) 및 프로세서(1860)를 포함할 수 있다. 도 1 내지 도 3을 참조하여 설명된 구성에 대한 중복 설명은 생략될 수 있다.
디스플레이 패널(1810)은 디스플레이 구동 회로(DDI)(1815)로부터 공급된 영상 구동 신호를 수신할 수 있다. 디스플레이 패널(1810)은 상기 영상 구동 신호에 기반하여 다양한 컨텐츠 및/또는 아이템(예: 텍스트, 이미지 (객체), 비디오, 아이콘, 기능 객체, 또는 심볼 등)을 표시할 수 있다. 본 문서에 있어서, 디스플레이 패널(1810)은 터치 센서(1820), 및/또는 압력 센서(1830)와 중첩적으로 결합될 수 있으며(예: 도 16 참조), 단순히 "디스플레이"로 언급될 수도 있다. 디스플레이 패널(1810)은 저전력 모드로 구동될 수도 있다.
디스플레이 구동 회로(DDI)(1815)는 프로세서(1860)(호스트)로부터 수신한 영상 정보에 대응하는 영상 구동 신호를 미리 설정된 프레임률(frame rate)로 디스플레이 패널(1810)에 공급할 수 있다. 디스플레이 구동 회로(1815)는 디스플레이 패널(1810)을 저전력 모드로 구동할 수도 있다. 도시하지는 않았으나, 일 실시 예에 따르면, 디스플레이 구동 회로(1815)는 그래픽 램, 인터페이스 모듈, 이미지 프로세싱 유닛(image processing unit), 멀티플렉서(multiplexer), 디스플레이 타이밍 컨트롤러(display timing controller; T-con), 소스 드라이버, 게이트 드라이버, 및/또는 발진기(oscillator) 등을 포함할 수 있다.
터치 센서(1820)에서는 사용자로부터의 터치에 의해 지정된 물리량(예: 전압, 광량, 저항, 전하량, 커패시턴스 등)이 변화할 수 있다. 일 실시 예에 따르면, 터치 센서(1820)는 디스플레이 패널(1810)과 중첩적으로 배치될 수 있다.
터치 센서 IC(1825)는 터치 센서(1820)에서의 물리량의 변화를 감지하고, 물리량(예: 전압, 저항, 커패시턴스 등)의 변화에 기반하여 터치가 이루어진 위치(X,Y)를 산출할 수 있다. 산출된 위치 (좌표)는 프로세서(1860)에 제공(혹은 보고(report))될 수 있다.
예를 들어, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등이 디스플레이의 커버 글래스(예: 도 16의 1610)에 접촉하면, 터치 센서(1820)에 포함된 송신단(Tx) 및/또는 수신단(Rx) 사이의 커플링 전압이 변화할 수 있다. 예를 들어, 커플링 전압의 변화는 터치 센서 IC(1825)에 의해 감지될 수 있고, 터치 센서 IC(1825)는 터치가 이루어진 위치의 좌표(X,Y)를 프로세서(1860)로 전달할 수 있다. 프로세서(1860)는 상기 좌표(X,Y)에 관한 데이터를 사용자 입력에 관한 이벤트로서 획득할 수 있다.
터치 센서 IC(1625)는 터치 IC, 터치 스크린 IC, 터치 컨트롤러, 또는 터치 스크린 컨트롤러 IC 등으로 언급될 수 있다. 일 실시 예에 따르면, 터치 센서 IC(1625)가 포함되지 않은 전자 장치에서는, 프로세서(1660)가 터치 센서 IC(1625)의 기능을 수행할 수도 있다. 일 실시 예에 따르면, 터치 센서 IC(1625)와 프로세서(1660)는 단일의 구성(예: one-chip)으로 구현될 수도 있다.
압력 센서(1630)에서는, 외부 물체(예: 손가락, 전자 펜)에 의한 압력(혹은, 힘)이 감지될 수 있다. 일 실시 예에 따르면, 압력 센서(1630)에서는, 터치에 의해 송신단(Tx)(예: 도 7의 제1 전극(1741)) 및 수신단(Rx)(도 17의 제2 전극(1742)) 사이의 물리량(예: 정전용량)이 변화할 수 있다.
압력 센서 IC(1835)는 압력 센서(1830)에서의 물리량(예: 정전용량 등)의 변화를 감지하고, 물리량의 변화에 기반하여 사용자의 터치에 의해 가해진 압력(Z)를 산출할 수 있다. 압력(Z)은 터치가 이루어진 위치(X,Y)와 함께 프로세서(1860)에 제공될 수 있다.
일 실시 예에 따르면, 압력 센서 IC(1835)는 포스 터치 컨트롤러, 포스 센서 IC, 또는 압력 패널 IC 등으로 언급될 수 있다. 또한, 다양한 실시 예에 따르면, 압력 센서 IC(1835)는 터치 센서 IC(1825)와 함께 단일의 구성(예: one-chip)으로 구현될 수도 있다.
햅틱 액추에이터(1840)는 프로세서(1860)의 제어 명령에 따라서 사용자에게 촉각적 피드백(예: 진동)을 제공할 수 있다. 예를 들어, 햅틱 액추에이터(1840)는, 사용자로부터 터치 입력(예: 터치, 호버링, 포스 터치 포함)이 수신될 때, 사용자에게 촉각적 피드백을 제공할 수 있다.
메모리(1850)는 전자 장치(401)에 포함된 구성요소의 동작과 연관된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(1850)는, 복수의 아이템을 디스플레이에 표시하도록 설정된 사용자 인터페이스를 포함하는 적어도 하나의 어플리케이션 프로그램을 저장할 수 있다. 또한, 예를 들어, 메모리(1850)는, 실행 시에, 프로세서(1860)가 본 문서에 기재된 다양한 동작을 수행하도록 하는 명령어(instructions)를 저장할 수 있다.
프로세서(1860)는, 예를 들어, 전자 장치(1801)에 포함된 구성 요소들(410-450)와 전기적으로 연결될 수 있고, 전자 장치(401)에 포함된 구성 요소들(410-450)의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다.
일 실시 예에 따르면, 프로세서(1860)는 디스플레이(1810)에 사용자 인터페이스를 표시하는 어플리케이션 프로그램(혹은, 단순히 "어플리케이션"으로 언급될 수 있음)을 런칭(launching) (혹은, 실행)할 수 있다. 프로세서(1860)는 어플리케이션의 런칭에 응답하여 디스플레이(1810)에 표시된 사용자 인터페이스에 복수의 아이템의 배열(array)을 표시할 수 있다.
이후, 프로세서(1860)는 터치 센서(1820)로부터 생성된 제1 데이터(터치의 위치 좌표(X,Y)를 포함하는 데이터)를 수신하고, 압력 센서(1830)로부터 생성된 제2 데이터(터치의 압력(Z)을 포함하는 데이터)를 수신할 수 있다.
일 실시 예에 따르면, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 압력 센서(1830)의 적어도 일부를 활성화할 수 있다. 또는, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 압력 센서(1830)를 적어도 부분적으로 인에이블할 수 있다. 예를 들어, 프로세서(1860)는 전자 장치(1801)가 어웨이크(awake) 상태에 있는 경우뿐만 아니라 디스플레이(1810) 등의 구성요소가 턴 오프된 대기 상태에 있는 경우에도, 압력 센서(1830)의 전부 또는 일부를 활성화할 수 있다. 한편, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 또는 전자 장치(1801)가 대기 상태에 있는 동안 터치 센서(1820)를 적어도 부분적으로 디스에이블할 수도 있다.
일 실시 예에 따르면, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 지정된 조건이 달성되면 압력 센서(1830)의 적어도 일부를 활성화할 수 있다. 예를 들어, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 후 지정된 시간 이후부터 또는 지정된 시간까지 압력 센서(1830)를 활성화할 수 있다. 다른 예를 들면, 프로세서(1860)는 자이로 센서 또는 근접 센서 등에 의해 사용자의 사용이 감지되면 압력 센서(1830)를 활성화할 수 있다. 또 다른 예를 들면, 프로세서(1860)는 지정된 시간 구간 동안, 온도가 지정된 값보다 낮은 경우, 터치 패널을 통해 터치가 감지된 경우, 전자 장치(1801)가 다른 외부 장치와 근접한 경우, 또는 전자 장치(1801) 내에 탑재된 스타일러스가 전자 장치(1801)로부터 꺼내진 경우 압력 센서(1830)를 활성화할 수도 있다. 또 다른 예를 들면, 프로세서(1860)는 대기 상태에서 동작을 수행하는 어플리케이션(예: 음악 플레이어)이 실행되는 동안 압력 센서(1830)를 활성화할 수도 있다.
일 실시 예에 따르면, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 지정된 조건 달성되면 압력 센서(1830)의 적어도 일부를 비활성화할 수도 있다. 예를 들어, 프로세서(1860)는 근접 센서, 조도 센서, 가속도 센서 및/또는 자이로 센서 등을 이용하여 전자 장치(1801)가 주머니에 놓인 경우, 가방 안에 들어간 경우, 또는 뒤집힌 경우 압력 센서(1830)를 비활성화할 수 있다. 다른 예를 들면, 프로세서(1860)는 전자 장치(1801)가 외부 장치와 연결된 경우(예를 들어, 데스크 탑과 연결된 경우) 압력 센서(1830)를 비활성화할 수 있다.
일 실시 예에 따르면, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 압력 센서(1830) 중 지정된 영역만 활성화할 수도 있다. 예를 들어, 프로세서(1860)는 대기 상태에서의 소비 전력을 감소시키기 위해 압력 센서(1830) 중 지정된 일부 영역(예를 들어, 압력 센서(1830)의 중앙 하단 영역)을 활성화할 수 있다. 또는, 압력 센서(1830)가 2 이상의 센서들의 집합으로 구현된 경우, 프로세서(1860)는 2 이상의 센서들 중 일부를 활성화할 수도 있다.
상술한 바와 같이 압력 센서(1830)를 활성화하거나 인에이블함으로써, 프로세서(1860)는 전자 장치(1801)가 대기 상태에 있는 동안 압력 센서(1830)를 이용하여 압력을 감지할 수 있다. 예를 들어, 프로세서(1860)는 디스플레이(1810)가 턴 오프된 동안 압력 센서(1830)로부터 디스플레이(1810)에 대한 외부 물체에 의한 압력과 관련된 데이터를 수신할 수 있다.
일 실시 예에 따르면, 프로세서(1860)는 압력과 관련된 데이터에 기초하여 압력이 선택된 레벨보다 크거나 같은지 여부를 결정하고, 압력이 선택된 레벨보다 크거나 같은 것으로 결정되면 디스플레이(1810)를 전적으로(fully) 턴 온하지 않고 기능을 수행할 수 있다. 예를 들어, 프로세서(1860)는 지정된 레벨보다 크기가 큰 압력이 감지되면 기능을 수행할 수 있다. 이 경우, 프로세서(1860)는 디스플레이(1810)의 일부를 턴 온할 수 있다. 프로세서(1860)는 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 및 지속 시간 중 적어도 하나에 기초하여 아래와 같이 수행할 기능을 결정할 수 있다. 예를 들어, 프로세서(1860)는 디스플레이(1810)의 하단 중앙에 대응하는 위치에서 압력이 감지되면 전자 장치(1801)를 웨이크 업할 수도 있다. 프로세서(1860)는 디스플레이(1810)의 좌단 상부에 대응하는 위치에 압력이 감지되면 전자 장치(1801)의 스피커의 볼륨을 제어할 수도 있다. 프로세서(1860)는 이어잭 또는 USB 포트 등과 같은 하드웨어에 인접한 위치에 압력이 감지되면 인접한 하드웨어와 관련된 기능을 수행할 수도 있다. 프로세서(1860)는 지정된 강도 이상의 압력이 감지되면 전자 장치(1801)가 긴급 모드로 진입하도록 전자 장치(1801)를 제어할 수도 있다. 프로세서(1860)는 동시에 압력이 감지된 지점의 개수에 따라 서로 상이한 기능을 수행할 수도 있다.
도 18에서는 압력 센서(1830)가 압력(Z)에 대한 데이터를 프로세서로 제공하는 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(1830)가 2 이상의 센서들의 집합으로 구현된 경우, 프로세서(1860)는 2 이상의 센서들 중 정전 용량이 변화된 센서의 위치에 기초하여 압력이 작용된 위치를 감지할 수 있다. 예를 들어, 압력 센서(1830)가 3×2의 어레이로 배열된 6개의 센서들의 집합으로 구현된 경우, 프로세서(1860)는 6개의 센서들 각각의 정전 용량의 변화량 및 6개의 센서들 각각이 배치된 위치에 기초하여 압력이 작용된 위치를 판단할 수 있다. 즉, 프로세서(1860)는 터치 센서(1830)를 이용하지 않고 압력이 작용된 위치를 판단할 수도 있다. 프로세서(1860)는 압력 센서(1830)에 의해 압력이 감지되면 터치 센서(1820)를 활성화함으로써, 터치 센서(1820)를 이용하여 압력이 작용된 위치를 감지할 수도 있다.
일 실시 예에 따르면, 프로세서(1860)는 압력 센서(1830)에서 터치에 의한 제1 레벨의 압력이 감지되면, 제1 기능을 수행할 수 있다. 프로세서(1860)는 제1 레벨의 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제1 기능을 결정하고, 결정된 제1 기능을 수행할 수 있다. 제1 레벨의 압력은 지정된 범위의 강도의 압력을 의미할 수 있다.
프로세서(1860)는 제1 기능의 수행 중에 압력 센서(1830)에서 터치에 의한 제2 레벨의 압력이 감지되면, 제1 기능과 관련된 제2 기능을 수행할 수 있다. 프로세서(1860)는 제2 레벨의 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제2 기능을 결정할 수 있다. 제2 레벨의 입력은 지정된 범위의 강도의 압력을 의미할 수 있다. 제2 레벨의 압력의 강도는 제1 레벨의 압력의 강도보다 클 수도 있고 작을 수도 있다. 또한, 제2 레벨의 압력의 강도와 제1 레벨의 압력의 강도는 동일할 수도 있다. 프로세서(1860)는 제1 기능의 수행 중에 압력이 감지된 경우 수행 중인 제1 기능과 관련된 제2 기능을 수행함으로써, 1차원적인 입력인 압력에 의해 다양한 기능을 실행할 수 있다. 또한, 전자 장치(1801)에 대한 한번의 터치 후 전자 장치(1801)를 누르는 압력의 크기에 따라 수행 중인 기능과 연관된 다른 기능을 실행함으로써, 입력의 편의성이 증대될 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(1860)는, 압력 센서(1830)에서 터치에 의한 제1 레벨의 압력이 감지되면, 제1 레벨의 압력이 기 설정된 임계값보다 큰 경우, 최초 생성되는 객체 인식 영역의 크기를 기준크기보다 작은 크기로 결정할 수 있다. 또는, 프로세서(1860)는 압력 센서에서 터치에 의한 제2 레벨의 압력이 기 설정된 임계값 미만인 경우, 최초 생성되는 객체 인식 영역의 크기를 기준 크기보다 큰 크기로 결정할 수 있다.
상기 설명된 프로세서(1860)의 동작은 일례로서, 전술한 기재에 제한되지 않는다. 예컨대, 본 문서의 다른 부분에 기재된 프로세서의 동작도 상기 프로세서(1860)의 동작으로 이해될 수 있다. 또한, 본 문서에서, "전자 장치"의 동작으로 기재된 동작들 중 적어도 일부는 프로세서(1860)의 동작으로 이해될 수도 있다. 상술한 바와 같이, 일 실시 예에 따른 전자 장치는 디스플레이가 턴 오프된 상태에서 압력 센서를 활성화할 수 있다. 디스플레이가 턴 오프된 상태에서 터치 센서를 이용하여 입력을 수신하는 경우 사용자가 의도치 않은 오동작이 발생될 가능성이 높다. 따라서, 디스플레이가 턴 오프된 상태에서 압력 센서를 이용하여 입력을 수신함으로써, 전자 장치가 대기 상태에 있는 동안 입력을 수신할 때 의도치 않은 오동작을 감소시킬 수 있다. 한편, 최근 들어 디스플레이의 확장 또는 전자 장치의 디자인 개선을 위해 물리 키를 포함하지 않는 전자 장치에 대한 관심이 증대되고 있다. 전자 장치가 대기 상태에 있는 동안 사용자로부터 압력 센서를 이용하여 입력을 수신함으로써, 사용자에게 물리 키를 사용하는 것과 유사한 사용자 경험을 제공할 수 있다.
이하에서는 도 19를 참조하여 일 실시 예에 따른 전자 장치에 의해 수행될 수 있는 동작을 설명한다.
도 19를 참조하며, 일 실시예에 따른 전자 장치의 프로세서는, 동작 1910 에서 터치스크린으로부터 전달된 터치 신호에 의해 터치 입력을 감지할 수 있다. 동작 1920에서 프로세서는, 압력 센서에 의해 터치 압력을 감지할 수 있다. 동작 1930에서 프로세서는, 감지된 터치 압력에 의한 레벨이 기 설정된 임계값보다 큰지를 결정하고, 동작 1940에서 프로세서는 터치 압력에 의해 레벨이 기 설정된 임계값보다 큰 경우 객체 인식 영역을 기준 크기보다 작은 크기로 생성되도록 설정할 수 있다. 동작 1950에서 프로세서는 터치 압력이 기 설정된 임계값 미만인 경우, 객체 인식 영역을 기준 크기보다 큰 크기로 생성되도록 설정할 수 있다.
당야한 실시예에 따른 전자 장치는, 터치스크린에 대한 터치 입력을 수신하는 동작과, 상기 터치스크린에 터치된 제1 위치를 기반으로 터치스크린 상의 영역을 제1 크기로 설정하는 동작과, 터치 입력이 유지되는 터치 지속 시간이 경과됨에 따라 상기 설정된 영역을 제2 크기로 감소하는 동작과, 그리고 상기 터치 입력이 해제된 경우, 상기 터치 입력이 해제된 제2 위치가 상기 설정된 영역을 벗어난 경우, 상기 터치 입력을 취소 입력으로 인식하는 동작을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예:메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
1510; 프로세서
1520: 인식 영역 결정 모듈
1530: 터치 입력 결정 모듈
1540: 인식 영역 보정 모듈

Claims (20)

  1. 전자 장치에 있어서,
    터치스크린 디스플레이;
    센서부;
    상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및
    상기 프로세서와 전기적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 터치스크린 디스플레이에 대한 터치 입력을 수신하고,
    상기 터치 입력의 상기 터치스크린 디스플레이 상의 제1 위치를 확인하고,
    적어도 하나의 조건에 기초하여, 상기 확인된 제1 위치를 중심 포인트로서, 가상의 터치 인식 영역을 제1 크기로 설정하고,
    상기 수신된 터치 입력이 해제된 경우, 상기 터치 입력이 해제된 상기 터치스크린 디스플레이 상의 제2 위치를 확인하고,
    상기 확인된 제2 위치가 상기 설정된 터치 인식 영역 내인지 여부를 판단하고,
    상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하도록 하는 인스트럭션들을 저장하고,
    상기 프로세서는,
    상기 센서부로부터 전자 장치의 움직임 정보를 획득하고,
    상기 전자 장치의 움직임 정보를 기반으로 전자 장치가 움직이는 정도가 임계값 보다 큰 동적 상태로 판단될 시, 상기 터치 인식 영역을 상기 제1 크기보다 큰 제2 크기로 설정하도록 하는 인스트럭션들을 더 포함하는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 제1 위치의 터치 좌표 및 제2 위치의 터치 좌표를 인식하고, 상기 터치 입력을 수신한 시점과, 상기 터치 입력이 해제된 시점의 차이를 나타내는 터치 지속 시간을 확인하고, 상기 터치 지속 시간이 경과됨에 따라 상기 설정된 터치 인식 영역의 크기가 줄어들도록 조정하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 위치가 상기 터치스크린 디스플레이 상에 표시된 객체의 표시 범위 내에 포함된 경우, 객체가 선택됐다고 판단하고, 객체가 선택됐음을 나타내는 정보를 디스플레이에 표시하도록 제어하고, 상기 제2 위치가 객체의 표시 범위 내에 포함되거나, 상기 설정된 터치 인식 영역 내에 포함된 경우, 객체 선택에 대응하는 적어도 하나의 기능을 실행하고,
    상기 제2 위치가 객체의 표시 범위 또는 상기 설정된 터치 인식 영역을 벗어난 경우 상기 객체를 선택하는 터치를 취소 입력으로 인식하고, 상기 객체가 선택됐음을 나타내는 정보의 표시를 취소하도록 제어하는 장치.
  4. 제1항에 있어서,
    상기 터치스크린 디스플레이는, 화면이 표시되는 활성(active) 영역, 및 상기 활성 영역 주변의 비활성(inactive) 영역을 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제2 위치가 상기 터치스크린 디스플레이의 활성 영역 내에 생성된 상기 터치 인식 영역 내인지 여부를 판단한 것에 적어도 일부 기초하여, 상기 터치 입력을 취소하도록 제어하는 것을 특징으로 하는 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 터치 인식 영역을 제1 크기로 설정하는 설정하는 동작 이후에 상기 터치 입력이 발생되는 시점부터 터치 지속 시간을 측정하고, 상기 터치 지속 시간이 경과됨에 따라 상기 활성 영역 내에 생성된 상기 터치 인식 영역의 크기를 감소하도록 제어하는 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 메모리는,
    응용 프로그램을 동적 프로그램으로 분류하기 위한 기준정보를 포함하고,
    상기 프로세서는,
    상기 터치 스크린 디스플레이의 화면에 실행 중인 앱의 종류가 전자 장치의 움직임 또는 운동량과 관련된 동적 프로그램으로 분류된 경우, 상기 터치 인식 영역이 상기 제2 크기를 갖도록 제어하는 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 터치스크린 디스플레이 화면에 표시된 객체의 형태를 확인하고, 상기 확인된 객체의 형태에 대응하여 상기 터치 인식 영역의 형태를 결정하도록 제어하는 장치.
  10. 제2항에 있어서,
    상기 프로세서는,
    상기 터치 지속 시간이 일정 시간 간격으로 경과 될 때 마다 상기 터치 인식 영역의 크기를 일정 크기만큼 줄어들도록 설정하는 장치.
  11. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 위치를 중심점으로 공유하여 상기 터치 인식 영역의 크기가 줄어들도록 조절하는 장치.
  12. 제1항에 있어서,
    터치 입력에 따른 터치 압력을 감지하는 센서를 더 포함하고,
    상기 프로세서는,
    상기 터치된 제1 위치에서 감지되는 터치의 압력 정보를 기반으로 터치 압력이 기 실정된 임계값을 초과한 경우, 상기 제1 크기로 설정된 터치 인식 영역의 크기를 제1 크기보다 작은 제3 크기로 결정하고, 상기 터치 압력이 기 설정된 임계값 이하인 경우, 상기 제1 크기로 설정된 터치 인식 영역의 크기를 상기 제1 크기보다 큰 제 4크기를 갖도록 결정하는 장치.
  13. 전자 장치의 터치 입력 인식 방법에 있어서,
    터치스크린 디스플레이 상에 표시된 객체를 선택하는 터치 입력을 수신하는 동작;
    상기 터치 입력에 대응하는 터치스크린 디스플레이 상의 제1 위치를 확인하는 동작;
    적어도 하나의 조건에 기초하여, 상기 확인된 제1 위치를 중심 포인트로서, 가상의 터치 인식 영역을 제1 크기로 설정하는 동작;
    상기 터치 입력이 해제된 경우, 터치 입력이 해제된 상기 터치스크린 디스플레이 상의 제2 위치를 확인하는 동작;
    상기 확인된 제2 위치가 상기 설정된 터치 인식 영역 내인지 여부를 판단하는 동작; 및
    상기 판단에 기초하여, 적어도 하나의 기능을 실행할지 여부를 결정하는 동작을 포함하고,
    상기 터치 인식 영역을 제1 크기로 설정하는 동작은,
    센서부로부터 전달된 센서값을 이용하여 전자 장치의 움직임 상태를 판단하는 동작을 더 포함하고,
    전자 장치가 움직이는 정도가 임계값 보다 큰 동적 상태로 판단될 시, 상기 터치 인식 영역을 상기 제1 크기보다 큰 제2 크기로 설정하는 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 적어도 하나의 기능을 실행할지 여부를 결정하는 동작은,
    상기 제1 위치가 상기 터치스크린 디스플레이 상에 표시된 객체의 표시 범위 내에 포함되고, 상기 제2 위치가 객체의 표시 범위 내에 포함되거나, 상기 설정된 터치 인식 영역 내에 포함된 경우, 객체 선택에 대응하는 적어도 하나의 기능을 실행하는 동작; 및
    상기 제2 위치가 객체의 표시 범위 또는 상기 설정된 터치 인식 영역을 벗어난 경우 상기 객체를 선택하는 터치 입력을 취소 입력으로 인식하는 동작을 더 포함하는 방법.
  15. 제14항에 있어서,
    상기 제1 위치를 확인하는 동작은
    상기 제1 위치가 상기 터치스크린 디스플레이에 표시된 객체의 표시 범위에 포함된 경우, 상기 객체가 선택됐다고 인지하고,
    객체가 선택됐음을 알림하는 정보를 상기 터치스크린 디스플레이에 표시하는 동작을 더 포함하고,
    상기 객체를 선택하는 터치를 취소 입력으로 인식하는 경우, 상기 객체가 선택됐음을 알림하는 정보의 표시를 취소하는 동작을 더 포함하는 방법.
  16. 제13항에 있어서,
    상기 터치 인식 영역을 제1 크기로 설정하는 동작 이후에,
    상기 제1 위치의 터치 좌표 및 제2 위치의 터치 좌표를 저장하는 동작;
    상기 터치 입력을 수신한 터치 시점과, 상기 터치 입력이 해제된 시점의 차이를 나타내는 터치 지속 시간을 측정하는 동작; 및
    상기 터치 지속 시간이 경과됨에 따라 상기 터치 인식 영역의 크기가 줄어들도록 조정하는 동작을 더 포함하는 방법.
  17. 삭제
  18. 삭제
  19. 제13항에 있어서,
    상기 터치 입력을 수신하는 동작은,
    상기 터치 입력에 따른 터치 압력을 측정하는 동작을 더 포함하고,
    상기 터치된 제1 위치에서 감지되는 터치의 압력 정보를 기반으로 터치 압력이 기 실정된 임계값을 초과한 경우, 상기 제1 크기로 설정된 터치 인식 영역의 크기를 상기 제1 크기보다 작은 제3 크기로 결정하는 동작; 및
    상기 터치 압력이 기 설정된 임계값 이하인 경우, 상기 제1 크기로 설정된 터치 인식 영역의 크기를 상기 제1 크기보다 큰 제4 크기를 갖도록 결정하는 동작을 더 포함하는 방법.
  20. 삭제
KR1020160099048A 2016-08-03 2016-08-03 전자 장치 및 터치 인식 방법 KR102535056B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160099048A KR102535056B1 (ko) 2016-08-03 2016-08-03 전자 장치 및 터치 인식 방법
PCT/KR2017/008295 WO2018026170A1 (en) 2016-08-03 2017-08-01 Electronic device and method of recognizing touches in the electronic device
EP17837221.5A EP3449349B1 (en) 2016-08-03 2017-08-01 Electronic device and method of recognizing touches in the electronic device
CN201780047257.4A CN109564498B (zh) 2016-08-03 2017-08-01 电子设备和识别电子设备中的触摸的方法
US15/668,278 US10824325B2 (en) 2016-08-03 2017-08-03 Electronic device and method of recognizing touches in the electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160099048A KR102535056B1 (ko) 2016-08-03 2016-08-03 전자 장치 및 터치 인식 방법

Publications (2)

Publication Number Publication Date
KR20180015478A KR20180015478A (ko) 2018-02-13
KR102535056B1 true KR102535056B1 (ko) 2023-05-22

Family

ID=61071822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160099048A KR102535056B1 (ko) 2016-08-03 2016-08-03 전자 장치 및 터치 인식 방법

Country Status (5)

Country Link
US (1) US10824325B2 (ko)
EP (1) EP3449349B1 (ko)
KR (1) KR102535056B1 (ko)
CN (1) CN109564498B (ko)
WO (1) WO2018026170A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315505B (zh) * 2017-06-30 2020-10-09 上海天马微电子有限公司 显示面板、触控显示装置及触控压力检测方法
US10747404B2 (en) * 2017-10-24 2020-08-18 Microchip Technology Incorporated Touchscreen including tactile feedback structures and corresponding virtual user interface elements
CN110637282B (zh) * 2017-12-28 2021-03-05 华为技术有限公司 一种触控方法及终端
KR102448803B1 (ko) * 2018-02-14 2022-09-29 삼성전자주식회사 수중 상태에서 압력 센서를 이용하여 사용자 입력을 획득하는 전자 장치 및 상기 전자 장치를 제어하는 방법
US10698992B2 (en) 2018-02-19 2020-06-30 Bank Of America Corporation Preventing unauthorized access to secure information systems using advanced biometric authentication techniques
WO2019191126A1 (en) * 2018-03-26 2019-10-03 Christopher Harrison Touch-sensing system including a touch-sensitive paper
US10585534B2 (en) * 2018-05-21 2020-03-10 UltraSense Systems, Inc. Ultrasonic touch feature extraction
US10466844B1 (en) 2018-05-21 2019-11-05 UltraSense Systems, Inc. Ultrasonic touch and force input detection
US20190354238A1 (en) 2018-05-21 2019-11-21 UltraSense Systems, Inc. Ultrasonic touch detection and decision
US10719175B2 (en) 2018-05-21 2020-07-21 UltraSense System, Inc. Ultrasonic touch sensor and system
CN114144749B (zh) * 2019-08-05 2024-01-30 三星电子株式会社 基于触摸输入的操作方法及其电子装置
US11036327B2 (en) * 2019-09-09 2021-06-15 Apple Inc. 3D touch
US11725993B2 (en) 2019-12-13 2023-08-15 UltraSense Systems, Inc. Force-measuring and touch-sensing integrated circuit device
EP3839643B1 (fr) * 2019-12-20 2024-02-21 The Swatch Group Research and Development Ltd Composant horloger flexible et mouvement d'horlogerie comportant un tel composant
CN113126791B (zh) * 2019-12-31 2022-11-22 荣耀终端有限公司 一种时间戳记录设备、系统、方法、介质及装置
US11835400B2 (en) 2020-03-18 2023-12-05 UltraSense Systems, Inc. Force-measuring device testing system, force-measuring device calibration system, and a method of calibrating a force-measuring device
US11719671B2 (en) 2020-10-26 2023-08-08 UltraSense Systems, Inc. Methods of distinguishing among touch events
US11803274B2 (en) 2020-11-09 2023-10-31 UltraSense Systems, Inc. Multi-virtual button finger-touch input systems and methods of detecting a finger-touch event at one of a plurality of virtual buttons
US11586290B2 (en) 2020-12-10 2023-02-21 UltraSense Systems, Inc. User-input systems and methods of delineating a location of a virtual button by haptic feedback and of determining user-input
US11681399B2 (en) 2021-06-30 2023-06-20 UltraSense Systems, Inc. User-input systems and methods of detecting a user input at a cover member of a user-input system
US11481062B1 (en) 2022-02-14 2022-10-25 UltraSense Systems, Inc. Solid-state touch-enabled switch and related method
US11775073B1 (en) 2022-07-21 2023-10-03 UltraSense Systems, Inc. Integrated virtual button module, integrated virtual button system, and method of determining user input and providing user feedback

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119716A1 (ja) * 2008-03-26 2009-10-01 日本電気株式会社 情報処理システム、情報処理装置、方法及びプログラム
US20120212420A1 (en) * 2009-10-12 2012-08-23 Laonex Co., Ltd. Multi-touch input control system
JP2013080373A (ja) * 2011-10-04 2013-05-02 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
US20140104212A1 (en) * 2012-10-17 2014-04-17 Yomore Technology Co., Ltd Method for determining a movement of a touch point
US20140149903A1 (en) * 2012-11-28 2014-05-29 Samsung Electronics Co., Ltd. Method for providing user interface based on physical engine and an electronic device thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175212A (ja) * 1997-12-15 1999-07-02 Hitachi Ltd タッチパネル装置のタッチ操作処理方法
JP2008310522A (ja) 2007-06-13 2008-12-25 Kyocera Mita Corp タッチパネル制御装置及び電気機器
JP5418187B2 (ja) * 2009-12-02 2014-02-19 ソニー株式会社 接触操作判定装置、接触操作判定方法およびプログラム
JP5306266B2 (ja) * 2010-03-15 2013-10-02 キヤノン株式会社 撮像装置及びその制御方法
US9639265B2 (en) * 2010-09-03 2017-05-02 Microsoft Technology Licensing, Llc Distance-time based hit-testing for displayed target graphical elements
JP5675324B2 (ja) * 2010-12-24 2015-02-25 シャープ株式会社 入力表示装置および加熱調理器
JP5367033B2 (ja) * 2011-08-19 2013-12-11 クラリオン株式会社 表示装置
JP5790380B2 (ja) 2011-09-28 2015-10-07 株式会社Ｊｖｃケンウッド 電子機器、電子機器の制御方法、及び、プログラム
CN103186329B (zh) * 2011-12-27 2017-08-18 富泰华工业（深圳）有限公司 电子设备及其触摸输入控制方法
US20140062889A1 (en) * 2012-09-06 2014-03-06 Samsung Electronics Co., Ltd. Method of processing touch input for mobile device
KR101984180B1 (ko) * 2013-01-07 2019-05-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP6131091B2 (ja) * 2013-04-22 2017-05-17 シャープ株式会社 情報処理装置および制御プログラム
KR102222336B1 (ko) * 2013-08-19 2021-03-04 삼성전자주식회사 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법
US20150177945A1 (en) * 2013-12-23 2015-06-25 Uttam K. Sengupta Adapting interface based on usage context
KR102144339B1 (ko) * 2014-02-11 2020-08-13 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN105487775A (zh) * 2015-11-26 2016-04-13 惠州Tcl移动通信有限公司 一种触摸屏控制方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119716A1 (ja) * 2008-03-26 2009-10-01 日本電気株式会社 情報処理システム、情報処理装置、方法及びプログラム
US20120212420A1 (en) * 2009-10-12 2012-08-23 Laonex Co., Ltd. Multi-touch input control system
JP2013080373A (ja) * 2011-10-04 2013-05-02 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
US20140104212A1 (en) * 2012-10-17 2014-04-17 Yomore Technology Co., Ltd Method for determining a movement of a touch point
US20140149903A1 (en) * 2012-11-28 2014-05-29 Samsung Electronics Co., Ltd. Method for providing user interface based on physical engine and an electronic device thereof

Also Published As

Publication number Publication date
CN109564498B (zh) 2022-04-15
WO2018026170A1 (en) 2018-02-08
EP3449349A4 (en) 2019-04-24
CN109564498A (zh) 2019-04-02
EP3449349A1 (en) 2019-03-06
KR20180015478A (ko) 2018-02-13
US20180039392A1 (en) 2018-02-08
EP3449349B1 (en) 2023-10-04
US10824325B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
KR102535056B1 (ko) 전자 장치 및 터치 인식 방법
US10949012B2 (en) Electronic device comprising force sensor
KR102364420B1 (ko) 전자 장치 및 터치 입력에 기초하여 상기 전자 장치를 제어하는 방법
US10261615B2 (en) Method and electronic device for outputting screen
EP3252644B1 (en) Method for activating function using fingerprint and electronic device including touch display supporting the same
KR102578253B1 (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
KR102582973B1 (ko) 지문 센서를 제어하기 위한 장치 및 그 방법
KR102628789B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US20170336970A1 (en) Electronic device comprising display
KR102429740B1 (ko) 터치 이벤트 처리 방법 및 그 장치
KR102557125B1 (ko) 전자 장치 및 그 제어 방법
KR102616430B1 (ko) 터치의 압력 입력에 기반하여 선택 영역을 결정하는 전자 장치 및 방법
KR102521032B1 (ko) 사용자 입력 처리 방법 및 전자 장치
KR102536148B1 (ko) 전자 장치의 동작 방법 및 장치
KR20170067355A (ko) 터치 인식 방법 및 이를 수행하는 전자 장치
KR20180089088A (ko) 전자장치 및 이를 사용하여 디스플레이에 연동된 생체 센서의 제어 방법
KR102553558B1 (ko) 전자 장치 및 전자 장치의 터치 이벤트 처리 방법
KR102513147B1 (ko) 전자 장치 및 그의 터치 입력 인식 방법
KR102555229B1 (ko) 전자 장치 및 전자 장치의 제어 방법
KR102553573B1 (ko) 전자 장치 및 전자 장치의 터치 입력 감지 방법
KR20180117314A (ko) 전자 장치 및 전자 장치의 동작을 제어하는 방법
KR102408032B1 (ko) 전자장치 및 이를 사용하여 디스플레이에 연동된 생체 센서의 제어 방법
KR102279758B1 (ko) 터치 패널 및 이를 구비하는 전자 장치
KR102610002B1 (ko) 동작을 제어하는 전자 장치 및 방법
KR20180021581A (ko) 터치 패널 및 이를 포함하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant