KR20180135727A - 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법 - Google Patents

압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR20180135727A
KR20180135727A KR1020170074347A KR20170074347A KR20180135727A KR 20180135727 A KR20180135727 A KR 20180135727A KR 1020170074347 A KR1020170074347 A KR 1020170074347A KR 20170074347 A KR20170074347 A KR 20170074347A KR 20180135727 A KR20180135727 A KR 20180135727A
Authority
KR
South Korea
Prior art keywords
electronic device
processor
pressure
objects
touch screen
Prior art date
Application number
KR1020170074347A
Other languages
English (en)
Other versions
KR102406072B1 (ko
Inventor
김나영
김대환
남승욱
김광태
변형섭
정철호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170074347A priority Critical patent/KR102406072B1/ko
Priority to US16/614,138 priority patent/US11029797B2/en
Priority to PCT/KR2018/006600 priority patent/WO2018230905A1/ko
Publication of KR20180135727A publication Critical patent/KR20180135727A/ko
Application granted granted Critical
Publication of KR102406072B1 publication Critical patent/KR102406072B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 다양한 실시 예는 전자 장치에 있어서, 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징, 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이, 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로, 상기 하우징 내부에 배치된 무선 통신 회로, 상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이, 상기 압력 감지 회로 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서, 및 상기 하우징 내부에 배치되며, 상기 프로세서와 전기적으로 연결되는 메모리를 포함하며, 상기 메모리는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가, 상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고, 상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고, 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장할 수 있다. 다른 실시 예들도 가능할 수 있다.

Description

압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING OPERATIONS THE ELECTRONIC APPARATUS BASED ON PRESSURE INPUTS}
본 발명의 다양한 실시 예는 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법에 관한 것이다.
최근 전자 장치에서 제공하는 다양한 서비스 및 부가 기능들은 점차 확대되고 있다. 이러한 전자 장치의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 통신 서비스 제공자 또는 전자 장치 제조사들은 보다 다양한 기능들을 제공하고 다른 업체와의 차별화를 위해 전자 장치를 경쟁적으로 개발하고 있다.
이러한 기술 발달에 힘입어, 전자 장치는, 다양한 어플리케이션 프로그램들을 통하여, 예를 들어, 증강 현실(augmented reality), 3D(dimension) 지도와 같은 다양한 서비스들을 제공하고 있다.
전자 장치는 화면을 통하여 많은 정보를 제공하기 위해 화면 상에 복수의 객체들을 중첩시켜 표시할 수 있다. 그러나, 예를 들어, 증강 현실(augmented reality), 3D(dimension) 지도에서 객체들이 중첩되어 표시되는 경우, 중첩된 객체들을 정교하고 세밀하게선택 또는 제어할 수 없으며, 객체에 대한 정보를 빠르게 획득할 수 없다.
본 발명의 다양한 실시 예는 압력 레벨에 기반한 입력을 감지하여, 객체에 대한 다양한 정보 또는 기능을 제공할 수 있다.
본 발명의 다양한 실시 예는 압력 입력의 레벨에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법에 관한 것이다.
본 발명의 다양한 실시 예는 전자 장치에 있어서, 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징, 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이, 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로, 상기 하우징 내부에 배치된 무선 통신 회로, 상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이, 상기 압력 감지 회로 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서, 및 상기 하우징 내부에 배치되며, 상기 프로세서와 전기적으로 연결되는 메모리를 포함하며, 상기 메모리는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가, 상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고, 상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고, 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장할 수 있다.
본 발명의 다양한 실시 예는 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 방법에 있어서, 상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 동작, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 동작, 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예는 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 명령어를 포함하는 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체에 있어서, 상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 제1 명령 셋, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 제2 명령 셋, 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 제3 명령 셋을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 압력 레벨에 따라 전자 장치의 동작을 다양하게 제어함으로써, 중첩되게 표시된 객체들을 정확히 선택하거나 또는 제어할 수 있으며, 선택된 객체에 대한 정보를 빠르게 획득하여 표시함으로써, 사용자에게 편의성을 제공할 수 있다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치가 기재된다.
도 2는 다양한 실시 예에 따른 전자 장치의 블럭도이다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블럭도이다.
도 4는 다양한 실시 예에 따른 전자 장치의 구성 예를 나타내는 도면이다.
도 5 및 6은 다양한 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타낸다.
도 7a는 다양한 실시 예에 따른 압력 센서에서 정전 방식을 나타낸 예시도이다.
도 7b는 다양한 실시 예에 따른 압력 센서에서 유도 방식을 나타낸 예시도이다.
도 7c는 다양한 실시 예에 따른 압력 센서에서 스트레인 게이지 방식을 나타낸 예시도이다.
도 7d는 다양한 실시 예에 따른 압력 센서에서 피에조 방식을 나타낸 예시도이다.
도 8a는 다양한 실시 예에 따른 압력 센서에서 셀프 캐패시턴스 방식을 나타낸 사시도이다.
도 8b는 다양한 실시 예에 따른 압력 센서에서 뮤추얼 캐패시턴스 방식을 나타낸 사시도이다.
도 9는 다양한 실시 예에 따른 객체를 표시하는 영상에서 압력 입력을 감지하여 동작을 제어하는 전자 장치의 블록도이다.
도 10은 다양한 실시 예에 따른 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 과정을 나타낸 순서도이다.
도 11은 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체의 속성을 결정하여 표시하는 동작을 나타낸 순서도이다.
도 12는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 13은 다양한 실시 예에 따른 하나 이상의 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 14는 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체를 결정하여 동작을 실행하는 동작을 나타낸 순서도이다.
도 15는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 16은 다양한 실시 예에 따른 압력 입력에 따른 객체를 선택한 상태에서 메뉴의 기능을 선택하는 다양한 예를 나타낸 도면이다.
도 17은 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 부가 정보를 표시하는 예시도이다.
도 18은 다양한 실시 예에 따른 전자 장치가 서버로부터 부가 정보를 획득하는 동작을 나타낸 순서도이다.
도 19는 일 실시 예에 따른 복수의 객체를 포함하는 영상에서 압력 입력에 기반한 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 20은 일 실시 예에 따른 객체가 건물인 경우, 압력 입력에 기반하여 건물의 세부 정보를 표시한 예시도이다.
도 21(a) 내지 (c)는 일 실시 예에 따른 객체가 건물인 경우, 압력 입력의 세기에 기반하여 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 22(a)는 일 실시 예에 따른 객체가 건물인 경우, 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(wireless broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 도 1의 element 164로 예시된 바와 같이, 예를 들면, WiFi(wireless fidelity), LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(ZigBee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), beidou navigation satellite system(이하 "Beidou") 또는 Galileo, the european global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치(201)의 블록도이다.
전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량, 온도, 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치의 동작에 필요한 전력 정보를 결정 또는 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4는 다양한 실시 예에 따른 전자 장치의 구성 예를 나타내는 도면이다.
도 4를 참조하면, 다양한 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 입력 장치(410), 메모리(130) 및 출력 장치(420)를 포함할 수 있다. 또한, 전자 장치(101)는 통신 모듈(도시되지 않음)을 더 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)의 출력 장치(420)는 터치스크린 디스플레이(422), 디스플레이 드라이버 IC(421), 및 햅틱 모듈(423)을 포함하고, 입력 장치(410)는 터치 센서(411), 터치 센서 IC(412), 압력 센서(413), 및 압력 센서 IC(414)를 포함할 수 있다. 도 4의 각각의 구성요소에서 도 1 내지 도 3을 참조하여 설명된 구성에 대한 중복 설명은 생략될 수 있다.
다양한 실시 예에 따르면, 터치스크린 디스플레이(422)는 터치스크린 디스플레이 드라이버(421)로부터 공급된 영상 구동 신호를 수신할 수 있다. 터치스크린 디스플레이(422)는 상기 영상 구동 신호에 기반하여 다양한 컨텐트 및/또는 아이템(예: 텍스트, 이미지 (객체), 비디오, 아이콘, 기능 객체, 또는 심볼 등)을 표시할 수 있다. 본 발명에 있어서, 터치스크린 디스플레이(422)는 터치 센서(411), 및/또는 압력 센서(413)와 중첩적으로 결합될 수 있으며(예: 도 2 참조), 단순히 "디스플레이 패널"로 언급될 수도 있다. 터치스크린 디스플레이(422)는 저전력 모드로 구동될 수도 있다.
다양한 실시 예에 따르면, 디스플레이 드라이버 IC(421)는 프로세서(120)로부터 수신한 영상 정보에 대응하는 영상 구동 신호를 미리 설정된 프레임률(frame rate)로 터치스크린 디스플레이(422)에 공급할 수 있다. 디스플레이 드라이버 IC(421)는 터치스크린 디스플레이(422)를 저전력 모드로 구동할 수도 있다. 도시하지는 않았으나, 일 실시 예에 따르면, 디스플레이 드라이버 IC(421)는 그래픽 램, 인터페이스 모듈, 이미지 프로세싱 유닛(image processing unit), 멀티플렉서(multiplexer), 디스플레이 타이밍 컨트롤러(display timing controller; T-con), 소스 드라이버, 게이트 드라이버, 및/또는 발진기(oscillator) 등을 포함할 수 있다.
다양한 실시 예에 따르면, 터치 센서(411)에서는 사용자로부터의 터치에 의해 지정된 물리량(예: 전압, 광량, 저항, 전하량, 커패시턴스 등)이 변화할 수 있다. 일 실시 예에 따르면, 터치 센서(411)는 터치스크린 디스플레이(422)와 중첩적으로 배치될 수 있다.
다양한 실시 예에 따르면, 터치 센서 IC(412)는 터치 센서(411)에서의 물리량의 변화를 감지하고, 물리량(예: 전압, 저항, 커패시턴스 등)의 변화에 기반하여 터치가 이루어진 위치(예: X, Y 좌표)를 산출할 수 있다. 산출된 위치(예: X, Y 좌표)는 프로세서(120)에 제공(혹은 보고(report))될 수 있다. 예를 들어, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등이 터치스크린 디스플레이의 커버 글래스(예: 도 5의 501 및 도 6의 601)에 접촉하면, 터치 센서(411)에 포함된 송신단(Tx) 및/또는 수신단(Rx) 사이의 커플링 전압이 변화할 수 있다. 다른 예를 들어, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등이 터치스크린 디스플레이의 커버 글래스(예: 도 5의 501 및 도 6의 601)에 비접촉(예: 근접 터치 또는 호버링)하면, 터치 센서(411)에 포함된 송신단(Tx) 및/또는 수신단(Rx) 사이의 커플링 전압이 변화할 수도 있다. 예를 들어, 커플링 전압의 변화는 터치 센서 IC(412)에 의해 감지될 수 있고, 터치 센서 IC(412)는 터치가 이루어진 위치(예: X, Y 좌표)를 프로세서(120)로 전달할 수 있다. 프로세서(120)는 상기 위치(예: X, Y 좌표)에 관한 데이터를 사용자 입력에 관한 이벤트로서 획득할 수 있다.
다양한 실시 예에 따르면, 터치 센서 IC(412)는 터치 IC, 터치 스크린 IC, 터치 컨트롤러, 또는 터치 스크린 컨트롤러 IC 등으로 언급될 수 있다. 일 실시 예에 따르면, 터치 센서 IC(412)가 포함되지 않은 전자 장치에서는, 프로세서(120)가 터치 센서 IC(412)의 기능을 수행할 수도 있다. 일 실시 예에 따르면, 터치 센서 IC(412)와 프로세서(120)는 단일의 구성(예: one-chip)으로 구현될 수도 있다.
다양한 실시 예에 따르면, 압력 센서(413)에서는, 외부 물체(예: 손가락, 전자 펜)에 의한 압력(혹은, 힘)이 감지될 수 있다. 일 실시 예에 따르면, 압력 센서(413)에서는, 터치에 의해 송신단(Tx) 및 수신단(Rx) 사이의 물리량(예: 정전용량)이 변화할 수 있다. 상기 압력 센서(413)는 전자 장치(101)의 제1 플레이트 및 제2 플레이트 사이에 배치되고, 상기 디스플레이(160)의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로를 포함할 수 있다.
다양한 실시 예에 따르면, 압력 센서 IC(414)는 압력 센서(413)에서의 물리량(예: 정전용량 등)의 변화를 감지하고, 물리량의 변화에 기반하여 사용자의 터치에 의해 가해진 압력(Z)을 산출할 수 있다. 압력 센서 IC(414)는 압력 센서(413)에서 단위 시간 동안 변화되는 압력 세기의 변화(속도), 압력이 가해지는 방향 등을 산출할 수 있다. 그리고, 압력 센서 IC(414)는 압력(Z), 압력의 강도, 속도, 방향, 그리고 터치가 이루어진 위치(X,Y)를 프로세서(120)에 제공할 수 있다.
다양한 실시 예에 따르면, 압력 센서 IC(414)는 포스 터치 컨트롤러, 포스 센서 IC, 또는 압력 패널 IC 등으로 언급될 수 있다. 또한, 다양한 실시 예에 따르면, 압력 센서 IC(414)는 터치 센서 IC(412)와 함께 단일의 구성(예: one-chip)으로 구현될 수도 있다.
다양한 실시 예에 따르면, 햅틱 모듈(예: 햅틱 액추에이터)(423)은 프로세서(120)의 제어 명령에 따라서 사용자에게 촉각적 피드백(예: 진동)을 제공할 수 있다. 다른 예를 들면, 햅틱 모듈(예: 햅틱 액추에이터)(423)은 보다 빠른 피드백 제공을 위해, 프로세서(120)의 개입 없이 터치 센서 IC(412) 또는 압력 센서 IC(414)로부터 직접 터치 또는 압력 이벤트를 전달 받아서, 사용자에게 촉각적 피드백(예: 진동)을 제공할 수 있다. 예를 들어, 햅틱 모듈(423)은, 사용자로부터 터치 입력(예: 터치, 호버링, 포스 터치 포함)이 수신될 때, 사용자에게 촉각적 피드백을 제공할 수 있다.
다양한 실시 예에 따르면, 메모리(130)는 전자 장치(110)에 포함된 구성요소의 동작과 연관된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는, 복수의 아이템을 터치스크린 디스플레이에 표시하도록 설정된 사용자 인터페이스를 포함하는 적어도 하나의 어플리케이션 프로그램을 저장할 수 있다. 또한, 예를 들어, 메모리(130)는, 실행 시에, 프로세서(120)가 본 문서에 기재된 다양한 동작을 수행하도록 하는 명령어(instructions)를 저장할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는, 예를 들어, 전자 장치(101)에 포함된 구성 요소들(411-414 및 421-423)과 전기적으로 연결될 수 있고, 전자 장치(101)에 포함된 구성 요소들(411-414 및 421-423)의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 예를 들어, 프로세서(120)는, 터치 센서 IC(412)로부터 획득된 터치 위치(예: X, Y 좌표)와, 압력 센서 IC(414)로부터 획득된 터치 압력(세기)을 동기화할 수 있다. 프로세서(120)는, 예를 들어, 압력 센서 IC(414)로부터 획득된 터치 압력(세기)이 지정된 압력(세기) 이상인 경우, 디스플레이 드라이버 IC(421)에 상기 지정된 압력(세기)에 대응하는 영상 효과를 표시하도록 하는 정보를 전송할 수 있다. 프로세서(120)는, 예를 들어, 압력 센서 IC(414)로부터 획득된 터치 압력(세기)이 지정된 압력(세기) 이상인 경우, 햅틱 모듈(423)에 지정된 압력(세기)에 대응하는 햅틱 효과를 발생시키도록 하는 정보를 전송할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)에 사용자 인터페이스를 표시하는 어플리케이션 프로그램(혹은, 단순히 "어플리케이션"으로 언급될 수 있음)을 런칭(launching) (혹은, 실행)할 수 있다. 프로세서(120)는 어플리케이션의 런칭에 응답하여 터치스크린 디스플레이(422)에 표시된 사용자 인터페이스에 복수의 아이템의 배열(array)을 표시할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치 센서(411)로부터 생성된 제1 데이터(터치의 위치 좌표(X,Y)를 포함하는 데이터)를 수신하고, 압력 센서(413)로부터 생성된 제2 데이터(터치의 압력(Z)을 포함하는 데이터)를 수신할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413)의 적어도 일부를 활성화할 수 있다. 또는, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413)를 적어도 부분적으로 활성화할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)가 어웨이크(awake) 상태에 있는 경우뿐만 아니라 터치스크린 디스플레이(422) 등의 구성요소가 턴 오프된 대기 상태에 있는 경우에도, 압력 센서(413)의 전부 또는 일부를 활성화할 수 있다. 한편, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 또는 전자 장치(101)가 대기 상태에 있는 동안 터치 센서(411)를 적어도 부분적으로 비활성화할 수도 있다. 또는 프로세서(120)는 대기 상태에서의 소비 전력을 감소시키고, 터치에 의한 오동작을 방지하기 위해 터치 센서(411)를 적어도 부분적으로 비활성화할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 지정된 조건이 달성되면 압력 센서(413)의 적어도 일부를 활성화할 수 있다. 예를 들어, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 후 지정된 시간 이후부터 또는 지정된 시간까지 압력 센서(413)를 활성화할 수 있다. 다른 예를 들면, 프로세서(120)는 자이로 센서 또는 근접 센서 등에 의해 사용자의 사용이 감지되면 압력 센서(413)를 활성화할 수 있다. 또 다른 예를 들면, 프로세서(120)는 지정된 시간 구간 동안, 온도가 지정된 값보다 낮은 경우, 터치 패널을 통해 터치가 감지된 경우, 전자 장치(101)가 다른 외부 장치와 근접한 경우, 또는 전자 장치(101) 내에 탑재된 스타일러스 펜이 전자 장치(101)로부터 꺼내진 경우 압력 센서(413)를 활성화할 수도 있다. 또 다른 예를 들면, 프로세서(120)는 대기 상태에서 동작을 수행하는 어플리케이션(예: 음악 플레이어)이 실행되는 동안 압력 센서(413)를 활성화할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 지정된 조건 달성되면 압력 센서(413)의 적어도 일부를 비활성화할 수도 있다. 예를 들어, 프로세서(120)는 근접 센서, 조도 센서, 가속도 센서 및/또는 자이로 센서 등을 이용하여 전자 장치(101)가 주머니에 놓인 경우, 가방 안에 들어간 경우, 또는 뒤집힌 경우 압력 센서(413)를 비활성화할 수 있다. 다른 예를 들면, 프로세서(120)는 전자 장치(101)가 외부 장치와 연결된 경우(예를 들어, 데스크 탑과 연결된 경우) 압력 센서(413)를 비활성화할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413) 중 지정된 영역만 활성화할 수도 있다. 예를 들어, 프로세서(120)는 대기 상태에서의 소비 전력을 감소시키기 위해 압력 센서(413) 중 지정된 일부 영역(예를 들어, 압력 센서(413)의 중앙 하단 영역)을 활성화할 수 있다. 또는, 압력 센서(413)가 두 개 이상의 센서들의 집합으로 구현된 경우, 프로세서(120)는 두 개 이상의 센서들 중 일부를 활성화할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 압력 센서(413)를 활성화하거나 인에이블함으로써, 전자 장치(101)가 대기 상태에 있는 동안 압력 센서(413)를 이용하여 압력을 감지할 수 있다. 예를 들어, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413)로부터 터치스크린 디스플레이(422)에 대한 외부 물체에 의한 압력과 관련된 데이터를 수신할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 압력과 관련된 데이터에 기초하여 압력이 선택된 레벨보다 크거나 같은지 여부를 결정하고, 압력이 선택된 레벨보다 크거나 같은 것으로 결정되면 터치스크린 디스플레이(422)를 전적으로(fully) 턴 온하지 않고 기능을 수행할 수 있다. 예를 들어, 프로세서(120)는 지정된 레벨보다 크기가 큰 압력이 감지되면 기능을 수행할 수 있다. 이 경우, 프로세서(120)는 터치스크린 디스플레이(422)의 일부를 턴 온할 수 있다. 프로세서(120)는 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 및 지속 시간 중 적어도 하나에 기초하여 아래와 같이 수행할 기능을 결정할 수 있다. 예를 들어, 프로세서(120)는 터치스크린 디스플레이(422)의 하단 중앙에 대응하는 위치에서 압력이 감지되면 전자 장치(101)를 웨이크 업할 수도 있다. 프로세서(120)는 터치스크린 디스플레이(422)의 좌단 상부에 대응하는 위치에 압력이 감지되면 전자 장치(101)의 스피커의 볼륨을 제어할 수도 있다. 프로세서(120)는 이어잭 또는 USB 포트 등과 같은 하드웨어에 인접한 위치에 압력이 감지되면 인접한 하드웨어와 관련된 기능을 수행할 수도 있다. 프로세서(120)는 지정된 강도 이상의 압력이 감지되면 전자 장치(101)가 긴급 모드로 진입하도록 전자 장치(101)를 제어할 수도 있다. 프로세서(120)는 동시에 압력이 감지된 지점의 개수에 따라 서로 상이한 기능을 수행할 수도 있다.
도 4에서는 압력 센서(413)가 압력(Z)에 대한 데이터를 프로세서(120)로 제공하는 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(413)가 두 개 이상의 센서들의 집합으로 구현된 경우, 프로세서(120)는 두 개 이상의 센서들 중 정전 용량이 변화된 센서의 위치에 기초하여 압력이 작용된 위치를 감지할 수 있다. 예를 들어, 압력 센서(413)가 3x2의 어레이로 배열된 6개의 센서들의 집합으로 구현된 경우, 프로세서(120)는 여섯 개의 센서들 각각의 정전 용량의 변화량 및 6개의 센서들 각각이 배치된 위치에 기초하여 압력이 작용된 위치를 판단할 수 있다. 즉, 프로세서(120)는 터치 센서(411)를 이용하지 않고 압력이 작용된 위치를 판단할 수도 있다. 프로세서(120)는 압력 센서(413)에 의해 압력이 감지되면 터치 센서(411)를 활성화함으로써, 터치 센서(411)를 이용하여 압력이 작용된 위치를 감지할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 압력 센서(413)에서 터치에 의한 제1 레벨의 압력이 감지되면, 제1 기능을 수행할 수 있다. 프로세서(120)는 제1 레벨의 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제1 기능을 결정하고, 결정된 제1 기능을 수행할 수 있다. 제1 레벨의 압력은 지정된 범위의 강도의 압력을 의미할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 제1 기능의 수행 중에 압력 센서(413)에서 터치에 의한 제2 레벨의 압력이 감지되면, 제1 기능과 관련된 제2 기능을 수행할 수 있다. 프로세서(120)는 제2 레벨의 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제2 기능을 결정할 수 있다. 제2 레벨의 입력은 지정된 범위의 강도의 압력을 의미할 수 있다. 제2 레벨의 압력의 강도는 제1 레벨의 압력의 강도보다 클 수도 있고 작을 수도 있다. 또한, 제2 레벨의 압력의 강도와 제1 레벨의 압력의 강도는 동일할 수도 있다. 프로세서(120)는 제1 기능의 수행 중에 압력이 감지된 경우 수행 중인 제1 기능과 관련된 제2 기능을 수행함으로써, 1차원적인 입력인 압력에 의해 다양한 기능을 실행할 수 있다. 또한, 전자 장치(101)에 대한 한 번의 터치 후 전자 장치(101)를 누르는 압력의 크기에 따라 수행 중인 기능과 연관된 다른 기능을 실행함으로써, 입력의 편의성이 증대될 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)는 롱 프레스 입력과 압력 입력을 구분하는데 있어서, 적어도 하나의 센서(예: 가속도 센서, 자이로 센서 등)에서 측정된 값을 이용할 수 있다. 또한, 전자 장치(101)는 롱 프레스 입력과 압력 입력을 구분하는데 있어서, 지문, 카메라, 홍채를 이용할 수 있다.
상기 설명된 프로세서(120)의 동작은 일례로서, 전술한 기재에 제한되지 않는다. 예컨대, 본 문서의 다른 부분에 기재된 프로세서의 동작도 상기 프로세서(460)의 동작으로 이해될 수 있다. 또한, 본 문서에서, "전자 장치"의 동작으로 기재된 동작들 중 적어도 일부는 프로세서(120)의 동작으로 이해될 수도 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징, 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이(160), 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로(413), 상기 하우징 내부에 배치된 무선 통신 회로(960), 상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이(160), 상기 압력 감지 회로(413) 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서(120), 및 상기 하우징 내부에 배치되며, 상기 프로세서(120)와 전기적으로 연결되는 메모리(130)를 포함하며, 상기 메모리(130)는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가, 상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고, 상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고, 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이 상에 서로 인접한 복수의 객체들을 표시하고, 상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나의 객체를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 상기 전자 장치간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시, 상기 선택된 객체의 색상을 변경하여 표시, 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시, 또는 상기 선택되지 않은 객체를 반투명하게 표시 중 적어도 하나를 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체에 대응되는 부가 정보를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고, 상기 요청에 응답하여 상기 부가 정보를 수신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고, 상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신할 수 있다.
도 5 및 6은 다양한 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타낸다.
전자 장치(예, 도 1의 전자 장치(100))는 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대 방향을 향하는 제2 표면, 상기 제1 표면과 상기 제2 표면 사이의 공간을 둘러싸는 측면을 포함하는 하우징 및 상기 제1 표면과 상기 제2 표면 사이에서 상기 제1 표면을 통해 노출되는 터치스크린 디스플레이를 포함할 수 있다.
도 5 및 6에 도시된 적층 구조는 도 1에 도시된 터치스크린 디스플레이(160)에 적용될 수 있다. 따라서, 도 5 및 6에 도시된 구성들은 도 1의 전자 장치(101)의 전면(제1 면)과 후면(제2 면) 사이에 배치될 수 있다.
일 실시 예에 따른 터치스크린 디스플레이의 적층 구조에 있어서, 커버 글래스(501, 601)는 터치스크린 디스플레이(503)에 의해 생성된 빛을 투과시킬 수 있다. 커버 글래스(501, 601) 상에 사용자는 신체의 일부(예: 손가락)를 접촉함으로써 "터치"(전자 펜을 이용한 접촉을 포함함)을 수행할 수 있다. 커버 글래스(501, 601)는, 예를 들어, 강화 유리, 강화 플라스틱, 가요성(flexible) 고분자 소재 등으로 형성되어, 터치스크린 디스플레이 및 터치스크린 디스플레이가 탑재된 전자 장치를 외부 충격으로부터 보호할 수 있다. 일 실시 예에 따르면, 커버 글래스(501, 601)는 글래스 윈도우(glass window) 또는 커버 윈도우(cover window)로도 언급될 수 있다.
터치 센서(502, 602)에서는, 외부 물체(예: 사용자의 손가락 또는 전자 펜)의 접촉에 의해 다양한 물리량(예: 전압, 광량, 저항, 전하량 또는 커패시턴스 등)이 변화할 수 있다. 터치 센서(502, 602)는 물리량의 변화에 기반하여 터치스크린 디스플레이 상(예: 커버 글래스(501, 601)의 표면 상)의 외부 물체에 의한 터치의 적어도 하나의 위치를 검출할 수 있다. 예를 들어, 터치 센서(502, 602)는 정전식 터치 센서, 감압식 터치 센서, 적외선 방식 터치 센서, 저항막 방식 터치 센서 또는 피에조(piezo) 터치 센서 등을 포함할 수 있다. 일 실시 예에 따르면, 터치 센서(502, 602)는 구현 형태에 따라서 터치 패널 등 다양한 명칭으로 언급될 수 있다.
터치스크린 디스플레이(503, 603) 적어도 하나의 콘텐트 혹은 아이템(item)(예: 텍스트, 이미지, 비디오, 아이콘, 위젯, 또는 심볼 등)를 출력할 수 있다. 터치스크린 디스플레이(503, 603)은, 예를 들어, 액정 터치스크린 디스플레이(LCD) 패널, 발광 다이오드(LED) 터치스크린 디스플레이 패널, 유기 발광 다이오드(OLED) 터치스크린 디스플레이 패널, 마이크로 전자기계 시스템(MEMS) 터치스크린 디스플레이 패널, 또는 전자 종이 터치스크린 디스플레이 패널을 포함할 수 있다.
일 실시 예에 따르면, 터치스크린 디스플레이(503, 603)는 터치 센서(또는 터치 패널)(502, 602)와 일체로 구현될 수 있다. 이 경우, 터치스크린 디스플레이(503, 603)는 터치스크린 패널(TSP: touch screen panel), 혹은 터치스크린 터치스크린 디스플레이 패널로도 언급될 수 있다.
압력 센서(413)는, 터치스크린 디스플레이(예: 커버 글래스(501, 601)의 표면)에 대한 외부 물체(예: 사용자의 손가락, 전자 펜)에 의한 압력(혹은, 힘)을 검출할 수 있다. 일 실시 예에 따르면, 압력 센서(413)는 제1 전극(504, 604), 제2 전극(506, 606), 및 유전층(dielectric layer)(505, 605)을 포함할 수 있다. 예를 들어, 압력 센서(413)는 터치의 압력에 의해 변화하는 제1 전극(504, 604) 및 제2 전극(506, 606) 사이의 정전 용량에 기초하여 터치의 압력을 감지할 수 있다. 도 5 및 6에서는 압력 센서(413)가 단일의 센서로 구현된 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(413)는 두 개 이상의 센서들의 집합으로 구현될 수도 있다. 예를 들어, 압력 센서(413)는 3x2의 어레이로 배열된 여섯 개의 센서들의 집합으로 구현될 수도 있다.
햅틱 모듈(예: 햅틱 액추에이터(haptic actuator))(507, 607)은 외부 물체(예: 사용자의 손가락 또는 전자 펜 등)에 의한 터치(호버링(hovering) 및/또는 "포스 터치" 포함)가 수신될 때, 사용자에게 촉각적 피드백(haptic feedback)(예: 진동)을 제공할 수 있다. 이를 위해 햅틱 모듈(507, 607)은 압전부재(Piezoelectric member) 및/또는 진동판 등을 포함할 수도 있다.
앞서 설명한 도 5 및 6의 터치스크린 디스플레이의 적층 구조는 일례로서, 다양한 변형이 가능하다. 예를 들면, 터치 센서(502, 602)는 커버 글래스(501, 601)의 배면에 직접 형성되거나(이른바, 커버 글래스 일체형 터치 패널), 별도로 제작되어 커버 글래스(501, 601)와 터치스크린 디스플레이(503, 603) 사이에 삽입되거나(이른바 애드 온(add-on) 터치 패널), 터치스크린 디스플레이(503, 603) 위에 직접 형성되거나(이른바, 온-셀(on-cell) 터치 패널), 터치스크린 디스플레이(503, 603) 내부에 포함될 수 있다(이른바, 인-셀(in-cell) 터치 패널). 또한, 다양한 실시 예에 따르면, 상술한 적층 구조에는 불투명 또는 투명하게 구현된 에어리어(area) 방식 지문 센서가 추가적으로 포함될 수도 있다.
도 7a는 다양한 실시 예에 따른 압력 센서에서 정전 방식을 나타낸 예시도이고, 도 7b는 다양한 실시 예에 따른 압력 센서에서 유도 방식을 나타낸 예시도이고, 도 7c는 다양한 실시 예에 따른 압력 센서에서 스트레인 게이지 방식을 나타낸 예시도이고, 도 7d는 다양한 실시 예에 따른 압력 센서에서 피에조 방식을 나타낸 예시도이다.
도 7a를 참조하면, 정전(capacitive) 방식의 압력 센서는 사용자의 압력에 따라 두 전극 사이에 형성된 캐패시턴스가 변화하는 것에 기반하여 압력을 감지할 수 있다. 상기 캐패시턴스는 사용자의 압력에 의해 두 전극 사이의 거리가 가까워짐에 따라 증가할 수 있다. 이러한 정전 방식의 압력 센서는 복수개의 전극들(예: 730-1, 730-2,…730-n)로 이루어진 제1 전극층(730), 상기 반복된 복수의 전극들에 대응하는 영역 전체에 걸쳐 하나로 연장된 제2 전극층(710), 상기 제1 전극층과 상기 제2 전극층 사이에 배치왼 유전층(720)을 포함할 수 있다. 상기 복수개의 전극들(예: 730-1, 730-2,…730-n)에서 각각의 라인들(730-1, 730-1)은 전압 또는 정전용량 측정기(701)에 연결되며, 정전용량 측정기(701)는 사용자의 압력 입력을 감지하고, 감지된 값을 측정할 수 있다.
도 7b를 참조하면, 유도(inductive) 방식의 압력 센서는 사용자의 압력에 따라 인덕터(예: 코일)(740-1, 740-2,…740-n)에 유도된 전류가 변화하는 것에 기반하여 압력을 감지할 수 있다. 상기 전류는 사용자의 압력에 의해 하우징 내부에 배치된 인덕터(예: 코일)에 도전체(예: 메탈 하우징, 사용자의 손가락 등)가 가까워짐 따라 증가할 수 있다. 그리고, 인덕터들은 전류 측정기(702)에 연결되며, 사용자의 압력을 감지하고, 감지된 값을 측정할 수 있다.
도 7c를 참조하면, 스트레인 게이지(strain gauge) 방식의 압력 센서는 사용자의 압력에 따라 도전체(750-1, 750-2,…750-n)의 저항이 변화하는 것에 기반하여 압력을 감지할 수 있다. 상기 저항은 사용자의 압력에 의해 상기 도전체의 길이가 증가함에 따라 상기 도전체의 단면적이 감소함으로써 증가할 수 있다. 그리고, 도전체들은 전류 측정기(703)에 연결되며, 사용자의 압력을 감지하고, 감지된 값을 측정할 수 있다. 그리고 도전체들의 배선은 휘트스톤 브릿치 형태로 구성될 수 있다.
도 7d를 참조하면, 피에조(piezo) 방식의 압력 센서는 사용자의 압력에 따라 피에조 물질(760-1, 760-2,…760-n)에서 발생하는 전류에 기반하여 압력을 감지할 수 있다. 상기 전류는 사용자의 압력에 의해 상기 피에조 물질에 의해 변환되는 전류의 양이 많아짐에 따라 증가할 수 있다. 그리고, 피에조 물질들(760-1, 760-2,…760-n)은 전류 측정기(704)에 연결되며, 사용자의 압력을 감지하고, 감지된 값을 측정할 수 있다.
도 8a는 다양한 실시 예에 따른 압력 센서에서 셀프 캐패시턴스 방식을 나타낸 사시도이고, 도 8b는 다양한 실시 예에 따른 압력 센서에서 뮤추얼 캐패시턴스 방식을 나타낸 사시도이다.
도 8a를 참조하면, 셀프 캐패시턴스(Self capacitance) 방식 압력 센서는, 반복된 복수의 다각형들(또는 원들)(830-1, 830-2,...830-n) 형태의 제1 전극층(830), 상기 반복된 복수의 다각형들에 대응하는 영역 전체에 걸쳐 하나로 연장된 제2 전극층(810), 및 제1 전극층(830)과 제2 전극층(810) 사이에 배치된 유전층(820)을 포함할 수 있다. 압력 센서는, 상기 제1 전극층(830) 중 각 부분 전극과 제1 전극층 사이의 캐패시턴스의 변화에 기반하여 압력을 센싱할 수 있다. 제1 전극층(830) 및 제2 전극층(810)의 위치 또는 형태는 서로 바뀔 수 있다.
도 8b를 참조하면, 뮤추얼 캐패시턴스(Mutual capacitance) 방식 압력 센서는, 제1 방향으로 연장된 복수의 전극들(860-1, 860-2,…860-n)로 형성된 제1 전극층(860), 상기 제1 방향에 실질적으로 수직인 제1 방향으로 연장된 복수의 전극들(840-1, 840-2,…840-n)로 형성된 제2 전극층(840), 및 제1 전극층(860)과 제2 전극층(840) 사이에 배치된 유전층(850)을 포함할 수 있다. 압력 센서는, 상기 제1 전극층(860)과 제2 전극(840)이 교차하는 지점에서의 상기 제1 전극과 제2 전극 사이의 캐패시턴스의 변화에 기반하여 압력을 센싱할 수 있다. 제1 전극 및 제2 전극의 위치 또는 형태는 서로 바뀔 수 있다.
일 실시 예에 따르면, 제1 전극 또는 제2 전극은 불투명 또는 투명할 수 있다. 즉, 사용자가 압력 센서를 바라볼 때, 압력 센서의 반대에 배치된 오브젝트가 시인되지 않거나(불투명) 시인될(투명) 수 있다. 제1 전극 또는 제2 전극이 불투명한 경우, 제1 전극 또는 제2 전극은 구리(Cu), 은(Ag), 마그네슘(Mg), 또는 티타늄(Ti) 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 제1 전극 또는 제2 전극이 투명한 경우, 제1 전극 또는 제2 전극은 ITO, IZO, 고분자 도전체, Graphene, 특정 선폭 이하의 불투명 배선 패턴(Ag Nanowire, Metal mesh 등) 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 그리고, 유전층은 실리콘, 공기(air), 거품(foam), 막(membrane), OCA, 스폰지, 고무, 잉크, 또는 폴리머(PC, PET 등) 중 적어도 하나를 포함할 수 있다.
도 9는 다양한 실시 예에 따른 객체를 표시하는 영상에서 압력 입력을 감지하여 동작을 제어하는 전자 장치의 블록도이다.
도 9를 참조하면, 전자 장치(10)는 AR 서비스 모듈(920), 메모리 모듈(940), 카메라 모듈(950), 네트워크 모듈(960) 및 프로세서(910)를 포함할 수 있다. 상기 AR 서비스 모듈(920)은 프로세서(102)(예: 도 1의 프로세서(120))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다. 전자 장치(10)는 디스플레이 모듈(931), 센서 모듈(932), 터치 모듈(933) 및 압력 모듈(934)을 포함할 수 있다. 상기 메모리 모듈(940)은 메모리(예: 도 1의 메모리(130))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있으며, 메모리(예: 도 1의 메모리(130))에 저장된 데이터, 프로그램 등을 저장할 수 있다. 상기 카메라 모듈(950)는 카메라 모듈(예: 도 2의 카메라 모듈(291))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다. 상기 네트워크 모듈(960)은 통신 인터페이스(예: 도 1의 통신 인터페이스(170))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다. 상기 프로세서(910)는 프로세서(예: 도 1의 프로세서(120))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다.
다양한 실시 예에 따르면, AR 서비스 모듈(920)은 프로세서(910), 메모리 모듈(940), 카메라 모듈(950), 네트워크 모듈(960)과 전기적으로 연결될 수 있다. AR 서비스 모듈(920) 또는 프로세서(910) 중 적어도 하나는 사용자에 의해 선택되는 객체를 결정하고, 선택된 객체와 관련된 기능을 실행시킬 수 있다. 상기 AR 서비스 모듈(920)은 기본적으로 카메라 모듈(950)로부터 받은 영상을 처리하여 디스플레이 모듈(931)로 제공하는 역할을 수행할 수 있다.
일 실시 예에 따르면, AR 서비스 모듈(920)은 센서 모듈(932)을 통해 전자 장치(101)에 존재하는 다양한 센서, 예를 들어 가속도 센서, 지자계 센서, 중력 센서, 기압 센서, 조도 센서, 온도 센서, 근접 센서, GPS 센서들로부터 전자 장치의 상태 정보를 제공받을 수 있으며, 터치 모듈(933)과 압력 모듈(934)(예: 압력 센서)을 통해 다양한 사용자의 터치 및 압력 입력 정보 또한 수신할 수 있다. AR 서비스 모듈(920)은 이러한 다양한 모듈로부터 수신한 입력과 카메라 모듈(950)로부터 수신한 영상을 이용하여 사용자에게 제공할 영상의 가상적 시점을 결정할 수 있다.
일 실시 예에 따르면, AR 서비스 모듈(920)은 결정된 시점에서 사용자에게 제공할 영상을 구성하기 위하여, 메모리 모듈(940)과 네트워크 모듈(960)을 이용할 수 있다. AR 서비스 모듈(920)은 영상 구성을 위해 필요한 영상 구성 요소를 결정할 수 있으며, 이러한 영상 구성 요소를 획득하기 위해 메모리 모듈(940)을 통해 전자 장치(101) 내부의 저장장치에 접근하거나, 네트워크 모듈(960)을 통해 전자 장치(101) 외부에 존재하는 저장장치에 접근할 수도 있다.
AR 서비스 모듈(920)은 결정된 시점정보와 결정된 가상의 시점정보를 표현하기 위해 획득한 영상 구성 요소를 이용하여 사용자에게 제공할 영상을 생성할 수 있으며, 이렇게 생성된 영상에 존재하는 오브젝트를 인식하고 이에 대한 부가 정보를 매핑시킴으로써 사용자에게 최종적으로 제공할 영상을 완성하고 이를 디스플레이 모듈(931)로 전달하여 표시할 수 있다.
도 10은 다양한 실시 예에 따른 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 과정을 나타낸 순서도이다.
이하, 도 10을 참조하여, 본 발명의 다양한 실시 예에 따른 전자 장치에서 압력 입력의 레벨에 따른 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1010에서, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 적어도 하나의 객체를 표시할 수 있다. 상기 전자 장치(101)는 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징(미도시), 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이(930), 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이(930)의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로(예: 도 4의 압력 센서(413)), 상기 하우징 내부에 배치된 무선 통신 회로(예: 도 9의 네트워크 모듈(960))을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 비쥬얼 피드백, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1012에서, 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 감지되는 사용자의 압력 입력에 대한 세기를 측정할 수 있고, 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체를 선택(또는 결정)하기 위해, 사용자의 압력 입력에 대한 세기를 측정할 수 있고, 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다.
다양한 실시 예에 따르면, 동작 1014에서, 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 실행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접한 복수의 객체들을 표시하고, 상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력이 감지된 지점에 표시되는 복수의 객체들을 결정하고, 사용자로 하여금 원하는 객체가 선택되도록 상기 압력 입력의 레벨 또는 세기에 따라 복수의 객체들 중 각각의 객체들에 비쥬얼 피드백을 제공할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보의 값이 큰 객체, 즉 깊이가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 압력 레벨이 작으면 뎁스 정보의 값이 작은 객체, 즉 깊이가 얕은 객체를 선택할 수 있고, 압력 레벨이 클수록 뎁스 정보의 값이 큰 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 이러한 선택되는 객체에 서로 다른 비쥬얼 피드백을 제공하여 사용자로 하여금 어떤 객체가 선택되는지 인지시킬 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들간에 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 결정된 복수의 객체들 간에 데이터 송수신, 제어 신호 송수신, 기능 제어와 같은 인터워킹을 위해 페어링을 수행할 수 있다. 예를 들면, 상기 복수의 객체들이 실내의 냉장고, 텔레비젼, 세탁기, 식기 세척기, 청소기, 밥솥, 오븐, 홈 네트워크 시스템과 같은 전자 장치들인 경우, 기능 제어, 제어 신호 송수신을 위해 결정된 객체들 간에 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 상기 전자 장치간에 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 선택된 객체와 전자 장치(101)간에 데이터 송수신, 제어 신호 송수신, 기능 제어와 같은 인터워킹을 위해 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 선택된 객체에 관한 연관 정보 검색, 구매 및 페어링과 같은 특정 기능을 수행할 수 있다. 전자 장치(101)간에 데이터 송수신, 제어 신호 송수신, 기능 제어와 같은 인터워킹을 위해 페어링을 수행할 수 있다. 예를 들면, 상기 선택된 객체가 실내의 냉장고, 텔레비젼, 세탁기, 식기 세척기, 청소기, 밥솥, 오븐, 홈 네트워크 시스템과 같은 전자 장치(예: 도 1의 외부 전자 장치(102))경우, 전자 장치(101)는 외부 전자 장치(102)와 기능 제어, 제어 신호 송수신을 위해 페어링을 수행할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성을 상기 선택되지 않은 객체의 속성과 다르게 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 비쥬얼 효과를 상기 선택되지 않은 객체의 비쥬얼 효과와 다르게 하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 표시한 상태에서, 사용자의 압력 입력에 기반하여 적어도 하나의 객체의 속성이 결정되면, 상기 결정된 속성을 상기 표시된 영상에 적용하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 색상을 변경하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시하거나, 또는 상기 선택되지 않은 객체를 반투명하게 표시할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 하나의 사용자 입력의 압력 레벨과, 두 개의 사용자 입력의 압력 레벨이 동일(또는 비슷)하여도 하나의 사용자 입력이 감지되는 경우보다 두 개의 사용자 입력이 감지되는 경우, 객체를 보다 빠르게 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 두 개의 사용자 입력이 감지되는 경우보다 세 개의 사용자 입력이 감지되는 경우, 객체를 보다 빠르게 선택할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 선택된 객체에 관련된 부가 정보를 검색하는 기능, 선택된 객체를 구매하는 기능, 선택된 객체와 페어링하는 기능 등 다양한 기능을 포함하는 메뉴를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 메뉴를 상기 선택된 객체의 상하좌우 중 일부분에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성에 대응하여 메뉴에 다른 기능을 포함하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체에 대응되는 부가 정보를 기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있는지 판단할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 선택된 객체에 해당되는 서버(예: 도 1의 서버(106))에 접속하여 상기 부가 정보를 요청할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고, 상기 요청에 응답하여 상기 부가 정보를 수신할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고, 상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신할 수 있다.
도 11은 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체의 속성을 결정하여 표시하는 동작을 나타낸 순서도이다.
이하, 도 11을 참조하여, 본 발명의 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체의 속성을 결정하여 표시하는 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1110에서, 전자 장치(예: 프로세서(120))는 적어도 하나의 객체를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 비쥬얼 피드백, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1112에서, 전자 장치(예: 프로세서(120))는 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 사용자의 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체 상에 입력되는 압력 입력을 감지할 수 있다.
다양한 실시 예에 따르면, 동작 1114에서, 전자 장치(예: 프로세서(120))는 압력 입력에 대응하는 복수의 객체들을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들을 중첩되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들 상에 사용자의 압력 입력의 위치에 대응되는 복수의 객체들을 결정할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 복수의 객체들이 중첩된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 복수의 객체들을 결정할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 하나의 객체가 표시된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 하나의 객체를 결정할 수 있다.
다양한 실시 예에 따르면, 동작 1116에서, 전자 장치(예: 프로세서(120))는 결정된 복수의 객체들 중 선택된 객체를 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나(또는 적어도 하나)의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력이 감지된 지점에 표시되는 복수의 객체들을 결정하고, 사용자로 하여금 원하는 객체가 선택되도록 상기 압력 입력의 세기에 따라 복수의 객체들 중 각각의 객체들에 비쥬얼 피드백을 제공할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 입력의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 압력 입력의 세기가 작으면 뎁스 정보가 작은 객체를 선택할 수 있고, 압력 입력의 세기가 클수록 뎁스 정보가 큰 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 이러한 선택되는 객체에 서로 다른 비쥬얼 피드백을 제공하여 사용자로 하여금 어떤 객체가 선택되는지 인지시킬 수 있다.
다양한 실시 예에 따르면, 동작 1118에서, 전자 장치(예: 프로세서(120))는 상기 선택된 객체 또는 선택되지 않는 객체 중 적어도 하나에 대한 속성을 결정할 수 있다. 상기 전자 장치(예: 프로세서(120))는 상기 선택된 객체 또는 선택되지 않는 객체 중 적어도 하나가 딱딱한 재질로 이루어져 있는지, 부드러운 재질로 이루어져 있는지, 또는 말랑말랑한 재질로 이루어져 있는지에 대한 속성을 판단할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들 중에서 상기 선택된 객체의 속성을 결정할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체를 제외한 나머지 객체(예: 선택되지 않은 객체) 중 적어도 하나에 대한 속성을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성을 상기 선택되지 않은 객체의 속성과 다르게 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 비쥬얼 효과가 상기 선택되지 않은 객체의 비쥬얼 효과와 다르도록 각각의 객체에 대한 속성을 다르게 결정할 수 있다.
예를 들면, 전자 장치(예: 프로세서(120))는 압력 입력의 레벨(또는 세기)이 동일하여도 객체의 속성(또는 물성)이 딱딱한 것으로 판단되면, 상기 객체의 속성이 물렁한 경우보다 객체간의 이동 속도를 보다 빠르게 하여 객체를 선택할 수 있다. 다른 예를 들면, 전자 장치(예: 프로세서(120))는 압력 입력의 레벨(또는 세기)이 동일하여도 객체의 속성(또는 물성)이 물렁한 것으로 판단되면, 상기 객체의 속성이 딱딱한 경우보다 객체간의 이동 속도를 보다 느리게 하여 객체를 선택할 수 있다. 또한, 전자 장치(예: 프로세서(120))는 압력 입력의 레벨(또는 세기)이 동일하여도 객체의 속성(또는 물성)이 딱딱한 것으로 판단되면, 상기 객체에 적용되는 비쥬얼 피드백의 깊이 감을 속성이 물렁한 경우보다 적게 하여 표시할 수 있다. 예를 들면, 동일하게 압력 입력이 감지되어도, 표시된 객체의 광각이 크거나 또는 줌 아웃(zoom out)된 상태인 경우, 전자 장치(예: 프로세서(120))는 중첩된 객체들이 줌 인(zoom in) 상태보다 이동 속도를 빠르게 하여 객체를 선택할 수 있다.
다양한 실시 예에 따르면, 동작 1120에서, 전자 장치(예: 프로세서(120))는 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 표시한 상태에서, 사용자의 압력 입력에 기반하여 적어도 하나의 객체의 속성이 결정되면, 상기 결정된 속성을 상기 표시된 영상에 적용하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 색상을 변경하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택되지 않은 객체를 반투명하게 표시할 수 있다.
도 12는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 12a 및 도 12b를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들(1210, 1211, 1212)을 표시할 수 있고, 상기 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제1 압력 입력(1213)을 감지할 수 있다. 도 12a와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1213)에 따른 제1 객체(1210)가 선택되면, 선택된 객체(1210)를 제외한 다른 객체들(1211, 1212)은 도 12b의 객체들(1211, 1212)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12b의 객체들(1211, 1212)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12a에서 선택된 객체(1210)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 12c 및 도 12d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제2 압력 입력(1214)을 감지할 수 있다. 예를 들면, 상기 제2 압력 입력(1214)의 세기는 상기 제1 압력 입력(1213)의 세기보다 클 수 있다. 다른 예를 들면, 상기 제2 압력 입력의 세기는 상기 제1 압력 입력의 세기보다 크지 않을 수 있다. 도 12c와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1214)에 따른 제2 객체(1211)가 선택되면, 선택된 객체(1211)를 제외한 다른 객체들(1210, 1212)은 도 12d의 객체들(1210, 1212)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12d의 객체들(1210, 1212)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12c에서 선택된 객체(1211)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 12e 및 도 12f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제3 압력 입력(1215)을 감지할 수 있다. 예를 들면, 상기 제3 압력 입력의 세기는 상기 제2 압력 입력의 세기보다 클 수 있다. 다른 예를 들면, 상기 제3 압력 입력의 세기는 상기 제2 압력 입력의 세기보다 크지 않을 수 있다. 도 12e와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1215)에 따른 제3 객체(1212)가 선택되면, 선택된 객체(1212)를 제외한 다른 객체들(1210, 1211)은 도 12f의 객체들(1210, 1211)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12f의 객체들(1210, 1211)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12e에서 선택된 객체(1212)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 12g 및 도 12h를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제4 압력 입력(1216)을 감지할 수 있다. 예를 들면, 상기 제4 압력 입력의 세기는 상기 제2 압력 입력의 세기와 같을 수 있다. 다른 예를 들면, 상기 제4 압력 입력의 세기는 상기 제1, 제2 및 제3의 압력 입력의 세기와 다를 수 있다. 도 12g와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제4 압력 입력(1216)에 따른 제2 객체(1211)가 선택되면, 선택된 객체(1211)를 미리 지정된 배율로 확대하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체(1211)를 제외한 다른 객체들(1210, 1212)은 도 12h의 객체들(1210, 1212)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12h의 객체들(1210, 1212)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12g에서 선택된 객체(1211)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 13은 다양한 실시 예에 따른 하나 이상의 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 13a 및 도 13c를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들 중 제1 압력 입력(1311)에 따른 제1 객체(1312)를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1311)보다 큰 제2 압력 입력(1313)이 감지되면, 상기 제1 객체(1312)보다 뎁스 정보가 큰 제2 객체(1314)가 선택될 수 있고, 상기 제2 압력 입력(1313)보다 큰 제3 압력 입력(1315)이 감지되면, 상기 제2 객체(1314)보다 뎁스 정보가 큰 제3 객체(1316)가 선택될 수 있다.
도 13d 및 도 13f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들 중 제4 압력 입력(1317)에 따른 제4 객체(1318)를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 제4 압력 입력(1317)보다 큰 제5 압력 입력(1319)이 감지되면, 상기 제4 객체(1318)보다 뎁스 정보가 큰 제5 객체(1320)가 선택될 수 있고, 상기 제5 압력 입력(1319)보다 큰 제6 압력 입력(1321)이 감지되면, 상기 제5 객체(1314)보다 뎁스 정보가 큰 제6 객체(1322)가 선택될 수 있다.
도 13a 내지 도 13c에서 제1 압력 입력(1311)에서 제3 압력 입력(1315)의 세기가 증가하는 비율보다 도 13d 내지 도 13f에서 제4 압력 입력(1317)에서 제6 압력 입력(1321)의 세기가 증가하는 비율이 클 경우, 전자 장치(101)(예: 프로세서(120))는 커지는 비율에 비례하여 뎁스 정보가 큰 객체를 선택할 수 있다.
도 13g 및 도 13h에서 두 개의 압력 입력(1323, 1324)이 감지되면, 전자 장치(101)(예: 프로세서(120))는 도 13a 내지 도 13f에서 감지된 하나의 압력 입력(1313)에 비해 객체를 선택하기 위한 이동 속도를 빠르게 하여 뎁스 정보가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 두 개의 압력 입력(1323, 1324)이 감지된 지점들간의 거리를 계산하고, 상기 계산된 거리와 미리 지정된 거리 이내에 있는 경우, 상기 감지된 하나의 압력 입력(1313)에 비해 객체를 선택하기 위한 이동 속도를 빠르게 하여 뎁스 정보가 큰 객체를 선택할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 두 개의 압력 입력(1323, 1324) 중 압력이 더 큰 지점의 방향으로 객체를 선택하기 위한 이동 속도를 제어할 수 있다. 예를 들면, 도 13g에서 제1 압력 입력(1323)의 압력 값이 일정하게 유지되고 있는 상태에서, 제2 압력 입력(1324)의 압력 값이 점점 커지는 경우, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1324)이 감지된 지점의 방향(예: 오른쪽 또는 뒷쪽)으로 객체를 선택하기 위한 이동 속도를 빠르게 하여 뎁스 정보가 큰 객체를 선택할 수 있다. 도 13a 내지 도 13h에 도시된 바와 같이, 압력 입력의 개수 또는 압력 입력의 세기 중 적어도 하나에 기반하여 객체를 선택하기 위한 이동 속도를 빠르게 하여 객체를 선택할 수 있다.
도 14는 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체를 결정하여 동작을 실행하는 동작을 나타낸 순서도이다.
이하, 도 14를 참조하여, 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체를 결정하여 동작을 실행하는 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1410에서, 전자 장치(예: 프로세서(120))는 적어도 하나의 객체를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 비쥬얼 피드백, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 기반하여 적어도 하나의 동작을 실행할 수 있는 적어도 하나의 객체를 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1412에서, 전자 장치(예: 프로세서(120))는 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 사용자의 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체 상에 입력되는 압력 입력을 감지할 수 있다.
다양한 실시 예에 따르면, 동작 1414에서, 전자 장치(예: 프로세서(120))는 압력 입력에 대응하는 복수의 객체들을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들을 중첩되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들 상게 사용자의 압력 입력의 위치에 대응되는 복수의 객체들을 결정할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 복수의 객체들이 중첩된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 복수의 객체들을 결정할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 하나의 객체가 표시된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 하나의 객체를 결정할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 대응하여 적어도 하나의 동작을 실행할 수 있는 복수의 객체들을 결정할 수 있다.
다양한 실시 예에 따르면, 동작 1416에서, 전자 장치(예: 프로세서(120))는 결정된 복수의 객체들 중 선택된 객체를 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나(또는 적어도 하나)의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력이 감지된 지점에 표시되는 복수의 객체들을 결정하고, 사용자로 하여금 원하는 객체가 선택되도록 상기 압력 입력의 세기에 따라 복수의 객체들 중 각각의 객체들에 비쥬얼 피드백을 제공할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 입력의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 압력 입력의 세기가 작으면 뎁스 정보가 작은 객체를 선택할 수 있고, 압력 입력의 세기가 클수록 뎁스 정보가 큰 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 이러한 선택되는 객체에 서로 다른 비쥬얼 피드백을 제공하여 사용자로 하여금 어떤 객체가 선택되는지 인지시킬 수 있다.
다양한 실시 예에 따르면, 동작 1418에서, 전자 장치(예: 프로세서(120))는 결정된 복수의 객체들 중 선택된 객체에 대한 동작을 실행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 결정된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 결정된 객체가 표시된 위치에 대응되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 결정된 객체에 관련된 부가 정보를 검색하는 기능, 결정된 객체를 구매하는 기능, 결정된 객체와 페어링하는 기능 등 다양한 기능을 포함하는 메뉴를 표시할 수 있다. 상기 메뉴에 포함된 기능들은 상기 객체의 특성에 따라 다를 수 있다. 예를 들면, 상기 결정된 객체가 통신이 가능한 전자 장치(예: 도 1의 외부 전자 장치(102))인 경우, 상기 메뉴는 상기 외부 전자 장치(102)와 페어링할 수 있는 기능을 포함할 수 있다. 또 다른 예를 들면, 상기 결정된 객체가 사람이 섭취할 수 있으며, 유통 기한이 존재하는 음식물인 경우, 상기 메뉴는 상기 객체의 유통 기한, 가격, 최저가 사이트 등 다양한 기능을 포함할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 메뉴를 상기 선택된 객체의 상하좌우 중 일부분에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성에 대응하여 메뉴에 다른 기능을 포함하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체에 대응되는 부가 정보를 기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다. 또 다른 예를 들면, 상기 선택된 객체가 실내에서 통신이 가능한 가전 제품(예: 텔레비젼, 냉장고, 세탁기, 식기 세척기, 전자 렌즈, 오븐, 오디오, 에어컨, 조명, 보일러, 비디오 등)이면, 상기 선택된 객체에 대한 미리 지정된 기능을 실행하거나, 세부 화면을 표시할 수 있다. 상기 미리 지정된 기능은 가전 제품의 종류에 따라 서로 다를 수 있다. 예를 들면, 상기 미리 지정된 기능은, 선택된 객체(예: 가전 제품)에 대한 동작 On/Off 제어 등 해당 가전에서 통상적으로 자주 사용되는 복수의 기능을 포함할 수 있다.
도 15는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 15a 및 도 15b를 참조하면, 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들(1510, 1511, 1512)을 표시할 수 있고, 상기 표시된 복수의 객체들(1510, 1511, 1512) 상에 입력되는 제1 압력 입력(1513)을 감지할 수 있다. 도 15a와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1513)에 따른 제1 객체(1510)가 선택되면, 선택된 객체(1510)의 일 측에 상기 선택된 객체(1510)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1520)를 표시할 수 있다. 예를 들면, 상기 메뉴(1520)는 상기 선택된 객체(1510)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다. 예를 들면, 상기 메뉴(1520)는 사용자가 쉽게 볼 수 있는 위치에 표시될 수 있다. 상기 메뉴(1520)는 선택된 객체(1510)에 관한 정보(예: 제조 일자, 유통 기한, 제조 회사, 가격 등)를 검색하는 기능(1521), 상기 선택된 객체(1510)에 관한 보다 상세한 정보(예: 성분, 인체에 미치는 영향 등)를 검색하는 기능(1522)(예: 검색 사이트), 상기 선택된 객체(1510)를 구매하기 위해 요구되는 기능(1523)(예: 구매 사이트, 최저가 사이트 등)을 포함할 수 있다. 상기 메뉴(1520)는 선택된 객체(1510)의 종류 또는 특성에 따라 서로 다른 기능을 포함할 수 있다. 다른 실시 예에 따르면, 상기 선택된 객체(1510)를 제외한 다른 객체들(1511, 1512)은 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 다른 객체들(1511, 1512)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 도 15b에 도시된 바와 같이, 예를 들면, 사용자가 제1 압력 입력(1513)을 입력하면, 상기 선택된 객체(1510)에 대한 메뉴(1520)가 표시되고, 상기 표시된 메뉴(1520)에 포함된 기능(1521)이 선택되면, 상기 선택된 기능(1521)에 대한 실행 결과를 표시할 수 있다. 예를 들면, 상기 기능(1521)은 상기 제1 압력 입력(1513) 이후, 터치를 유지한 상태에서 상기 기능(1521)이 표시된 위치로 일정 거리를 움직이는 제스처인 드래그(drag) 또는 스윕(swip) 제스처에 기반하여 선택될 수 있다. 상기 기능(1521)은 상기 드래그 또는 스윕 제스처에 기반한 터치가 해제되는 경우, 실행될 수 있다.
도 15c 및 도 15d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들(1510, 1511, 1512) 상에 입력되는 제2 압력 입력(1514)을 감지할 수 있다. 상기 제2 압력 입력(1514)의 세기는 상기 제1 압력 입력(1513)의 세기보다 클 수 있다. 도 15c와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1514)에 따른 제2 객체(1511)가 선택되면, 선택된 객체(1511)의 일 측에 상기 선택된 객체(1511)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1530)를 표시할 수 있다. 예를 들면, 상기 메뉴(1530)는 상기 선택된 객체(1511)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다. 예를 들면, 상기 메뉴(1530)는 사용자가 쉽게 볼 수 있는 위치에 표시될 수 있다. 상기 메뉴(1530)는 선택된 객체(1511)에 관한 정보(예: 제조 일자, 유통 기한, 제조 회사, 가격 등)를 검색하는 기능(1531), 상기 선택된 객체(1511)에 관한 보다 상세한 정보(예: 성분, 인체에 미치는 영향 등)를 검색하는 기능(1532)(예: 검색 사이트), 상기 선택된 객체(1511)를 구매하기 위해 요구되는 기능(1533)(예: 구매 사이트, 최저가 사이트 등)을 포함할 수 있다. 상기 메뉴(1530)는 선택된 객체(1511)의 종류 또는 특성에 따라 서로 다른 기능을 포함할 수 있다. 다른 실시 예에 따르면, 상기 선택된 객체(1511)를 제외한 다른 객체들(1510, 1512)은 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 다른 객체들(1510, 1512)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 도 15d에 도시된 바와 같이, 예를 들면, 사용자가 제2 압력 입력(1515)을 입력하면, 상기 선택된 객체(1511)에 대한 메뉴(1530)가 표시되고, 상기 표시된 메뉴(1530)에 포함된 기능(1532)이 선택되면, 상기 선택된 기능(1532)에 대한 실행 결과를 표시할 수 있다.
도 15e 및 도 15f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들(1510, 1511, 1512) 상에 입력되는 제4 압력 입력(1516)을 감지할 수 있다. 상기 제4 압력 입력(1516)의 세기는 상기 제2 압력 입력(1514)의 세기보다 클 수 있다. 도 15e와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제4 압력 입력(1515)에 따른 제3 객체(1512)가 선택되면, 선택된 객체(1512)의 일 측에 상기 선택된 객체(1512)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1540)를 표시할 수 있다. 예를 들면, 상기 메뉴(1540)는 상기 선택된 객체(1512)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다. 예를 들면, 상기 메뉴(1540)는 사용자가 쉽게 볼 수 있는 위치에 표시될 수 있다. 상기 메뉴(1540)는 선택된 객체(1512)에 관한 정보(예: 제조 일자, 유통 기한, 제조 회사, 가격 등)를 검색하는 기능(1541), 상기 선택된 객체(1512)에 관한 보다 상세한 정보(예: 성분, 인체에 미치는 영향 등)를 검색하는 기능(1542)(예: 검색 사이트), 상기 선택된 객체(1512)를 구매하기 위해 요구되는 기능(1543)(예: 구매 사이트, 최저가 사이트 등)을 포함할 수 있다. 상기 메뉴(1540)는 선택된 객체(1512)의 종류 또는 특성에 따라 서로 다른 기능을 포함할 수 있다. 다른 실시 예에 따르면, 상기 선택된 객체(1512)를 제외한 다른 객체들(1510, 1511)은 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 다른 객체들(1510, 1511)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 도 15f에 도시된 바와 같이, 예를 들면, 사용자가 제5 압력 입력(1517)을 입력하면, 상기 선택된 객체(1512)에 대한 메뉴(1540)가 표시되고, 상기 표시된 메뉴(1540)에 포함된 기능(1543)이 선택되면, 상기 선택된 기능(1543)에 대한 실행 결과를 표시할 수 있다.
도 16은 다양한 실시 예에 따른 압력 입력에 따른 객체를 선택한 상태에서 메뉴의 기능을 선택하는 다양한 예를 나타낸 도면이다.
도 16a를 참조하면, 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제1 압력 입력(1610)에 의해 객체(1620)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 상기 선택된 객체(1620)의 일 측에 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 표시할 수 있다. 예를 들면, 상기 메뉴(1630)는 상기 선택된 객체(1620)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다.
도 16b를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제2 압력 입력(1611)에 의해 객체(1620)가 선택된 이후, 특정 방향(예: 제3 압력 입력의 왼쪽 방향)으로 드래그 또는 스윕 제스쳐가 입력되면, 상기 선택된 객체(1620)의 일 측에 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 표시할 수 있다. 예를 들면, 상기 메뉴(1630)는 상기 특정 방향에서 표시될 수 있다.
도 16c를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제3 압력 입력(1612)에 의해 객체(1620)가 선택된 이후, 특정 방향(예: 제3 압력 입력의 왼쪽 방향)으로 지정된 제스쳐가 입력되면, 상기 선택된 객체(1620)의 일 측에 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 표시할 수 있다. 예를 들면, 상기 지정된 제스쳐는, 손가락을 특정 방향으로 굴리며 힘을 가하는 쉬어 포스(shear force) 제스쳐, 또는 터치 앤 드래그(touch & drag) 제스쳐를 포함할 수 있다. 예를 들면, 상기 메뉴(1630)는 객체(1620)를 기준으로 쉬어 포스 제스쳐의 또는 상기 터치 앤 드래그의 진행 방향에 표시될 수 있다.
도 16d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제4 압력 입력(1613)에 의해 객체(1620)가 선택된 이후, 상기 제4 압력 입력(1613)이 해제되지 않은 상태에서 특정 지점에서 터치의 입력이 감지되면, 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 상기 터치가 감지된 지점에 표시할 수 있다. 예를 들면, 상기 메뉴(1630)는 객체(1620)를 기준으로 상기 터치 앤 드래그의 진행 방향에 표시될 수 있다.
도 17은 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 부가 정보를 표시하는 예시도이다.
도 17a 및 도 17b를 참조하면, 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제1 객체(1710) 상에 입력되는 제1 압력 입력(1711)을 감지할 수 있다. 도 17a와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1711)에 따른 제1 객체(1710)가 선택되면, 도 17b와 같이, 선택된 객체(1710)의 일 측에 상기 선택된 객체(1710)에 관련된 부가 정보(1712)를 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1711)에 따른 제1 객체(1710)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 선택된 객체(1710)의 일 측에 상기 선택된 객체(1710)에 관련된 부가 정보(1712)를 표시할 수 있다. 상기 부가 정보(1712)는 상기 선택된 객체(1710)에 대한 보다 상세한 정보를 포함할 수 있으며, 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있을 수 있다. 또 다른 예를 들면, 상기 부가 정보(1712)가 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1711)의 감지에 대응하여 서버(예: 도 1의 서버(106))로 상기 부가 정보를 요청하여 수신할 수 있다. 상기 부가 정보(1712)는 선택된 객체(1710)의 종류 또는 특성에 따라 서로 다른 부가 정보를 포함할 수 있다. 예를 들면, 상기 선택된 객체(1710)를 제외한 다른 객체들은 블러(blur), 반투명 또는 투명하게 표시할 수 있다.
도 17c 및 도 17d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제2 객체(1720) 상에 입력되는 제2 압력 입력(1721)을 감지할 수 있다. 도 17c와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1721)에 따른 제2 객체(1720)가 선택되면, 도 17d와 같이, 선택된 제2 객체(1720)의 일 측에 상기 선택된 제2 객체(1720)에 관련된 부가 정보(1722)를 표시할 수 있다. 예를 들면, 상기 제2 압력 입력(1721)의 세기(또는 압력 레벨)는 제1 압력 입력(1711)의 세기(또는 압력 레벨) 보다 클 수 있다. 다른 예를 들면, 상기 제2 압력 입력(1721)에 의해 결정된 제2 객체(1720)의 뎁스 정보는 제1 압력 입력(1711)에 의해 결정된 제1 객체(1710)의 뎁스 정보보다 클 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1721)에 따른 제2 객체(1720)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 선택된 제2 객체(1720)의 일 측에 상기 선택된 제2 객체(1720)에 관련된 부가 정보(1722)를 표시할 수 있다. 상기 부가 정보(1722)는 상기 선택된 제2 객체(1720)에 대한 보다 상세한 정보를 포함할 수 있으며, 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있을 수 있다. 또 다른 예를 들면, 상기 부가 정보(1722)가 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1721)의 감지에 대응하여 서버(예: 도 1의 서버(106))로 상기 부가 정보를 요청하여 수신할 수 있다.
도 17e 및 도 17f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제3 객체(1730) 상에 입력되는 제3 압력 입력(1731)을 감지할 수 있다. 도 17e와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1731)에 따른 제3 객체(1730)가 선택되면, 도 17f와 같이, 선택된 제3 객체(17d0)의 일 측에 상기 선택된 제3 객체(1730)에 관련된 부가 정보(1732)를 표시할 수 있다. 예를 들면, 상기 제3 압력 입력(1731)의 세기(또는 압력 레벨)는 제2 압력 입력(1721)의 세기(또는 압력 레벨) 보다 클 수 있다. 다른 예를 들면, 상기 제3 압력 입력(1731)에 의해 결정된 제3 객체(1730)의 뎁스 정보는 제2 압력 입력(1721)에 의해 결정된 제2 객체(1720)의 뎁스 정보 보다 클 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1731)에 따른 제3 객체(1730)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 선택된 제3 객체(1730)의 일 측에 상기 선택된 제3 객체(1730)에 관련된 부가 정보(1732)를 표시할 수 있다. 상기 부가 정보(1732)는 상기 선택된 제3 객체(1730)에 대한 보다 상세한 정보를 포함할 수 있으며, 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있을 수 있다. 또 다른 예를 들면, 상기 부가 정보(1732)가 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1731)의 감지에 대응하여 서버(예: 도 1의 서버(106))로 상기 부가 정보를 요청하여 수신할 수 있다.
도 18은 다양한 실시 예에 따른 전자 장치가 서버로부터 부가 정보를 획득하는 동작을 나타낸 순서도이다.
이하, 도 18을 참조하여 다양한 실시 예에 따른 전자 장치가 서버로부터 부가 정보를 획득하는 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1810에서, 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 포함하는 영상을 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 부가 정보 표시, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1812에서, 전자 장치(101)(예: 프로세서(120))는 객체 상에 압력 입력이 감지되는지 판단할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 사용자의 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체 상에 입력되는 압력 입력을 감지할 수 있다. 예를 들면, 사용자는 객체에 대한 보다 상세한 부가 정보를 얻기 위해 압력 입력을 입력할 수 있다. 상기 부가 정보는 모든 사용자에게 제공될 수 있거나 또는 허용된 일부 사용자들에게 제공될 수 있다. 예를 들면, 상기 부가 정보는 해당 객체에 관련된 조직(예: 객체를 생산하는 회사의 직원, 객체에 관련된 관리자 등) 내의 직원들에게만 제공될 수 있는데, 이 경우, 상기 부가 정보는 모든 사용자들에게 제공되지 않는데 반해, 접속 또는 열람이 허용된 일부 사용자들에게 제공될 수 있다. 이러한 부가 정보의 선택적 제공을 위해, 상기 부가 정보를 제공하는 서버(106)는 사용자의 요청이 발생되면, 사용자의 인증 과정을 거친 후, 상기 부가 정보의 제공 여부를 결정할 수 있다.
다양한 실시 예에 따르면, 동작 1814에서, 전자 장치(101)(예: 프로세서(120))는 상기 압력 입력이 감지된 객체의 부가 정보가 서버에 존재하는지 판단할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있는지 판단할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않는 경우, 상기 선택된 객체에 해당되는 서버(예: 도 1의 서버(106))에 접속하여 상기 부가 정보를 요청하기 위해, 상기 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있는지 판단할 수 있다.
다양한 실시 예에 따르면, 동작 1816에서, 전자 장치(101)(예: 프로세서(120))는 상기 부가 정보를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있으면, 상기 저장된 부가 정보를 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1818에서, 전자 장치(101)(예: 프로세서(120))는 사용자 식별자를 서버(예: 도 1의 서버(106))로 전송할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 선택된 객체에 해당되는 서버(예: 도 1의 서버(106))에 접속하여 상기 부가 정보를 요청할 수 있다. 상기 전자 장치(101)(예: 프로세서(120))가 상기 부가 정보에 대한 요청을 상기 서버(106)으로 전송하면, 상기 전자 장치(101)는 사용자 식별자에 대한 요청을 상기 서버(106)로부터 수신할 수 있다. 이후, 상기 전자 장치(101)는 사용자 식별자를 상기 서버(106)로 전송할 수 있다. 예를 들면, 상기 객체가 건물인 경우, 사용자는 상기 건물에 대한 내부 구조도(예: 철골 구조, 건물의 각 층의 입점 업체의 이름, 주소, 부동산 정보 등)에 관한 부가 정보를 인증 과정을 거쳐 서버(106)로부터 획득할 수 있다. 예를 들면, 상기 객체가 건물인 경우, 건물 내부에 대한 화면 표시는, 건물 선택 입력에 이어지는 제스처 입력의 세기 또는 위치에 기반하여 수행될 수 있다. 예를 들면, 세부 이미지로 터치 입력이 이동한 이후, 다시 특정 위치에 압력 입력이 감지되면, 해당 위치에서 건물의 내부 화면을 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1820에서, 서버(106)는 수신된 사용자 식별자에 기반하여 상기 전자 장치(101)의 사용자의 인증 과정을 수행할 수 있다. 서버(106)는 전자 장치(101)로부터 수신된 사용자 식별자와 서버(106)의 메모리(미도시)에 저장된 사용자의 식별자를 비교하여 상기 전자 장치(101)가 인증된(또는 허가된) 전자 장치인지 또는 인증되지 않은(또는 허가되지 않은) 전자 장치인지 판단할 수 있다. 이러한 인증은 상기 부가 정보가 비밀이 요구되는 정보인 경우 수행될 수 있다. 예를 들면, 상기 서버(106)는 인증이 완료된 전자 장치(101)에게만 부가 정보를 제공하기 위해 상기 인증을 수행할 수 있다.
다양한 실시 예에 따르면, 동작 1822에서, 서버(106)는 인증을 완료할 수 있다. 서버(106)는 전자 장치(101)로부터 수신된 사용자 식별자와 서버(106)의 메모리(미도시)에 저장된 사용자의 식별자를 비교하여 상기 전자 장치(101)의 인증 과정을 완료할 수 있다.
다양한 실시 예에 따르면, 동작 1824에서, 서버(106)는 인증이 완료되는지 않으면, 상기 부가 정보를 획득할 수 없음을 전자 장치(101)로 알릴 수 있다. 서버(106)는 상기 전자 장치(101)가 인증된(또는 허가된) 전자 장치가 아닌 경우, 부가 정보를 제공할 수 없음을 나타내는 알림을 상기 전자 장치(101)로 전송할 수 있다.
다양한 실시 예에 따르면, 동작 1826에서, 서버(106)는 인증이 완료되면, 상기 부가 정보를 전자 장치(101)로 전송할 수 있다. 서버(106)는 상기 전자 장치(101)가 인증된(또는 허가된) 전자 장치인 경우, 부가 정보를 상기 전자 장치(101)로 전송할 수 있다. 그리고, 상기 전자 장치(101)는 서버(106)로부터 수신된 부가 정보를 표시할 수 있다.
도 19는 일 실시 예에 따른 복수의 객체를 포함하는 영상에서 압력 입력에 기반한 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 19를 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력에 대응하여 메뉴(또는 정보)를 표시할 수 있는 복수의 객체를 포함하는 영상을 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 예를 들면, 복수의 객체를 포함하는 영상이 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시된 상태에서, 압력 입력(1905)이 객체 상에서 감지되면, 상기 감지된 객체의 메뉴(또는 정보)(1904)를 표시할 수 있다. 예를 들면, 복수의 객체와 각각의 객체에 대한 메뉴(또는 정보)를 포함하는 영상이 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시된 상태에서, 압력 입력(1905)이 객체(또는 대응하는 메뉴) 상에서 감지되면, 상기 감지된 객체(또는 대응하는 메뉴)보다 뎁스 정보가 더 깊은 다른 객체가 선택되거나 또는 상기 다른 객체에 대응하는 메뉴가 표시될 수 있다. 예를 들면, 상기 영상이 다양한 상품들을 판매하는 상점에서 촬영되는 영상인 경우, 각각의 객체는 소비자에게 판매될 수 있는 다양한 상품들(예: 식품, 주방 용품, 산업 용품, 생활 도구 등)을 포함할 수 있다. 그리고, 상기 영상은 상기 다양한 상품들의 일 측에 각각의 상품들에 대한 메뉴(또는 정보)를 표시할 수 있다. 예를 들면, 상기 영상이 다양한 상품들을 판매하는 상점에서 촬영되는 영상인 경우, 전자 장치(예: 프로세서(120))는 다양한 상품들 중 메뉴(또는 정보) 또는 부가 정보(1901, 1902, 1903, 1904)를 제공할 수 있는 객체를 식별하여 상기 메뉴 또는 부가 정보를 각각의 식별된 객체의 일측에 표시한 영상을 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다.
도 20은 일 실시 예에 따른 객체가 건물인 경우, 압력 입력에 기반하여 건물의 세부 정보를 표시한 예시도이다.
도 20을 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력(2011)에 대응하여 건물(2010)에 대한 세부 정보(예: 각 층에 위치한 상점 이름 등) 또는 내부(2020)를 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 건물의 세부 정보는 각 층별로 다양한 정보(예: 철골 구조, 상점 명칭 등)를 포함할 수 있다. 상기 세부 정보는 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 상기 내부(2020)는 상기 건물(2010)의 내부 화면을 포함할 수 있으며, 상기 내부 화면은 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 예를 들면, 다양한 상점이 입점해있는 건물(2010)을 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시된 상태에서, 압력 입력(2011)이 건물(2010) 상에서 감지되면, 상기 감지된 건물(2010)에 입점해 있는 다양한 상점들에 대한 명칭, 주소, 크기, 또는 상점에 대한 부동산 정보(2021)를 표시할 수 있다.
도 21(a) 내지 (c)는 일 실시 예에 따른 객체가 건물인 경우, 압력 입력의 세기에 기반하여 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 21(a) 내지 (c)를 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력의 세기에 대응하여 건물(2110)의 각 층에 대한 세부 정보(예: 각 층에 위치한 상점 이름 등) 또는 각 층의 내부(2120, 2130, 2140)를 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 건물의 세부 정보는 각 층별로 다양한 정보(예: 철골 구조, 상점 명칭 등)를 포함할 수 있다. 이러한 세부 정보는 전자 장치(101)가 서버(예: 도 1의 서버(106))로 세부 정보를 요청하고, 상기 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 상기 내부(2120, 2130, 2140)는 상기 건물(2110)의 내부 화면을 포함할 수 있으며, 상기 내부 화면은 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 예를 들면, 도 21(a)에 도시된 바와 같이, 건물에 제1 압력 입력(2111)을 입력하면, 전자 장치(예: 프로세서(120))는 제1 압력 입력(2111)에 대응하는 층(예: 1층)에 대한 내부(2120)(예: 1층의 철골 구조 또는 내부 화면)와 세부 정보(2121)(예: 1층에 입점된 상점 이름 등)를 표시할 수 있다. 다른 예를 들면, 도 21(b)에 도시된 바와 같이, 건물에 제2 압력 입력(2112)을 입력하면, 전자 장치(예: 프로세서(120))는 제2 압력 입력(2112)에 대응하는 층(예: 2층)에 대한 내부(2130)(예: 2층의 철골 구조 또는 내부 화면)와 세부 정보(2131)(예: 2층에 입점된 상점 이름 등)를 표시할 수 있다. 또 다른 예를 들면, 도 21(c)에 도시된 바와 같이, 건물에 제3 압력 입력(2113)을 입력하면, 전자 장치(예: 프로세서(120))는 제3 압력 입력(2113)에 대응하는 층(예: 3층)에 대한 내부(2140)(예: 3층의 철골 구조 또는 내부 화면)와 세부 정보(2132)(예: 3층에 입점된 상점 이름 등)를 표시할 수 있다. 예를 들면, 상기 제2 압력 입력(2112)의 세기는 상기 제1 압력 입력(2111)의 세기보다 크고, 상기 제3 압력 입력(2113)의 세기는 상기 제2 압력 입력(2112)의 세기보다 클 수 있다. 다른 예를 들면, 상기 제2 압력 입력(2112)의 세기는 상기 제1 압력 입력(2111)의 세기보다 크지 않을 수 있고, 상기 제3 압력 입력(2113)의 세기는 상기 제2 압력 입력(2112)의 세기보다 크지 않을 수 있다. 각 층간에 이동은 건물(2110) 선택에 이어지는 압력 입력의 세기 또는 위치에 의해 수행될 수 있다.
도 22(a)는 일 실시 예에 따른 객체가 건물인 경우, 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 22(a)를 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력의 세기에 대응하여 건물의 각 층에 대한 내부 또는 철골 구조 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 이러한 세부 정보는 전자 장치(101)가 서버(예: 도 1의 서버(106))로 세부 정보를 요청하고, 상기 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 이러한, 철골 구조와 같은 세부 정보는 상기 건물의 건물 주인, 상기 건물의 관리자, 또는 상기 건물에 근무하는 종업원에게 제공될 수 있다. 예를 들면, 상기 건물의 건물 주인, 상기 건물의 관리자, 또는 상기 건물에 근무하는 종업원이 상기 건물에 대해 압력 입력을 입력하면, 전자 장치(101)는 상기 서버(예: 도 1의 서버(106))로 전자 장치(101)의 사용자에 대한 식별자를 전송하고, 상기 서버(예: 도 1의 서버(106))는 상기 식별자를 수신할 수 있다. 그리고, 상기 서버(예: 도 1의 서버(106))는 수신된 식별자에 대응하는 사용자가 상기 건물에 대한 세부 정보를 획득할 수 있는지 인증 과정을 수행하고, 인증이 완료된 사용자에게 상기 세부 정보를 제공할 수 있다. 예를 들면, 내부 또는 철골 구조의 표시는 건물을 선택하는 압력 입력에 이어지는 제스처의 입력의 위치 또는 세기에 의해 수행될 수 있다. 예를 들면, 세부 이미지로의 터치 입력이 이동한 후, 다시 특정 위치에 압력이 가해지는 경우, 전자 장치(101)는 해당 위치의 세부 정보를 표시할 수 있다. 예를 들면, 제1 압력 입력이 입력되는 경우, 벽 또는 기둥을 투시된 형태로 표시할 수 있고, 제2 압력 입력이 입력되는 경우, 세부 배치 구조가 확대되어 표시될 수 있다.
도 22(b)는 일 실시 예에 따른 객체가 냉장고인 경우, 냉장고 상의 압력 입력에 기반하여 미리 설정된 기능을 표시하는 예시도이고, 도 22(c)는 일 실시 예에 따른 객체가 냉장고인 경우, 냉장고 상의 압력 입력에 기반하여 냉장고 내의 화면을 표시하는 예시도이다.
도 22(b) 및 도 22(c)를 참조하면, 냉장고(2210)는 다른 가전 제품들(예: 세탁기, 식기 세척기, 전자 렌즈 등)과 상호 통신할 수 있다. 상기 냉장고(2210) 상에 압력 입력(2211)이 입력되면, 전자 장치(101)는 상기 냉장고(2210)에 관한 적어도 하나의 미리 설정된 기능을 나타내는 화면(2212)(예: 대쉬 보드(dash board))을 표시할 수 있다. 예를 들면, 상기 냉장고(2210) 상에 제1 압력 입력(2211)이 입력되면, 전자 장치(101)는 상기 냉장고(2210)가 적어도 하나의 가전 제품과 통신을 제공하기 위한 미리 설정된 기능, 상기 냉장고(2210)의 온도 조절, 전원 ON/OFF 제어와 같은 적어도 하나의 기능을 나타내는 화면(2212)을 표시할 수 있다. 다른 예를 들면, 상기 냉장고(2210) 상에 제2 압력 입력(2214)이 입력되면, 전자 장치(101)는 상기 냉장고(2210)의 내부 화면(2213)을 표시할 수 있다. 상기 내부 화면(2213)은 상기 냉장고(2210)의 내부에 저장되고 있는 식품들에 대한 정보(예: 유통 기한, 제조 일자, 제조 회사 등)를 표시할 수 있다. 이러한 식품들에 대한 정보는 사용자에 의해 미리 입력되거나 또는 상기 서버(106)로부터 획득될 수 있다. 도 22(b) 및 도 22(c)는 단지 냉장고에 대해 기술하였으나, 이는 단지 실시 예일 뿐이며, 본 발명은 냉장고 이외에, 조명, 세탁기, 보일러, 에어컨에서도 적용할 수 있다.
도 10 내지 도 22에서는 적어도 하나의 객체를 포함하는 영상에서 원하는 객체 상에 입력되는 압력 입력에 따른 객체 제어, 기능 실행 또는 부가 정보 표시에 관한 내용을 기술하였으나, 본 발명은 표시된 영상에서의 객체 상에 입력되는 압력 입력 뿐만 아니라, 전자 장치(101)의 특정 버튼을 누르는 입력(예: 스퀴즈(squeeze))의 유무, 횟수, 세기에 따라 전자 장치(101)의 동작을 제어할 수 있다. 예를 들면, 전자 장치(101)가 사용자에게 질의를 출력하는 경우, 전자 장치(101)는 특정 버튼(예: 측면에 구비된 전원 버튼)을 1회 스퀴즈하는 입력이 감지되면, 사용자가 긍정의 답변을 한 것으로 판단하고, 2회 스퀴즈하는 입력이 감지되면, 사용자가 부정의 답변을 한 것으로 판단할 수 있다. 상술한 바와 같이, 본 발명의 다양한 실시 예는 터치 스크린 디스플레이(930)에 표시된 영상에서의 객체 상에 입력되는 압력 입력 뿐만 아니라, 전자 장치(101)의 일 측에 형성된 버튼의 눌림에 의해서도 전자 장치(101)를 제어할 수 있다.
다양한 실시 예에 따르면, 본 발명은 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 방법에 있어서, 상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 동작, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 동작, 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 터치 스크린 디스플레이 상에 서로 인접한 복수의 객체들을 표시하는 동작, 및 상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하는 동작, 및 상기 결정된 복수의 객체들 중 하나의 객체를 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 결정된 복수의 객체들간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체와 상기 전자 장치간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시, 상기 선택된 객체의 색상을 변경하여 표시, 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시, 또는 상기 선택되지 않은 객체를 반투명하게 표시 중 적어도 하나를 수행할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체에 대응되는 부가 정보를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고, 상기 요청에 응답하여 상기 부가 정보를 수신할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고, 상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
101: 전자 장치 102: 외부 전자 장치
110: 버스 120: 프로세서
130: 메모리 150: 입출력 인터페이스
160: 디스플레이 170: 통신 인터페이스

Claims (20)

  1. 전자 장치에 있어서,
    제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징;
    상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이;
    상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로;
    상기 하우징 내부에 배치된 무선 통신 회로;
    상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이, 상기 압력 감지 회로 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서; 및
    상기 하우징 내부에 배치되며, 상기 프로세서와 전기적으로 연결되는 메모리를 포함하며,
    상기 메모리는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가,
    상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고,
    상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고,
    상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장하는 전자 장치.
  2. 제1 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 터치 스크린 디스플레이 상에 서로 인접한 복수의 객체들을 표시하고,
    상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택하도록 하는 전자 장치.
  3. 제1 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하고,
    상기 결정된 복수의 객체들 중 하나의 객체를 선택하도록 하는 전자 장치.
  4. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택하도록 하는 전자 장치.
  5. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 결정된 복수의 객체들간에 페어링을 수행하도록 하는 전자 장치.
  6. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체와 상기 전자 장치간에 페어링을 수행하도록 하는 전자 장치.
  7. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정하도록 하는 전자 장치.
  8. 제7 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시하도록 하는 전자 장치.
  9. 제7 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시, 상기 선택된 객체의 색상을 변경하여 표시, 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시, 또는 상기 선택되지 않은 객체를 반투명하게 표시 중 적어도 하나를 수행하도록 하는 전자 장치.
  10. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택하도록 하는 전자 장치.
  11. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시하도록 하는 전자 장치.
  12. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체에 대응되는 부가 정보를 상기 선택된 객체가 표시된 위치에 대응되게 표시하도록 하는 전자 장치.
  13. 제12 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고,
    상기 요청에 응답하여 상기 부가 정보를 수신하도록 하는 전자 장치.
  14. 제13 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고,
    상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신하도록 하는 전자 장치.
  15. 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 방법에 있어서,
    상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 동작;
    상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 동작; 및
    상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 동작을 포함하는 방법.
  16. 제15 항에 있어서,
    상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택하는 동작을 포함하는 방법.
  17. 제15 항에 있어서,
    상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하는 동작; 및
    상기 결정된 복수의 객체들 중 하나의 객체를 선택하는 동작을 더 포함하며,
    상기 선택된 객체는 뎁스 정보에 기반하여 선택되는 방법.
  18. 제17 항에 있어서,
    상기 복수의 객체들을 결정하는 동작은,
    상기 결정된 복수의 객체들간의 페어링을 수행하는 동작을 포함하며,
    상기 하나의 객체를 선택하는 동작은,
    상기 선택된 하나의 객체와 상기 전자 장치간에 페어링을 수행하는 방법.
  19. 제17 항에 있어서,
    상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정하는 동작; 및
    상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시하는 동작을 포함하는 방법.
  20. 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 명령어를 포함하는 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 제1 명령 셋;
    상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 제2 명령 셋; 및
    상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 제3 명령 셋을 포함하는 컴퓨터 판독 가능 저장 매체.
KR1020170074347A 2017-06-13 2017-06-13 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법 KR102406072B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170074347A KR102406072B1 (ko) 2017-06-13 2017-06-13 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법
US16/614,138 US11029797B2 (en) 2017-06-13 2018-06-11 Electronic device and method for controlling pressure input
PCT/KR2018/006600 WO2018230905A1 (ko) 2017-06-13 2018-06-11 압력 입력을 제어하는 전자 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170074347A KR102406072B1 (ko) 2017-06-13 2017-06-13 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180135727A true KR20180135727A (ko) 2018-12-21
KR102406072B1 KR102406072B1 (ko) 2022-06-10

Family

ID=64659107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074347A KR102406072B1 (ko) 2017-06-13 2017-06-13 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US11029797B2 (ko)
KR (1) KR102406072B1 (ko)
WO (1) WO2018230905A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037528A (ko) * 2019-09-27 2021-04-06 애플 인크. 스트레인 감지 키 멤브레인
KR102529821B1 (ko) * 2023-01-05 2023-05-08 (주) 아하 융합 터치스크린 패널에서 필압 감지 및 필압을 처리하는 방법 및 이를 위한 전자칠판

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563023B (zh) * 2018-04-25 2020-11-27 京东方科技集团股份有限公司 增强现实处理方法、系统、控制设备和增强现实设备
US11199931B2 (en) * 2019-03-22 2021-12-14 Sanko Tekstil Isletmeleri San. Ve Tic. A.S. Capacitive touch sensor
CN110097043B (zh) * 2019-05-05 2022-04-15 京东方科技集团股份有限公司 传感器像素、超声传感器、oled显示面板和oled显示装置
CN114489897B (zh) * 2022-01-21 2023-08-08 北京字跳网络技术有限公司 一种对象处理方法、装置、终端设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090073695A (ko) * 2007-12-31 2009-07-03 팅크웨어(주) 내비게이션 단말기의 위치 관련 서비스 이용 시스템 및방법
KR20110088930A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 멀티 디스플레이 장치 및 그 제어 방법
KR101071165B1 (ko) * 2009-08-04 2011-10-10 이성호 터치입력 인식방법 및 장치
KR20130088861A (ko) * 2010-11-03 2013-08-08 퀄컴 인코포레이티드 힘 감지 터치 스크린
KR20140089224A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
KR101714207B1 (ko) * 2015-09-02 2017-03-08 엘지전자 주식회사 이동 단말기 및 그의 제어 방법
KR20170029757A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011011025A1 (en) * 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
JP2011053974A (ja) * 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
KR101753033B1 (ko) 2010-10-18 2017-06-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR20160019468A (ko) * 2013-06-11 2016-02-19 임머숀 코퍼레이션 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들
DE102014019040B4 (de) * 2014-12-18 2021-01-14 Audi Ag Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs bei einer Mehrfingerbedienung
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9880735B2 (en) * 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR101762277B1 (ko) * 2015-12-04 2017-07-31 주식회사 하이딥 화면 표시 방법 및 이를 수행하는 터치스크린을 포함하는 단말기
US10296091B2 (en) * 2016-10-13 2019-05-21 Immersion Corporation Contextual pressure sensing haptic responses

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090073695A (ko) * 2007-12-31 2009-07-03 팅크웨어(주) 내비게이션 단말기의 위치 관련 서비스 이용 시스템 및방법
KR101071165B1 (ko) * 2009-08-04 2011-10-10 이성호 터치입력 인식방법 및 장치
KR20110088930A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 멀티 디스플레이 장치 및 그 제어 방법
KR20130088861A (ko) * 2010-11-03 2013-08-08 퀄컴 인코포레이티드 힘 감지 터치 스크린
KR20140089224A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
KR101714207B1 (ko) * 2015-09-02 2017-03-08 엘지전자 주식회사 이동 단말기 및 그의 제어 방법
KR20170029757A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037528A (ko) * 2019-09-27 2021-04-06 애플 인크. 스트레인 감지 키 멤브레인
KR20220092481A (ko) * 2019-09-27 2022-07-01 애플 인크. 스트레인 감지 키 멤브레인
KR102529821B1 (ko) * 2023-01-05 2023-05-08 (주) 아하 융합 터치스크린 패널에서 필압 감지 및 필압을 처리하는 방법 및 이를 위한 전자칠판

Also Published As

Publication number Publication date
KR102406072B1 (ko) 2022-06-10
US20200150828A1 (en) 2020-05-14
WO2018230905A1 (ko) 2018-12-20
US11029797B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
US10949012B2 (en) Electronic device comprising force sensor
US10261615B2 (en) Method and electronic device for outputting screen
KR102364420B1 (ko) 전자 장치 및 터치 입력에 기초하여 상기 전자 장치를 제어하는 방법
KR102535056B1 (ko) 전자 장치 및 터치 인식 방법
KR102673702B1 (ko) 피드백 제공 방법 및 이를 지원하는 전자 장치
US20170336970A1 (en) Electronic device comprising display
KR102616430B1 (ko) 터치의 압력 입력에 기반하여 선택 영역을 결정하는 전자 장치 및 방법
EP3096210B1 (en) Method and apparatus for processing input using touch screen
KR102406072B1 (ko) 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법
KR102481632B1 (ko) 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
KR20180028857A (ko) 전자 장치 및 전자 장치의 제어 방법
US10866681B2 (en) Display device, electronic device including display device, and pressure sensing method therefor
KR102294705B1 (ko) 유저 입력에 기초한 오브젝트 속성을 제어하는 전자 장치 및 방법
KR102580327B1 (ko) 전자 장치 및 전자 장치의 제어 방법
KR20160143085A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20170142474A (ko) 사용자 입력 처리 방법 및 전자 장치
KR20170030349A (ko) 입력의 압력을 감지하는 전자 장치 및 그 동작 방법
KR102536148B1 (ko) 전자 장치의 동작 방법 및 장치
US10871883B2 (en) Electronic device and method for providing information in response to pressure input of touch
KR20160116959A (ko) 사용자 인터페이스를 제공하는 방법 및 이를 위한 전자 장치
KR20180094323A (ko) 인터랙션을 수행하는 방법 및 이를 사용하는 전자 장치
KR20180031911A (ko) 터치 패드 운용 방법 및 이를 지원하는 전자 장치
KR20180014575A (ko) 전자 장치 및 전자 장치의 제어 방법
EP3392749B1 (en) Content display method and electronic device for performing same
KR102279758B1 (ko) 터치 패널 및 이를 구비하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right