KR20170009713A - Electronic device and controlling method thereof - Google Patents
Electronic device and controlling method thereof Download PDFInfo
- Publication number
- KR20170009713A KR20170009713A KR1020160060826A KR20160060826A KR20170009713A KR 20170009713 A KR20170009713 A KR 20170009713A KR 1020160060826 A KR1020160060826 A KR 1020160060826A KR 20160060826 A KR20160060826 A KR 20160060826A KR 20170009713 A KR20170009713 A KR 20170009713A
- Authority
- KR
- South Korea
- Prior art keywords
- pointer
- processor
- display
- area
- various embodiments
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Neurosurgery (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명의 다양한 실시예는 전자 장치에 관한 것으로, 예를 들면, 화면 내의 버튼을 편리하게 선택하도록 하는 전자 장치 및 그 제어 방법에 관한 것이다.Various embodiments of the present invention are directed to electronic devices, for example, electronic devices that allow convenient selection of buttons within a screen, and control methods thereof.
종래에는, 댁 내의 TV 등의 인터페이스를 통해, 타일 형식으로 된 큰 사이즈의 버튼들을 좁은 간격으로 배치 및 표시하여, 리모콘을 이용하여 손 포인터를 이동시키고, 각 손 포인터의 위치가 해당 버튼 위에 올라가면, 하얀색 아웃라인으로 표시하여 현재 사용자의 손이 호버링된 버튼의 위치를 알려주고, 일정시간 이상 손이 특정 버튼위에 머물렀을 때 각 버튼을 실행하는 기술이 개시되고 있다.Conventionally, large size buttons in a tile format are arranged and displayed at narrow intervals through an interface such as a home TV or the like, and the hand pointer is moved using a remote controller. When the position of each hand pointer is moved over the button, A white outline is provided to indicate the position of the button where the current user's hand is hovered, and each button is executed when the hand stays on the specific button for a predetermined time or longer.
종래의 TV 인터페이스의 경우, 모션 인식이라는 제한적인 특성을 극복하기 위하여, 디스플레이에 표시된 버튼의 크기를 더 크게 표시하거나 및/또는 디스플레이의 중앙 영역에 일렬 구조로 버튼들을 표시하는 방식이 사용되어 왔다.In the case of the conventional TV interface, in order to overcome the limitation characteristic of motion recognition, a method of displaying a larger size of the button displayed on the display and / or displaying the buttons in a linear structure in the central area of the display has been used.
종래의 경우, 정교한 손의 조작능력이 떨어지는 아이들에게는, 특정 버튼 위에 손을 이동하여 버튼을 선택하고, 일정 시간 이상 버튼 위에 손을 머물러야 버튼에 해당되는 기능이 실행되는 종래의 방식은 사용성이 떨어지며, 아이들에게 있어서 조작의 어려움이 있다Conventionally, for children whose elaborate hands can not be manipulated, a conventional method in which a function corresponding to a button is performed by moving a hand over a specific button to select a button, and holding a hand on the button for a predetermined period of time, There is difficulty in manipulation for children.
본 발명의 다양한 실시예는, 성인용으로 제안되었던 종래의 모션 인식 인터페이스 또는 UX 방식이 아닌, 아이들이 TV 인터페이스를 통해 쉽고 재미있게 버튼을 선택 및 이에 대응하는 기능을 실행할 수 있도록, 아이들에게 최적화된 모션 인터랙션 기술이 포함된 전자 장치를 제공할 수 있다.The various embodiments of the present invention can be applied to a variety of applications such as a motion-optimized interface for children, or a motion interaction optimized for children, so that children can perform button selection and corresponding functions with ease and fun via a TV interface, Technology can be provided.
본 발명의 다양한 실시예에 따른 전자 장치는 적어도 하나의 객체를 표시하는 디스플레이; 제스처를 검출하는 센서; 및 상기 제스처의 이동 거리에 대응하여 포인터를 상기 디스플레이 상의 제1 위치에서 제2 위치로 이동시키고, 상기 포인터가 지정된 조건을 만족하는 경우 상기 포인터를 상기 디스플레이 상의 제3 위치로 이동시키도록 설정된 프로세서를 포함할 수 있다.An electronic device according to various embodiments of the present invention includes a display that displays at least one object; A sensor for detecting a gesture; And a processor configured to move a pointer from a first position to a second position on the display in response to a movement distance of the gesture and to move the pointer to a third position on the display if the pointer satisfies a specified condition .
본 발명의 다양한 실시예에 따른 전자 장치의 제어 방법은 적어도 하나의 객체를 표시하는 동작; 제스처를 검출하는 동작; 상기 제스처의 이동 거리에 대응하여 포인터를 제1 위치에서 제2 위치로 이동시키는 동작; 및 상기 포인터가 지정된 조건을 만족하는 경우 상기 포인터를 제3 위치로 이동시키는 동작을 포함할 수 있다.A method of controlling an electronic device according to various embodiments of the present invention includes: displaying at least one object; Detecting a gesture; Moving the pointer from the first position to the second position in correspondence with the movement distance of the gesture; And moving the pointer to a third position if the pointer satisfies a specified condition.
본 발명의 다양한 실시예에 따른 전자 장치는 손쉽게 사용할 수 있는 아이들에게 최적화된 아이용 모션 인식 UX를 제공할 수 있어, 조작의 정교함이나 주의력, 이해력이 성인에 비하여 부족한 아이들 (예: 3~7세) 이 쉽게 모션 인식 UX를 사용할 수 있다.The electronic device according to the various embodiments of the present invention can provide an easy-to-use child-friendly motion recognition UX for children, and it is possible to provide a motion recognition system in which the sophistication, attention, ) Can easily use motion recognition UX.
또한, 아이들의 모션 또는 움직임에 즉각적으로 반응하는 애니메이션 또는 페이지의 객체 (버튼) 을 제공하여, 아이들에게 모션 인식의 몰입감을 제공할 수 있다.In addition, it is possible to provide an immersion feeling of motion recognition to children by providing an animation or an object (button) of a page that immediately responds to the motion or movement of the children.
도 1은 본 발명의 다양한 실시예에 따른 복수의 전자 장치들의 사용 환경을 나타낸 도면이다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타낸 흐름도이다.
도 5는 다양한 실시예에 따른 모션 인식 UX 화면의 구조를 도시한다.
도 6은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.
도 7은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.
도 8은 다양한 실시예에 따른 제1 객체를 도시한다.
도 9은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.
도 10은 다양한 실시예에 따른 포인터 이동 방법을 도시한다.
도 11은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.
도 12는 다양한 실시예에 따른 앱 페이지 화면을 도시한다.
도 13는 다양한 실시예에 따른 앱 페이지 화면을 도시한다.
도 14는 다양한 실시예에 따른 앱 페이지를 도시한다.
도 15는 다양한 실시예에 따른 앱 페이지를 도시한다.
도 16은 다양한 실시예에 따른 앱 페이지를 도시한다.
도 17은 다양한 실시예에 따른 앱 페이지를 도시한다.
도 18은 다양한 실시예에 따른 앱 페이지를 도시한다.
도 19는 다양한 실시예에 따른 앱 페이지를 도시한다.
도 20은 다양한 실시예에 따른 제1 객체 및 제2 객체를 도시한다.
도 21 및 도 22는 다양한 실시예에 따른 앱 페이지를 도시한다.
도 23은 다양한 실시예에 따른 앱 페이지를 도시한다.1 is a diagram illustrating a usage environment of a plurality of electronic devices according to various embodiments of the present invention.
2 is a block diagram of an electronic device according to various embodiments of the present invention.
3 is a block diagram of a program module according to various embodiments.
4 is a flowchart illustrating a method of controlling an electronic device according to various embodiments.
FIG. 5 illustrates a structure of a motion recognition UX screen according to various embodiments.
Figure 6 shows an app page screen according to various embodiments.
Figure 7 shows an app page screen according to various embodiments.
Figure 8 illustrates a first object in accordance with various embodiments.
Figure 9 shows an app page screen according to various embodiments.
10 illustrates a pointer moving method according to various embodiments.
11 shows an app page screen according to various embodiments.
12 shows an app page screen according to various embodiments.
13 shows an app page screen according to various embodiments.
Figure 14 shows an app page according to various embodiments.
15 illustrates an app page in accordance with various embodiments.
Figure 16 shows an app page according to various embodiments.
Figure 17 shows an app page according to various embodiments.
Figure 18 shows an app page according to various embodiments.
19 illustrates an app page in accordance with various embodiments.
Figure 20 illustrates a first object and a second object in accordance with various embodiments.
Figures 21 and 22 illustrate an app page in accordance with various embodiments.
23 illustrates an app page in accordance with various embodiments.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.Hereinafter, various embodiments of the present document will be described with reference to the accompanying drawings. It is to be understood that the embodiments and terminologies used herein are not intended to limit the invention to the particular embodiments described, but to include various modifications, equivalents, and / or alternatives of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar components. The singular expressions may include plural expressions unless the context clearly dictates otherwise. In this document, the expressions "A or B" or "at least one of A and / or B" and the like may include all possible combinations of the items listed together. Expressions such as " first, "" second," " first, "or" second, " But is not limited to those components. When it is mentioned that some (e.g., first) component is "(functionally or communicatively) connected" or "connected" to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다. In this document, the term " configured to (or configured) to "as used herein is intended to encompass all types of hardware, software, , "" Made to "," can do ", or" designed to ". In some situations, the expression "a device configured to" may mean that the device can "do " with other devices or components. For example, a processor configured (or configured) to perform the phrases "A, B, and C" may be implemented by executing one or more software programs stored in a memory device or a dedicated processor (e.g., an embedded processor) , And a general purpose processor (e.g., a CPU or an application processor) capable of performing the corresponding operations.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.Electronic devices in accordance with various embodiments of the present document may be used in various applications such as, for example, smart phones, tablet PCs, mobile telephones, video telephones, electronic book readers, desktop PCs, laptop PCs, netbook computers, workstations, a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device. Wearable devices may be of the type of accessories (eg, watches, rings, bracelets, braces, necklaces, glasses, contact lenses or head-mounted-devices (HMD) (E.g., a skin pad or tattoo), or a bio-implantable circuit. In some embodiments, the electronic device may be, for example, a television, a digital video disk (Such as Samsung HomeSync TM , Apple TV TM , or Google TV TM ), which are used in home appliances such as home appliances, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwave ovens, washing machines, air cleaners, set top boxes, home automation control panels, , A game console (e.g., Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic photo frame.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. In an alternative embodiment, the electronic device may be any of a variety of medical devices (e.g., various portable medical measurement devices such as a blood glucose meter, a heart rate meter, a blood pressure meter, or a body temperature meter), magnetic resonance angiography (MRA) A navigation system, a global navigation satellite system (GNSS), an event data recorder (EDR), a flight data recorder (FDR), an automobile infotainment device, a marine electronic equipment (For example, marine navigation systems, gyro compasses, etc.), avionics, security devices, head units for vehicles, industrial or domestic robots, drones, ATMs at financial institutions, of at least one of the following types of devices: a light bulb, a fire detector, a fire alarm, a thermostat, a streetlight, a toaster, a fitness device, a hot water tank, a heater, a boiler, . According to some embodiments, the electronic device may be a piece of furniture, a building / structure or part of an automobile, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (e.g., Gas, or radio wave measuring instruments, etc.). In various embodiments, the electronic device is flexible or may be a combination of two or more of the various devices described above. The electronic device according to the embodiment of the present document is not limited to the above-described devices. In this document, the term user may refer to a person using an electronic device or a device using an electronic device (e.g., an artificial intelligence electronic device).
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. Referring to Figure 1, in various embodiments, an
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. The
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신(164) 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.The
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.The wireless communication may include, for example, LTE, LTE-A (LTE Advance), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro) System for Mobile Communications), and the like. According to one embodiment, the wireless communication may be wireless communication, such as wireless fidelity (WiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, NFC, Magnetic Secure Transmission, Frequency (RF), or body area network (BAN). According to one example, wireless communication may include GNSS. GNSS may be, for example, Global Positioning System (GPS), Global Navigation Satellite System (Glonass), Beidou Navigation Satellite System (Beidou) or Galileo, the European global satellite-based navigation system. Hereinafter, in this document, " GPS " can be used interchangeably with " GNSS ". The wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a recommended standard 232 (RS-232), a power line communication or a plain old telephone service have.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.Each of the first and second external
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.2 is a block diagram of an electronic device 201 according to various embodiments. The electronic device 201 may include all or part of the
통신 모듈(220)은 도 1의 통신 인터페이스(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다. The
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.Memory 230 (e.g., memory 130) may include, for example,
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.The
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.The
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다. Display 260 (e.g., display 160) may include
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다. The
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.The
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.3 is a block diagram of a program module according to various embodiments. According to one embodiment, program module 310 (e.g., program 140) includes an operating system that controls resources associated with an electronic device (e.g., electronic device 101) and / E.g., an application program 147). The operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM . 3,
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.The
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. The
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.The
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.The
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.As used herein, the term "module " includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits. A "module" may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions. "Module" may be implemented either mechanically or electronically, for example, by application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs) And may include programmable logic devices. At least some of the devices (e.g., modules or functions thereof) or methods (e.g., operations) according to various embodiments may be stored in a computer readable storage medium (e.g., memory 130) . ≪ / RTI > When the instruction is executed by a processor (e.g., processor 120), the processor may perform a function corresponding to the instruction. The computer-readable recording medium may be a hard disk, a floppy disk, a magnetic medium such as a magnetic tape, an optical recording medium such as a CD-ROM, a DVD, a magnetic-optical medium such as a floppy disk, The instructions may include code that is generated by the compiler or code that may be executed by the interpreter. Modules or program modules according to various embodiments may include at least one or more of the components described above Operations that are performed by modules, program modules, or other components, in accordance with various embodiments, may be performed in a sequential, parallel, iterative, or heuristic manner, or at least in part Some operations may be executed in a different order, omitted, or other operations may be added.
도 4는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of controlling an electronic device according to various embodiments.
도 4에 도시된 바와 같이, 다양한 실시예에 따르면, 동작 S401에서, 전자 장치(예: 전자 장치(101))의 디스플레이(예: 디스플레이(160))는 적어도 하나의 객체를 표시할 수 있다.As shown in Figure 4, according to various embodiments, at operation S401, a display (e.g., display 160) of an electronic device (e.g., electronic device 101) may display at least one object.
다양한 실시예에 따르면, 적어도 하나의 각 객체는 메뉴, 버튼 또는 아이콘이 될 수 있다.According to various embodiments, each at least one object may be a menu, button, or icon.
다양한 실시예에 따르면, 동작 S403에서, 센서(예: 센서 모듈(240))는 외부(예: 사용자)로부터 제스처를 검출할 수 있다.According to various embodiments, in operation S403, the sensor (e.g., sensor module 240) may detect a gesture from an external (e.g., user).
다양한 실시예에 따르면, 동작 S405에서, 프로세서(예: 프로세서(120))는 검출된 제스처에 대응하여 포인터를 디스플레이(120) 상에 표시할 수 있고, 제스처의 이동 거리에 대응하여 포인터를 제1 위치에서 제2 위치로 이동시킬 수 있다.According to various embodiments, in operation S405, the processor (e.g., processor 120) may display a pointer on
다양한 실시예에 따르면, 동작 S407에서, 프로세서(120)는 포인터가 지정된 조건을 만족하는지 판단할 수 있다.According to various embodiments, in operation S407, the
예를 들면, 프로세서(120)는 제스처의 이동 거리에 대응하여 제2 위치로 이동된 포인터의 이동 상태 (예: 위치, 속도, 가속도) 가 지정된 조건을 만족하는지 (예: 기 설정된 시간 동안 유지되는지) 판단할 수 있고, 판단 결과에 기반하여 포인터를 제2 위치에 유지하거나 제3 위치로 이동시킬 수 있다.For example, the
다양한 실시예에 따르면, 동작 S409에서, 포인터가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터를 제2 위치에서 제3 위치로 이동시킬 수 있다.According to various embodiments, in operation S409, if the pointer satisfies the specified condition, the
도 5는 다양한 실시예에 따른 모션 인식 UX 화면의 구조를 도시한다.FIG. 5 illustrates a structure of a motion recognition UX screen according to various embodiments.
도 5에 도시된 바와 같이, 예를 들면, 전자 장치(500)의 디스플레이(560)는 메인 페이지 (예: [Main Page]), 어플리케이션 페이지(Application page, 이하 앱 페이지) (예: [App Page]) 및/또는 파트너 페이지 (예: [Partner Page])를 표시할 수 있다. 5, the
예를 들면, 디스플레이(560)는 메인 페이지 상에 앱 페이지로 전환하도록 하는 앱 페이지 객체(561-a)를 표시할 수 있다. 예를 들면, 앱 페이지 객체(561-a)로 사용자의 입력 (예: 터치 입력)이 수신되면, 프로세서(120)는 디스플레이(560) 상에 앱 페이지(561)를 표시할 수 있다.For example,
예를 들면, 디스플레이(560)는 앱 페이지(561) 상에 파트너 페이지(562)로 전환하도록 하는 적어도 하나의 객체(561-b)를 표시할 수 있다. 예를 들면, 디스플레이(560)는 앱 페이지(561) 상에 메인 페이지로 전환하도록 하는 메인 페이지 객체(560-a)를 표시할 수 있다.For example, the
예를 들면, 디스플레이(560)는 파트너 페이지(562) 상에 앱 페이지(561)의 적어도 하나의 객체 중 하나의 객체(561-b)에 대응하는 실행 화면을 표시할 수 있다. 예를 들면, 디스플레이(560)는 파트너 페이지(562) 상에 다른 파트너 페이지로 전환하도록 하는 적어도 하나의 객체(562-b)를 표시할 수 있다.For example, the
도 6은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.Figure 6 shows an app page screen according to various embodiments.
도 6에 도시된 바와 같이, 예를 들면, 디스플레이(660)는 적어도 하나의 객체 중 제1 객체(662)를 표시할 수 있다. 예를 들면, 디스플레이(660)는 적어도 하나의 객체 중 제1 객체(662)를 포함하는 제1 영역(661)을 표시할 수 있다. 예를 들면, 디스플레이(660)는 포인터(699)를 표시할 수 있다.As shown in FIG. 6, for example, the
다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 대응하여 포인터(699)를 제1 위치(663)에서 제2 위치(664)로 이동시킬 수 있다.In accordance with various embodiments, a processor (e.g., processor 120) may cause
예를 들면, 센서(240)는 카메라 센서, 리모컨 센서 또는 제스처를 센싱할 수 있는 모든 형태의 센서를 포함할 수 있다.For example, the
다양한 실시예에 따르면, 프로세서(120)는 제2 위치(664)로 이동된 포인터가 지정된 조건을 만족하는 경우, 제1 영역(661)을 확대 표시할 수 있고, 포인터(699)를 제2 위치(664)에서 적어도 하나의 객체 중 제1 객체(662)에 대응하는 제3 위치(665)로 이동시킬 수 있다.According to various embodiments, the
예를 들면, 프로세서(120)는 제2 위치(664)가 제1 객체(662)에 대응되는 위치인지 판단할 수 있고, 제2 위치(664)가 제1 객체(662)에 대응되는 위치인 경우, 포인터가 지정된 조건을 만족하는 것으로 판단할 수 있다.For example, the
도 7은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.Figure 7 shows an app page screen according to various embodiments.
도 7에 도시된 바와 같이, 예를 들면, 프로세서(예: 프로세서(120))는 센서(예: 센서 모듈(240))에 의해 센싱 되는 제스처에 대응하는 사용자의 손을 확인할 수 있다.As shown in FIG. 7, for example, a processor (e.g., processor 120) may identify a user's hand corresponding to a gesture sensed by a sensor (e.g., sensor module 240).
예를 들면, 프로세서(120)는 디스플레이(760) 상의 제1 위치(763)에 표시된 포인터(799)가 사용자의 오른손에 대응하는 제스처에 따라 제1 객체(766)에 대응하는 제2 위치(764)로 이동되면, 프로세서(120)는 포인터(799)가 지정된 조건을 만족하는 것으로 판단할 수 있고, 제스처에 대응하는 사용자의 손이 오른손인 것을 확인할 수 있으며, 포인터(799)를 제1 객체(766) 상의 오른쪽 영역인 제3 위치(765)로 이동시킬 수 있다.For example, the
도 8은 다양한 실시예에 따른 제1 객체를 도시한다.Figure 8 illustrates a first object in accordance with various embodiments.
도 8(a)에 도시된 바와 같이, 다양한 실시예에 따르면, 디스플레이(예: 디스플레이(160))는 제1 객체(866)를 표시할 수 있다.As shown in FIG. 8 (a), according to various embodiments, a display (e.g., display 160) may display a
예를 들면, 프로세서(예: 프로세서(120))는 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 따라 포인터(예: 포인터(799))를 이동시킬 수 있고, 이동된 포인터(799)의 위치가 제1 객체(866)의 중심부로부터 기 설정된 거리 이내의 영역인 제1 영역(867)에 위치하는지 판단할 수 있다.For example, a processor (e.g., processor 120) may move a pointer (e.g., pointer 799) in accordance with a gesture detected by a sensor (e.g., sensor module 240) 799 may be located in the
도 8(b)에 도시된 바와 같이, 포인터(899)가 제1 객체(866)의 중심부로부터 기 설정된 거리 이내의 영역인 제1 영역(867)으로 진입한 것을 감지하면, 즉, 포인터(899)의 제2 위치(864)가 제1 영역(867) 상인 경우, 프로세서(120)는 제2 위치(864)의 포인터(899)를 제1 객체(866) 상의 제3 위치로 이동시킬 수 있다.If the
예를 들면, 포인터(899)를 이동시킨 제스처에 대응되는 사용자의 손이 오른손인 것으로 확인되면, 프로세서(120)는 제2 위치(864)의 포인터(899)를 제1 객체(866) 상의 오른쪽 영역 (제3 위치) (865)으로 이동시킬 수 있다.For example, if it is determined that the user's hand corresponding to the gesture in which the
도 9은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.Figure 9 shows an app page screen according to various embodiments.
도 9에 도시된 바와 같이, 예를 들면, 프로세서(예: 프로세서(120))는 센서(예: 센서 모듈(240))에 의해 센싱 되는 제스처에 대응하는 사용자의 손을 확인할 수 있다.As shown in FIG. 9, for example, a processor (e.g., processor 120) may identify a user's hand corresponding to a gesture sensed by a sensor (e.g., sensor module 240).
예를 들면, 프로세서(120)는 디스플레이(960) 상의 제1 위치(963)에 표시된 포인터(999)가 사용자의 왼손에 대응하는 제스처에 따라 제1 객체(966)에 대응하는 제2 위치(964)로 이동되면, 프로세서(120)는 포인터(999)가 지정된 조건을 만족하는 것으로 판단할 수 있고, 제스처에 대응하는 사용자의 손이 왼손인 것을 확인할 수 있으며, 포인터(999)를 제1 객체(966) 상의 왼쪽 영역인 제3 위치(965)로 이동시킬 수 있다.For example, the
도 10은 다양한 실시예에 따른 포인터 이동 방법을 도시한다.10 illustrates a pointer moving method according to various embodiments.
도 10(a) 및 도 10(b)에 도시된 바와 같이, 다양한 실시예에 따르면, 디스플레이(예: 디스플레이(160))는 제1 객체(1066)를 표시할 수 있다. 예를 들면, 프로세서(120)는 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 따라 포인터(예: 포인터(999))를 디스플레이(160) 상의 제1 위치에서 제2 위치로 이동시킬 수 있다.As shown in Figures 10 (a) and 10 (b), according to various embodiments, a display (e.g., display 160) may display a
다양한 실시예에 따르면, 제2 위치(1099)가 제1 객체(1066)로부터 기 설정된 거리 이내의 영역인 제1 영역(1067) 내인 경우, 프로세서(120)는 포인터(1099)를 제1 객체(1099) 상의 중심 영역인 제3 위치(1065)로 이동시킬 수 있다.According to various embodiments, when the
다양한 실시예에 따르면, 프로세서(120)는 제스처에 대응하는 사용자의 손을 확인할 수 있고, 포인터(1099)를 제3 위치(1065)로 이동시킨 후 기 설정된 시간이 경과한 후에, 포인터(1099)를 제3 위치(1065)에서 사용자의 손이 오른손인 것을 확인한 것에 대응하여 제1 객체(1066) 상의 오른쪽 영역인 제4 위치(1068)로 이동시킬 수 있다.According to various embodiments, the
도 11은 다양한 실시예에 따른 앱 페이지 화면을 도시한다.11 shows an app page screen according to various embodiments.
도 11에 도시된 바와 같이, 다양한 실시예에 따르면, <t0>에서, 프로세서(예: 프로세서(120))는 디스플레이(1160) 상에 포인터(1199)를 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 대응하여 제1 위치(1163)에서 제2 위치(1164)로 이동시킬 수 있다. 예를 들면, 프로세서(120)는 제2 위치(1164)가 제1 객체(1166)로부터 기 설정된 거리 이내의 영역인 제1 영역(1167)에 기 설정된 시간인 <t1> 동안 위치하는지 판단할 수 있다. 예를 들면, 판단한 결과, 제2 위치(1164)가 제1 영역(1167)에 기 설정된 시간인 <t1> 동안 위치하는 경우, 프로세서(120)는 포인터(1199)를 제2 위치(1164)에서 제3 위치(1165)로 이동시킬 수 있다.11, a processor (e.g., processor 120) may place a
도 12는 다양한 실시예에 따른 앱 페이지 화면을 도시한다.12 shows an app page screen according to various embodiments.
도 12에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1260) 상에 포인터(1299)를 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 대응하여 제1 위치(1263)에서 제2 위치(1264)로 이동시킬 수 있다. As shown in Figure 12, according to various embodiments, a processor (e.g., processor 120) may cause a
예를 들면, 프로세서(120)는 제2 위치(1264)의 포인터가 제1 객체(1266)로부터 기 설정된 거리 이내의 영역인 제1 영역(1267) 내에서 기 설정된 속도인 <v1> 보다 낮은 속도로 이동하는지 판단할 수 있다. 예를 들면, 판단한 결과, 제2 위치(164)가 제1 영역(1267) 내에서 기 설정된 속도인 <v1> 보다 낮은 속도로 이동하는 경우, 프로세서(120)는 포인터(1299)를 제2 위치(1264)에서 제3 위치(1265)로 이동시킬 수 있다.For example, the
도 13는 다양한 실시예에 따른 앱 페이지 화면을 도시한다.13 shows an app page screen according to various embodiments.
도 13에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1360) 상에 포인터(1399)를 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 대응하여 제1 위치(1363)에서 제2 위치(1364)로 이동시킬 수 있다. 예를 들면, 프로세서(120)는 제2 위치(1364)의 포인터가 제1 객체(1366)로부터 기 설정된 거리 이내의 영역인 제1 영역(1367) 내에서 감소하는 속도(예: 포인터의 가속도 a1 이 0 보다 작은)로 이동하는지 판단할 수 있다. 예를 들면, 판단한 결과, 제2 위치(164)가 제1 영역(1367) 내에서 감소하는 속도(예: 포인터의 가속도(a1)이 0 보다 작은)로 이동하는 경우, 프로세서(120)는 포인터(1399)를 제2 위치(1364)에서 제3 위치(1365)로 이동시킬 수 있다.As shown in Figure 13, according to various embodiments, a processor (e.g., processor 120) may cause a
도 14는 다양한 실시예에 따른 앱 페이지를 도시한다.Figure 14 shows an app page according to various embodiments.
다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1460) 상의 제2 위치(1464)에 포인터(1499)를 이동시킬 수 있고, 포인터(1499)가 지정된 조건을 만족하는지 판단할 수 있다.According to various embodiments, the processor (e.g., processor 120) may move the
다양한 실시예에 따르면, 포인터(1499)가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터(1499)를 제2 위치(1464)에서 제3 위치(1465)로 이동시킬 수 있고, 디스플레이(1460) 상의 포인터(1499)의 이동 경로에 적어도 하나의 애니메이션 효과(예: 불꽃 모양 효과)(1498)를 표시할 수 있다.According to various embodiments,
도 15는 다양한 실시예에 따른 앱 페이지를 도시한다.15 illustrates an app page in accordance with various embodiments.
도 15에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1560) 상의 제2 위치(1564)에 포인터(1599)를 이동시킬 수 있고, 포인터(1599)가 지정된 조건을 만족하는지 판단할 수 있다.15, processor (e.g., processor 120) may move
다양한 실시예에 따르면, 포인터(1599)가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터(1599)를 제2 위치(1564)에서 제3 위치(1565)로 이동시킬 수 있고, 디스플레이(1560) 상의 포인터(1599)의 이동 경로에 적어도 하나의 애니메이션 효과(예: 불꽃 모양 효과)(1598)를 표시할 수 있고, 기 설정된 시간이 경과한 후, 표시된 애니메이션 효과(1598)를 삭제할 수 있다.According to various embodiments, if the
도 16은 다양한 실시예에 따른 앱 페이지를 도시한다.Figure 16 shows an app page according to various embodiments.
도 16에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1660) 상의 제2 위치(1664)에 포인터(1699)를 이동시킬 수 있고, 포인터(1699)가 지정된 조건을 만족하는지 판단할 수 있다.16, processor (e.g., processor 120) may move
다양한 실시예에 따르면, 포인터(1699)가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터(1699)를 제2 위치(1664)에서 제3 위치(1665)로 이동시킬 수 있고, 제3 위치(1665)에 대응되는 제1 객체(1666-b)의 색깔을 변경할 수 있다.According to various embodiments, the
도 17은 다양한 실시예에 따른 앱 페이지를 도시한다.Figure 17 shows an app page according to various embodiments.
도 17에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1760) 상의 제2 위치(1764)에 포인터(1799)를 이동시킬 수 있고, 포인터(1799)가 지정된 조건을 만족하는지 판단할 수 있다.17, processor (e.g., processor 120) may move
다양한 실시예에 따르면, 포인터(1799)가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터(1799)를 제2 위치(1764)에서 제3 위치(1765)로 이동시킬 수 있고, 제3 위치(1765)에 대응되는 제1 객체(1766-b)의 크기를 변경할 수 있다.According to various embodiments, the
도 18은 다양한 실시예에 따른 앱 페이지를 도시한다.Figure 18 shows an app page according to various embodiments.
도 18에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1860) 상의 제2 위치(1864)에 포인터(1899)를 이동시킬 수 있고, 포인터(1899)가 지정된 조건을 만족하는지 판단할 수 있다.18, processor (e.g., processor 120) may move
다양한 실시예에 따르면, 포인터(1899)가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터(1899)를 제2 위치(1864)에서 제3 위치(1865)로 이동시킬 수 있고, 제3 위치(1865)로 이동된 포인터(1899)를 더 크게 표시할 수 있다.According to various embodiments, if the
도 19는 다양한 실시예에 따른 앱 페이지를 도시한다.19 illustrates an app page in accordance with various embodiments.
도 19에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(1960) 상의 제2 위치(1964)에 포인터(1999)를 이동시킬 수 있고, 포인터(1999)가 지정된 조건을 만족하는지 판단할 수 있다.19, a processor (e.g., processor 120) may move
예를 들면, 전자 장치(1900)는 소리를 출력할 수 있는 스피커(1980)를 포함할 수 있다.For example, the
다양한 실시예에 따르면, 포인터(1999)가 지정된 조건을 만족하는 경우, 프로세서(120)는 포인터(1999)를 제2 위치(1964)에서 제3 위치(1965)로 이동시킬 수 있고, 스피커(1980)를 통해 포인터(1999)의 이동에 대응하는 소리 효과를 출력할 수 있다.According to various embodiments, if the
도 20은 다양한 실시예에 따른 제1 객체 및 제2 객체를 도시한다.Figure 20 illustrates a first object and a second object in accordance with various embodiments.
도 20에 도시된 바와 같이, 다양한 실시예에 따르면, 프로세서(예: 프로세서(120))는 디스플레이(예: 디스플레이(160)) 상에 표시된 제1 객체(2061)와 제2 객체(2062) 중 포인터(2099)가 어떤 객체에 대응하는 영역에 위치하는지 판단할 수 있다.As shown in Figure 20, according to various embodiments, a processor (e.g., processor 120) may include a
예를 들면, 프로세서(120)는 제1 객체(2061)와 제2 객체(2062)의 크기에 기반하여 포인터(2099)가 어떤 객체에 대응하는 영역에 위치하는지를 판단할 수 있다. 예를 들면, 도 20에 도시된 바와 같이, 포인터(2099)가 제1 객체(2061)와 제2 객체(2062) 사이의 중간 지점인 제1 기준 선(2060-a)에 걸쳐 있으면서 제1 객체(2061)와 제2 객체(2062)의 크기에 기반하여 결정된 제2 기준 선(2060-b)의 우측 영역(제2 객체(2062) 측 영역)에 위치하는 것으로 판단되면, 프로세서(120)는 포인터(2099)를 제2 객체(2062)에 대응하는 영역인 제3 위치(2065)로 이동시킬 수 있다.For example, the
도 21 및 도 22는 다양한 실시예에 따른 앱 페이지를 도시한다.Figures 21 and 22 illustrate an app page in accordance with various embodiments.
도 21에 도시된 바와 같이, 다양한 실시예에 따르면, 디스플레이(2160)는 적어도 하나의 제1 객체(2162-1)를 포함하는 제1 객체 그룹(2162)을 디스플레이(2160)의 표시 영역 상에 표시할 수 있다.21,
예를 들면, 프로세서(120)는 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 대응하여 포인터가 디스플레이(2160)의 표시 영역과 다른 비 표시 영역(2261, 2262) 상으로 이동되는지 여부를 판단할 수 있다.For example, the
도 22에 도시된 바와 같이, 다양한 실시예에 따르면, <t0>에서, 프로세서(120)는 디스플레이(2260) 상의 표시 영역(2269) 외의 비 표시 영역으로 포인터(2299)가 이동한 것으로 판단되면, 포인터(2299)가 비 표시 영역에 기 설정된 시간(예: <t2>) 동안 위치하는지 판단할 수 있다.As shown in Figure 22, according to various embodiments, in <t 0>, processor 120 if it is determined that a pointer (2299) Back to the non-display region outside the display area (2269) on the display (2260) , It can be determined whether the
예를 들면, 포인터(2299)가 비 표시 영역에 기 설정된 시간(예: <t2>) 동안 위치하는 것으로 판단되면, 프로세서(120)는 포인터(2299)가 위치한 디스플레이(2260) 상의 비 표시 영역에 포함된 제2 객체(2261-b1)를 포함하는 제2 객체 그룹(2261-b)을 디스플레이(2260)의 표시 영역(2269) 상에 표시할 수 있으며, 표시 영역(2269) 상에 표시되던 제1 객체 그룹(2261-a)을 비 표시 영역으로 이동시킬 수 있다.For example, if it is determined that the
도 23은 다양한 실시예에 따른 앱 페이지를 도시한다.23 illustrates an app page in accordance with various embodiments.
도 23에 도시된 바와 같이, 프로세서(예: 프로세서(120))는 디스플레이의 표시 영역(2369) 상에 제1 객체(2361-a)를 포함하는 적어도 하나의 객체를 제1 영역(2361) 상에 표시할 수 있고, 표시 영역(2369) 상에 제1 객체(2361-a)에 대응하는 실행 화면(2362-a)을 제2 영역(2362) 상에 표시할 수 있다.23, a processor (e.g., processor 120) may communicate at least one object comprising a first object 2361-a on a
다양한 실시예에 따르면, <t0>에서, 프로세서(120)는 센서(예: 센서 모듈(240))에 의해 검출된 제스처에 대응하여 포인터(2399)를 표시 영역(2369)에서 비 표시 영역(2362-b)으로 이동시킬 수 있다.According to various embodiments, at < t 0 & gt ;, the
다양한 실시예에 따르면, 프로세서(120)는 포인터(2399)가 비 표시 영역(2362-b) 상에 기 설정된 시간(예: <t3>) 동안 위치하는지 판단할 수 있다.According to various embodiments, the
다양한 실시예에 따르면, 포인터(2399)가 비 표시 영역(2362-b) 상에 기 설정된 시간(예: <t3>) 동안 위치하는 경우, 프로세서(120)는 비 표시 영역(2362-b)에 대응하는 다른 실행 화면(2367-b)를 표시 영역(2369) 상에 표시할 수 있다.According to various embodiments, when the
본 발명의 다양한 실시예에 따른 전자 장치는, 적어도 하나의 객체를 표시하는 디스플레이; 제스처를 검출하는 센서; 및 상기 제스처의 이동 거리에 대응하여 포인터를 상기 디스플레이 상의 제1 위치에서 제2 위치로 이동시키고, 상기 포인터가 지정된 조건을 만족하는 경우 상기 포인터를 상기 디스플레이 상의 제3 위치로 이동시키도록 설정된 프로세서를 포함할 수 있다.An electronic device according to various embodiments of the present invention includes: a display that displays at least one object; A sensor for detecting a gesture; And a processor configured to move a pointer from a first position to a second position on the display in response to a movement distance of the gesture and to move the pointer to a third position on the display if the pointer satisfies a specified condition .
다양한 실시예에 따르면, 상기 제3 위치는 상기 적어도 하나의 객체 중 제1 객체 상의 위치를 포함할 수 있다.According to various embodiments, the third location may include a location on a first one of the at least one object.
다양한 실시예에 따르면, 상기 제2 위치는 상기 적어도 하나의 객체 중 제1 객체로부터 기 설정된 거리 이내의 영역인 제1 영역을 포함할 수 있다.According to various embodiments, the second location may include a first area that is an area within a predetermined distance from a first one of the at least one object.
다양한 실시예에 따르면, 상기 프로세서는, 상기 포인터가 상기 제1 영역 상에서 기 설정된 시간 동안 위치하면, 상기 포인터를 상기 제3 위치로 이동할 수 있다.According to various embodiments, the processor may move the pointer to the third position when the pointer is positioned for a predetermined time on the first area.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1 영역 상에서 이동하는 상기 포인터의 속도가 기 설정된 속도 이하면, 상기 포인터를 상기 제3 위치로 이동할 수 있다.According to various embodiments, the processor may move the pointer to the third position if the speed of the pointer moving on the first area is less than a predetermined speed.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1 영역 상에서 이동하는 상기 포인터의 속도가 감소 상태면, 상기 포인터를 상기 제3 위치로 이동할 수 있다.According to various embodiments, the processor may move the pointer to the third location if the speed of the pointer moving on the first area is reduced.
다양한 실시예에 따르면, 상기 프로세서는, 기 설정된 시간 동안, 상기 제1 영역 상에서 이동하는 상기 포인터의 속도가 기 설정된 속도 이하이거나 감소 상태를 유지하면, 상기 포인터를 상기 제3 위치로 이동할 수 있다.According to various embodiments, the processor may move the pointer to the third position when the speed of the pointer moving on the first area is less than or equal to a predetermined speed for a predetermined period of time.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1 객체의 크기 및 다른 적어도 하나의 객체의 크기에 기반하여 상기 포인터가 지정된 조건을 만족하는지 판단할 수 있다.According to various embodiments, the processor may determine whether the pointer meets a specified condition based on the size of the first object and the size of the at least one other object.
다양한 실시예에 따르면, 상기 프로세서는 상기 포인터의 이동에 대응하는 애니메이션 효과를 표시할 수 있다.According to various embodiments, the processor may display an animation effect corresponding to the movement of the pointer.
다양한 실시예에 따르면, 상기 프로세서는 상기 제1 객체의 크기 또는 색깔을 변경할 수 있다.According to various embodiments, the processor may change the size or color of the first object.
다양한 실시예에 따르면, 상기 프로세서는 상기 포인터의 크기, 색깔 또는 이동 경로 중 어느 하나 이상을 변경할 수 있다.According to various embodiments, the processor may change one or more of the size, color, or movement path of the pointer.
다양한 실시예에 따르면, 스피커를 더 포함하고, 상기 프로세서는 상기 스피커로 상기 포인터의 이동에 대응하는 소리 효과를 출력할 수 있다.According to various embodiments, the apparatus may further include a speaker, and the processor may output a sound effect corresponding to the movement of the pointer to the speaker.
다양한 실시예에 따르면, 상기 프로세서는 상기 포인터가 상기 제3 위치로 이동된 후, 상기 표시된 애니메이션 효과를 삭제할 수 있다.According to various embodiments, the processor may delete the displayed animation effect after the pointer is moved to the third position.
다양한 실시예에 따르면, 상기 프로세서는, 상기 포인터를 상기 제3 위치로 이동시킨 후 기 설정된 시간이 경과하면, 상기 제1 객체 상의 제4 위치로 이동할 수 있다.According to various embodiments, the processor may move to a fourth location on the first object after a predetermined time elapses after moving the pointer to the third location.
다양한 실시예에 따르면, 상기 프로세서는 상기 제스처에 대응하는 사용자의 손을 확인하고, 상기 사용자의 손에 기반하여 상기 제4 위치를 결정할 수 있다.According to various embodiments, the processor can identify the user's hand corresponding to the gesture and determine the fourth position based on the user's hand.
다양한 실시예에 따르면, 상기 디스플레이는 상기 적어도 하나의 객체를 포함하는 제2 영역을 표시하고, 상기 프로세서는 상기 포인터가 상기 제2 영역으로 이동하면, 상기 제2 영역을 확대할 수 있다.According to various embodiments, the display indicates a second area comprising the at least one object, and the processor can magnify the second area when the pointer moves to the second area.
본 발명의 다양한 실시예에 따른 전자 장치의 제어 방법은, 적어도 하나의 객체를 표시하는 동작; 제스처를 검출하는 동작; 상기 제스처의 이동 거리에 대응하여 포인터를 제1 위치에서 제2 위치로 이동시키는 동작; 및 상기 포인터가 지정된 조건을 만족하는 경우 상기 포인터를 제3 위치로 이동시키는 동작을 포함할 수 있다.A method of controlling an electronic device according to various embodiments of the present invention includes: displaying at least one object; Detecting a gesture; Moving the pointer from the first position to the second position in correspondence with the movement distance of the gesture; And moving the pointer to a third position if the pointer satisfies a specified condition.
본 발명의 다양한 실시예에 따른 전자 장치는 표시 영역 상에 적어도 하나의 객체를 표시하는 디스플레이; 제스처를 검출하는 센서; 및 상기 제스처의 이동 거리에 대응하여 포인터를 이동시키고, 상기 포인터가 상기 디스플레이의 비 표시 영역으로 이동되면, 상기 적어도 하나의 객체와 관련된 다른 적어도 하나의 객체를 상기 표시 영역 상에 표시하는 프로세서를 포함할 수 있다.An electronic device according to various embodiments of the present invention includes a display that displays at least one object on a display area; A sensor for detecting a gesture; And a processor for moving the pointer corresponding to the movement distance of the gesture and displaying at least one other object associated with the at least one object on the display area when the pointer is moved to a non-display area of the display can do.
다양한 실시예에 따르면, 상기 표시 영역은 상기 적어도 하나의 객체가 표시되는 제1 영역 및 상기 적어도 하나의 객체에 대응하는 실행 화면이 표시되는 제2 영역을 포함하고, 상기 프로세서는, 상기 다른 적어도 하나의 객체 중 제1 객체에 대응되는 위치에 상기 포인터가 이동되면, 상기 제1 객체에 대응되는 프리뷰 화면을 상기 제2 영역 상에 표시할 수 있다.According to various embodiments, the display area includes a first area in which the at least one object is displayed and a second area in which an execution screen corresponding to the at least one object is displayed, The preview screen corresponding to the first object may be displayed on the second area when the pointer is moved to a position corresponding to the first object among the objects of the first object.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1 객체에 대응되는 위치에 상기 포인터가 기 설정된 시간 동안 위치하면, 상기 제1 객체에 대응되는 실행 화면을 상기 제2 영역 상에 표시할 수 있다.According to various embodiments, the processor may display an execution screen corresponding to the first object on the second area when the pointer is positioned for a predetermined time at a position corresponding to the first object.
Claims (20)
적어도 하나의 객체를 표시하는 디스플레이;
제스처를 검출하는 센서; 및
상기 제스처의 이동 거리에 대응하여 포인터를 상기 디스플레이 상의 제1 위치에서 제2 위치로 이동시키고, 상기 포인터가 지정된 조건을 만족하는 경우 상기 포인터를 상기 디스플레이 상의 제3 위치로 이동시키도록 설정된 프로세서를 포함하는 전자 장치.
In an electronic device,
A display for displaying at least one object;
A sensor for detecting a gesture; And
Moving a pointer from a first position to a second position on the display in response to the movement distance of the gesture and moving the pointer to a third position on the display if the pointer satisfies a specified condition Lt; / RTI >
상기 제3 위치는 상기 적어도 하나의 객체 중 제1 객체 상의 위치를 포함하는 전자 장치.
The method according to claim 1,
And wherein the third location comprises a location on a first one of the at least one object.
상기 제2 위치는 상기 적어도 하나의 객체 중 제1 객체로부터 기 설정된 거리 이내의 영역인 제1 영역을 포함하는 전자 장치.
The method according to claim 1,
Wherein the second location comprises a first area that is an area within a predetermined distance from a first one of the at least one object.
상기 프로세서는, 상기 포인터가 상기 제1 영역 상에서 기 설정된 시간 동안 위치하면, 상기 포인터를 상기 제3 위치로 이동시키는 전자 장치.
The method of claim 3,
Wherein the processor moves the pointer to the third position when the pointer is positioned for a predetermined time on the first area.
상기 프로세서는, 상기 제1 영역 상에서 이동하는 상기 포인터의 속도가 기 설정된 속도 이하면, 상기 포인터를 상기 제3 위치로 이동시키는 전자 장치.
The method of claim 3,
And the processor moves the pointer to the third position if the speed of the pointer moving on the first area is less than a predetermined speed.
상기 프로세서는, 상기 제1 영역 상에서 이동하는 상기 포인터의 속도가 감소 상태면, 상기 포인터를 상기 제3 위치로 이동시키는 전자 장치.
The method of claim 3,
The processor moves the pointer to the third position if the speed of the pointer moving on the first area is reduced.
상기 프로세서는, 기 설정된 시간 동안, 상기 제1 영역 상에서 이동하는 상기 포인터의 속도가 기 설정된 속도 이하이거나 감소 상태를 유지하면, 상기 포인터를 상기 제3 위치로 이동시키는 전자 장치.
The method according to claim 5 or 6,
Wherein the processor moves the pointer to the third position when the speed of the pointer moving on the first area is less than or equal to a predetermined speed for a predetermined time.
상기 프로세서는, 상기 제1 객체의 크기 및 다른 적어도 하나의 객체의 크기에 기반하여 상기 포인터가 지정된 조건을 만족하는지 판단하는 전자 장치.
The method of claim 3,
Wherein the processor determines whether the pointer satisfies a specified condition based on a size of the first object and a size of at least one other object.
상기 프로세서는 상기 포인터의 이동에 대응하는 애니메이션 효과를 표시하는 전자 장치.
The method according to claim 1,
Wherein the processor displays an animation effect corresponding to the movement of the pointer.
상기 프로세서는 상기 제1 객체의 크기 또는 색깔을 변경하는 전자 장치.
3. The method of claim 2,
Wherein the processor changes the size or color of the first object.
상기 프로세서는 상기 포인터의 크기, 색깔 또는 이동 경로 중 어느 하나 이상을 변경하는 전자 장치.
The method according to claim 1,
Wherein the processor alters at least one of a size, a color, or a movement path of the pointer.
스피커를 더 포함하고,
상기 프로세서는 상기 스피커로 상기 포인터의 이동에 대응하는 소리 효과를 출력하는 전자 장치.
The method according to claim 1,
Further comprising a speaker,
And the processor outputs a sound effect corresponding to the movement of the pointer to the speaker.
상기 프로세서는 상기 포인터가 상기 제3 위치로 이동된 후, 상기 표시된 애니메이션 효과를 삭제하는 전자 장치.
10. The method of claim 9,
Wherein the processor deletes the displayed animation effect after the pointer is moved to the third position.
상기 프로세서는, 상기 포인터를 상기 제3 위치로 이동시킨 후 기 설정된 시간이 경과하면, 상기 제1 객체 상의 제4 위치로 이동하는 전자 장치.
3. The method of claim 2,
Wherein the processor moves to a fourth position on the first object after a predetermined time elapses after moving the pointer to the third position.
상기 프로세서는 상기 제스처에 대응하는 사용자의 손을 확인하고, 상기 사용자의 손에 기반하여 상기 제4 위치를 결정하는 전자 장치.
15. The method of claim 14,
Wherein the processor identifies a user's hand corresponding to the gesture and determines the fourth position based on the user's hand.
상기 디스플레이는 상기 적어도 하나의 객체를 포함하는 제2 영역을 표시하고, 상기 프로세서는 상기 포인터가 상기 제2 영역으로 이동하면, 상기 제2 영역을 확대하는 전자 장치.
The method according to claim 1,
Wherein the display indicates a second area comprising the at least one object and the processor magnifies the second area when the pointer moves to the second area.
제스처를 검출하는 동작;
상기 제스처의 이동 거리에 대응하여 포인터를 제1 위치에서 제2 위치로 이동시키는 동작; 및
상기 포인터가 지정된 조건을 만족하는 경우 상기 포인터를 제3 위치로 이동시키는 동작을 포함하는 전자 장치의 제어 방법.
Displaying at least one object;
Detecting a gesture;
Moving the pointer from the first position to the second position in correspondence with the movement distance of the gesture; And
And moving the pointer to a third position when the pointer satisfies a specified condition.
제스처를 검출하는 센서; 및
상기 제스처의 이동 거리에 대응하여 포인터를 이동시키고, 상기 포인터가 상기 디스플레이의 비 표시 영역으로 이동되면, 상기 적어도 하나의 객체와 관련된 다른 적어도 하나의 객체를 상기 표시 영역 상에 표시하는 프로세서를 포함하는 전자 장치.
A display for displaying at least one object on the display area;
A sensor for detecting a gesture; And
Moving the pointer corresponding to the movement distance of the gesture and displaying at least one other object associated with the at least one object on the display area when the pointer is moved to a non-display area of the display Electronic device.
상기 표시 영역은 상기 적어도 하나의 객체가 표시되는 제1 영역 및 상기 적어도 하나의 객체에 대응하는 실행 화면이 표시되는 제2 영역을 포함하고, 상기 프로세서는, 상기 다른 적어도 하나의 객체 중 제1 객체에 대응되는 위치에 상기 포인터가 이동되면, 상기 제1 객체에 대응되는 프리뷰 화면을 상기 제2 영역 상에 표시하는 전자 장치.
19. The method of claim 18,
Wherein the display area includes a first area in which the at least one object is displayed and a second area in which an execution screen corresponding to the at least one object is displayed, And displays a preview screen corresponding to the first object on the second area when the pointer moves to a position corresponding to the first object.
상기 프로세서는, 상기 제1 객체에 대응되는 위치에 상기 포인터가 기 설정된 시간 동안 위치하면, 상기 제1 객체에 대응되는 실행 화면을 상기 제2 영역 상에 표시하는 전자 장치.
20. The method of claim 19,
Wherein the processor displays an execution screen corresponding to the first object on the second area when the pointer is positioned for a predetermined time at a position corresponding to the first object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/211,392 US20170017373A1 (en) | 2015-07-15 | 2016-07-15 | Electronic device and method for controlling the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562192742P | 2015-07-15 | 2015-07-15 | |
US62/192,742 | 2015-07-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170009713A true KR20170009713A (en) | 2017-01-25 |
Family
ID=57991572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160060826A KR20170009713A (en) | 2015-07-15 | 2016-05-18 | Electronic device and controlling method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20170009713A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180123395A (en) * | 2017-05-08 | 2018-11-16 | 삼성전자주식회사 | Electronic device including force sensor integrated with display |
-
2016
- 2016-05-18 KR KR1020160060826A patent/KR20170009713A/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180123395A (en) * | 2017-05-08 | 2018-11-16 | 삼성전자주식회사 | Electronic device including force sensor integrated with display |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20180095409A (en) | Electronic device and method for displaying screen thereof | |
KR102459031B1 (en) | Electronic device and method for displaying application used therein | |
KR20180055231A (en) | Electronic device and method for displaying execution screen of application using icon | |
KR20170138667A (en) | Method for activating application and electronic device supporting the same | |
KR102485448B1 (en) | Electronic device and method for processing gesture input | |
KR20180080629A (en) | Electronic device and method for displaying history of executed application thereof | |
KR20180128178A (en) | Method for displaying contents and electronic device thereof | |
KR20160101600A (en) | Method and apparatus for providing of screen mirroring service | |
KR20170071960A (en) | Apparatus and method for providing user interface of electronic device | |
KR20180098080A (en) | Interface providing method for multitasking and electronic device implementing the same | |
KR20170076359A (en) | Method and apparatus for precessing touch event | |
KR20160128606A (en) | Device For Providing Shortcut User Interface and Method Thereof | |
KR20170030349A (en) | Electronic device for detecting pressure of input and operating method thereof | |
KR20170119963A (en) | Cover device and electronic device including the cover device | |
KR20180129188A (en) | Electronic device measuring biometric information and method of operating the same | |
KR20170046915A (en) | Apparatus and method for controlling camera thereof | |
KR20180041911A (en) | Electronic device and method of controlling display in the electronic device | |
KR20160124536A (en) | Method and electronic apparatus for providing user interface | |
KR20170066050A (en) | Object notification method and electronic device supporting the same | |
KR20180131900A (en) | Electronic device and method for processing input of external input device | |
KR20180014614A (en) | Electronic device and method for processing touch event thereof | |
KR20170114515A (en) | Electronic device for displaying screen and method for controlling thereof | |
KR20180131863A (en) | Electronic device for providing information related to a smart watch and method for operating the same | |
KR20180051002A (en) | Method for cotrolling launching of an application in a electronic device using a touch screen and the electronic device thereof | |
US20170017373A1 (en) | Electronic device and method for controlling the same |