KR102604570B1 - 사용자 입력 지원 방법 및 이를 지원하는 전자 장치 - Google Patents
사용자 입력 지원 방법 및 이를 지원하는 전자 장치 Download PDFInfo
- Publication number
- KR102604570B1 KR102604570B1 KR1020180033858A KR20180033858A KR102604570B1 KR 102604570 B1 KR102604570 B1 KR 102604570B1 KR 1020180033858 A KR1020180033858 A KR 1020180033858A KR 20180033858 A KR20180033858 A KR 20180033858A KR 102604570 B1 KR102604570 B1 KR 102604570B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic device
- area
- display device
- user input
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000004891 communication Methods 0.000 claims abstract description 60
- 241001422033 Thestylus Species 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000006059 cover glass Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000510009 Varanus griseus Species 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Abstract
본 발명의 일 실시 예는, 하우징, 터치스크린 디스플레이, 무선 통신 회로, 커넥터, 및 상기 터치스크린 디스플레이, 상기 무선 통신 회로 및 상기 커넥터와 전기적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로 또는 상기 커넥터를 기반으로 외부 디스플레이 장치와 연결되고, 상기 터치스크린 디스플레이의 적어도 일부 영역에 상기 외부 디스플레이 장치가 출력하는 화면과 대응하는 그래픽 사용자 인터페이스를 표시하고, 상기 그래픽 사용자 인터페이스의 적어도 일부 영역을 검정 배경(black backrground)으로 표시하고, 상기 그래픽 사용자 인터페이스의 적어도 일 영역으로 인가되는 사용자 입력에 대한 제1 좌표 정보를 상기 외부 디스플레이 장치에 대응하는 제2 좌표 정보로 변환하여 상기 제2 좌표 정보를 상기 외부 디스플레이 장치로 전송하도록 설정된 전자 장치를 개시한다. 이 외에도 명세서를 통하여 파악되는 다양한 실시 예가 가능하다.
Description
본 문서에서 개시되는 다양한 실시 예들은, 전자 장치의 사용자 입력 지원 기술과 관련된다.
최근 독자적 운영체제가 탑재된 전자 장치의 보급이 급속도로 확산되면서, 전자 장치는 사용자와의 인터렉션(interaction)을 지향하는 다양한 기능 또는 서비스를 제공하고 있다. 예를 들어, 전자 장치는 입력 장치로 기능하는 디스플레이의 크기 제약을 극복하기 위하여, 외부 디스플레이 장치(예: 모니터 또는 TV 등)와 유선 또는 무선으로 연결될 수 있다. 전자 장치는 연결된 외부 디스플레이 장치를 통하여 상기 전자 장치의 콘텐츠(예: 이미지 또는 텍스트 등)를 출력할 수 있다.
전자 장치 및 외부 디스플레이 장치가 연결된 환경에서, 사용자는 전자 장치의 디스플레이 상에 사용자 입력(예: 신체의 일부 또는 스타일러스 펜을 이용한 터치, 드래그(drag) 또는 프레스(press) 등)을 인가하여 상기 외부 디스플레이 장치에서 표시되는 화면을 제어할 수 있다. 그러나, 상기 전자 장치 및 외부 디스플레이 장치 각각에 구비되는 디스플레이의 크기는 상호 상이한 바, 사용자는 전자 장치와 외부 디스플레이 장치 간에 대응하는 디스플레이 영역을 직관적으로 인지할 수 없으며, 이는 전자 장치 상에 인가되는 사용자 입력의 명확성을 저해시키는 요인으로 작용할 수 있다.
본 문서에서 개시되는 다양한 실시 예들은, 전자 장치와 외부 디스플레이 장치 간의 연결 시, 상기 전자 장치의 디스플레이 상에 외부 디스플레이 장치의 화면에 대응하는 그래픽 사용자 인터페이스(graphic user interface)를 출력함으로써, 사용자 입력의 편의를 도모할 수 있는 사용자 입력 지원 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
일 실시 예에 따른 전자 장치는, 하우징, 상기 하우징의 제1 영역을 통하여 적어도 일부가 노출되는 터치스크린 디스플레이, 무선 통신 회로, 상기 하우징의 제2 영역을 통하여 적어도 일부가 노출되는 커넥터, 및 상기 터치스크린 디스플레이, 상기 무선 통신 회로 및 상기 커넥터와 전기적으로 연결되는 프로세서를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 무선 통신 회로 또는 상기 커넥터를 기반으로 외부 디스플레이 장치와 연결되고, 상기 터치스크린 디스플레이의 적어도 일부 영역에 상기 외부 디스플레이 장치가 출력하는 화면과 대응하는 그래픽 사용자 인터페이스를 표시하고, 상기 그래픽 사용자 인터페이스의 적어도 일부 영역을 검정 배경(black backrground)으로 표시하고, 상기 그래픽 사용자 인터페이스의 적어도 일 영역으로 인가되는 사용자 입력에 대한 제1 좌표 정보를 상기 외부 디스플레이 장치에 대응하는 제2 좌표 정보로 변환하여 상기 제2 좌표 정보를 상기 외부 디스플레이 장치로 전송할 수 있다.
다양한 실시 예에 따르면, 전자 장치의 디스플레이 상에 외부 디스플레이 장치의 화면과 대응하는 그래픽 사용자 인터페이스를 제공하여, 사용자로 하여금 상기 외부 디스플레이 장치 화면의 제어와 관련한 사용자 입력의 인가 영역을 직관적으로 인지하도록 지원할 수 있다.
다양한 실시 예에 따르면, 외부 디스플레이 장치의 화면을 제어하기 위한 사용자 입력의 명확성이 향상될 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 네트워크 환경 내의 전자 장치를 도시한 도면이다.
도 2는 일 실시 예에 따른 전자 장치의 운용 환경을 도시한 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 구성을 도시한 도면이다.
도 4는 일 실시 예에 따른 전자 장치가 포함하는 프로그램을 도시한 도면이다.
도 5는 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 형태를 도시한 도면이다.
도 6은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 다른 형태를 도시한 도면이다.
도 7은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 또 다른 형태를 도시한 도면이다.
도 8은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 또 다른 형태를 도시한 도면이다.
도 9a는 일 실시 예에 따른 전자 장치의 사용자 입력 지원 방법을 도시한 도면이다.
도 9b는 일 실시 예에 따른 전자 장치의 사용자 입력 지원을 위한 동작 프로세스를 도시한 도면이다.
도 10은 일 실시 예에 따른 전자 장치의 입력 모드 설정 화면을 도시한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 오리엔테이션(orientation)에 대한 그래픽 사용자 인터페이스의 출력 형태를 도시한 도면이다.
도 12는 일 실시 예에 따른 전자 장치의 사용자 인증 동작 시 그래픽 사용자 인터페이스의 출력 형태를 도시한 도면이다.
도면의 설명과 관련하여, 동일 또는 대응되는 구성요소에 대해서는 동일한 참조 번호가 부여될 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 운용 환경을 도시한 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 구성을 도시한 도면이다.
도 4는 일 실시 예에 따른 전자 장치가 포함하는 프로그램을 도시한 도면이다.
도 5는 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 형태를 도시한 도면이다.
도 6은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 다른 형태를 도시한 도면이다.
도 7은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 또 다른 형태를 도시한 도면이다.
도 8은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 또 다른 형태를 도시한 도면이다.
도 9a는 일 실시 예에 따른 전자 장치의 사용자 입력 지원 방법을 도시한 도면이다.
도 9b는 일 실시 예에 따른 전자 장치의 사용자 입력 지원을 위한 동작 프로세스를 도시한 도면이다.
도 10은 일 실시 예에 따른 전자 장치의 입력 모드 설정 화면을 도시한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 오리엔테이션(orientation)에 대한 그래픽 사용자 인터페이스의 출력 형태를 도시한 도면이다.
도 12는 일 실시 예에 따른 전자 장치의 사용자 인증 동작 시 그래픽 사용자 인터페이스의 출력 형태를 도시한 도면이다.
도면의 설명과 관련하여, 동일 또는 대응되는 구성요소에 대해서는 동일한 참조 번호가 부여될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크톱 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면 웨어러블 장치는 엑세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체 형(예: 전자 의복), 신체 부착 형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식 형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD 플레이어(Digital Video Disk player), 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 내비게이션(navigation) 장치, 위성 항법 시스템(GNSS(Global Navigation Satellite System)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 일 실시 예에 따른 네트워크 환경 내의 전자 장치를 도시한 도면이다.
도 1을 참조하면, 네트워크 환경(1000)에서 전자 장치(1001)는 제1 네트워크(1098)(예: 근거리 무선 통신)를 통하여 전자 장치(1002)와 통신하거나, 또는 제2 네트워크(1099)(예: 원거리 무선 통신)를 통하여 전자 장치(1004) 또는 서버(1008)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1001)는 서버(1008)를 통하여 전자 장치(1004)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1001)는 프로세서(1020), 메모리(1030), 입력 장치(1050), 음향 출력 장치(1055), 표시 장치(1060), 오디오 모듈(1070), 센서 모듈(1076), 인터페이스(1077), 햅틱 모듈(1079), 카메라 모듈(1080), 전력 관리 모듈(1088), 배터리(1089), 통신 모듈(1090), 가입자 식별 모듈(1096), 및 안테나 모듈(1097)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1001)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1060) 또는 카메라 모듈(1080))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 예를 들면, 표시 장치(1060)(예: 디스플레이)에 임베디드된 센서 모듈(1076)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(1020)는, 예를 들면, 소프트웨어(예: 프로그램(1040))를 구동하여 프로세서(1020)에 연결된 전자 장치(1001)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1020)는 다른 구성요소(예: 센서 모듈(1076) 또는 통신 모듈(1090))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1032)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(1034)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1020)는 메인 프로세서(1021)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(1021)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(1023)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(1023)는 메인 프로세서(1021)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(1023)는, 예를 들면, 메인 프로세서(1021)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1021)를 대신하여, 또는 메인 프로세서(1021)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(1021)와 함께, 전자 장치(1001)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1060), 센서 모듈(1076), 또는 통신 모듈(1090))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1023)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1080) 또는 통신 모듈(1090))의 일부 구성 요소로서 구현될 수 있다. 메모리(1030)는, 전자 장치(1001)의 적어도 하나의 구성요소(예: 프로세서(1020) 또는 센서모듈(1076))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(1040)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(1030)는, 휘발성 메모리(1032) 또는 비휘발성 메모리(1034)를 포함할 수 있다.
프로그램(1040)은 메모리(1030)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(1042), 미들 웨어(1044) 또는 어플리케이션(1046)을 포함할 수 있다.
입력 장치(1050)는, 전자 장치(1001)의 구성요소(예: 프로세서(1020))에 사용될 명령 또는 데이터를 전자 장치(1001)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(1055)는 음향 신호를 전자 장치(1001)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(1060)는 전자 장치(1001)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(1060)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(1070)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1070)은, 입력 장치(1050)를 통해 소리를 획득하거나, 음향 출력 장치(1055), 또는 전자 장치(1001)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1002)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1076)은 전자 장치(1001)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(1076)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1077)는 외부 전자 장치(예: 전자 장치(1002))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1077)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1078)는 전자 장치(1001)와 외부 전자 장치(예: 전자 장치(1002))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1079)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(1079)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1080)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1080)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(1088)은 전자 장치(1001)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(1089)는 전자 장치(1001)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1090)은 전자 장치(1001)와 외부 전자 장치(예: 전자 장치(1002), 전자 장치(1004), 또는 서버(1008))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1090)은 프로세서(1020)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1090)은 무선 통신 모듈(1092)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1094)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제1 네트워크(1098)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(1099)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(1090)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시 예에 따르면, 무선 통신 모듈(1092)은 가입자 식별 모듈(1096)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(1001)를 구별 및 인증할 수 있다.
안테나 모듈(1097)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1090)(예: 무선 통신 모듈(1092))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(1099)에 연결된 서버(1008)를 통해서 전자 장치(1001)와 외부의 전자 장치(1004)간에 송신 또는 수신될 수 있다. 전자 장치(1002, 1004) 각각은 전자 장치(1001)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1001)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일 실시 예에 따르면, 전자 장치(1001)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(1001)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(1001)로 전달할 수 있다. 전자 장치(1001)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(1036) 또는 외장 메모리(1038))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(1040))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(1001))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(1020))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 운용 환경을 도시한 도면이다.
도 2를 참조하면, 전자 장치(100)(예: 도 1의 전자 장치(1001))는 인접되거나, 규정된 통신 프로토콜(protocol)을 수립하는 적어도 하나의 외부 장치와 전기적, 통신적 또는 기능적으로 연결될 수 있다. 예를 들어, 전자 장치(100)는 외부 디스플레이 장치(200) 및 중개 장치(300)와 연결되어 기능 운용에 관계되는 적어도 하나의 데이터를 송신 또는 수신할 수 있다. 일 실시 예에서, 전자 장치(100)의 디스플레이(110) 크기(또는, 면적)는 외부 디스플레이 장치(200)의 디스플레이(210) 크기(또는, 면적)에 비해 상대적으로 작을 수 있다.
상기 중개 장치(300)는 전자 장치(100)와 외부 디스플레이 장치(200)를 연결할 수 있다. 중개 장치(300)는 예컨대, 도크(dock)(또는, 도킹 스테이션(docking station))를 포함할 수 있다. 일 실시 예에서, 중개 장치(300)는 전자 장치(100)를 안착시키기 위한 거치 영역을 포함할 수 있다. 이와 관련하여, 전자 장치(100)는 상기 거치 영역에 세로 방향 출력 모드(portrait 모드) 또는 가로 방향 출력 모드(landscape 모드)로 거치될 수 있다. 다양한 실시 예에서, 전자 장치(100) 및 중개 장치(300)는 USB 포트 또는 케이블과 같은 입출력 인터페이스를 통해 연결될 수 있다. 일 실시 예에 따르면, 중개 장치(300)는 외부 입력 장치(예: 포인팅 장치(400) 또는 키보드 장치(500) 등)와 유선 연결을 위한 적어도 하나의 포트를 포함할 수 있다. 상기 포트에 외부 입력 장치(예: 400 또는 500)가 연결되는 경우, 외부 입력 장치(예: 400 또는 500)의 연결 정보는 전자 장치(100)로 제공될 수 있다.
상기 외부 디스플레이 장치(200)(예: 모니터, 노트북 또는 TV 등)는 중개 장치(300)를 통하여 연결된 전자 장치(100)로부터 제공되는 적어도 하나의 콘텐츠(예: 영상(still image 또는 video 등) 또는 텍스트 등)를 출력할 수 있다. 일 실시 예에서, 상기 외부 디스플레이 장치(200)의 디스플레이(210)는 전자 장치(100)의 디스플레이(110)와 적어도 일부 상이한 화면을 출력할 수 있다. 이와 관련하여, 전자 장치(100)는 외부 디스플레이 장치(200)와 연결되면, 상기 전자 장치(100)의 디스플레이(110)에 표시되는 콘텐츠의 적어도 일부를 재구성할 수 있고, 외부 디스플레이 장치(200)를 통하여 재구성된 화면을 출력시킬 수 있다. 예를 들어, 전자 장치(100)는 데스크 탑 PC를 이용하는 것과 유사한 사용자 인터페이스를 외부 디스플레이 장치(200)의 디스플레이(210)를 통해 출력함으로써, 전자 장치(100) 사용자에게 모바일 데스크 탑(mobile desk top) 환경을 제공할 수 있다.
일 실시 예에서, 전자 장치(100)의 디스플레이(110)는 내부로 터치 패널(또는, 터치 센서)을 포함하여, 상기 디스플레이(110) 상에 인가되는 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는 상기 사용자 입력을 수행하는 사용자 신체의 적어도 일부(예: 손가락) 또는 전자 장치(100)에 탑재되는 스타일러스 펜(stylus pen) 등에 의한 전기적 특성 변화(예: 정전용량 변화 등)를 검출함으로써, 디스플레이(110)에 인가되는 사용자 입력을 수신할 수 있다. 이와 관련하여, 전자 장치(100)의 디스플레이(110)는 지정된 조건(예: 외부 디스플레이 장치(200)와의 연결 여부 또는 외부 입력 장치(포인팅 장치(400))와의 연결 여부 등)에 따라 적어도 일부가 입력 장치(예: 터치 패드)로 기능할 수 있다. 상기 전자 장치(100)의 디스플레이(110)가 입력 장치(예: 터치 패드)로 동작하는 경우, 사용자 입력은 외부 디스플레이 장치(200)의 디스플레이(210)에 출력되는 마우스 포인터 또는 커서 등의 이동 또는 클릭에 반영될 수 있다. 다시 말해, 상기 전자 장치(100)의 디스플레이(110)에 인가되는 사용자 입력은 외부 디스플레이 장치(200)에 표시된 화면을 제어하기 위한 사용자 조작으로 이해될 수 있으며, 상기 사용자 입력의 처리(예: 마우스 포인터 또는 커서 등의 이동 또는 클릭)는 외부 디스플레이 장치(200)의 디스플레이(210)를 통하여 명시될 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 외부 디스플레이 장치(200)와 연결된 상태에서, 디스플레이(110)에 상기 외부 디스플레이 장치(200)의 화면과 적어도 일부 매핑된(또는, 대응하는) 형상의 그래픽 사용자 인터페이스(graphical user interface)를 출력할 수 있다. 예를 들어, 전자 장치(100)는 외부 디스플레이 장치(200) 디스플레이(210)의 전 영역(all area) 또는 특정 영역에 매핑된 형상의 그래픽 사용자 인터페이스를 출력할 수 있다. 이와 관련하여, 전자 장치(100)의 디스플레이(110) 및 외부 디스플레이 장치(200)의 디스플레이(210) 간의 크기 또는 면적은 상호 상이한 바, 상기 그래픽 사용자 인터페이스는 외부 디스플레이 장치(200)에 표시되는 화면을 제어하기 위하여 전자 장치(100)의 디스플레이(110) 상에 인가되는 사용자 입력에 대한 영역 가이드로 기능할 수 있다. 이하에서는, 전자 장치(100) 상의 사용자 입력을 지원하는 상기 그래픽 사용자 인터페이스에 대한 다양한 실시 예 및 이를 구현하는 전자 장치(100) 구성요소들의 기능 동작에 대하여 살펴보기로 한다.
도 3은 일 실시 예에 따른 전자 장치의 구성을 도시한 도면이고, 도 4는 일 실시 예에 따른 전자 장치가 포함하는 프로그램을 도시한 도면이다.
도 3을 참조하면, 전자 장치(100)(예: 도 1의 전자 장치(1001))는 디스플레이(110), 입출력 인터페이스(120), 통신 회로(또는, 무선 통신 회로)(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다. 다양한 실시 예에서, 전자 장치(100)는 상술된 구성요소들 중 적어도 하나를 생략하거나, 다른 구성요소를 추가적으로 포함할 수 있다. 예를 들어, 전자 장치(100)는 상기 전자 장치(100)에 작용하는 물리량 변화를 감지하거나, 사용자 인증을 수행하기 위한 적어도 하나의 센서(예: 가속도 센서, 자이로 센서, 근접 센서, 조도 센서, 지문 센서, 홍채 센서 또는 심박 측정 센서 등), 상술된 구성요소들로 구동 전원을 인가하는 전원 공급 장치(예: 배터리), 전자 장치(100) 주변 영역에 대한 영상(예: still image 또는 video 등)을 촬영하는 카메라, 또는 전자 장치(100)에 형성된 리세스(recess) 영역에 분리 가능하게 탑재되는 스타일러스 펜(stylus pen) 중 적어도 하나를 더 포함할 수 있다. 다양한 실시 예에서, 상술된 전자 장치(100)의 구성요소들은 상기 전자 장치(100) 외관의 적어도 일부를 형성하는 하우징(미도시) 내부에 수용되거나, 상기 하우징의 일 영역을 통하여 적어도 일부가 외부로 노출될 수 있다. 예를 들어, 상기 디스플레이(110)는 상기 하우징의 제1 영역을 통하여 적어도 일부가 노출되고, 상기 입출력 인터페이스(120)는 상기 제1 영역과 상이한 상기 하우징의 제2 영역으로 통하여 적어도 일부가 노출될 수 있다.
상기 디스플레이(110)는 각종 콘텐츠(예: 영상(still image 또는 video 등), 텍스트, 아이콘 또는 심볼 등)를 출력할 수 있다. 이와 관련하여, 디스플레이(110)는 디스플레이 구동 회로(display driving circuit; DDI)를 포함할 수 있다. 일 실시 예에서, 상기 디스플레이 구동 회로는 디스플레이(110)와 전기적으로 연결되고, 프로세서(150)로부터 수신하는 영상 데이터에 따른 영상 신호를 지정된 프레임률(frame rate)로 디스플레이(110)에 공급할 수 있다.
일 실시 예에서, 디스플레이(110)는 디스플레이 패널, 커버 글라스 및 터치 패널(또는, 터치 센서)을 포함하는 터치스크린 디스플레이로 구현될 수 있다. 상기 디스플레이 패널은 상기 디스플레이 구동 회로로부터 공급받는 영상 신호에 기초하여 관계되는 콘텐츠를 출력할 수 있다. 상기 커버 글라스는 디스플레이 패널의 상부로 배치되어 상기 디스플레이 패널의 콘텐츠 출력에 따른 광을 투과시킬 수 있다. 또한, 상기 커버 글라스의 적어도 일 영역에는 사용자 신체의 적어도 일부(예: 손가락) 또는 전자 장치(100)에 탑재된 스타일러스 펜(stylus pen)을 이용한 사용자 입력(예: 터치, 드래그, 근접, 호버링 또는 프레스 등)이 인가될 수 있다. 상기 터치 패널은 상기 커버 글라스에 인가되는 사용자 입력을 감지할 수 있다. 이와 관련하여, 터치 패널은 터치 컨트롤러(touch controller)를 포함할 수 있다. 상기 터치 컨트롤러는 터치 패널과 전기적으로 연결되고, 사용자 입력에 따른 터치 패널에서의 물리량(예: 전압, 광량, 저항, 전하량 또는 커패시턴스 등) 변화를 감지할 수 있다. 터치 컨트롤러는 감지된 물리량 변화를 기반으로 사용자 입력에 관한 데이터(예: 사용자 입력의 좌표(X, Y) 데이터 등)를 산출하고, 산출 정보를 프로세서(150)로 제공할 수 있다. 다양한 실시 예에서, 상기 터치 컨트롤러는 드라이버 회로, 센서 회로, 컨트롤 로직, 오실레이터, 지연 테이블, 아날로그-디지털 변환기(analog-digital converter) 또는 MCU 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 디스플레이(110)가 상기 터치스크린 디스플레이로 구현되는 경우, 상기 디스플레이(110)는 지정된 조건에 따라 적어도 일부가 터치 패드로 이용될 수 있다. 예를 들어, 디스플레이(110)는 전자 장치(100) 및 외부 디스플레이 장치(200) 간이 연결되는 경우 터치 패드로 기능할 수 있다. 상기 디스플레이(110)는 적어도 일부가 터치 패드로 기능하는 동작에서, 전자 장치(100) 상에 지정된 사용자 입력 모드(예: 후술되는 제2 입력 모드, 절대 모드 또는 스타일러스 펜 모드)가 설정된 경우, 상기 외부 디스플레이 장치(200)의 디스플레이(도 2의 210) 영역과 적어도 일부 매핑된(또는, 대응하는) 형상의 그래픽 사용자 인터페이스를 출력할 수 있다.
상기 입출력 인터페이스(120)는 전자 장치(100)와 외부 디스플레이 장치(200) 간의 데이터 또는 신호의 송수신을 지원할 수 있다. 예를 들어, 입출력 인터페이스(120)는 외부 디스플레이 장치(200)로부터 입력되는 데이터 또는 신호를 전자 장치(100)의 적어도 일부 구성요소로 전달하거나, 상기 전자 장치(100)의 적어도 일부 구성요소로부터 제공되는 데이터 또는 신호를 외부 디스플레이 장치(200)로 출력시킬 수 있다. 일 실시 예에서, 입출력 인터페이스(120)는 상기 외부 디스플레이 장치(200)(또는, 중개 장치(300))와의 유선 연결을 지원하는 전기적인 커넥터(electrical connector)(예: USB cable 또는 HDMI cable 등), 포트 또는 단자 등을 포함할 수 있다.
상기 통신 회로(130)는 전자 장치(100)와 적어도 하나의 외부 장치(예: 외부 디스플레이 장치(200), 중개 장치(300), 외부 포인팅 장치(도 2의 400) 또는 외부 키보드 장치(도 2의 500) 등) 간의 통신을 지원할 수 있다. 이와 관련하여, 통신 회로(130)는 상기 적어도 하나의 외부 장치와 규정된 프로토콜(protocol)에 따른 유선 통신 또는 무선 통신을 수립할 수 있다. 통신 회로(130)는 상기 유선 통신 또는 무선 통신을 기반으로 적어도 하나의 외부 장치와 각종 신호 또는 데이터를 송수신할 수 있다.
상기 메모리(140)는 전자 장치(100) 운용에 관계되는 적어도 하나의 데이터를 저장하거나, 전자 장치(100) 구성요소들의 기능 동작과 관계되는 적어도 하나의 명령(인스트럭션(instruction))을 저장할 수 있다. 또한, 메모리(140)는 전자 장치(100)의 제조 시 프리로드(preloaded) 형태로 탑재되거나, 온라인 마켓으로부터 서드 파티(third party) 형태로 인스톨되는 적어도 하나의 어플리케이션을 저장할 수 있다. 또는, 메모리(140)는 전자 장치(100)의 디스플레이(110) 운용 또는 외부 디스플레이 장치(200)의 디스플레이(210) 운용을 위한 적어도 하나의 프로그램을 포함할 수 있으며, 상기 적어도 하나의 프로그램은 후술되는 도 4를 통하여 설명될 수 있다.
일 실시 예에서, 메모리(140)는 프로세서(150)의 제어 하에, 전자 장치(100)가 중개 장치(300)를 통해 외부 디스플레이 장치(200)와 연결되어 특정 모드(mode)(예: 후술되는 데스크 탑 모드)로 동작하는 경우(또는, 중개 장치(300)를 통해 외부 디스플레이 장치(200)와 연결되는 제2 동작(operation)을 수행하는 경우), 상기 특정 모드에 안정적으로 호환될 수 있는(또는, 상기 제2 동작에 안정적으로 운용될 수 있는) 적어도 하나의 어플리케이션(이하, 제1 어플리케이션이라 함)을 데이터베이스로 저장할 수 있다. 상기 안정적 호환이라 함은 예컨대, 전자 장치(100)가 상기 특정 모드로 동작하는 상태에서, 제1 어플리케이션의 실행 화면이 외부 디스플레이 장치(200)의 디스플레이(210)를 통하여 출력되는 경우, 상기 제1 어플리케이션의 실행 화면(또는, 실행 화면을 포함하는 윈도우)에 대한 크기 조정이 지원됨을 의미할 수 있다. 예를 들어, 외부 디스플레이 장치(200)의 디스플레이(210) 상에 표시되는 상기 호환 가능한 제1 어플리케이션의 실행 화면(또는, 실행 화면을 포함하는 윈도우) 일 영역으로는 상기 크기 조정을 지원하는 적어도 하나의 탭(tap) 버튼(예: 뒤로 가기(back), 최소화(minimize), 최대화(maximize) 또는 닫기(close) 등)이 제공될 수 있다. 또는, 상기 제1 어플리케이션의 실행 화면 일 영역으로는 사용자 제어에 의한 크기 조정에 따라 실행 화면의 범위 이동을 지원하는 스크롤 바(scroll bar)가 더 제공될 수 있다. 이와 관련하여, 상기 데이터베이스에는 상기 제1 어플리케이션과 관계되는 적어도 하나의 정보(예: 어플리케이션 식별자, 어플리케이션 패키지(package) 정보, 어플리케이션 버전 정보, 실행 화면 포맷 정보, 또는 실행 화면에 포함되는 콘텐츠 정보 등)가 저장될 수 있다. 또는, 데이터베이스(143)에는 외부 디스플레이 장치(200)의 디스플레이(210)를 통하여 정형화된 크기의 실행 화면으로 표시되는(또는, 크기 조정이 지원되지 않는) 적어도 하나의 어플리케이션에 대한 정보가 더 저장될 수 있다.
상기 프로세서(150)는 상술된 전자 장치(100)의 구성요소들과 전기적 또는 기능적으로 연결되어, 구성요소들에 대한 제어, 통신 연산 또는 데이터 처리 등을 수행할 수 있다. 일 실시 예에서, 프로세서(150)는 프레임워크 내의 특정 프로그램(예: 후술되는 데스크 탑 모드 서비스(desktop mode service))으로부터 제공되는 전자 장치(100)와 외부 디스플레이 장치(200) 간의 연결 정보를 기반으로 지정된 런처(launcher)를 실행할 수 있다. 예를 들어, 프로세서(150)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되지 않은 동안(disconnected), 상기 전자 장치(100)의 디스플레이(110) 운용을 위한 제1 모드 런처(예: 노멀 모드 런처(normal mode launcher))를 실행할 수 있다. 상기 제1 모드 런처는 예컨대, 전자 장치(100)의 디스플레이(110)에 출력될 수 있는 화면에 대한 그래픽 포맷을 설정하고 관리할 수 있다. 또는, 프로세서(150)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되면, 제2 모드 런처(예: 데스크 탑 모드 런처(desktop mode launcher))를 실행할 수 있다. 상기 제2 모드 런처는 예컨대, 전자 장치(100) 사용자에게 외부 디스플레이 장치(200)를 통한 모바일 데스크 탑 환경을 제공하기 위하여, 관계되는 옵션 정보 또는 그래픽 포맷을 관리할 수 있다.
일 실시 예에 따르면, 프로세서(150)는 외부 디스플레이 장치(200)의 디스플레이(210)를 통한 특정 어플리케이션의 실행 화면 출력과 관련하여, 메모리(140)에 구축된 데이터베이스를 참조로 상기 특정 어플리케이션이 실행 화면(또는, 실행 화면을 포함하는 윈도우)에 대한 리사이징(resizing)을 지원하는지 여부를 판단할 수 있다. 만일, 상기 특정 어플리케이션이 실행 화면의 리사이징을 지원하면, 프로세서(150)는 상기 특정 어플리케이션의 실행 화면을 포함하는 리사이징 가능한 제1 타입의 윈도우를 생성할 수 있다. 이 동작에서, 프로세서(150)는 상기 제1 타입의 윈도우 내에 포함되는 상기 특정 어플리케이션의 실행 화면의 적어도 일부를 재구성할 수 있다. 예를 들어, 프로세서(150)는 상기 특정 어플리케이션의 실행 화면에 포함되는 텍스트, 이미지, UI 또는 UX 등에 대한 사이즈, 해상도 또는 위치 등을 외부 디스플레이 장치(200)의 디스플레이(210) 포맷에 대응하도록 재구성할 수 있다. 프로세서(150)는 상기 특정 어플리케이션의 실행 화면을 포함하여 생성된 제1 타입의 윈도우를 외부 디스플레이 장치(200)로 제공하여, 상기 외부 디스플레이 장치(200)의 디스플레이(210)를 통해 출력시킬 수 있다. 만일, 상기 특정 어플리케이션이 실행 화면의 리사이징을 지원하지 않는 것으로 판단되면, 프로세서(150)는 상기 특정 어플리케이션의 실행 화면을 포함하고 고정된 사이즈를 갖는 제2 타입의 윈도우를 생성할 수 있다. 이 동작에서, 프로세서(150)는 상기 제2 타입의 윈도우 내에 포함되는 상기 특정 어플리케이션의 실행 화면을 예컨대, 전자 장치(100)의 디스플레이(110) 포맷과 동일 또는 유사하게 구성할 수 있다. 프로세서(150)는 상기 특정 어플리케이션의 실행 화면을 포함하여 생성된 제2 타입의 윈도우를 외부 디스플레이 장치(200)로 제공하여 상기 외부 디스플레이 장치(200)의 디스플레이(210)에 출력시킬 수 있다.
일 실시 예에서, 프로세서(150)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되면, 상기 전자 장치(100) 사용자로부터 설정된 사용자 입력 모드를 확인할 수 있다. 상기 사용자 입력 모드는 예컨대, 전자 장치(100)의 디스플레이(110)에 인가되는 사용자 입력이 외부 디스플레이 장치(200)의 디스플레이(210) 상에서 명시되는 방식과 관계될 수 있으며, 이에 대해서는 후술되는 도 10을 통하여 설명하기로 한다.
일 실시 예에서, 프로세서(150)는 전자 장치(100) 상에서 상기 사용자 입력 모드가 지정된 제2 입력 모드(예: 후술되는 절대 모드 또는 스타일러스 펜 모드)로 확인되는 경우, 상기 디스플레이(110)에 그래픽 사용자 인터페이스를 출력할 수 있다. 예를 들어, 프로세서(150)는 외부 디스플레이 장치(200)의 디스플레이(210) 영역(또는, 디스플레이(210)에 출력된 윈도우)과 적어도 일부 매핑된 형상의 그래픽 사용자 인터페이스를 출력할 수 있다. 상기 전자 장치(100)의 디스플레이(110)에 출력되는 그래픽 사용자 인터페이스는 상기 디스플레이(110)를 응시하며 사용자 입력을 인가하는 사용자의 편의를 지원하기 위한 것으로 이해될 수 있다. 일 실시 예에 따르면, 프로세서(150)는 상기 그래픽 사용자 인터페이스를 출력하는 동작에서, 전자 장치(100) 디스플레이(110)의 적어도 일부 픽셀로 전달하는 이미지 데이터를 제어하여 전자 장치(100)의 저전력 운용을 지원할 수 있다. 예를 들어, 프로세서(150)는 이미지의 휘도 또는 계조 중 적어도 하나와 관계되는 이미지 데이터(예: 알파(α) 값 또는 RGB 계조 값 등)를 제어하여 상기 디스플레이(110)의 적어도 일부 픽셀(예: 그래픽 사용자 인터페이스의 출력과 무관한 픽셀)로 전달함으로써, 상기 적어도 일부 픽셀에 대응하는 화면 영역이 저(low)휘도 또는 저계조로 표시되도록 제어할 수 있다.
일 실시 예에서, 프로세서(150)는 전자 장치(100)의 디스플레이(110)에 상기 그래픽 사용자 인터페이스를 출력한 후, 지정된 시간 범위 동안 상기 디스플레이(110) 상에 인가되는 사용자 입력의 유무를 판단할 수 있다. 만일, 상기 지정된 시간 범위 이내에 전자 장치(100) 상에 인가되는 사용자 입력을 수신하는 경우, 프로세서(150)는 디스플레이(110)를 제어하여 상기 그래픽 사용자 인터페이스의 출력을 중단할 수 있다. 또는, 프로세서(150)는 상기 지정된 시간 범위 내의 사용자 입력 수신으로부터 지정된 시간 경과 후, 디스플레이(110)를 제어하여 그래픽 사용자 인터페이스의 출력을 중단할 수 있다. 다양한 실시 예에서, 프로세서(150)는 상기 그래픽 사용자 인터페이스의 출력 중단으로부터 지정된 시간 동안 사용자 입력이 수신되지 않으면, 출력을 중단하였던 그래픽 사용자 인터페이스를 다시금 출력시킬 수 있다.
일 실시 예에서, 프로세서(150)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되면, 상기 전자 장치(100)와 외부 입력 장치(예: 포인팅 장치(도 2의 400) 등)의 연결 여부를 확인할 수 있다. 만일, 상기 전자 장치(100)와 외부 입력 장치가 연결된 것으로 확인되고, 전자 장치(100)의 디스플레이(110)에 그래픽 사용자 인터페이스를 출력하기 이전 시점에 상기 외부 입력 장치를 통한 사용자 입력이 발생하는 경우, 프로세서(150)는 상기 그래픽 사용자 인터페이스의 출력을 배제할 수 있다. 또는, 전자 장치(100)의 디스플레이(110)에 그래픽 사용자 인터페이스가 출력된 이후의 시점으로 상기 외부 입력 장치를 통한 사용자 입력이 발생하는 경우, 프로세서(150)는 그래픽 사용자 인터페이스의 출력을 일시적으로 중단할 수 있다. 다양한 실시 예에서, 프로세서(150)는 상기 외부 입력 장치를 통한 사용자 입력이 완료되는 시점으로부터 지정된 시간 이내에 그래픽 사용자 인터페이스의 출력을 개시할 수 있다.
다른 실시 예에서, 프로세서(150)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되고, 상기 사용자 입력 모드가 지정된 제2 입력 모드로 설정된 경우, 전자 장치(100)에 대한 스타일러스 펜(stylus pen)의 접근 또는 인접을 판단할 수 있다. 예를 들어, 프로세서(150)는 상기 스타일러스 펜이 송출하는 특정 주파수 대역의 신호 검출을 기반으로 전자 장치(100)에 대한 상기 스타일러스 펜의 접근 또는 인접을 판단할 수 있다. 프로세서(150)는 상기 스타일러스 펜의 접근 또는 인접 거리가 지정된 거리 범위 이내에 해당하는 경우, 전자 장치(100)의 디스플레이(110)에 상기 그래픽 사용자 인터페이스를 출력할 수 있다. 또는, 프로세서(150)는 전자 장치(100) 상에서 상기 스타일러스 펜이 탑재되는 리세스(recess) 영역으로부터 스타일러스 펜의 분리가 감지되는 경우, 상기 그래픽 사용자 인터페이스를 출력할 수 있다. 다시 말해, 프로세서(150)는 상기 스타일러스 펜을 이용한 사용자 입력이 예상되는 시점에 상기 사용자 입력에 대한 영역 가이드로 기능하는 그래픽 사용자 인터페이스를 출력할 수 있다.
일 실시 예에서, 전자 장치(100)는 탑재 또는 인스톨된 어플리케이션의 공급처(예: 전자 장치(100) 제조사, 운영체제(operating system) 제작사, 이동 통신 사업자(mobile network operator) 또는 서드 파티(third party) 개발사 등)로부터 상기 탑재 또는 인스톨된 어플리케이션의 기능, 버전 또는 서비스에 대한 업데이트를 지원받을 수 있다. 이와 관련하여, 프로세서(150)는 상기 어플리케이션의 업데이트 정보에 기초하여 메모리(140)에 구축된 데이터베이스를 갱신하거나, 상기 데이터베이스에 포함된 적어도 하나의 어플리케이션 관련 정보(예: 어플리케이션 식별자, 어플리케이션 패키지(package) 정보, 어플리케이션 버전 정보, 실행 화면의 포맷 정보, 또는 실행 화면에 포함되는 콘텐츠 정보 등)를 갱신할 수 있다.
도 4를 참조하면, 일 실시 예에 따른 전자 장치(100)는 메모리(140)에 저장되는 적어도 하나의 프로그램을 포함할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 어플리케이션(410, 420 및/또는 430), 노멀 모드 런처(440), 데스크 탑 모드 런처(450), 프레임워크(460), 리소스(470), 컨피그레이션(configuration)(480) 또는 디스플레이 인포(display info)(490) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 상술된 적어도 하나의 프로그램은 전자 장치(100)의 프로세서(150)에 의해 실행 또는 제어될 수 있다.
상기 적어도 하나의 어플리케이션(410, 420 및/또는 430) 각각은 복수의 액티비티를 포함할 수 있다. 예를 들어, 제1 어플리케이션(410)은 제1 액티비티(411), 제2 액티비티(412) 및 제3 액티비티(413)을 포함할 수 있다. 도 4에서는, 제1 어플리케이션(410)이 3개의 액티비티(411, 412 및 413)를 포함하는 것으로 설명되나, 이에 제한되는 것은 아니며, 적어도 하나의 어플리케이션(410, 420 및/또는 430) 각각은 임의의 개수의 액티비티를 포함할 수 있다. 일 실시 예에서, 상기 액티비티는 가로(portrait) 방향 또는 세로(landscape) 방향의 실행 화면을 요구하거나, 가로 방향 및 세로 방향의 실행 화면을 요구할 수 있다.
상기 노멀 모드 런처(440)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되지 않은 경우 실행될 수 있다. 일 실시 예에서, 노멀 모드 런처(440)는 전자 장치(100)의 디스플레이(110)를 통하여 출력되는 상기 전자 장치(100)의 홈 화면 또는, 각종 UI 또는 UX를 관리 및 제공할 수 있다.
상기 데스크 탑 모드 런처(450)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결된 경우 실행될 수 있다. 일 실시 예에 따르면, 데스크 탑 모드 런처(450)는 전자 장치(100)와 외부 디스플레이 장치(200) 간의 연결 시, 데스크 탑 모드에 대한 정보를 포함하는 소개를 제공할 수 있고, 데스크 탑 모드의 실행 또는 미러링 연결 옵션을 제공할 수도 있다. 또한, 상기 데스크 탑 모드 런처(450)는 전자 장치(100) 사용자에게 모바일 데스크 탑 환경을 제공하기 위하여, 외부 디스플레이 장치(200)의 디스플레이(210)에 출력되는 화면과 유사한 윈도우(예: 어플리케이션의 실행 화면을 포함하는 윈도우), UI 또는 UX를 제공할 수 있다. 데스크 탑 모드 런처(450)는 리사이징 가능한 윈도우의 리사이징을 지원할 수 있다.
일 실시 예에서, 데스크 탑 모드 런처(450)는 화이트 리스트 업데이트 서비스(451) 및 화이트 리스트 데이터베이스(452)(예: 전술된 메모리(140)에 구축되는 데이터베이스)를 포함할 수 있다. 상기 화이트 리스트 업데이트 서비스(451)는 적어도 하나의 어플리케이션(410, 420 및/또는 430)의 다운로드를 지원하는 외부 서버로부터 리사이징 가능한 어플리케이션의 리스트인 화이트 리스트를 획득할 수 있다. 이와 관련하여, 화이트 리스트 업데이트 서비스(451)는 데스크 탑 모드 런처(450)가 실행된 후, 알람 서비스를 이용하여 지정된 주기마다 상기 외부 서버의 화이트 리스트 업데이트 여부를 확인할 수 있다. 화이트 리스트 업데이트 서비스(451)는 콘텐츠 클라우드 서버에서 제공하는 API를 이용하여 화이트 리스트 파일의 URI를 획득하고, 화이트 리스트 파일을 다운로드할 수 있다. 다른 예를 들면, 상기 외부 서버는 화이트 리스트가 업데이트되면, 전자 장치(100)의 프레임워크(460)에 포함된 정책 매니저(463)로 화이트 리스트를 전달할 수 있다. 상기 정책 매니저(463)는 정책 데이터베이스에 화이트 리스트를 저장할 수 있다. 일 실시 예에서, 화이트 리스트 업데이트 서비스(451)는 정책 매니저(463)로부터 화이트 리스트를 수신할 수 있고, 화이트 리스트를 화이트 리스트 데이터베이스(452)에 저장할 수 있다. 상기 화이트 리스트 데이터베이스(452)는 리사이징을 지원하는 어플리케이션의 정보(예: 어플리케이션 식별자, 어플리케이션 패키지(package) 정보, 어플리케이션 버전 정보, 실행 화면 포맷 정보, 또는 실행 화면에 포함되는 콘텐츠 정보 등)을 저장할 수 있다. 상기 화이트 리스트 데이터베이스(452)에 저장되는 화이트 리스트는 전자 장치(100)에 탑재 또는 인스톨된 적어도 하나의 어플리케이션을 포함할 수 있다.
일 실시 예에서, 프레임워크(460)는 데스크 탑 모드 서비스(461), 데스크 탑 모드 정책 매니저(462), 정책 매니저(463), 윈도우 매니저(465), 액티비티 매니저(466) 또는 멀티 윈도우 매니저(467) 중 적어도 하나를 포함할 수 있다.
상기 데스크 탑 모드 서비스(461)는 어플리케이션이 실행되면 실행된 어플리케이션의 리사이징과 관계되는 적어도 하나의 정보를 수집할 수 있다. 예를 들어, 데스크 탑 모드 서비스(461)는 어플리케이션의 매니페스트(manifest)에 포함된 리사이징 지원 여부에 대한 선언 정보, 어플리케이션이 프리로드 어플리케이션에 해당하는지 여부 정보, 또는 어플리케이션이 화이트 리스트에 포함되는지 여부 정보 등을 수집할 수 있다.
상기 데스크 탑 모드 정책 매니저(462)는 데스크 탑 모드 서비스(461)에 의해 수집된 적어도 하나의 정보를 수신할 수 있다. 데스크 탑 모드 정책 매니저(462)는 수신된 적어도 하나의 정보에 기초하여 어플리케이션의 실행 화면을 출력하기 위한 제1 타입의 윈도우 또는 제2 타입의 윈도우 생성 여부를 판단할 수 있다. 데스크 탑 모드 정책 매니저(462)는 판단 결과를 데스크 탑 모드 서비스(461)로 전달할 수 있으며, 데스크 탑 모드 서비스(461)는 전달받은 판단 결과에 기초하여 서비스를 제공할 수 있다.
상기 윈도우 매니저(465)는 컨피그레이션(480)을 변경할 수 있다. 윈도우 매니저(465)는 변경된 컨피그레이션(480)에 기초하여 윈도우를 생성할 수 있다. 예를 들어, 윈도우 매니저(465)는 컨피그레이션(480)이 변경되면, 컨피그레이션(480) 변경 이벤트를 발생시키고, 변경된 컨피그레이션(480)에 기초하여 윈도우를 생성할 수 있다. 윈도우 매니저(465)는 윈도우의 상단 헤더에 뒤로 가기(back), 최소화(minimize), 최대화(maximize) 또는 닫기(close) 중 적어도 하나와 관계되는 기능을 제공하기 위한 적어도 하나의 탭 버튼(또는, 아이콘)을 표시할 수 있다. 예를 들어, 외부 디스플레이 장치(200)의 디스플레이(210) 일부 영역을 점유하는 리사이징 가능한 윈도우(예: 어플리케이션의 실행 화면을 포함하는 윈도우)를 생성하는 경우, 윈도우 매니저(465)는 상기 생성되는 윈도우의 상단 헤더에 뒤로 가기, 최소화, 최대화 또는 닫기 기능을 제공하기 위한 적어도 하나의 탭 버튼을 표시할 수 있다. 다른 예를 들면, 상기 외부 디스플레이 장치(200)의 디스플레이(210) 전 영역을 점유하는 리사이징 가능한 윈도우를 생성하는 경우, 윈도우 매니저(465)는 생성되는 윈도우의 상단 헤더에 뒤로 가기, 최소화, 팝업 윈도우로 전환 또는 닫기 기능을 제공하기 위한 적어도 하나의 탭 버튼을 표시할 수 있다. 또 다른 예를 들면, 고정된 사이즈를 갖고 회전 불가능한 윈도우를 생성하는 경우, 윈도우 매니저(465)는 생성되는 윈도우의 상단 헤더에 뒤로 가기, 최소화 또는 닫기 기능을 제공하기 위한 적어도 하나의 탭 버튼을 표시할 수 있다. 또 다른 예를 들면, 고정된 사이즈를 갖고 회전 가능한 윈도우를 생성하는 경우, 윈도우 매니저(465)는 생성되는 윈도우의 상단 헤더에 뒤로 가기, 회전, 최소화 도는 닫기 기능을 제공하기 위한 적어도 하나의 탭 버튼을 표시할 수 있다.
상기 액티비티 매니저(466)는 컨피그레이션(480)이 변경되면, 윈도우 매니저(465)로부터 변경된 컨피그레이션(480)을 획득할 수 있다. 액티비티 매니저(466)는 리소스(470) 매니저가 변경된 컨피그레이션(480)에 기초하여 리소스(470)를 갱신하도록 지원할 수 있다. 액티비티 매니저(466)는 적어도 하나의 어플리케이션(410, 420 및/또는 430) 또는 어플리케이션에 포함된 액티비티가 변경된 컨피그레이션(480)에 기초하여 화면을 구성하도록 할 수 있다.
상기 멀티 윈도우 매니저(467)는 예컨대, 윈도우 매니저(465)에 의해 지원되지 않는 윈도우와 관련된 기능을 제공할 수 있다. 예를 들어, 멀티 윈도우 매니저(467)는 전술된 제2 타입의 윈도우를 생성할 수 있다. 다른 예를 들면, 멀티 윈도우 매니저(467)는 윈도우를 최소화하는 기능을 제공할 수 있다. 또 다른 예를 들면, 멀티 윈도우 매니저(467)는 뒤로 가기(back), 최소화(minimize), 최대화(maximize) 또는 닫기(close) 중 적어도 하나와 관계되는 기능을 제공하기 위한 탭 버튼(또는, 아이콘)을 포함하는 추가적 윈도우를 생성하고, 상기 추가적 윈도우를 외부 디스플레이 장치(200)의 디스플레이(210) 상에 어플리케이션의 실행 화면을 포함하는 윈도우와 인접되게 배치할 수 있다.
상기 리소스(470)는 어플리케이션에 포함된 액티비티의 리소스(470)를 포함할 수 있다. 액티비티 리소스(471)는 예컨대, 컨피그레이션(480)에 기초하여, 변경되는 액티비티의 실행 화면에 포함된 이미지 및 레이아웃 등에 대한 정보를 포함할 수 있다.
상기 컨피그레이션(480)은 전자 장치(100)에 의해 생성되는 화면의 밀도(dpi), 방향(예: 가로 방향 또는 세로 방향), 화면의 전체 사이즈 또는 어플리케이션의 실행 화면 사이즈 중 적어도 하나에 대한 정보를 포함할 수 있다. 컨피그레이션(480)은 어플리케이션에 포함된 액티비티 각각에 대응할 수 있다.
상기 디스플레이 인포(490)는 디스플레이의 물리적 크기(예: 폭 또는 높이)에 대한 정보를 포함할 수 있다.
도 5, 도 6, 도 7 및 도 8은 일 실시 예에 따른 전자 장치가 출력하는 그래픽 사용자 인터페이스의 다양한 형태를 도시한 도면이다. 도 5, 도 6, 도 7 또는 도 8에서, 전술된 구성요소와 대응하는 구성요소에는 동일한 참조번호가 부여될 수 있으며, 중복되는 설명이 생략될 수 있다. 또한, 어느 하나의 도면을 통하여 설명되는 그래픽 사용자 인터페이스의 특성은 특별한 제한이 기재되지 않는 한, 다른 도면을 통하여 설명하는 그래픽 사용자 인터페이스에 유사하게 적용될 수 있다.
도 5를 참조하면, 전자 장치(100)(예: 도 1의 전자 장치(1001))의 프로세서(도 2의 150)는 전자 장치(100)가 외부 디스플레이 장치(200)와 연결되고, 상기 전자 장치(100) 사용자로부터 설정된 사용자 입력 모드가 지정된 제2 입력 모드(예: 후술되는 절대 모드 또는 스타일러스 펜 모드)로 확인되는 경우, 디스플레이(도 2의 110)의 적어도 일 영역에 그래픽 사용자 인터페이스(30)를 출력할 수 있다. 일 실시 예에서, 그래픽 사용자 인터페이스(30)는 상기 그래픽 사용자 인터페이스(30)의 가장자리 영역에 해당하는 가이드 라인(31)을 포함할 수 있다. 이와 관련하여, 프로세서(150)는 그래픽 사용자 인터페이스(30)의 출력 제어 시, 상기 가이드 라인(31)이 전자 장치(100)의 디스플레이(110) 영역 중 액티브(active) 영역의 가장자리에 대응하도록(또는, 일치하도록) 그래픽 사용자 인터페이스(30)의 크기 또는 면적을 결정할 수 있다. 상기 가이드 라인(31)의 내측 영역(예: 전자 장치(100) 디스플레이(110)의 액티브 영역)은 예컨대, 외부 디스플레이 장치(200)의 디스플레이(210)에 출력되는 화면을 제어하기 위하여 전자 장치(100) 상에 인가되는 사용자 입력에 대한 인가 영역 범위를 나타낼 수 있다.
일 실시 예에서, 프로세서(150)는 상기 그래픽 사용자 인터페이스(30)의 적어도 일 영역에 대한 그래픽 요소를 제어할 수 있다. 예를 들어, 프로세서(150)는 상기 그래픽 사용자 인터페이스(30)를 출력하는 동작에서 전자 장치(100)의 저전력 운용을 지원하기 위하여, 그래픽 사용자 인터페이스(30)에서 가이드 라인(31)을 제외한 일부 영역(예: 가이드 라인(31)의 내측 영역, 이하 제1 영역으로 칭함)의 그래픽 요소를 제어할 수 있다. 프로세서(150)는 상기 제1 영역에 대응하는 디스플레이(110)의 픽셀이 낮은 해상도(reso··lution) 또는 낮은 프레임률(framerate)로 발광하도록 제어할 수 있다. 또는, 프로세서(150)는 상기 제1 영역에 대응하는 디스플레이(110)의 픽셀로 전달하는 이미지 데이터를 제어할 수 있다. 다양한 실시 예에서, 프로세서(150)는 상기 이미지 데이터 제어의 일환으로 휘도와 관계되는 알파(αα) 값을 0 내지 100을 기준하여 0 값으로 제어하거나, 농도와 관계되는 RGB 계조 값을 0 내지 255를 기준하여 255 값으로 제어할 수 있다.
도 6을 참조하면, 프로세서(150)는 그래픽 사용자 인터페이스(30)가 포함하는 상기 제1 영역으로 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20)과 대응하는 화면을 포함시킬 수 있다. 이와 관련하여, 프로세서(150)는 상기 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20)에 표시되는 적어도 하나의 윈도우, UI 또는 UX 정보(예: 좌표 정보, 사이즈 정보 또는 포함하는 콘텐츠 정보 등)를 수집할 수 있다. 예를 들어, 프로세서(150)는 상기 윈도우를 생성하는 윈도우 매니저(도 4의 465) 또는 상기 윈도우, UX 또는 UI를 제공하는 데스크 탑 모드 런처(도 4의 450)로부터 정보를 수집할 수 있다. 또는, 프로세서(150)는 외부 디스플레이 장치(200)로부터 상기 외부 디스플레이 장치(200)가 별도로 출력하는 윈도우 또는 UI에 대한 정보를 획득할 수 있다.
일 실시 예에서, 프로세서(150)는 그래픽 사용자 인터페이스(30)에서 가이드 라인(31)을 제외한 상기 제1 영역이 반투명하게 표시되도록, 상기 제1 영역에 대응하는 디스플레이(110)의 픽셀로 전달하는 이미지 데이터를 제어할 수 있다. 예를 들어, 프로세서(150)는 휘도와 관계되는 알파(αα) 값을 0 내지 100을 기준하여 약 20 내지 30 값으로 제어하고, 제어 값을 상기 제1 영역에 대응하는 디스플레이(110)의 픽셀로 전달할 수 있다.
도 7을 참조하면, 프로세서(150)는 그래픽 사용자 인터페이스(30)가 포함하는 상기 제1 영역으로 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20)과 대응하는 적어도 하나의 가이드 영역(33 및/또는 35)을 포함시킬 수 있다. 일 실시 예에서, 상기 적어도 하나의 가이드 영역(33 및/또는 35)은 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20)에 표시되는 윈도우(window)(9) 및/또는 UI(15)와 관계될 수 있다. 예를 들어, 상기 적어도 하나의 가이드 영역(33 및/또는 35)은 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20)에 표시된 윈도우(9)와 지정된 비율로 매핑되거나, 외부 디스플레이 장치(200)에서 별도로 출력한 UI(15)(예: 전자 장치(100)가 포함하는 어플리케이션의 실행과 관계된 적어도 하나의 객체(아이콘)를 포함하는 UI)와 지정된 비율로 매핑되는 영역일 수 있다. 다양한 실시 예에서, 상기 적어도 하나의 가이드 영역(33 및/또는 35)에는 대응되는 윈도우(9) 또는 UI(15)가 포함하는 적어도 하나의 콘텐츠(또는 화면, 또는 아이콘)에 대한 표시가 배제될 수 있다.
일 실시 예에서, 프로세서(150)는 그래픽 사용자 인터페이스(30)가 포함하는 상기 제1 영역에서 적어도 하나의 가이드 영역(33 및/또는 35)을 제외한 제2 영역이, 상술한 바와 유사하게 낮은 해상도, 낮은 프레임률, 낮은 휘도 또는 낮은 농도로 발광하도록 상기 제2 영역에 대응하는 디스플레이(110)의 픽셀을 제어할 수 있다.
도 8을 참조하면, 프로세는(150)는 그래픽 사용자 인터페이스(30)에 포함되는 적어도 하나의 가이드 영역(33 및/또는 35) 내부로, 상기 가이드 영역(33 및/또는 35)에 대응하는 윈도우(9)(또는, 윈도우(9) 내의 화면(10)) 또는 UI(15)가 포함하는 적어도 하나의 콘텐츠에 대한 레이아웃(layout)을 표시할 수 있다. 예를 들어, 프로세서(150)는 상기 윈도우(9) 또는 UI(15)가 포함하는 모든(all) 콘텐츠에 대한 레이아웃을 표시하거나, 또는 윈도우(9) 또는 UI(15)에 포함된 적어도 하나의 콘텐츠 중 링크(link) 기능을 포함하는 콘텐츠(이하, 제1 콘텐츠라 칭함)에 대한 레이아웃만을 표시할 수 있다. 일 실시 예에서, 상기 제1 콘텐츠가 링크 기능을 포함한다 함은, 전자 장치(100)의 디스플레이(도 2의 110) 상에 인가되는 사용자 입력에 의하여 상기 윈도우(9) 또는 UI(15) 내의 제1 콘텐츠가 선택되는 경우, 상기 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20)에 상기 제1 콘텐츠와 관계되는 화면(또는, 제1 콘텐츠와 관계되는 화면을 포함하는 윈도우) 또는 UI가 출력되는 것을 의미할 수 있다. 이와 관련하여, 프로세서(150)는 어플리케이션에 포함된 액티비티의 리소스(도 4의 470)를 참조하거나, 외부 디스플레이 장치(200)로부터 상기 외부 디스플레이 장치(200)가 별도로 출력한 UI(15) 내의 콘텐츠 정보(예: 링크 기능을 포함하는 콘텐츠 정보 또는 링크 기능을 포함하는 콘텐츠의 위치 정보 등)를 획득할 수 있다. 프로세서(150)는 상기 참조 또는 획득되는 정보에 기초하여 상기 적어도 하나의 가이드 영역(33 및/또는 35) 내부에 표시하는 레이아웃의 위치를 결정할 수 있다.
다양한 실시 예에서, 도 7 또는 도 8을 통하여 언급된 적어도 하나의 가이드 영역(33 및/또는 35) 중 어느 하나에는 상기 적어도 하나의 가이드 영역(33 및/또는 35)에 대응하는 윈도우(9) 또는 UI(15)의 상태에 따른 지정된 표시 효과(예: 점멸 표시 또는 색상 표시 등)가 부여될 수 있다. 예를 들어, 프로세서(150)는 상기 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20) 상에서 포커싱(focusing) 상태인 윈도우(9) 또는 UI(15)에 대응하는 특정 가이드 영역이 지정된 색상으로 표시되도록 전자 장치(100)의 디스플레이(110)를 제어할 수 있다. 상기 포커싱 상태라 함은, 전자 장치(100)와 연결된 외부 입력 장치(예: 포인팅 장치(도 2의 400) 또는 키보드 장치(도 2의 500) 등) 또는 전자 장치(100)를 통한 사용자 입력에 의하여 상기 외부 디스플레이 장치(200)의 디스플레이(210) 화면(20) 상에 출력 중인 윈도우(9) 또는 UI(15)가 선택된 상태로 이해될 수 있다.
일 실시 예에서, 도 5, 도 6, 도 7 및 도 8를 통하여 상술된 그래픽 사용자 인터페이스(30)가 포함하는 제1 영역의 적어도 일부 지점에 사용자 신체 또는 스타일러스 펜을 이용한 사용자 입력이 인가되는 경우, 프로세서(150)는 상기 사용자 입력에 따른 제1 좌표 값을 외부 디스플레이 장치(200)의 디스플레이(210) 크기 또는 면적에 대응하는 제2 좌표 값으로 변환하여 외부 디스플레이 장치(200)로 제공할 수 있다. 이에 따라, 외부 디스플레이 장치(200)는 상기 제2 좌표 값을 수신하여 처리함으로써, 전자 장치(100) 상에 인가된 사용자 입력을 상기 디스플레이(210)가 출력 중인 화면(20)에 적용할 수 있다.
다양한 실시 예에서, 전자 장치(100)의 저전력 운용과 관련하여 프로세서(150)가 수행하는 그래픽 사용자 인터페이스(30)의 적어도 일 영역에 대한 그래픽 요소 제어(예: 해상도, 프레임률, 휘도 또는 농도 제어 등)는 상기 전자 장치(100)의 가용 전력량에 따라 수행 여부가 결정될 수 있다. 예를 들어, 상기 전자 장치(100)의 전원 공급 장치(예: 배터리)에 지정된 임계량 이상의 전력이 충전되어 있는 경우, 프로세서(150)는 상기 그래픽 사용자 인터페이스(30)의 적어도 일 영역에 대한 그래픽 요소 제어를 배제할 수 있다.
도 9a는 일 실시 예에 따른 전자 장치의 사용자 입력 지원 방법(900a)을 도시한 도면이다.
도 9a를 참조하면, 동작 901에서, 전자 장치(예: 도 1의 1001 또는 도 2의 100, 이하 참조 번호 100으로 통칭함)는 외부 디스플레이 장치(예: 도 2의 200)와 연결될 수 있다. 예를 들어, 전자 장치(100)는 중개 장치(도 2의 300)을 통해 외부 디스플레이 장치(200)와 연결될 수 있다. 또는, 전자 장치(100)는 입출력 인터페이스(도 2의 120)가 포함하는 유선 커넥터(예: USB cable 또는 HDMI cable 등), 포트 또는 단자 등을 통하여 외부 디스플레이 장치(200)와 연결될 수 있다.
동작 903에서, 전자 장치(100)의 프로세서(도 2의 150)는 디스플레이(도 2의 110)에 출력할 그래픽 사용자 인터페이스(graphical user interface)(예: 도 5, 도 6, 도 7 또는 도 8의 30)의 출력 조건을 판단할 수 있다. 예를 들어, 프로세서(150)는 전자 장치(100) 사용자로부터 설정된 사용자 입력 모드를 확인할 수 있다. 또는, 프로세서(150)는 상기 사용자 입력 모드 확인 후, 전자 장치(100)에 대한 스타일러스 펜의 접근 또는 인접을 더 판단할 수 있다.
상기 확인되는 사용자 입력 모드가 지정된 제2 입력 모드로 확인되는 경우(또는, 제2 입력 모드 확인 후 스타일러스 펜의 접근 또는 인접이 감지되는 경우), 동작 905에서, 프로세서(150)는 전자 장치(100)의 디스플레이(110)에 그래픽 사용자 인터페이스(30)를 출력할 수 있다.
일 실시 예에 따르면, 상기 그래픽 사용자 인터페이스(30)는 외부 디스플레이 장치(200)의 디스플레이(210) 화면을 제어하기 위하여 전자 장치(100)의 디스플레이(110) 상에 인가되는 사용자 입력에 대한 영역 가이드로 기능할 수 있다. 이와 관련하여, 그래픽 사용자 인터페이스(30)는 상기 그래픽 사용자 인터페이스(30)의 가장자리 영역에 해당하는 가이드 라인(예: 도 5의 31)을 포함할 수 있다. 상기 가이드 라인(31)은 예컨대, 외부 디스플레이 장치(200)의 디스플레이(210) 화면을 제어하기 위하여 전자 장치(100) 상에 인가되는 사용자 입력에 대한 인가 영역 범위를 나타낼 수 있으며, 프로세서(150)는 상기 가이드 라인(31)이 전자 장치(100)의 디스플레이(110) 영역 중 액티브(active) 영역의 가장자리에 대응하도록(또는, 일치하도록) 그래픽 사용자 인터페이스(30)의 크기 또는 면적을 결정할 수 있다.
일 실시 예에서, 그래픽 사용자 인터페이스(예: 도 6의 30)는 내부 일 영역(예: 가이드 라인(31)의 내측 일 영역)으로 외부 디스플레이 장치(200)의 디스플레이(210) 화면과 대응하는 화면을 포함할 수 있다. 이와 관련하여, 프로세서(150)는 메모리(도 2의 140)에 포함되는 적어도 하나의 프로그램(예: 윈도우 매니저(도 4의 465) 또는 데스크 탑 모드 런처(도 4의 450) 등)의 기능 동작을 참조하여, 상기 그래픽 사용자 인터페이스(30) 내에 외부 디스플레이 장치(200)의 디스플레이(210)가 출력하는 화면과 대응하는 화면을 구성할 수 있다. 또는, 프로세서(150)는 외부 디스플레이 장치(200)로부터 상기 외부 디스플레이 장치(200)가 별도로 출력하는 윈도우 또는 UI에 대한 정보를 수신하고, 수신된 정보를 참조하여 그래픽 사용자 인터페이스(30) 내에 외부 디스플레이 장치(200)의 디스플레이(210) 화면과 대응하는 화면을 구성할 수 있다.
일 실시 예에서, 그래픽 사용자 인터페이스(예: 도 7 또는 도 8의 30)는 내부 일 영역(예: 가이드 라인(31)의 내측 일 영역)으로 외부 디스플레이 장치(200)의 디스플레이(210) 화면에 표시되는 윈도우(window) 또는 UI와 지정된 비율로 매핑된 적어도 하나의 가이드 영역(예: 도 7 또는 도 8의 33 및/또는 35)을 포함할 수 있다. 다양한 실시 예에서, 상기 적어도 하나의 가이드 영역(33 및/또는 35)은 대응되는 윈도우 또는 UI가 포함하는 적어도 하나의 콘텐츠(또는 화면, 또는 아이콘)에 대한 표시가 배제될 수 있다. 또는, 상기 적어도 하나의 가이드 영역(33 및/또는 35)은 대응되는 윈도우 또는 UI가 포함하는 적어도 하나의 콘텐츠에 대한 레이아웃을 포함할 수 있다. 예를 들어, 상기 적어도 하나의 가이드 영역(33 및/또는 35)은 상기 윈도우 또는 UI가 포함하는 모든(all) 콘텐츠에 대한 레이아웃을 표시하거나, 또는 적어도 하나의 콘텐츠 중 링크(link) 기능을 포함하는 콘텐츠에 대한 레이아웃만을 표시할 수 있다.
동작 907에서, 전자 장치(100)의 프로세서(150)는 상기 전자 장치(100)의 저전력 운용과 관련하여 상기 그래픽 사용자 인터페이스(30)의 적어도 일부 영역에 대한 그래픽 요소를 제어할 수 있다. 예를 들어, 프로세서(150)는 그래픽 사용자 인터페이스(30)에서 가이드 라인(31)을 제외한 영역에 대응하는 디스플레이(110)의 픽셀이 낮은 해상도 또는 낮은 프레임률로 발광하도록 제어할 수 있다. 또는, 프로세서(150)는 상기 그래픽 사용자 인터페이스(30)에서 가이드 라인(31)을 제외한 영역에 대응하는 디스플레이(110)의 픽셀이 낮은 휘도 또는 낮은 농도로 발광하도록 디스플레이(110)의 픽셀로 전달하는 이미지 데이터를 제어할 수 있다.
동작 909에서, 프로세서(150)는 상기 그래픽 사용자 인터페이스(30)의 적어도 일 영역으로 인가되는 사용자 입력을 수신할 수 있다. 일 실시 예에 따르면, 상기 사용자 입력은 전자 장치(100)를 통하여 외부 디스플레이 장치(200)의 디스플레이(210) 화면을 제어(예: 화면에 포함된 객체(아이콘) 선택에 따른 전자 장치(100)의 어플리케이션 실행 등)하기 위한 사용자 조작으로 이해될 수 있다. 프로세서(150)는 상기 사용자 입력에 대한 좌표를 검출하고, 검출된 좌표 값을 외부 디스플레이 장치(200)의 디스플레이(210) 크기 또는 면적에 대응하는 좌표 값으로 변환하여 외부 디스플레이 장치(200)로 전송할 수 있다. 이에 대응하여, 외부 디스플레이 장치(200)는 전자 장치(100)로부터 수신한 좌표 정보 처리함으로써, 상기 그래픽 사용자 인터페이스(30)에 인가된 사용자 입력을 디스플레이(210) 화면에 적용할 수 있다. 일 실시 예에서, 상기 사용자 입력을 적용한다 함은, 상기 변환된 좌표에 대응하는 객체(아이콘)를 선택하거나, 선택된 객체와 관계된 어플리케이션을 실행하거나, 또는 실행된 어플리케이션의 실행화면을 출력하는 동작으로 이해될 수 있다.
도 9b는 일 실시 예에 따른 전자 장치의 사용자 입력 지원을 위한 동작 프로세스(900b)를 도시한 도면이다.
도 9b를 참조하면, 동작 911에서, 전자 장치(예: 도 1의 1001 또는 도 2의 100, 이하 참조 번호 100으로 통칭함)의 프로세서(3의 150)는 상기 전자 장치(100)와 외부 디스플레이 장치(도 2의 200)의 연결을 판단할 수 있다. 이와 관련하여, 프로세서(150)는 상기 전자 장치(100)와 지정된 중개 장치(도 2의 300)의 연결을 판단할 수 있다. 일 실시 예에서, 상기 중개 장치(300)는 전자 장치(100)와 외부 디스플레이 장치(200)의 연결을 지원할 수 있으며, 프로세서(150)는 전기적 커넥터(예: USB cable 또는 HDMI cable 등), 포트 또는 단자 등의 접속을 기반으로 상기 중개 장치(300)와의 연결이 감지되는 경우, 전자 장치(100)와 외부 디스플레이 장치(200)가 연결된 것으로 판단할 수 있다. 일 실시 예에서, 상기 외부 디스플레이 장치(200)는 중개 장치(300)를 통하여 연결된 전자 장치(100)로부터 데이터를 제공받아, 관계되는 적어도 하나의 콘텐츠(또는, 화면)를 출력할 수 있는 디스플레이 장치(예: 모니터, 노트북 또는 TV 등)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)와 외부 디스플레이 장치(200)가 연결되지 않은 것으로 판단되는 경우, 동작 913에서, 프로세서(150)는 지정된 제1 포맷(format)으로 상기 전자 장치(100)의 디스플레이(도 3의 110)에 제1 화면을 표시할 수 있다. 일 실시 예에 따르면, 상기 제1 포맷은 상기 전자 장치(100)의 디스플레이(110)를 운용하기 위한 노멀 모드 런처(normal mode launcher)(도 4의 440)의 실행을 포함할 수 있다. 프로세서(150)는 상기 노멀 모드 런처(440)의 실행에 따른 제1 포맷으로 전자 장치(100)의 디스플레이(110)에 출력할 수 있는 화면에 대한 그래픽 포맷을 설정 또는 관리할 수 있다. 프로세서(150)는 상기 제1 포맷으로 동작하여, 전자 장치(100)에 탑재된 복수의 어플리케이션과 관계되는 아이콘들을 포함하는 제1 화면(예: 전자 장치(100)의 홈 화면 또는 전자 장치(100)의 사용자 인터페이스 등)(또는, 어플리케이션의 실행 화면 등)을 디스플레이(110)에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(100)와 외부 디스플레이 장치(200)가 연결된 것으로 판단되는 경우, 동작 915에서, 프로세서(150)는 지정된 제2 포맷으로 동작하여 상기 외부 디스플레이 장치(200)를 통해 출력할 제2 화면을 랜더링(rendering)할 수 있다. 상기 제2 포맷은 예컨대, 외부 디스플레이 장치(200)를 통하여 모바일 데스크 탑 환경을 제공하기 위한 데스크 탑 모드 런처(desktop mode launcher)(도 4의 450)의 실행을 포함할 수 있다. 프로세서(150)는 상기 데스크 탑 모드 런처(450)의 실행에 따른 제2 포맷으로 동작하여, 상기 복수의 어플리케이션 관련 아이콘들을 포함하는 제2 화면(예: 전자 장치(100)의 홈 화면 또는 전자 장치(100)의 사용자 인터페이스 등)(또는, 어플리케이션의 실행 화면 등)의 적어도 일부를, 외부 디스플레이 장치(200)의 디스플레이 포맷에 대응하도록 재구성하는 랜더링(예: 제2 화면이 포함하는 텍스트, 이미지, UI 또는 UX 등에 대한 사이즈, 해상도, 색상 또는 위치 조정)을 수행할 수 있다.
동작 917에서, 프로세서(150)는 상기 랜더링(또는, 재구성)된 제2 화면의 데이터를 외부 디스플레이 장치(200)로 제공할 수 있다. 이에 대응하여, 상기 외부 디스플레이 장치(200)는 전자 장치(100)로부터 제공된 제2 화면의 데이터를 처리하여 표시함으로써, 전자 장치(100) 사용자에게 데스크 탑 PC를 이용하는 것과 유사한 환경을 제공할 수 있다.
동작 919에서, 프로세서(150)는 전자 장치(100)의 디스플레이(110)를 통하여 지정된 그래픽 사용자 인터페이스(도 5, 도 6, 도 7 또는 도 8의 30)를 표시할 수 있다. 일 실시 예에 따르면, 상기 그래픽 사용자 인터페이스(30)는 외부 디스플레이 장치(200)를 통해 출력되는 상기 제2 화면에 포함된 적어도 하나의 오브젝트(object)를 나타낼 수 있다. 예를 들어, 상기 그래픽 사용자 인터페이스(30)는 제2 화면에 포함된 어플리케이션 관련 아이콘, 사용자 인터페이스 또는 윈도우 등의 오브젝트와 적어도 일부 매핑된 형상으로 표시될 수 있다. 이에 따르면, 상기 그래픽 사용자 인터페이스(30)는 전자 장치(100)의 디스플레이(110)를 응시하며 사용자 입력을 인가하는 사용자의 편의를 지원하기 위한 것으로 이해될 수 있다.
일 실시 예에서, 상기 그래픽 사용자 인터페이스(30)의 표시와 관련하여, 프로세서(150)는 전자 장치(100)와 외부 디스플레이 장치(200)의 연결이 판단되면, 상기 전자 장치(100)에 설정된 사용자 입력 모드를 확인할 수 있다. 프로세서(150)는 확인되는 사용자 입력 모드가, 전자 장치(100)에 인가되는 사용자 입력이 외부 디스플레이 장치(200) 상에서 상기 외부 디스플레이 장치(200)의 해상도에 따른 비율로 매핑되어 명시되는 입력 모드(예: 후술되는 제2 입력 모드, 절대 모드 또는 스타일러스 펜 모드)인 경우, 상기 그래픽 사용자 인터페이스(30)의 표시를 수행할 수 있다.
동작 921에서, 프로세서(150)는 전자 장치(100)의 디스플레이(110)에 인가되는 사용자 입력을 수신할 수 있다. 예를 들어, 프로세서(150)는 사용자 신체의 적어도 일부(예: 손가락) 또는 전자 장치(100)에 탑재된 스타일러스 펜을 이용한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은 예컨대, 전자 장치(100)를 통하여 외부 디스플레이 장치(200)에 표시되는 제2 화면을 제어하기 위한 사용자 조작으로 이해될 수 있다.
동작 923에서, 프로세서(150)는 상기 전자 장치(100)의 디스플레이(110)에 인가된 사용자 입력의 제1 좌표계를 외부 디스플레이 장치(200)에 표시된 제2 화면에 적용(adapt)할 수 있다. 이와 관련하여, 프로세서(150)는 상기 사용자 입력의 제1 좌표계를 변환하여 외부 디스플레이 장치(200)로 제공할 수 있다. 예를 들어, 프로세서(150)는 상기 제1 좌표계를 외부 디스플레이 장치(200)의 디스플레이 크기, 면적 또는 해상도에 대응하는 제2 좌표계로 변환하고, 변환된 제2 좌표계에 대한 데이터를 외부 디스플레이 장치(200)로 제공할 수 있다. 이에 따라, 외부 디스플레이 장치(200)는 제공받은 제2 좌표계 데이터를 처리함으로써, 전자 장치(100)에 인가된 사용자 입력을 표시 중인 제2 화면에 적용할 수 있다.
도 10은 일 실시 예에 따른 전자 장치의 입력 모드 설정 화면을 도시한 도면이다.
도 10을 참조하면, 전자 장치(100)(예: 도 1의 전자 장치(1001))는 사용자에 의한 지정된 사용자 입력 모드 설정에 기반하여 전술된 그래픽 사용자 인터페이스(도 5, 도 6, 도 7 또는 도 8의 30)를 출력할 수 있다. 이와 관련하여, 전자 장치(100)의 프로세서(도 2의 150)는 상기 전자 장치(100)의 입력 모드 설정 화면(40) 상에서 사용자로부터 선택되는 사용자 입력 모드 정보를 획득할 수 있다. 일 실시 예서, 상기 사용자 입력 모드는 외부 디스플레이 장치(도 2의 200)의 디스플레이(도 2의 210) 화면 상에서 상기 전자 장치(100)에 인가되는 사용자 입력(예: 신체 또는 스타일러스 펜을 이용한 사용자 입력)의 명시를 지원하는 객체(예: 포인터)의 이동과 관련될 수 있다. 예를 들어, 상기 사용자 입력 모드는 전자 장치(100) 상에 인가되는 사용자 입력에 대등적으로 상기 객체가 이동하는 제1 입력 모드(또는 상대 모드, 또는 마우스 모드)를 포함할 수 있다. 상기 제1 입력 모드의 경우, 상기 객체는 외부 디스플레이 장치(200)의 디스플레이(210) 화면 상에서 위치한 좌표를 기점으로, 전자 장치(100) 상에 인가되는 사용자 입력의 속도, 방향 또는 이동거리와 대등하는 움직임으로 표시될 수 있다. 다시 말해, 상기 제1 입력 모드가 설정된 경우 사용자 입력의 속도, 방향 또는 이동거리는, 전자 장치(100)에 연결된 외부 입력 장치(예: 포인팅 장치(도 2의 400))를 통한 사용자 입력과 유사한 움직임으로 표시될 수 있다.
또는, 상기 사용자 입력 모드는 전자 장치(100) 및 외부 디스플레이 장치(200) 각각의 디스플레이 해상도 비율에 따라, 상기 객체가 외부 디스플레이 장치(200)의 디스플레이(210) 화면 상에서 전자 장치(100)에 인가되는 사용자 입력의 좌표와 매핑되는 좌표로 이동하는 제2 입력 모드(또는 절대 모드, 또는 스타일러스 펜 모드)를 포함할 수 있다. 만일, 전자 장치(100) 및 외부 디스플레이 장치(200) 간의 디스플레이 해상도 비율이 1:3인 경우, 전자 장치(100) 상에 인가되는 사용자 입력의 이동거리 1cm에 대응하여 상기 객체는 외부 디스플레이 장치(200)의 디스플레이(210) 화면 상에서 3cm 이동으로 표시될 수 있다. 상술에 따르면, 상기 제1 입력 모드(또는 상대 모드, 또는 마우스 모드)는 전자 장치(100) 상에 인가되는 사용자 입력의 속도, 방향 또는 이동거리에 대등되게 움직이는 객체를 통하여 사용자 입력을 직관적으로 인지할 수 있는 바, 상기 사용자 입력에 대한 영역 가이드로 기능하는 그래픽 사용자 인터페이스의 표시가 배제될 수 있다. 다시 말해, 전자 장치(100)의 프로세서(150)는 외부 디스플레이 장치(200)와의 연결 및 사용자에 의한 상기 제2 입력 모드(또는 절대 모드, 또는 스타일러스 펜 모드) 설정을 전제로 하여, 전술된 그래픽 사용자 인터페이스를 출력할 수 있다. 다만, 상기 제2 입력 모드를 전제로 하는 그래픽 사용자 인터페이스의 출력은 일 실시 예에 따른 것으로, 전자 장치(100)의 프로세서(150)는 상기 사용자 입력 모드와 관계없이, 전자 장치(100)와 외부 디스플레이 장치(200)가 연결되는 경우, 디스플레이(110)에 그래픽 사용자 인터페이스를 출력할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 오리엔테이션(orientation)에 대한 그래픽 사용자 인터페이스의 출력 형태를 도시한 도면이고, 도 12는 일 실시 예에 따른 전자 장치의 사용자 인증 동작 시 그래픽 사용자 인터페이스의 출력 형태를 도시한 도면이다.
도 11을 참조하면, 전자 장치(100)(예: 도 1의 전자 장치(1001))의 프로세서(도 2의 150)는 상기 전자 장치(100)의 오리엔테이션(orientation)(예: portrait 또는 landscape)에 따라 그래픽 사용자 인터페이스(30)의 표시 형태를 결정할 수 있다. 예를 들어, 프로세서(150)는 전자 장치(100)가 제1 오리엔테이션(예: landscape)으로 중개 장치(도 2의 300)에 거치되는 경우, 상기 그래픽 사용자 인터페이스(30)를 전자 장치(100) 디스플레이(도 2의 110)의 모든(all) 액티브(active) 영역에 대응하도록 출력할 수 있다. 또는, 전자 장치(100)의 오리엔테이션이 제2 오리엔테이션(예: portrait)으로 변경되는 경우, 프로세서(150)는 전자 장치(100) 디스플레이(110)의 액티브 영역 중 상기 제1 오리엔테이션 및 제2 오리엔테이션을 기준하여 중심 영역으로 그래픽 사용자 인터페이스(30)를 축소 출력할 수 있다.
도 12를 참조하면, 전자 장치(100)와 외부 디스플레이 장치(200)가 연결된 상태에서, 상기 전자 장치(100)를 통한 사용자 인증(예: 홍채 인증)이 요구될 수 있다. 예를 들어, 전자 장치(100) 상에 인가되는 사용자 입력에 따라 외부 디스플레이 장치(200)의 디스플레이(210) 화면이 제어되는 동작에서, 상기 사용자 인증을 수반하는 특정 어플리케이션(예: 전자 결제 어플리케이션 또는 모바일 뱅킹 어플리케이션 등)이 실행될 수 있다. 이 경우, 전자 장치(100)의 프로세서(도 2의 150)는 상기 전자 장치(100)의 제2 오리엔테이션(예: portrait)을 기준하여 디스플레이(도 2의 110) 상부 영역으로 상기 사용자 인증과 관계되는 콘텐츠(50)(예: 홍채 인증과 관련하여 사용자의 눈과 전자 장치(100) 간의 상대적 위치를 가이드하는 이미지 등)를 표시하고, 상기 콘텐츠(50)의 하부로 그래픽 사용자 인터페이스(30)를 표시할 수 있다.
전술된 다양한 실시 예에 따른 전자 장치는, 하우징, 상기 하우징의 제1 영역을 통하여 노출되는 터치스크린 디스플레이, 무선 통신 회로, 상기 하우징의 제2 영역을 통하여 노출되는 전기적인 커넥터(electrical connector), 상기 디스플레이, 상기 통신 회로 및 상기 커넥터와 전기적으로 연결되는 프로세서, 및 상기 프로세서와 전기적으로 연결되는 메모리를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는, 실행 시에, 상기 프로세서로 하여금, 상기 전자 장치가 외부 디스플레이 장치에 연결되지 않은 제1 동작(operation)에서, 제1 포맷(format)으로 상기 디스플레이 상에 복수의 어플리케이션 프로그램과 관계된 복수의 아이콘을 포함하는 제1 화면(screen)을 표시하고, 상기 전자 장치가 상기 커넥터를 통하여 상기 외부 디스플레이 장치에 연결되는 제2 동작에서, 제2 포맷(format)으로 상기 복수의 아이콘을 포함하는 제2 화면을 랜더링(rendering)하고, 상기 외부 디스플레이 장치가 상기 제2 화면을 표시하도록 상기 제2 화면과 관계되는 데이터를 상기 커넥터를 통하여 상기 외부 디스플레이 장치로 제공(provide)하고, 상기 디스플레이 상에 상기 제2 화면에 포함된 적어도 하나의 오브젝트를 가리키는(indicative) 그래픽 사용자 인터페이스를 표시하고, 상기 디스플레이를 통하여 사용자 입력을 수신하고, 상기 사용자 입력의 제1 좌표계(coordinates)를 판단하고, 상기 제1 좌표계를 상기 외부 디스플레이 장치의 적어도 일 영역에 해당하는 제2 좌표계에 대응되게, 상기 제2 화면에 적용(adapt)하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스는, 상기 오브젝트가 위치한 적어도 하나의 영역(region)을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스는, 적어도 하나의 가이드 라인을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 가이드 라인은, 상기 외부 디스플레이 장치가 표시하는 제2 화면을 제어하기 위한 상기 사용자 입력의 인가 영역의 범위를 나타낼 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스는, 주로(substantially) 검정 배경(black backrground)을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 스타일러스 펜(stylus pen)을 이용한 입력을 수신하는 경우 상기 그래픽 사용자 인터페이스를 표시하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는, 상기 하우징에 형성된 리세스(recess), 및 상기 리세스에 분리 가능하게 삽입되는 스타일러스 펜(stylus pen)을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 리세스에 대한 상기 스타일러스 펜의 삽입 여부를 판단(make determination)하고, 상기 판단에 적어도 일부 기초하여 상기 그래픽 사용자 인터페이스를 표시하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 전자 장치에 대한 상기 스타일러스 펜의 접근이 지정된 거리 이내로 감지되는 경우 상기 그래픽 사용자 인터페이스를 표시하도록 할 수 있다.
전술된 다양한 실시 예에 따른 전자 장치는, 하우징, 상기 하우징의 제1 영역을 통하여 적어도 일부가 노출되는 터치스크린 디스플레이, 무선 통신 회로, 상기 하우징의 제2 영역을 통하여 적어도 일부가 노출되는 커넥터, 및 상기 터치스크린 디스플레이, 상기 무선 통신 회로 및 상기 커넥터와 전기적으로 연결되는 프로세서를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 무선 통신 회로 또는 상기 커넥터를 기반으로 외부 디스플레이 장치와 연결되고, 상기 터치스크린 디스플레이의 적어도 일부 영역에 상기 외부 디스플레이 장치가 출력하는 화면과 대응하는 그래픽 사용자 인터페이스를 표시하고, 상기 그래픽 사용자 인터페이스의 적어도 일부 영역을 검정 배경(black backrground)으로 표시하고, 상기 그래픽 사용자 인터페이스의 적어도 일 영역으로 인가되는 사용자 입력에 대한 제1 좌표 정보를 상기 외부 디스플레이 장치에 대응하는 제2 좌표 정보로 변환하여 상기 제2 좌표 정보를 상기 외부 디스플레이 장치로 전송할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 그래픽 사용자 인터페이스를 표시한 후, 지정된 시간 범위 이내에 상기 터치스크린 디스플레이에 사용자 입력이 인가되는 경우, 상기 그래픽 사용자 인터페이스의 표시를 중단할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 그래픽 사용자 인터페이스를 표시한 후, 상기 터치스크린 디스플레이에 인가되는 사용자 입력을 수신하는 경우, 상기 사용자 입력을 수신하는 시점(time)으로부터 지정된 시간 이내에 상기 그래픽 사용자 인터페이스의 표시를 중단할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는, 적어도 하나의 어플리케이션 프로그램을 저장하는 메모리를 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 적어도 하나의 어플리케이션 프로그램 중 상기 외부 디스플레이 장치에서 실행 화면에 대한 크기 조정이 지원되는 적어도 하나의 어플리케이션 프로그램 관련 정보를 상기 메모리에 데이터베이스로 저장할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 외부 디스플레이 장치와 연결되는 시점(time)에 상기 터치스크린 디스플레이를 통하여 출력 중인 화면에 대한 데이터를 수집할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 전자 장치에 연결된 별도의 외부 입력 장치를 통한 사용자 입력 정보를 수신하는 경우, 상기 그래픽 사용자 인터페이스의 표시를 중단할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 그래픽 사용자 인터페이스의 적어도 일 영역으로 상기 외부 디스플레이 장치가 출력하는 화면에 포함된 윈도우 또는 인터페이스 중 적어도 하나와 대응하는 적어도 하나의 가이드 영역을 포함시킬 수 있다.
전술된 다양한 실시 예에 따른 전자 장치의 사용자 입력 지원 방법은, 외부 디스플레이 장치와 연결되는 동작, 상기 전자 장치가 포함하는 터치스크린 디스플레이의 적어도 일부 영역에 상기 외부 디스플레이 장치가 출력하는 화면과 대응하는 그래픽 사용자 인터페이스를 표시하는 동작, 상기 그래픽 사용자 인터페이스의 적어도 일부 영역을 검정 배경(black backrground)으로 표시하는 동작, 및 상기 그래픽 사용자 인터페이스의 적어도 일 영역으로 인가되는 사용자 입력에 대한 제1 좌표 정보를 상기 외부 디스플레이 장치에 대응하는 제2 좌표 정보로 변환하여 상기 제2 좌표 정보를 상기 외부 디스플레이 장치로 전송하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스를 표시하는 동작은, 상기 그래픽 사용자 인터페이스의 가장자리 영역으로 상기 외부 디스플레이 장치가 표시하는 화면을 제어하기 위한 사용자 입력의 인가 영역 범위를 나타내는 가이드 라인을 포함시키는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스를 표시하는 동작은, 상기 그래픽 사용자 인터페이스의 적어도 일 영역으로 상기 외부 디스플레이 장치가 표시하는 화면에 포함된 윈도우 또는 인터페이스 중 적어도 하나와 대응하는 적어도 하나의 가이드 영역을 포함시키는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스를 표시하는 동작은, 상기 전자 장치에 분리 가능하게 장착되는 스타일러스 펜의 분리 또는 상기 전자 장치에 대한 상기 스타일러스 펜의 지정된 거리 이내로의 접근 중 적어도 하나가 감지되는 경우 상기 그래픽 사용자 인터페이스를 표시하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 그래픽 사용자 인터페이스를 표시하는 동작은, 상기 그래픽 사용자 인터페이스를 표시한 후, 상기 터치스크린 디스플레이에 인가되는 사용자 입력을 수신하는 경우, 상기 사용자 입력을 수신하는 시점(time)으로부터 지정된 시간 이내에 상기 그래픽 사용자 인터페이스의 표시를 중단하는 동작을 포함할 수 있다.
본 문서에 개시된 실시 예는, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
Claims (20)
- 전자 장치에 있어서,
하우징;
상기 하우징의 제1 영역을 통하여 노출되는 터치스크린 디스플레이;
무선 통신 회로;
상기 하우징의 제2 영역을 통하여 노출되는 전기적인 커넥터(electrical connector);
상기 디스플레이, 상기 통신 회로, 및 상기 커넥터와 전기적으로 연결되는 프로세서; 및
상기 프로세서와 전기적으로 연결되는 메모리;를 포함하고,
상기 메모리는, 실행 시에, 상기 프로세서로 하여금,
상기 전자 장치가 외부 디스플레이 장치에 연결되지 않은 제1 동작(operation)에서,
제1 포맷(format)으로 상기 디스플레이 상에 복수의 어플리케이션 프로그램과 관계된 복수의 아이콘을 포함하는 제1 화면(screen)을 표시하고,
상기 전자 장치가 상기 커넥터를 통하여 상기 외부 디스플레이 장치에 연결되는 제2 동작에서,
제2 포맷(format)으로 상기 복수의 아이콘을 포함하는 제2 화면을 랜더링(rendering)하고,
상기 외부 디스플레이 장치가 상기 제2 화면을 표시하도록 상기 제2 화면과 관계되는 데이터를 상기 커넥터를 통하여 상기 외부 디스플레이 장치로 제공(provide)하고,
상기 터치스크린 디스플레이 상에 상기 제2 화면 상의 윈도우에 매핑된 가이드 영역을 표시하고, 상기 가이드 영역은 상기 터치스크린 디스플레이와 상기 외부 디스플레이 장치의 디스플레이 간의 해상도 비율에 대응하는 지정된 비율로 상기 윈도우에 매핑되며,
상기 터치스크린 디스플레이를 통하여 상기 가이드 영역에 대한 사용자 입력을 수신하고,
상기 사용자 입력의 제1 좌표계(coordinates)를 판단하고,
상기 사용자 입력이 상기 윈도우에 적용되도록, 상기 제1 좌표계를 상기 외부 디스플레이 장치의 상기 제2 화면에 해당하는 제2 좌표계에 대응되게, 상기 제2 화면에 적용(adapt)하도록 하는 인스트럭션들(instructions)을 저장하고,
상기 사용자 입력의 적용은 상기 복수의 아이콘 중 상기 제2 좌표계에 대응하는 아이콘을 선택하는 것을 포함하는, 전자 장치. - 제1항에 있어서,
상기 가이드 영역은,
상기 제2 화면에 포함된 오브젝트가 위치한 적어도 하나의 영역(region)을 포함하는, 전자 장치. - 제1항에 있어서,
상기 가이드 영역은,
적어도 하나의 가이드 라인을 포함하는, 전자 장치. - 제3항에 있어서,
상기 가이드 라인은,
상기 외부 디스플레이 장치가 표시하는 상기 제2 화면을 제어하기 위한 상기 사용자 입력의 인가 영역의 범위를 나타내는, 전자장치. - 제1항에 있어서,
상기 가이드 영역의 외부 영역은,
검정 배경(black backrground)을 포함하는, 전자 장치. - 제1항에 있어서,
상기 인스트럭션들은, 상기 프로세서로 하여금,
스타일러스 펜(stylus pen)을 이용한 입력을 수신하는 경우 상기 가이드 영역을 표시하도록 하는, 전자 장치. - 제1항에 있어서,
상기 하우징에 형성된 리세스(recess); 및
상기 리세스에 분리 가능하게 삽입되는 스타일러스 펜(stylus pen);을 더 포함하고,
상기 인스트럭션들은, 상기 프로세서로 하여금,
상기 리세스에 대한 상기 스타일러스 펜의 삽입 여부를 판단(make determination)하고, 상기 판단에 적어도 일부 기초하여 상기 가이드 영역을 표시하도록 하는, 전자 장치. - 제7항에 있어서,
상기 인스트럭션들은, 상기 프로세서로 하여금,
상기 전자 장치에 대한 상기 스타일러스 펜의 접근이 지정된 거리 이내로 감지되는 경우 상기 가이드 영역을 표시하도록 하는, 전자 장치. - 전자 장치에 있어서,
하우징;
상기 하우징의 제1 영역을 통하여 적어도 일부가 노출되는 터치스크린 디스플레이;
무선 통신 회로;
상기 하우징의 제2 영역을 통하여 적어도 일부가 노출되는 커넥터; 및
상기 터치스크린 디스플레이, 상기 무선 통신 회로, 및 상기 커넥터와 전기적으로 연결되는 프로세서;를 포함하고,
상기 프로세서는,
상기 무선 통신 회로 또는 상기 커넥터를 기반으로 외부 디스플레이 장치와 연결되고,
상기 터치스크린 디스플레이의 적어도 일부 영역에 상기 외부 디스플레이 장치가 출력하는 화면 상의 윈도우에 매핑된 가이드 영역을 표시하고, 상기 가이드 영역은 상기 터치스크린 디스플레이와 상기 외부 디스플레이 장치의 디스플레이 간의 해상도 비율에 대응하는 지정된 비율로 상기 윈도우에 매핑되며,
상기 가이드 영역의 외부 영역의 적어도 일부 영역을 검정 배경(black backrground)으로 표시하고,
상기 가이드 영역의 적어도 일 영역으로 인가되는 사용자 입력을 수신하고,
상기 사용자 입력이 상기 윈도우에 적용되도록, 상기 사용자 입력에 대한 제1 좌표 정보를 상기 외부 디스플레이 장치에 대응하는 제2 좌표 정보로 변환하여 상기 제2 좌표 정보를 상기 외부 디스플레이 장치로 전송하도록 설정되고,
상기 사용자 입력의 적용은 상기 외부 디스플레이 장치가 출력하는 화면에 포함된 복수의 아이콘 중 상기 제2 좌표 정보에 대응하는 아이콘을 선택하는 것을 포함하는, 전자 장치. - 제9항에 있어서,
상기 프로세서는,
상기 가이드 영역을 표시한 후, 지정된 시간 범위 이내에 상기 터치스크린 디스플레이에 사용자 입력이 인가되는 경우, 상기 가이드 영역의 표시를 중단하도록 설정된, 전자 장치. - 제9항에 있어서,
상기 프로세서는,
상기 가이드 영역을 표시한 후, 상기 터치스크린 디스플레이에 인가되는 사용자 입력을 수신하는 경우, 상기 사용자 입력을 수신하는 시점(time)으로부터 지정된 시간 이내에 상기 가이드 영역의 표시를 중단하도록 설정된, 전자 장치. - 제9항에 있어서,
적어도 하나의 어플리케이션 프로그램을 저장하는 메모리;를 더 포함하고,
상기 프로세서는,
상기 적어도 하나의 어플리케이션 프로그램 중 상기 외부 디스플레이 장치에서 실행 화면에 대한 크기 조정이 지원되는 적어도 하나의 어플리케이션 프로그램 관련 정보를 상기 메모리에 데이터베이스로 저장하도록 설정된, 전자 장치. - 제9항에 있어서,
상기 프로세서는,
상기 외부 디스플레이 장치와 연결되는 시점(time)에 상기 터치스크린 디스플레이를 통하여 출력 중인 화면에 대한 데이터를 수집하도록 설정된, 전자 장치. - 제9항에 있어서,
상기 프로세서는,
상기 전자 장치에 연결된 별도의 외부 입력 장치를 통한 사용자 입력 정보를 수신하는 경우, 상기 가이드 영역의 표시를 중단하도록 설정된, 전자 장치. - 제9항에 있어서,
상기 프로세서는,
상기 가이드 영역의 적어도 일 영역은 상기 외부 디스플레이 장치가 출력하는 화면에 포함된 인터페이스와 대응하는 적어도 하나의 가이드 영역을 포함하는, 전자 장치. - 전자 장치의 사용자 입력 지원 방법에 있어서,
외부 디스플레이 장치와 연결되는 동작;
상기 전자 장치가 포함하는 터치스크린 디스플레이의 적어도 일부 영역에 상기 외부 디스플레이 장치가 출력하는 화면 상의 윈도우에 매핑된 가이드 영역을 표시하고, 상기 가이드 영역은 상기 터치스크린 디스플레이와 상기 외부 디스플레이 장치의 디스플레이 간의 해상도 비율에 대응하는 지정된 비율로 상기 윈도우에 매핑되는 동작;
상기 가이드 영역의 외부 영역의 적어도 일부 영역을 검정 배경(black backrground)으로 표시하는 동작;
상기 가이드 영역의 적어도 일 영역으로 인가되는 사용자 입력을 수신하는 동작; 및
상기 사용자 입력이 상기 윈도우에 적용되도록, 상기 사용자 입력에 대한 제1 좌표 정보를 상기 외부 디스플레이 장치에 대응하는 제2 좌표 정보로 변환하여 상기 제2 좌표 정보를 상기 외부 디스플레이 장치로 전송하는 동작;을 포함하고,
상기 사용자 입력의 적용은 상기 외부 디스플레이 장치가 출력하는 화면에 포함된 복수의 아이콘 중 상기 제2 좌표 정보에 대응하는 아이콘을 선택하는 것을 포함하는, 사용자 입력 지원 방법. - 제16항에 있어서,
상기 가이드 영역을 표시하는 동작은,
상기 가이드 영역의 가장자리 영역으로 상기 외부 디스플레이 장치가 표시하는 화면을 제어하기 위한 사용자 입력의 인가 영역 범위를 나타내는 가이드 라인을 포함시키는 동작;을 포함하는, 사용자 입력 지원 방법. - 제16항에 있어서,
상기 가이드 영역을 표시하는 동작은,
상기 가이드 영역의 적어도 일 영역으로 상기 외부 디스플레이 장치가 표시하는 화면에 포함된 인터페이스와 대응하는 적어도 하나의 가이드 영역을 포함시키는 동작;을 포함하는, 사용자 입력 지원 방법. - 제16항에 있어서,
상기 가이드 영역을 표시하는 동작은,
상기 전자 장치에 분리 가능하게 장착되는 스타일러스 펜의 분리 또는 상기 전자 장치에 대한 상기 스타일러스 펜의 지정된 거리 이내로의 접근 중 적어도 하나가 감지되는 경우 상기 가이드 영역을 표시하는 동작;을 포함하는, 사용자 입력 지원 방법. - 제16항에 있어서,
상기 가이드 영역을 표시하는 동작은,
상기 가이드 영역을 표시한 후, 상기 터치스크린 디스플레이에 인가되는 사용자 입력을 수신하는 경우, 상기 사용자 입력을 수신하는 시점(time)으로부터 지정된 시간 이내에 상기 가이드 영역의 표시를 중단하는 동작;을 포함하는, 사용자 입력 지원 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180033858A KR102604570B1 (ko) | 2018-03-23 | 2018-03-23 | 사용자 입력 지원 방법 및 이를 지원하는 전자 장치 |
| EP19771947.9A EP3740857A4 (en) | 2018-03-23 | 2019-03-22 | METHOD TO SUPPORT USER INPUT AND ELECTRONIC DEVICE TO SUPPORT THEREOF |
| US16/361,845 US11017739B2 (en) | 2018-03-23 | 2019-03-22 | Method for supporting user input and electronic device supporting the same |
| PCT/KR2019/003366 WO2019182403A1 (en) | 2018-03-23 | 2019-03-22 | Method for supporting user input and electronic device supporting the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180033858A KR102604570B1 (ko) | 2018-03-23 | 2018-03-23 | 사용자 입력 지원 방법 및 이를 지원하는 전자 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190111557A KR20190111557A (ko) | 2019-10-02 |
| KR102604570B1 true KR102604570B1 (ko) | 2023-11-22 |
Family
ID=67985388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180033858A KR102604570B1 (ko) | 2018-03-23 | 2018-03-23 | 사용자 입력 지원 방법 및 이를 지원하는 전자 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11017739B2 (ko) |
| EP (1) | EP3740857A4 (ko) |
| KR (1) | KR102604570B1 (ko) |
| WO (1) | WO2019182403A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD771653S1 (en) * | 2015-07-29 | 2016-11-15 | Apple Inc. | Display screen or portion thereof with animated graphical user interface |
| JP6939135B2 (ja) * | 2017-06-23 | 2021-09-22 | カシオ計算機株式会社 | 電子機器、プログラム、サーバ、グラフ画像生成方法およびグラフ画像生成システム |
| USD907060S1 (en) * | 2019-05-07 | 2021-01-05 | Salesforce.Com, Inc. | Display screen or portion thereof with a group of icons |
| CN113391775A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 一种人机交互方法及设备 |
| TWI749551B (zh) * | 2020-05-12 | 2021-12-11 | 華碩電腦股份有限公司 | 電子裝置 |
| CN112468863A (zh) * | 2020-11-24 | 2021-03-09 | 北京字节跳动网络技术有限公司 | 投屏控制方法、设备及电子设备 |
| CN117093165A (zh) * | 2020-12-24 | 2023-11-21 | 华为技术有限公司 | 设备控制方法和终端设备 |
| CN113507694B (zh) * | 2021-06-18 | 2024-02-23 | 厦门亿联网络技术股份有限公司 | 一种基于无线辅流设备的投屏方法及装置 |
| CN115705229A (zh) * | 2021-08-06 | 2023-02-17 | 北京小米移动软件有限公司 | 显示控制方法和系统、移动终端、存储介质 |
| CN114564142A (zh) * | 2022-02-28 | 2022-05-31 | 深圳创维－Rgb电子有限公司 | 投屏控制方法、装置、电子设备及存储介质 |
| CN116661616A (zh) * | 2022-12-23 | 2023-08-29 | 荣耀终端有限公司 | 设备操作方法、电子设备系统、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130111371A1 (en) * | 2011-09-27 | 2013-05-02 | Z124 | Unified desktop independent focus in an application manager |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7131068B2 (en) * | 2001-05-25 | 2006-10-31 | Learning Tree International | System and method for electronic presentations having simultaneous display windows in a control screen |
| US7454708B2 (en) * | 2001-05-25 | 2008-11-18 | Learning Tree International | System and method for electronic presentations with annotation of preview material |
| JP4465142B2 (ja) * | 2002-01-30 | 2010-05-19 | 富士通株式会社 | ウィンドウ表示制御プログラム、ウィンドウ表示制御方法およびウィンドウ表示制御装置 |
| US20050091610A1 (en) * | 2003-10-22 | 2005-04-28 | International Business Machines Corporation | Selective display of windows on an auxiliary output device |
| US7948448B2 (en) * | 2004-04-01 | 2011-05-24 | Polyvision Corporation | Portable presentation system and methods for use therewith |
| KR20060029396A (ko) * | 2004-10-01 | 2006-04-06 | 엘지전자 주식회사 | 개인 정보 단말기의 백라이트 전원 제어 방법 |
| TW200729033A (en) * | 2006-01-26 | 2007-08-01 | Tangtake Technology Co Ltd | Method for displaying objects on a plurality of display devices in Windows operating environment |
| EP2175343A1 (en) * | 2008-10-08 | 2010-04-14 | Research in Motion Limited | A method and handheld electronic device having a graphical user interface which arranges icons dynamically |
| KR101595573B1 (ko) * | 2009-12-10 | 2016-02-18 | 엘지전자 주식회사 | 공간 리모컨, 공간 리모컨을 이용한 디스플레이장치 및 그의 제어방법 |
| JP4818454B1 (ja) | 2010-08-27 | 2011-11-16 | 株式会社東芝 | 表示装置、及び表示方法 |
| KR101286358B1 (ko) * | 2011-08-11 | 2013-07-15 | 엘지전자 주식회사 | 영상표시방법 및 장치 |
| US20130311566A1 (en) * | 2012-05-18 | 2013-11-21 | Andrew Milburn | Method and apparatus for creating rule-based interaction of portable client devices at a live event |
| US9268424B2 (en) * | 2012-07-18 | 2016-02-23 | Sony Corporation | Mobile client device, operation method, recording medium, and operation system |
| KR102080146B1 (ko) * | 2012-09-10 | 2020-02-24 | 삼성전자 주식회사 | 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치 |
| GB201300031D0 (en) * | 2013-01-02 | 2013-02-13 | Canonical Ltd | Ubuntu UX innovations |
| KR101801554B1 (ko) * | 2013-07-11 | 2017-11-27 | 삼성전자주식회사 | 컨텐츠를 표시하는 사용자 단말 장치 및 그 방법 |
| US20150033140A1 (en) * | 2013-07-23 | 2015-01-29 | Salesforce.Com, Inc. | Providing active screen sharing links in an information networking environment |
| KR102202899B1 (ko) * | 2013-09-02 | 2021-01-14 | 삼성전자 주식회사 | 복수의 어플리케이션 제공 방법 및 장치 |
| JP2017083973A (ja) | 2015-10-23 | 2017-05-18 | 富士通株式会社 | 表示端末装置、表示制御方法および表示制御プログラム |
| KR20170132404A (ko) * | 2016-05-24 | 2017-12-04 | 삼성전자주식회사 | 화면 제어 방법 및 이를 지원하는 전자 장치 |
| KR102519578B1 (ko) * | 2016-07-05 | 2023-04-07 | 삼성전자주식회사 | 전자 장치의 화면 표시 방법 및 그 장치 |
| KR102580327B1 (ko) * | 2016-09-09 | 2023-09-19 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
-
2018
- 2018-03-23 KR KR1020180033858A patent/KR102604570B1/ko active IP Right Grant
-
2019
- 2019-03-22 EP EP19771947.9A patent/EP3740857A4/en active Pending
- 2019-03-22 US US16/361,845 patent/US11017739B2/en active Active
- 2019-03-22 WO PCT/KR2019/003366 patent/WO2019182403A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130111371A1 (en) * | 2011-09-27 | 2013-05-02 | Z124 | Unified desktop independent focus in an application manager |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3740857A4 (en) | 2021-03-17 |
| WO2019182403A1 (en) | 2019-09-26 |
| US11017739B2 (en) | 2021-05-25 |
| US20190295498A1 (en) | 2019-09-26 |
| EP3740857A1 (en) | 2020-11-25 |
| KR20190111557A (ko) | 2019-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102604570B1 (ko) | 사용자 입력 지원 방법 및 이를 지원하는 전자 장치 | |
| US11449119B2 (en) | Method for displaying content in expandable screen area and electronic device supporting the same | |
| US10289376B2 (en) | Method for displaying virtual object in plural electronic devices and electronic device supporting the method | |
| KR102478259B1 (ko) | 스위치를 갖는 디스플레이를 포함하는 전자장치 | |
| KR102303420B1 (ko) | 전자 장치 및 전자 장치의 윈도우 관리 방법 | |
| US20210279713A1 (en) | Electronic device for displaying information and method thereof | |
| KR102241291B1 (ko) | 전자 장치 및 그 동작 방법 | |
| EP3447621A1 (en) | Electronic device and method for operating applications | |
| US11353968B2 (en) | Electronic device and control method for providing display coordinates on an external display device | |
| KR102301386B1 (ko) | 외부 장치와 무선으로 통신하는 방법 및 이를 지원하는 전자 장치 | |
| CN105610471B (zh) | 无线数据输入和输出方法和设备 | |
| CN111758097A (zh) | 电子设备及其指纹认证界面方法 | |
| KR102446600B1 (ko) | 차량 식별 정보에 기반하여 결정된 그래픽 사용자 인터페이스를 차량으로 전송하는 방법 및 이를 지원하는 전자 장치 | |
| KR102264220B1 (ko) | 전자 장치 및 전자 장치의 디스플레이 방법 | |
| KR102370678B1 (ko) | 전자 장치의 터치 센싱 모듈 제어 방법 및 전자 장치, 전자 장치에 구비된 터치 센싱 모듈의 동작 방법 및 터치 센싱 모듈 | |
| US11249578B2 (en) | Electronic device and method for changing condition for determining touch input to be pressure input | |
| KR102365678B1 (ko) | 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치 | |
| US20170344111A1 (en) | Eye gaze calibration method and electronic device therefor | |
| US10853024B2 (en) | Method for providing information mapped between a plurality of inputs and electronic device for supporting the same | |
| KR102525108B1 (ko) | 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치 | |
| CN113396378A (zh) | 针对用于二维和三维环境的多用途输入装置的系统和方法 | |
| KR20160116959A (ko) | 사용자 인터페이스를 제공하는 방법 및 이를 위한 전자 장치 | |
| US20170269827A1 (en) | Electronic device and method for controlling the same | |
| US20190265991A1 (en) | Method for interworking between host application and assistant application and electronic device supporting the same | |
| KR20200106483A (ko) | 화면 구성 방법, 전자 장치 및 저장 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |