KR20180110452A - 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치 - Google Patents

외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20180110452A
KR20180110452A KR1020170040004A KR20170040004A KR20180110452A KR 20180110452 A KR20180110452 A KR 20180110452A KR 1020170040004 A KR1020170040004 A KR 1020170040004A KR 20170040004 A KR20170040004 A KR 20170040004A KR 20180110452 A KR20180110452 A KR 20180110452A
Authority
KR
South Korea
Prior art keywords
display
processor
electronic device
external
pointing device
Prior art date
Application number
KR1020170040004A
Other languages
English (en)
Other versions
KR102365678B1 (ko
Inventor
이정표
선영규
송가진
장동호
변형섭
전용준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020170040004A priority Critical patent/KR102365678B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to ES18164258T priority patent/ES2958582T3/es
Priority to EP23176451.5A priority patent/EP4231130A3/en
Priority to EP23176463.0A priority patent/EP4235414A3/en
Priority to EP18164258.8A priority patent/EP3382524B1/en
Priority to US15/938,067 priority patent/US11119601B2/en
Priority to CN201810276097.7A priority patent/CN108694032B/zh
Priority to CN202311240629.9A priority patent/CN117289886A/zh
Priority to CN202311234792.4A priority patent/CN117289885A/zh
Publication of KR20180110452A publication Critical patent/KR20180110452A/ko
Priority to US17/382,464 priority patent/US11747933B2/en
Priority to US17/382,480 priority patent/US11669190B2/en
Application granted granted Critical
Publication of KR102365678B1 publication Critical patent/KR102365678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Abstract

본 발명의 다양한 실시 예에 따른 전자 장치는, 터치 입력이 가능한 디스플레이, 통신 회로, 적어도 하나의 프로세서, 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가 상기 전자 장치가 상기 통신 회로를 통해 외부 디스플레이 장치와 통신 중인지를 감지하고, 통신 중인 경우, 상기 외부 디스플레이 장치 상에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 상기 통신 회로를 통해 상기 외부 디스플레이 장치에 전송하고, 상기 통신 회로를 통해 상기 전자 장치가 외부 포인팅 장치와 연결되지 않은 것을 감지하고, 상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하도록 하는 인스트럭션들을 저장할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치{Method for Outputting the Screen using the External Device and the Electronic Device supporting the same}
본 문서의 다양한 실시 예는 외부의 디스플레이 장치에 화면을 출력하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
스마트폰, 태블릿 PC 및 웨어러블 디바이스 등의 모바일 전자 장치의 사용이 증가하고 있다. 상기 전자 장치는 통화, 무선 통신, 동영상 재생, 또는, 웹 검색 등 다양한 기능을 수행할 수 있다. 상기 전자 장치는 독립적으로 사용될 수도 있고, 외부 디스플레이 장치(예: 모니터, 또는 TV 등)에 연결되어 사용될 수도 있다. 예를 들어, 상기 전자 장치는 모니터 또는 TV 등에 유선 또는 무선으로 연결되어, 외부 디스플레이 장치에 전자 장치의 컨텐츠(예: 이미지, 또는 텍스트 등)를 출력할 수 있다.
모바일 전자 장치의 사용 환경 또는 운영 체제는 데스크탑 또는 랩탑 PC에서의 운영 체제와 상이할 수 있다. 모바일 전자 장치의 디스플레이의 크기는 상대적으로 작을 수 있고, 작은 디스플레이에 적합한 형태로 컨텐츠가 출력될 수 있다. 반면, 데스크탑 또는 랩탑 PC과 같은 장치의 디스플레이의 크기는 상대적으로 클 수 있고, 다량의 컨텐츠를 일시에 사용자에게 제공할 수 있다.
모바일 전자 장치의 컨텐츠를 TV, 또는 모니터 등의 외부 디스플레이 장치에 연결하여 출력하는 경우, 미러링 방식에 의해 컨텐츠가 출력될 수 있다. 또한, 최근에는 모바일 전자 장치의 화면과 다른 별개로 재구성된 화면을 제공하여 사용자의 편리성을 증가시키는 다양한 시도들이 있다.
사용자는 외부 마우스 또는 외부 키보드 등을 이용하여, 사용자 입력 방식을 확장할 수 있다. 외부 마우스 또는 외부 키보드 등의 외부 입력 장치가 구비되지 않은 경우, 사용자는 모바일 전자 장치의 터치 조작을 통해 어플리케이션을 실행하거나, 아이콘을 선택해야 하는 불편함이 존재할 수 있다.
본 문서에서 개시되는 다양한 실시 예들은, 외부 포인팅 장치의 연결 여부를 감지하고, 터치 디스플레이의 적어도 일부를 터치 패드로 동작시키는 전자 장치 및 화면 출력 방법을 제공할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 제1 면 및 상기 제1면과 반대 방향을 향하는 제2 면을 포함하는 하우징, 상기 제1 면의 적어도 일부를 통해 노출되고, 터치 입력이 가능한 디스플레이, 상기 하우징의 내부에 배치되는 적어도 하나의 유선 또는 무선 통신 회로, 상기 하우징의 내부에 배치되고, 상기 디스플레이 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서, 상기 하우징의 내부에 배치되고, 상기 적어도 하나의 프로세서와 전기적으로 연결되는 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가 상기 전자 장치가 상기 통신 회로를 통해 외부 디스플레이 장치와 통신 중인지를 감지하고, 통신 중인 경우, 상기 외부 디스플레이 장치 상에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 상기 통신 회로를 통해 상기 외부 디스플레이 장치에 전송하고, 상기 통신 회로를 통해 상기 전자 장치가 외부 포인팅 장치와 연결되지 않은 것을 감지하고, 상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하도록 하는 인스트럭션들을 저장할 수 있다
본 발명의 다양한 실시 예에 따른 전자 장치 및 화면 출력 방법은 모바일 전자 장치를 PC, 모니터, 또는 TV로 연결하여 사용할 경우, 전자 장치에 연결된 주변 장치(예: 마우스, 키보드)의 상태 및 어플 실행 상태에 따라 전자 장치의 디스플레이의 일부를 입력장치로 동작 시킬 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치 및 화면 출력 방법은 전자 장치의 디스플레이의 일부를 입력장치로 제공하고, 다른 일부를 통해 사용자 인터페이스(user interface)의 출력을 제공할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치의 동작 환경을 나타낸다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시 예에 따른 화면 출력 방법에 관한 순서도이다.
도 4는 다양한 실시 예에 따른 전자 장치의 화면 출력을 나타내는 예시도이다.
도 5는 다양한 실시 예에 따른 디스플레이가 터치 패드로 동작하는 중 터치 패드 동작의 온/오프를 나타내는 순서도이다.
도 6은 다양한 실시 예에 따른 가로 방향 모드에서 터치 패드의 설정을 나타내는 신호 흐름도이다.
도 7은 다양한 실시 예에 따른 세로 방향 모드에서 터치 패드의 설정을 나타내는 신호 흐름도이다.
도 8은 다양한 실시 예에 따른 분할 출력 모드의 화면 예시도이다.
도 9는 다양한 실시 예에 따른 분할 출력 모드에서 터치 패드의 설정을 나타내는 신호 흐름도이다.
도 10은 다양한 실시 예에 따른 분할 출력 모드에서 제2 사용자 인터페이스의 예시도이다.
도 11은 다양한 실시 예에 따른 분할 출력 모드의 영상 출력을 설명하는 구성도이다.
도 12는 다양한 실시 예에 따른 터치 컨트롤러를 나타낸다.
도 13는 다양한 실시 예에 따른 전자 장치의 블록도이다.
도 14는 다양한 실시 예에 따른 프로그램 모듈의 블록도를 나타낸다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자 장치(101(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치의 동작 환경을 나타낸다.
도 1을 참조하면, 전자 장치(110)는 중개 장치(120) 및 외부 디스플레이 장치(130)와 연결될 수 있다. 전자 장치(110)는 디스플레이(111)의 크기가 상대적으로 작은 모바일 장치일 수 있다. 전자 장치(110)는, 예를 들어, 스마트폰, 태블릿 PC 또는 웨어러블 장치 등과 같은 장치일 수 있다.
다양한 실시 예에 따르면, 전자 장치(110)의 디스플레이(111)는 내부에 터치 패널(또는 터치 센서)을 포함할 수 있다. 디스플레이(111)는 사용자의 터치 입력을 수신할 수 있다. 디스플레이(111)를 통해 감지된 사용자의 터치 입력은 전기적 신호로 변환되어, 전자 장치(110) 내부의 프로세서에 전달될 수 있다. 다양한 실시 예에 따르면, 전자 장치(110)의 디스플레이(111)는 내부에 압력 센서를 포함할 수 있다. 상기 압력 센서는 사용자가 디스플레이(111)를 누르는 세기를 감지할 수 있다. 압력 센서는 사용자의 입력을 압력의 세기에 따라 전기적 신호로 변환하여, 전자 장치(110) 내부의 프로세서에 전달될 수 있다.
다양한 실시 예에 따르면, 디스플레이(111)는 지정된 조건(예: 외부 디스플레이 장치(130)의 연결 여부 또는 외부 포인팅 장치(140)이 연결 여부 등)에 따라 적어도 일부가 입력 장치(예: 터치 패드)로 동작할 수 있다. 예를 들어, 디스플레이(111)가 터치 패드로 동작하는 경우, 사용자의 터치 입력은 외부 디스플레이 장치(130)의 화면에 출력되는 마우스 포인터 또는 커서의 이동 또는 클릭 동작에 반영될 수 있다. 디스플레이(111)가 터치 패드로 동작하는 것에 관한 추가 정보는 도 2 내지 도 12를 통해 제공될 수 있다.
다양한 실시 예에 따르면, 전자 장치(110)는 제1 표면(디스플레이(111)가 노출되는 면) 및 상기 제1 표면과 반대 방향을 향하는 제2 표면을 포함하는 외부 하우징으로 둘러싸인 형태일 수 있다. 외부 하우징은 물리 버튼, 센서, 카메라 등을 장착할 수 있다.
중개 장치(120)는 전자 장치(110)와 외부 디스플레이 장치(130)를 연결하는 장치일 수 있다. 중개 장치(120)는, 예를 들어, 도크(dock)(또는 도킹 스테이션)일 수 있다. 중개 장치(120)는 전자 장치(110)를 안착하기 위한 거치부를 포함할 수 있다. 도 1에서는 전자 장치(110)가 중개 장치(120)에 세로 방향 출력 모드(portrait 모드)으로 거치되는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(110)는 중개 장치(120)에 가로 방향 출력 모드(landscape 모드)로 거치될 수도 있다. 중개 장치(120)는, 예를 들어, USB 포트 등과 같은 입출력 인터페이스를 통해 전자 장치(110)와 연결될 수 있다.
중개 장치(120)는 별도의 케이블(예: HDMI 케이블 등)을 통해 외부 디스플레이 장치(130)와 연결될 수 있다. 예를 들어, 중개 장치(120)는 전자 장치(110)에서 전송하는 화면 출력을 위한 전기적 신호를 외부 디스플레이 장치(130)에 전송할 수 있다.
다양한 실시 예에 따르면, 중개 장치(120)는 외부 입력 장치(예: 포인팅 장치(140), 키보드 장치(150) 등)과 유선 연결을 위한 포트를 포함할 수 있다. 포트에 외부 입력 장치가 연결된 경우, 외부 입력 장치와의 연결 정보는 전자 장치(110)에 제공될 수 있다.
도 1에서는 전자 장치(110)가 중개 장치(120)를 통해 외부 디스플레이 장치(130)와 연결되는 경우를 예시적으로 도시하였으나, 이에 한정되는 것을 아니다. 예를 들어, 전자 장치(110)는 별도의 케이블 등을 통해 외부 디스플레이 장치(130)와 직접 연결될 수도 있고, 무선으로 외부 디스플레이 장치(130)와 연결될 수도 있다.
외부 디스플레이 장치(130)는 전자 장치(110)에서 제공되는 컨텐츠를 출력하는 장치(예: 모니터, TV)일 수 있다. 외부 디스플레이 장치(130)는 전자 장치(110)의 디스플레이(111)와 동일한 화면을 출력(예: 미러링)하거나, 디스플레이(111)와 적어도 일부가 다른 화면을 출력할 수 있다.
외부 디스플레이 장치(130)는 중개 장치(120)를 통해 전자 장치(110)에 연결될 수 있다. 또는 외부 디스플레이 장치(130)는 전자 장치(110)와 별도의 케이블(예: 미니 HDMI 케이블)을 통해 직접 연결될 수도 있다.
다양한 실시 예에 따르면, 외부 디스플레이 장치(130)는 디스플레이 출력을 위한 구성(예: 전원 모듈, AD 보드, 디스플레이 패널, 또는 DDI 등)을 포함하고, 별도의 연산을 위한 프로세서(예: AP, CPU)를 포함하지 않을 수 있다.
다양한 실시 예에 따르면, 전자 장치(110)는 외부 디스플레이 장치(130)와 연결되면(또는 통신 가능 상태가 되면), 외부 디스플레이 장치(130)를 통해 컨텐츠(예: 이미지, 텍스트, 또는 아이콘 등)를 출력할 수 있다. 전자 장치(110)는 디스플레이(111)에 표시되는 컨텐츠의 적어도 일부를 재구성할 수 있고, 재구성된 화면(이하, 제1 사용자 인터페이스)을 외부 디스플레이 장치(130)를 통해 출력할 수 있다. 예를 들어, 전자 장치(110)는 데스크탑 PC를 이용하는 것과 유사한 제1 사용자 인터페이스를 외부 디스플레이 장치(130)의 디스플레이(131)을 통해 출력할 수 있다(이하, 데스크 탑 모드).
제1 사용자 인터페이스는 전자 장치(110)의 디스플레이(111)에 출력되는 사용자 인터페이스(이하, 모바일 사용자 인터페이스)와 적어도 일부가 다를 수 있다. 예를 들어, 전자 장치(110)에서 복수의 어플리케이션들이 실행 중인 경우, 모바일 사용자 인터페이스는 복수의 어플리케이션들에 의해 출력되는 윈도우들이 제한적으로 출력될 수 있다. 예를 들어, 일부 어플리케이션의 화면만 제공되거나, 실행중인 어플리케이션들을 확인하기 위해서는 화면 전환(또는 태스크(task) 전환)이 필요할 수 있다. 반면, 제1 사용자 인터페이스는 복수의 어플리케이션들이 서로 중첩되지 않거나, 일부가 중첩되는 형태(예: 윈도우(135) 및 윈도우(136))로 출력될 수 있다.
전자 장치(110)는 외부 포인팅 장치(예: 마우스, 또는 터치 패드 등)(140) 또는 외부 키보드 장치(예: 키보드)(150) 등과 같은 외부 입력 장치와 유선 또는 무선으로 연결될 수 있다. 전자 장치(110)는 외부 포인팅 장치(140) 또는 외부 키보드 장치(150)를 통해 사용자 입력을 수신할 수 있다. 사용자는 외부 포인팅 장치(140) 또는 외부 키보드 장치(150)를 이용하여 전자 장치(110) 또는 외부 디스플레이 장치(130)를 통해 출력되는 컨텐츠를 제어할 수 있다.
다양한 실시 예에 따르면, 전자 장치(110)가 외부 디스플레이 장치(130)와 연결된 경우, 외부 포인팅 장치(140) 또는 외부 키보드 장치(150)를 이용하여 발생되는 사용자 입력은 제1 사용자 인터페이스에 반영될 수 있다. 예를 들어, 사용자의 입력에 대응하여, 제1 사용자 인터페이스의 마우스 포인터 또는 커서가 이동하거나 텍스트가 출력될 수 있다.
다양한 실시 예에 따르면, 전자 장치(110)는 외부 디스플레이 장치(130)를 통해 제1 사용자 인터페이스를 출력하는 상태에서, 외부 포인팅 장치(140)를 인식하지 못하는 경우(예: 외부 포인팅 장치(140)가 없는 경우, 외부 포인팅 장치(140)가 통신 거리를 이탈하는 경우, 또는 외부 포인팅 장치(140)의 전원이 꺼진 경우 등), 디스플레이(111)의 적어도 일부를 입력 장치(예: 터치 패드)로 동작시킬 수 있다. 예를 들어, 디스플레이(111)에 사용자의 터치 입력 또는 압력을 통한 입력이 발생하는 경우, 외부 디스플레이 장치(130)에 표시되는 마우스 포인터 또는 커서가 이동되거나 클릭/더블 클릭 등의 동작이 수행될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도이다.
도 2를 참조하면, 전자 장치(110)는 프로세서(220), 통신 회로(225), 메모리(230), 터치 센서(250), 터치 컨트롤러(255), 디스플레이 구동 회로(260), 디스플레이(270)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(110)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
프로세서(220)는 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(220)는, 예를 들면, 전자 장치(110)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예에서, 프로세서(220)는 지정된 조건(예: 외부 디스플레이 장치(130)의 연결 여부 또는 외부 포인팅 장치(140)이 연결 여부 등)에 따라 디스플레이 패널(270)의 적어도 일부를 터치 패드로 동작시킬 수 있다.
통신 회로(225)는 전자 장치(110)와 외부 장치(예: 도 1의 중개 장치(120), 외부 포인팅 장치(140), 또는 외부 키보드 장치(150) 등) 간의 통신을 수행할 수 있다. 통신 회로(225)는, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 와이파이 다이렉트(WiFi direct), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나의 근거리 무선 통신을 지원할 수 있다.
메모리(230)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)는, 예를 들면, 전자 장치(110)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(230)는 소프트웨어 및/또는 프로그램(240)을 저장할 수 있다.
프로그램(240)은, 예를 들면, 커널(241), 프레임워크(243), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(247) 등을 포함할 수 있다. 커널(241), 또는 프레임워크(243)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다.
커널(241)은, 예를 들면, 다른 프로그램들(예: 프레임워크(243), 또는 어플리케이션 프로그램(247))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들을 제어 또는 관리할 수 있다. 또한, 커널(241)은 프레임워크(243), 또는 어플리케이션 프로그램(247)에서 전자 장치(110)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
다양한 실시 예에 따르면, 커널(241)은 입력 장치 드라이버(280)을 포함할 수 있다. 입력 장치 드라이버(280)는 전자 장치(110)에 연결될 수 있는 다양한 입력 장치(예: 외부 포인팅 장치(140), 외부 키보드 장치(150), 외부 터치 스크린(151), 또는 외부 트랙볼(152) 등)과의 인터페이스를 수행할 수 있다. 입력 장치 드라이버(280)는 입력 장치들을 종류에 따라 관리할 수 있다. 입력 장치 드라이버(280)는 각각의 입력 장치에 대응하는 드라이버를 포함할 수 있다.
다양한 실시 예에 따르면, 입력 장치 드라이버(280)는 터치 센서(250)에 발생하는 터치 입력을 처리하기 위한 터치 패드 드라이버(281) 및 터치 스크린 드라이버(282)를 포함할 수 있다.
터치 패드 드라이버(281)는 터치 센서(250)가 터치 패드로 동작하는 경우의 인터페이스를 수행할 수 있다. 터치 패드 드라이버(281)는 터치 컨트롤러(255)에서 전달되는 사용자의 터치 입력에 대응하는 전기적 신호를 외부 디스플레이 장치(130)에서 출력될 제1 사용자 인터페이스에서 적용되도록 처리할 수 있다.
터치 스크린 드라이버(282)는 터치 센서(250)가 터치 스크린으로 동작하는 경우의 인터페이스를 수행할 수 있다. 터치 스크린 드라이버(282)는 터치 컨트롤러(255)에서 전달되는 사용자의 터치 입력에 대한 전기적 신호를 전자 장치(110)의 모바일 사용자 인터페이스에서 적용되도록 처리할 수 있다.
다양한 실시 예에 따르면, 외부 디스플레이 장치(130)와의 연결 방식, 외부 포인팅 장치(140)와의 연결 여부, 또는 전자 장치(110)의 출력 방향(예: landscape 방식 또는 portrait 방식) 등에 따라, 터치 패드 드라이버(281) 및 터치 스크린 드라이버(282)는 동시에 실행되거나 어느 하나가 실행될 수 있다. 터치 패드 드라이버(281) 및 터치 스크린 드라이버(282)의 실행 방식에 관한 추가 정보는 별도 도면을 통해 제공될 수 있다.
프레임워크(243)는, 예를 들면, 어플리케이션 프로그램(247)이 커널(241)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 프레임워크(243)는 어플리케이션 프로그램(247)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 프레임워크(243)는 어플리케이션 프로그램(247) 중 적어도 하나에 전자 장치(110)의 시스템 리소스를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다.
다양한 실시 예에 따르면, 프레임워크(243)는 가상 장치 매니저(291), 윈도우 매니저(292), 및 인풋 매니저(293)를 포함할 수 있다.
가상 장치 매니저(291)는 데스크탑 모드 서비스(294)에서 제공되는 외부 디스플레이 장치(130) 또는 중개 장치(120)와의 연결 정보를 기반으로 제1 사용자 인터페이스를 생성하도록 윈도우 매니저(292)에 요청할 수 있다.
윈도우 매니저(292)는 어플리케이션의 액티비티 생성 시, 액티비티의 윈도우를 등록할 수 있다. 윈도우 매니저(292)는 등록된 어플리케이션의 윈도우에 이벤트를 전달할 수 있다. 윈도우 매니저(292)는 현재 액티비티에 다시 이벤트를 전달하며, 이를 다시 뷰(view)로 전달하는 과정으로 처리할 수 있다. 예를 들어, 윈도우 매니저(292)는 제1 사용자 인터페이스에서 출력되는 윈도우의 상단 헤더에 뒤로 가기(back), 최소화(minimize), 최대화(maximize) 및 또는 닫기(close) 등과 같은 기능을 제공하기 위한 아이콘을 표시할 수도 있다.
인풋 매니저(293)는 이벤트 허브(293a), 인풋 리더(293b), 인풋 디스패처(293c)를 포함할 수 있다. 이벤트 허브(293a)는 디바이스 open, close, 또는 read 등의 작업을 담당할 수 있다. 이벤트 허브(293a)는 디바이스 드라이버의 장치를 검색하고, 이들 장치를 열어서 핸들을 관리(이벤트를 읽음)한 후, 이벤트 큐에 이벤트를 쌓을 수 있다. 인풋 리더(293b)는 해당 메소드(method)들을 호출할 수 있다. 인풋 디스패처(293c)는 이벤트큐에서 이벤트를 꺼내어 윈도우 매니저(292)의 디스패치 메소드를 호출할 수 있다.
어플리케이션 프로그램(또는 "어플리케이션")(247)은 데스크탑 모드 서비스(294)을 포함할 수 있다. 데스크탑 모드 서비스(294)는 데스크탑 모드를 실행하기 위한 사용자 인터페이스를 출력할 수 있다. 데스크탑 모드 서비스(294)는 외부 디스플레이 장치(130) 또는 중개 장치(120)와의 연결 정보를 수집하고, 가상 장치 매니저(292)에 전달할 수 있다.
터치 센서(250)는 사용자의 터치 입력을 감지할 수 있다. 터치 센서(250)는 사용자로부터의 터치에 의해 지정된 물리량(예: 전압, 광량, 저항, 전하량, 또는 커패시턴스 등)이 변화할 수 있다. 일 실시 예에서, 터치 센서(250)는 디스플레이 패널(270)의 내부에 포함되거나, 디스플레이 패널(270)과 일체로 구현될 수 있다.
터치 컨트롤러(255)는 터치센서(250)와 전기적으로 연결되고, 터치 센서(250)에서의 물리량의 변화를 감지할 수 있다. 터치 컨트롤러(255)는 드라이버 회로, 센서 회로, 컨트롤 로직, 오실레이터, 지연 테이블, 아날로그-디지털 변환기(analog-digital converter) 또는 MCU 중 적어도 일부를 포함할 수 있다. 터치 컨트롤러(255)는 터치 센서(250)에서의 물리량(예: 전압, 저항, 커패시턴스 등)의 변화에 기반하여 터치에 관한 데이터(예: 터치가 이루어진 위치의 좌표 데이터(X,Y) 등)를 산출할 수 있다.
다양한 실시 예에 따르면, 터치 컨트롤러(255)는 사용자의 터치 입력 또는 압력을 통한 입력에 따른 데이터(예: 터치가 이루어진 위치의 좌표 데이터(X,Y), 또는 압력의 세기에 관한 데이터 등)를 커널(241)에 제공할 수 있다.
디스플레이 구동 회로(display driving circuit; DDI)(260)는 디스플레이 패널(270)과 전기적으로 연결되고, 프로세서(220)로부터 수신한 영상 데이터에 대응하는 영상 신호를 디스플레이 패널(270)에 공급할 수 있다. 디스플레이 구동 회로(260)의 동작에 관한 추가 정보는 도 11을 통해 제공될 수 있다.
디스플레이 패널(270)은 디스플레이 구동 회로(260)로부터 공급받은 영상 신호를 기반으로 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)를 출력할 수 있다. 디스플레이 패널(270)은 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다.
다양한 실시 예에 따르면, 디스플레이 패널(270)은 터치 센서(250)을 포함하는 형태일 수 있고, 사용자의 신체 또는 터치 펜의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 디스플레이 패널(270)이 터치 센서(250)을 포함하는 경우, 디스플레이 패널(270)은 지정된 조건에 따라 적어도 일부가 터치 패드로 이용될 수 있다.
도 3a는 다양한 실시 예에 따른 중개 장치를 나타낸다. 다양한 실시 예에 따른 중개 장치는 도 1의 중개 장치(120)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
중개 장치(120)는, 하우징(301)에 전자 장치(예: 도 1 또는 도 2의 전자 장치(110))를 거치할 수 있으며, 거치된 전자 장치를 다른 부가 장치(예: 외부 디스플레이 장치(130)) 또는 네트워크와 연결할 수 있다. 예를 들어, 상기 중개 장치(120)는, 전원 커넥터를 포함함으로써 거치된 전자 장치로 전원을 공급하거나, HDMI(high definition multimedia interface) 커넥터를 포함함으로써 모니터, 또는 TV 등의 영상 가전과 연결하거나, LAN 커넥터를 포함함으로써 유선 네트워크와의 연결을 가능하게 하거나, USB(universal serial bus) 커넥터를 포함함으로써 각종 입출력 장치나 저장 장치 등과의 접속을 제공할 수 있다.
상기와 같은 하우징(301)은 외부 전자 장치와의 접속을 위한 수 커넥터, 예컨대, 제1 접속 부재와 다른 부가 장치나 입출력 장치 등의 접속을 위한 복수의 암 커넥터, 예컨대, 제2 접속 부재를 포함할 수 있으며, 인쇄회로 기판을 통해 제1 접속 부재는 제2 접속 부재들 각각에 연결될 수 있다.
다양한 실시 예에 따르면, 하우징(301)은 제1 면(F1), 상기 제1 면(F1)과 반대 방향을 향하는 제2 면(F2)과, 상기 제1 면(F1)과 상기 제2 면(F2) 사이의 공간을 적어도 부분적으로 감싸는 측면(F3)을 포함할 수 있다. 본 발명의 구체적인 실시 예에서, 상기 하우징(301)은 대체로, 원통(cylinder) 또는 원뿔대(circular truncated cone) 형상으로 도시되고 있지만, 본 발명이 이에 한정될 필요는 없다. 예를 들어, 상기 하우징(301)의 상기 제1 면(F1) 또는 상기 제2 면(F2)은 다각형 형상을 가질 수 있다. 상기 측면(F3)은 볼록한 형상을 가진 예가 도시되고 있지만, 평면 또는 오목한 형상을 가질 수 있다.
다양한 실시예에 따르면, 상기 하우징(301)의 외측면, 예를 들어, 상기 측면(F3)에는 적어도 하나의 접속 홀(315a, 315b, 315c, 315d)이 제공될 수 있다. 상기 접속 홀(315a, 315b, 315c, 315d)은, 예를 들면, 전원 커넥터, HDMI 커넥터, LAN 커넥터, USB 커넥터 등으로 제공될 수 있으며, 각각에 대응하는 제2 접속 부재들이 상기 하우징(301)의 내부에 배치될 수 있다.
한 실시예에서, 거치 홈(311a)은, 예를 들면, 전자 장치(예: 도 1의 전자 장치(110))가 탈착되는 공간을 제공하기 위한 것으로서, 상기 전자 장치의 일부를 수용할 수 있는 크기와 형상을 가질 수 있다. 예컨대, 전자 장치는 상기 거치 홈(311a)에 장착됨으로써 상기 하우징(301)에 거치될 수 있다. 어떤 실시 예에서, 상기 거치 홈(311a)에는 전자 장치와 접속되는 수 커넥터, 예컨대, 접속 부재가 제공될 수 있다. 상기 접속 부재(317e)는 예를 들면, USB type C 규격에 따른 커넥터로서, 상기 하우징(301)에 내장된 인쇄회로 기판을 통해 다른 접속 부재(들)와 연결될 수 있다. 예컨대, 상기 하우징은(301), 상기 거치 홈(311a)에 거치된 전자 장치를 외부 전원이나 네트워크(예: LAN 등의 유선 네트워크)와 연결하거나, 키보드, 마우스 등의 입출력 장치, 외부 저장 장치 등과 연결할 수 있다.
다양한 실시예에 따르면, 상기 중개 장치(120)는 슬라이드 하우징(302)을 더 포함할 수 있다. 상기 슬라이드 하우징(302)은, 슬라이드 이동 가능하게 장착되어, 상기 거치 홈(311a)을 개폐할 수 있고 상기 거치 홈(311a)에 배치된 접속 부재가 개방될 수 있다. 예컨대, 상기 슬라이드 하우징(302)이 경사지게 위치된 상태에서 상기 하우징(301)(예: 상기 거치 홈(311a))에 전자 장치가 거치될 수 있다. 다른 실시 예에서, 상기 슬라이드 하우징(302)은 상기 하우징(301)에 거치된 전자 장치의 일면을 지지하도록 배치될 수 있다.
다양한 실시 예에 따르면, 상기 슬라이드 하우징(302)은 곡면 케이스(302a)와 평판 케이스(302b)를 포함할 수 있다. 상기 평판 케이스(302b)는 상기 곡면 케이스(302a)와 결합할 수 있으며, 상기 슬라이드 하우징(302)의 슬라이드 이동에 따라 상기 제1 면(F1)에 위치하거나 상기 제1 면(F1)(또는 상기 제2 면(F2))에 대하여 경사지게 위치될 수 있다. 한 실시 예에 따르면, 상기 거치 홈(311a) 내에 배치된 접속 부재의 정렬 방향은 상기 개방 위치에서 상기 평면 케이스(302b)(예: 외측면)가 바라보는 방향과 실질적으로 수직을 이룰 수 있다.
다양한 실시 예에 따르면, 상기 슬라이드 하우징(302)에는 다양한 전기 부품(들)이 탑재될 수 있다. 예를 들어, 상기 슬라이드 하우징(302)에는 냉각 팬, 루프 안테나 등이 탑재될 수 있다. 한 실시 예에서, 상기 냉각 팬은 거치된 전자 장치의 발열을 억제, 완화할 수 있으며, 상기 루프 안테나는 상기 중개 장치(120)와 거치된 전자 장치 사이의 통신을 수립할 수 있다. 어떤 실시 예에서 상기 루프 안테나는 무선 전력 송신에 활용될 수 있으며, 거치된 전자 장치에 무선 충전 기능이 탑재되어 있다면 상기 루프 안테나를 통해 충전 전력 등을 제공받을 수 있다. 한 실시 예에 따르면, 상기와 같은 무선 충전 기능은 상기 슬라이드 하우징(302)이 상기 홈부(311a)를 폐쇄한 상태에서도 제공될 수 있다. 예컨대, 상기 폐쇄 위치에서도 무선 충전 기능이 탑재된 전자 장치가 상기 제1 면(F1) 또는 상기 슬라이드 하우징(302) 상에 놓여지면, 상기 루프 안테나는 무선으로 전력을 송신할 수 있다. 다른 실시 예에서, 상기 슬라이드 하우징(302)에는 스피커(미도시)가 탑재될 수 있으며, 상기 거치 홈(311a)에 제공된 접속 부재 또는 상기 루프 안테나 등을 통해 전자 장치로부터 음향 신호를 제공받을 수 있다. 예컨대, 상기 거치 홈(311a)에 제공된 접속 부재를 통해 유선 방식으로 또는 상기 루프 안테나를 통한 블루투스 통신 방식으로 스피커가 전자 장치로부터 음향 신호를 제공받을 수 있다. 어떤 실시 예에서, 상기 슬라이드 하우징(302) 내에 냉각 팬, 스피커 등이 탑재된다면, 공기의 흐름이나 음향의 출력을 위한 벤트 홀(329)들이 제공될 수 있다. 예를 들어, 상기 곡면 케이스(302a) 및/또는 상기 평면 케이스(302b)에는 다수의 관통 홀들이 형성되어 공기의 흐름 또는 음향의 출력을 원활하게 할 수 있다.
다양한 실시예에 따르면, 상기 슬라이드 하우징(302)에 탑재된 전기 부품(들)은 상기 하우징(301)에 내장된 인쇄회로 기판과 전기적으로 연결될 수 있다.
도 3b는 다양한 실시 예에 따른 전자 장치에서 화면 출력 방법에 관한 순서도이다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 3b를 참조하면, 동작 351에서, 프로세서(220)는 전자 장치(110)가 통신 회로(225)를 통해 외부 디스플레이 장치(130)와 유선 또는 무선 통신을 이용하여 연결되어 있는지를 감지할 수 있다. 유선 통신의 경우, 전자 장치(110)는 중개 장치(120)을 통해 외부 디스플레이 장치(130)에 연결되거나, 별도의 중간 장치 없이 케이블을 통해 직접 외부 디스플레이 장치(130)에 연결될 수 있다.
동작 352에서, 전자 장치(110)가 외부 디스플레이 장치(130)와 연결된 경우, 프로세서(220)는 통신 회로(225)를 통해 외부 디스플레이 장치(130)의 디스플레이(131)에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 외부 디스플레이 장치(130)에 전송할 수 있다.
일 실시 예에 따르면, 제1 사용자 인터페이스는 전자 장치(110)의 디스플레이(111)를 통해 출력되는 모바일 사용자 인터페이스를 재구성한 형태일 수 있다. 이에 따라, 전자 장치(110)에서 출력되는 모바일 사용자 인터페이스는 외부 디스플레이 장치(130)에서 출력되는 제1 사용자 인터페이스와 적어도 일부 다를 수 있다.
예를 들어, 전자 장치(110)에서 복수의 어플리케이션들이 실행 중인 경우, 모바일 사용자 인터페이스는 복수의 어플리케이션들에 의해 출력되는 윈도우중 일부만 표시될 수 있으며, 표시되지 않는 윈도우를 확인하기 위해서는 화면(또는 태스크(task)) 전환이 필요할 수 있다. 반면, 제1 사용자 인터페이스는 복수의 어플리케이션들이 서로 중첩되지 않거나, 일부가 중첩되는 형태로 출력될 수 있다. 제1 사용자 인터페이스는 사용자가 일반적인 데스크탑 PC 또는 랩탑 PC를 이용하는 것과 유사한 사용자 환경을 제공할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 통신 회로(225)를 통해 외부 디스플레이 장치(130)로부터 영상 출력에 관한 정보(예: 장치 식별 정보, 해상도 정보, 크기 정보, 또는 화면 비율 정보 등)를 수신할 수 있다. 프로세서(220)는 수신한 정보를 기반으로 제1 사용자 인터페이스를 구성할 수 있다.
동작 353에서, 프로세서(220)는 통신 회로(225)를 통해 외부 포인팅 장치(예: 마우스)(140)의 연결 여부를 감지할 수 있다. 외부 포인팅 장치(140)는 전자 장치(110)에 무선 또는 유선으로 연결될 수 있다. 예를 들어, 무선 연결의 경우, 외부 포인팅 장치(140)는 블루투스 등의 근거리 통신을 통해 연결될 수 있다. 다른 예를 들어, 유선 연결의 경우, 외부 포인팅 장치(140)는 중개 장치(120)에 장착된 포트에 케이블을 통해 연결될 수 있다. 이 경우, 전자 장치(110)가 중개 장치(120)에 거치되는 경우, 프로세서(220)는 중개 장치(120)에 에 연결되어 있는 외부 포인팅 장치(140)를 인식할 수 있다.
동작 354에서, 프로세서(220)는 외부 포인팅 장치(140)가 연결된 경우, 터치 센서(250)(또는 디스플레이 패널(270))는 스크린 오프 상태로 동작하거나, 터치 스크린으로 동작할 수 있다.
스크린 오프 상태가 되는 경우, 터치 컨트롤러(255)는 터치 센서(250)에서 제공되는 터치 신호를 프로세서(220)에 전달하지 않을 수 있다. 이를 통해, 전자 장치(110)의 전력 소모를 줄일 수 있다.
터치 스크린으로 동작되는 경우, 터치 센서(250)에 사용자의 터치가 발생하면, 터치 컨트롤러(255)는 대응하는 전기적 신호를 커널(241)에 전송할 수 있다. 커널(241)의 터치 스크린 드라이버(281)는 수신한 터치 관련 신호를 처리할 수 있다.
동작 355에서, 프로세서(220)는 전자 장치(110)의 통신 회로(225)에 외부 포인팅 장치(140)가 연결되지 않은 경우(예: 포인팅 장치(140)가 없는 경우, 외부 포인팅 장치(140)가 통신 거리를 이탈하는 경우, 또는 외부 포인팅 장치(140)의 전원이 꺼진 경우 등), 디스플레이(111)의 적어도 일부를 포인팅 장치(예: 터치 패드)로 동작하도록 할 수 있다. 이하에서는 디스플레이(111)의 적어도 일부가 터치 패드로 동작하는 경우를 중심으로 논의하지만, 이에 한정되는 것은 아니다.
외부 포인팅 장치(140)가 연결되지 않은 상태에서 터치 센서(250)에 사용자의 터치가 발생하는 경우, 터치 컨트롤러(255)는 대응하는 전기적 신호를 커널(241)에 전송할 수 있다. 커널(241)의 터치 패드 드라이버(281)는 해당 터치 신호를 처리할 수 있다.
터치 패드 드라이버(281)는 터치 입력에 따른 전기적 신호를 상대좌표 값 등으로 변환하여, 윈도우 매니저(292)에 전달할 수 있다. 윈도우 매니저(292)는 터치 입력의 변화 정보를 제1 사용자 인터페이스에 반영될 수 있다. 예를 들어, 사용자가 디스플레이(111)를 상/하/좌/우 방향으로 스와이프 하는 경우, 외부 디스플레이 장치(130)에 출력되는 마우스 포인터 또는 커서가 상/하/좌/우 방향으로 이동할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 디스플레이(111)의 전체 영역이 터치 패드로 동작하도록 하거나, 일부 영역이 터치 패드로 동작하도록 할 수 있다.
일부 영역이 터치 패드로 동작하는 경우, 프로세서(220)는 디스플레이(111) 중 터치 패드로 동작하는 영역을 다른 영역과 구분하기 위한 표시를 나타내도록 제어할 수 있다. 예를 들어, 프로세서(220)는 터치 패드로 동작하는 영역을 박스 표시하거나, 모서리 표시하도록 제어할 수 있다.
일 실시 예에 따르면, 디스플레이(111) 중 터치 패드로 동작하는 영역(이하, 패드 영역)을 제외한 다른 영역에는 블랙 스크린이 출력되거나, 별도의 다른 사용자 인터페이스(예: 홍채 인식을 위한 가이드 이미지)가 출력될 수 있다.
다양한 실시 예에 따르면, 디스플레이(111)의 적어도 일부가 터치 패드로 동작하는 중, 프로세서(220)가 외부 포인팅 장치(140)를 인식하는 경우, 프로세서(220)는 디스플레이(111)의 터치 패드 동작을 종료할 수 있다.
다양한 실시 예에 따른 화면 출력 방법은 외부 디스플레이 장치(예: 도 1 의 외부 디스플레이 장치(130))와 연결될 수 있는 전자 장치(예: 도 1 또는 2의 전자 장치(110))에서 수행될 수 있고, 통신 회로(예: 도 2의 통신 회로(225))를 통해 상기 외부 디스플레이 장치와 통신 중인지를 감지하는 동작, 통신 중인 경우, 상기 외부 디스플레이 장치 상에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 상기 적어도 하나의 통신 회로를 통해 상기 외부 디스플레이 장치에 전송하는 동작, 상기 통신 회로를 통해 상기 전자 장치가 외부 포인팅 장치(예: 도 1의 외부 포인팅 장치(140))와 연결되었는지 여부를 감지하는 동작 및 상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하는 동작은 상기 디스플레이의 제1 부분을 상기 포인팅 장치로 제공하는 동작 및 상기 디스플레이의 제2 부분을 사용자 인증을 위한 제2 사용자 인터페이스로 제공하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 부분을 상기 포인팅 장치로 제공하는 동작은 상기 제1 부분이 터치 패드로 동작하도록 하여, 상기 제1 부분을 통해 감지되는 터치 입력이 상기 제1 사용자 인터페이스에 대한 방향 데이터를 제공하는 동작을 포함할 수 있다. 상기 제2 사용자 인터페이스로 제공하는 동작은 전자 장치에서 실행중인 어플리케이션과 관련된 유저 인터페이스(예: 생체 센서를 사용하기 위한 가이드)를 제공하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하는 동작은 상기 제1 부분에서 발생하는 사용자 입력을 제1 입력 드라이버를 통해 처리하는 동작 및 상기 제2 부분에서 발생하는 사용자 입력을 제2 입력 드라이버를 통해 처리하는 동작을 포함할 수 있다.
도 4는 다양한 실시 예에 따른 전자 장치의 화면 출력을 나타내는 예시도이다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 4를 참조하면, 프로세서(220)는 전자 장치(110)에 외부 전자 장치(130)(예: 디스플레이 장치)가 연결되는 경우(또는 감지하는 경우), 전자 장치(110)의 동작 모드를 입력 받기 위한 선택 화면(410)을 디스플레이(111)에 출력하도록 제어할 수 있다.
일 실시 예에 따르면, 선택 화면(410)은 데스크탑 모드 시작 버튼(411) 및 화면 미러링 버튼(412)을 포함할 수 있다. 사용자가 데스크탑 모드 버튼(411)을 선택하는 경우, 프로세서(220)는 외부 포인팅 장치(140)의 연결 여부를 확인할 수 있다.
사용자가 미러링 모드 버튼(412)을 선택하는 경우, 프로세서(220)는 모바일 사용자 인터페이스와 동일한 화면을 외부 디스플레이 장치(130)에 출력하도록 제어할 수 있다.
일 실시 예에 따르면, 사용자가 데스크탑 모드 버튼(411)을 선택하는 경우, 지정된 조건에 따라 스크린 오프 화면(420) 또는 터치 패드 화면(430 내지 450)이 출력될 수 있다.
일 실시 예에 따르면, 전자 장치(110)에 외부 포인팅 장치(140)가 유선 또는 무선으로 연결된 경우, 프로세서(220)는 디스플레이(111)에 스크린 오프 화면(420)을 출력하도록 제어할 수 있다. 일 실시 예에서, 사용자가 전자 장치(110)의 버튼 입력 등 별도의 입력을 발생시키는 경우, 프로세서(220)는 모바일 사용자 인터페이스를 출력하도록 제어할 수 있다.
일 실시 예에 따르면, 전자 장치(110)에 외부 포인팅 장치(140)가 유선 또는 무선으로 연결되지 않고, 지정된 조건을 만족하는 경우(예: 1) 전자 장치(110)가 중개 장치(120) 없이, 별도의 케이블을 통해 외부 디스플레이 장치(130)에 연결되는 경우, 2) 중개 장치(120)에 가로 방향으로 거치되는 경우, 또는 3) 전자 장치(110) 내부의 센서를 통해 가로 방향을 감지하는 경우 등), 프로세서(220)는 가로 방향 출력 모드(landscape 모드)의 터치 패드 화면(430)을 디스플레이(111)에 출력하도록 제어할 수 있다.
디스플레이(111)의 전체 또는 일부 영역이 터치 패드로 유효하게 동작하는 영역일 수 있다. 프로세서(220)는 패드 영역(431)을 박스 표시 등을 통해 주변 영역(터치 불인식 영역)과 구분할 수 있다.
일 실시 예에 따르면, 전자 장치(110)에 외부 포인팅 장치(140)가 유선 또는 무선으로 연결되지 않고, 전자 장치(110)가 중개 장치(120)을 통해 외부 디스플레이 장치(130)에 연결될 수 있다. 이 경우, 프로세서(220)는 세로 방향 출력 모드(portrait 모드)의 터치 패드 화면(440)을 디스플레이(111)에 출력하도록 제어할 수 있다. 디스플레이(111)의 전체 또는 일부 영역이 터치 패드로 유효하게 동작하는 영역일 수 있다. 프로세서(220)는 패드 영역(441)을 박스 표시 등을 통해 주변 영역(터치 불인식 영역)과 구분할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 디스플레이(111)의 적어도 일부가 터치 패드로 동작하는 경우, 가로 방향 출력 모드(landscape 모드)를 기준으로 터치 입력을 변환하여 처리할 수 있다. 세로 방향 출력 모드(portrait 모드)에서의 터치 입력은, 터치 입력의 좌표를 가로 방향 출력 모드(landscape 모드)에 대응하도록 매칭시켜 처리될 수 있다.
프로세서(220)는 디스플레이(111)의 적어도 일부가 터치 패드로 동작하는 중, 지정된 기능(또는 지정된 어플리케이션)이 실행되는 경우, 패드 영역의 주변 영역에 해당 기능을 실행하는데 필요한 사용자 인터페이스(이하, 제2 사용자 인터페이스)를 포함하는 화면(450)을 출력하도록 제어할 수 있다.
예를 들어, 디스플레이(111)가 세로 방향 출력 모드(portrait 모드)로 터치 패드 동작하는 상태에서, 홍채 인식을 위한 어플리케이션이 실행되는 경우, 세로 방향 출력 모드(portrait 모드)의 패드 영역(441)은 축소된 패드 영역(451)이 될 수 있고, 주변 영역에 홍채 인식을 위해 사용자에게 가이드를 제공하는 사용자 인터페이스(452)가 출력될 수 있다.
도 5는 다양한 실시 예에 따른 디스플레이가 터치 패드로 동작하는 중 터치 패드 동작의 온/오프를 나타내는 순서도이다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 5를 참조하면, 동작 510에서, 전자 장치(110)는 데스크탑 모드에 진입할 수 있다. 예를 들어, 프로세서(220)는 외부 디스플레이 장치(130)와 연결을 감지(또는 통신을 감지)하는 경우, 데스크탑 모드에 진입하기 위한 사용자 인터페이스(예: 팝업)를 출력할 수 있다. 사용자로부터 데스크탑 모드에 대한 선택을 입력 받는 경우, 프로세서(220)는 데스크탑 모드에 진입할 수 있다. 다른 예를 들어, 프로세서(220)는 지정된 조건(예: 연결 후 일정 시간(예: 약 10초) 경과)에 따라 자동으로 데스크탑 모드에 진입할 수 있다.
동작 520에서, 전자 장치(110)가, 데스크탑 모드에 진입하는 경우, 프로세서(220)는 외부 포인팅 장치(140)이 연결되어 있는지를 확인할 수 있다.
동작 530에서, 프로세서(220)는 외부 포인팅 장치(140)가 연결된 경우, 디스플레이(111)가 스크린 오프 상태로 동작하거나 터치 스크린으로 동작하도록 할 수 있다. 사용자는 외부 포인팅 장치(140)를 통해 외부 디스플레이 장치(130)에 출력되는 마우스 포인터 또는 커서를 제어할 수 있다.
동작 531에서, 프로세서(220)는 외부 포인팅 장치(140)가 연결된 이후, 연결이 해제되는지(예: Mouse의 물리적 제거, BT 통신 OFF, 또는 BT 통신 가능 거리 이탈 등)를 계속적으로 또는 주기적으로 감지할 수 있다.
다양한 실시 예에 따르면, 외부 포인팅 장치(140)가 연결된 이후, 외부 포인팅 장치(140)가 일시적으로 슬립 상태로 진입(예: 일정기간 미사용으로 인한 슬립 상태)하는 경우, 프로세서(220)는 디스플레이(111)를 터치 패드로 동작시키지 않을 수 있다. 이를 통해, 터치 패드로의 잦은 전환으로 인해 사용자에게 발생할 수 있는 불편함을 줄일 수 있다.
동작 532에서, 프로세서(220)는 외부 포인팅 장치(140)의 연결이 해제되는 경우, 디스플레이(111)를 포인팅 장치(예: 터치 패드)로 동작시킬 수 있다.
동작 540에서, 프로세서(220)는, 외부 포인팅 장치(140)가 연결되지 않은 경우, 디스플레이(111)의 적어도 일부를 포인팅 장치(예: 터치 패드)로 동작하도록 할 수 있다.
동작 541에서, 디스플레이(111)의 적어도 일부가 포인팅 장치로 동작하는 중, 프로세서(220)는 디스플레이(111)에 별도의 사용자 입력이 발생하지 않고, 지정된 시간(예: 10초)이 경과되었는지를 확인할 수 있다.
동작 542에서, 지정된 시간이 경과된 경우, 프로세서(220)는 디스플레이(111)의 포인팅 장치(예: 터치 패드)로서의 동작을 종료할 수 있다. 프로세서(220)는 사용자가 터치 패드를 사용하지 않는 상태로 결정되는 경우, 디스플레이(111)의 터치 패드 동작을 종료하여 전력 손실을 줄일 수 있다. 다양한 실시 예에서, 프로세서(220)는 별도의 사용자 입력이 발생(예: 물리 버튼 입력 또는 센서를 통한 입력)이 발생하는 경우, 디스플레이(111)를 다시 터치 패드로 동작시킬 수 있다.
도 6은 다양한 실시 예에 따른 가로 방향 모드에서 터치 패드의 설정을 나타내는 신호 흐름도이다.
도 6을 참조하면, 동작 605에서, 데스크탑 모드 서비스(294)는 데스크탑 모드에 진입할 수 있다. 데스크탑 모드 서비스(294)는 외부 디스플레이 장치(110)와의 연결 방식에 관한 정보(예: 전자 장치(110)가 중개 장치(120)을 통해 외부 디스플레이 장치(130)에 연결되는지 또는 별도의 케이블을 통해 직접 외부 디스플레이 장치(130)에 연결되는지 등)(이하, 연결 상태 정보)를 수집할 수 있다. 일 실시 예에서, 상기 연결 상태 정보는 디스플레이(111)이 가로 방향 출력 모드(landscape 모드)인지, 또는 세로 방향 출력 모드(portrait 모드)인지에 관한 정보를 포함할 수 있다.
다양한 실시 예에 따르면, 데스크탑 모드 서비스(294)는 외부의 포인팅 장치(140)의 연결 여부 등을 확인하고, 디스플레이(111)의 적어도 일부를 터치 패드로 동작시킬지 여부를 결정할 수 있다. 예를 들어, 데스크탑 모드 서비스(294)는 외부의 포인팅 장치(140)가 연결되지 않는 경우, 사용자의 터치 입력을 터치 패드 드라이버(281)에서 처리하도록 설정하는 과정(동작 610 내지 650)을 시작할 수 있다
동작 610에서, 데스크탑 모드 서비스(294)는 데스크탑 모드에 진입하는 경우, 프레임워크(243)의 가상 장치 매니저(291)에 연결 상태 정보 또는 전자 장치(110)의 출력 방향에 관한 정보를 제공할 수 있다. 예를 들어, 1) 전자 장치(110)가 중개 장치(120) 없이, 별도의 케이블을 통해 외부 디스플레이 장치(130)에 연결되는 경우, 2) 중개 장치(120)에 가로 방향으로 거치되는 경우, 또는 3) 전자 장치(110) 내부의 센서를 통해 가로 방향을 감지하는 경우, 데스크탑 모드 서비스(294)는 가로 방향 출력 모드(landscape 모드)인 것을 가상 장치 매니저(291)에 알릴 수 있다.
동작 620에서, 가상 장치 매니저(291)는 윈도우 매니저(292)에 연결 상태 정보를 기반으로 제1 사용자 인터페이스를 구성하는 윈도우를 생성하도록 요청할 수 있다.
동작 630에서, 윈도우 매니저(292)는 윈도우 타입을 터치 스크린 타입과 터치 패드 타입 중 터치 패드 타입으로 설정할 수 있다.
동작 635에서, 윈도우 매니저(292)는 윈도우 타입에 관한 정보를 인풋 매니저(293)에 전송할 수 있다.
동작 640에서, 인풋 매니저(293)는 커널(241)에, 터치 센서(250)에 대응하는 드라이버를 터치 패널 드라이버(281)로 설정하도록 요청할 수 있다.
동작 645에서, 커널(241)은 터치 스크린으로 동작하는 상태일 수 있다. 터치 센서(250)으로부터 수신한 신호는 터치 스크린 드라이버(282)에 의해 처리될 수 있다. 예를 들어, 전자 장치(110)는 데스크탑 모드에 진입하여, 터치 센서(250)에 대응하는 드라이버가 터치 패널 드라이버(281)로 변경되기 전에는 커널(241)(또는 터치 센서(250)에 대응하는 드라이버)은 터치 스크린으로 동작하는 상태일 수 있다.
동작 650에서, 커널(241)은 터치 센서(250)에 대응하는 드라이버를 터치 패널 드라이버(281)로 설정할 수 있다. 커널(241)은 사용자가 터치 센서(250)을 터치하면, 터치 입력의 발생 위치 또는 변경에 관한 정보는 터치 패드 드라이버(281)를 통해 상대적인 좌표 이동 정보를 수신할 수 있다.
터치패드 드라이버(281)는 터치 센서(250)로부터 수신한 터치 신호를 상대 좌표 값 등으로 변환하여 윈도우 매니저(292)에 제공할 수 있다. 윈도우 매니저(292)는 터치 패드 동작에 관한 정보를 제1 사용자 인터페이스에 반영될 수 있다.
도 7은 다양한 실시 예에 따른 세로 방향 모드에서 터치 패드의 설정을 나타내는 신호 흐름도이다.
도 7을 참조하면, 동작 705의 동작은 도 6에서의 동작 605와 동일 또는 유사할 수 있다.
동작 710에서, 데스크탑 모드 서비스(294)는 데스크탑 모드에 진입하는 경우, 프레임워크(243)의 가상 장치 매니저(291)에 연결 상태 정보를 제공할 수 있다. 예를 들어, 데스크탑 모드 서비스(294)는 전자 장치(110)가 중개 장치(120)을 통해 외부 디스플레이 장치(130)에 연결되어, 세로 방향 출력 모드(portrait 모드)인 것을 가상 장치 매니저(291)에 알릴 수 있다.
동작 720에서, 가상 장치 매니저(291)는 윈도우 매니저(292)에 연결 상태 정보를 기반으로 제1 사용자 인터페이스를 구성하는 윈도우를 생성하도록 요청할 수 있다.
동작 730 및 735에서, 윈도우 매니저(292)는 윈도우 타입을 터치 스크린 타입과 터치 패드 타입 중 터치 패드 타입으로 설정할 수 있다. 윈도우 매니저(292)는 윈도우 타입에 관한 정보를 인풋 매니저(293)에 전송할 수 있다. 또한, 윈도우 매니저(292)는 디스플레이(111)의 출력 방향이 기본 설정된 가로 방향 출력 모드(landscape 모드)와 다른 세로 방향 출력 모드(portrait 모드)인 것을 알릴 수 있다.
동작 740에서, 인풋 매니저(293)는 세로 방향 출력 모드(portrait 모드) 좌표값을 회전 또는 상대좌표 값으로 변환하여, 가로 방향 출력 모드(landscape 모드)의 좌표값으로 매칭시킬 수 있다. 인풋 매니저(293)는 매칭된 좌표값을 기반으로, 커널(241)에, 터치 센서(250)에 대응하는 드라이버를 터치 패널 드라이버(281)로 설정하도록 요청할 수 있다.
동작 745에서, 커널(241)은 터치 스크린으로 동작하는 상태일 수 있다. 터치 센서(250)으로부터 수신한 신호는 터치 스크린 드라이버(282)에 의해 처리될 수 있다.
동작 750에서, 커널(241)은 터치 센서(250)에 대응하는 드라이버를 터치 패널 드라이버(281)로 설정할 수 있다. 커널(241)은 사용자가 터치 센서(250)을 터치하면, 터치 입력의 발생 위치 또는 변경에 관한 정보는 터치 패드 드라이버(281)를 통해 상대적인 좌표 이동 정보를 수신할 수 있다.
일 실시 예에 따르면, 커널(241)은 인풋 매니저(293)에서 수신된 매칭된 좌표값을 기반으로, 터치 신호의 좌표 이동 정보를 변경하여, 윈도우 매니저(292)에 제공할 수 있다.
도 8은 다양한 실시 예에 따른 전자 장치의 분할 출력 모드의 화면 예시도이다. 도 8은 예시적인 것으로 이에 한정되는 것은 아니다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 8을 참조하면, 프로세서(220)는 디스플레이(111)의 적어도 일부를 패드 영역(810)으로 설정하고, 디스플레이(111)의 다른 일부를 제2 사용자 인터페이스가 출력되는 스크린 영역(820)으로 설정할 수 있다(이하, 분할 출력 모드). 제2 사용자 인터페이스는 지정된 기능(또는 어플리케이션)이 실행되는 과정에서 출력되는 사용자 인터페이스일 수 있다. 예를 들어, 프로세서(220)는 세로 방향 출력 모드(portrait 모드)에서, 패드 영역(또는 제1 영역)(810)을 디스플레이(111)의 일 영역(예: 디스플레이 하단)에 출력하고, 홍채 인식을 위한 가이드 화면을 제2 사용자 인터페이스가 출력되는 스크린 영역(또는 제2 영역)(820)을 디스플레이(111)의 다른 영역(예: 디스플레이 상단)에 출력할 수 있다.
예를 들어, 사용자가 데스크탑 모드에서 결제 등의 기능을 실행하는 경우, 해당 기능과 관련된 어플리케이션을 통해 생성되는 가이드 메시지(예: "단말을 바라봐 주세요" 라는 팝업) 또는 가이드 이미지(예: 사용자 눈 모양의 이미지)가 스크린 영역(또는 제2 영역)(820)을 통해 출력될 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 메모리(230)에 패드 영역(810)의 좌표 데이터(예: 기준점, 가로 크기, 세로 크기 등)을 저장할 수 있다.
다양한 실시 예에 따르면, 패드 영역(810)에서 발생하는 터치 입력은 커널(241)의 터치 패드 드라이버(281)에 의해 처리되고, 스크린 영역(820)에서 발생하는 터치 입력은 커널(241)의 터치 스크린 드라이버(282)에서 처리될 수 있다.
예를 들어, 패드 영역(810)에서 발생한 터치 입력은 터치 패드 드라이버(281)에 의해 외부 디스플레이 장치(130)에서의 마우스 포인터 또는 커서 이동에 적용되고, 스크린 영역(820)에서 발생한 터치 입력은 터치 스크린 드라이버(282)에 의해, 전자 장치(110) 내부에서 실행되는 관련 어플리케이션에 적용될 수 있다.
도 9는 다양한 실시 예에 따른 분할 출력 모드에서 터치 패드의 설정을 나타내는 신호 흐름도이다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 9를 참조하면, 동작 905에서, 데스크탑 모드 서비스(294)는, 전자 장치(110)가 데스크탑 모드로 동작 중이고 외부 포인팅 장치(140)가 연결되지 않아 터치 패드로 동작 중(예: 세로 방향 출력 모드(portrait 모드))인 상태에서, 지정된 어플리케이션(예: 결제 앱)의 실행에 따라 분할 출력 모드로 진입 요청을 수신할 수 있다. 데스크탑 모드 서비스(294)는 패드 영역을 업데이트하는 과정을 시작할 수 있다.
동작 910에서, 데스크탑 모드 서비스(294)는 외부 포인팅 장치(140)가 연결되지 않은 상태에서, 분할 출력 모드로 진입 요청을 수신하는 경우, 분할 출력 모드인 것을 가상 장치 매니저(291)에 알릴 수 있다.
동작 920에서, 가상 장치 매니저(291)는 패드 영역을 갱신하는 요청을 윈도우 매니저(292)에 전송할 수 있다.
동작 930 및 935에서, 윈도우 매니저(292)는 터치 패드로 이용될 패드 영역(이하, 유효 패드 영역)에 관한 정보(예: 기준점, 가로 너비, 세로 너비)를 인풋 매니저(293)에 알릴 수 있다.
동작 940에서, 인풋 매니저(293)는 유효 패드 영역에 관한 정보를 기반으로, 커널(241)에, 터치 센서(250)에 대응하는 드라이버를 터치 패널 드라이버(281)로 설정하도록 요청할 수 있다.
동작 945에서, 커널(241)은 터치 패드로 동작하는 상태일 수 있다. 터치 센서(250)으로부터 수신한 신호는 터치 패드 드라이버(281)에 의해 처리될 수 있다.
동작 950에서, 커널(241)은 유효 패드 영역에서 발생하는 터치 입력을 터치 패널 드라이버(281)를 통해 처리하도록 설정할 수 있다. 커널(241)은 사용자가 유효 패드 영역에서 터치 센서(250)을 터치하면, 터치 입력의 발생 위치 또는 변경에 관한 정보는 터치 패드 드라이버(281)를 통해 상대적인 좌표 이동 정보를 수신할 수 있다. 커널(241)은 터치 신호의 좌표 이동 정보를 변경하여, 윈도우 매니저(292)에 제공할 수 있다.
다양한 실시 예에 따르면, 유효 패드 영역을 제외한 다른 영역에서 발생한 터치 입력은 무시되거나, 터치 스크린 드라이버(282)에 의해 처리되어, 다른 어플리케이션(예: 결제 앱)에 제공될 수 있다.
도 10은 다양한 실시 예에 따른 분할 출력 모드에서 제2 사용자 인터페이스의 예시도이다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 10을 참조하면, 프로세서(220)는 디스플레이(111)의 적어도 일부를 패드 영역(810)으로 설정하고, 디스플레이(111)의 다른 일부를 제2 사용자 인터페이스가 출력되는 스크린 영역(820)으로 설정할 수 있다. 제2 사용자 인터페이스는 지정된 기능(또는 어플리케이션)이 실행되는 과정에서 출력되는 사용자 인터페이스일 수 있다.
다양한 실시 예에 따르면, 스크린 영역(820)에는 다양한 형태의 보안 관련 컨텐츠를 위한 화면이 출력될 수 있다.
예를 들어, 스크린 영역(820)에는 전자 장치(110)의 화면 잠금을 해제하기 위한 패턴 입력 화면(1001)이 출력될 수 있다. 사용자는 패턴 입력 화면에 미리 설정된 패턴을 입력할 수 있다. 사용자의 입력은 커널(241)의 터치 스크린 드라이버(282)에서 처리되어, 프로세서(220)에 제공될 수 있다.
다른 예를 들어, 스크린 영역(820)에는 사용자의 지문 인식을 위한 가이드 화면(1002)이 출력될 수 있다. 사용자는 지정된 방식으로 지문 센서에 지문을 입력(예: 물리 버튼에 지문 입력 또는 가이드 화면(1002) 상에 지문 입력)할 수 있다. 이 경우, 스크린 영역(820)에서 발생한 사용자의 터치 입력은 무시되거나, 터치 스크린 드라이버(282)에서 처리되어 프로세서(220)에 제공될 수 있다.
또 다른 예를 들어, 스크린 영역(820)에는 사용자 인증을 위한 비밀 번호 입력을 위한 화면(1003)이 출력될 수 있다. 사용자는 미리 설정된 비밀 번호를 입력하여, 사용자 인증을 진행할 수 있다. 사용자의 입력은 커널(241)의 터치 스크린 드라이버(282)에서 처리되어, 프로세서(220)에 제공될 수 있다. 프로세서(220)는 관련 어플리케이션에 인증 결과를 제공할 수 있다.
도 11은 다양한 실시 예에 따른 분할 출력 모드의 영상 출력을 설명하는 구성도이다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 11을 참조하면, 디스플레이 구동 회로(260)는 디스플레이 패널(예: 도 2의 디스플레이 패널(270))과 전기적으로 연결되고, 프로세서(220)로부터 수신한 영상 데이터에 대응하는 영상 신호를 디스플레이 패널(270)에 공급할 수 있다. 디스플레이 구동 회로(260)는 지정된 프레임 률(frame rate)로 영상 신호를 디스플레이 패널(270)에 공급할 수 있다.
디스플레이 구동 회로(260)는 그래픽 램(graphic RAM; GRAM)(261)을 포함할 수 있다. 디스플레이 구동 회로(260)는, 인터페이스 모듈, 이미지 프로세싱 유닛(image processing unit), 멀티플렉서(multiplexer), 디스플레이 타이밍 컨트롤러(display timing controller; T-con), 소스 드라이버, 게이트 드라이버, 및/또는 발진기(oscillator) 등을 더 포함할 수 있다.
프로세서(220)는, 상기 영상 신호에 대응하는 영상 데이터를 디스플레이 구동 회로(260)에 전송할 수 있다. 프로세서(220)는, 활성화 상태에서, 비활성화 상태 (또는, 슬립 상태)와 비교하여, 상대적으로 높은 주파수로 영상 데이터를 제공할 수 있다.
프로세서(220)의 비활성화 상태 (또는, 슬립 상태)에서, 디스플레이 구동 회로(260)는, 내장 그래픽 램에 저장된 영상 데이터에 기반하여, 대응하는 영상 신호를, 프로세서(220)의 활성화 상태(또는, 웨이크업 상태)와 비교하여, 상대적으로 낮은 프레임률로 디스플레이 패널(270)에 공급할 수 있다.
이 경우, 프로세서(220)는 디스플레이 구동 회로(260)에 영상 정보(영상 데이터)를 제공하기 위해 일시적으로 활성화 상태(또는, 웨이크업 상태)로 동작할 수 있다. 이 후, 프로세서(220)는 비활성화 상태 (또는, 슬립 상태)로 동작할 수 있으며, 디스플레이 구동 회로(260)의 자체적인 동작에 관여하지 않을 수 있다.
프로세서(220)는 디스플레이 구동 회로(260)와 상호작용(interact)할 수 있다. 예를 들어, 프로세서(220)는 터치 패널(예: 도 2의 터치 센서(250)) 중 적어도 일부 영역(예: 패드 영역(810), 스크린 영역(820))에 출력되는 컨텐츠(텍스트, 이미지, 또는 GUI 객체 등)의 영상 데이터를 디스플레이 구동 회로(260)에 포함된 그래픽 램(261)에 제공할 수 있다.
프로세서(220)는 영상 데이터를 그래픽 램(GRAM)에 제공하기 위해 일시적으로 활성화 상태(또는 웨이크업 상태)로 동작할 수 있다. 프로세서(220)는 영상 데이터를 디스플레이 구동 회로에 제공한 후에는 비활성화 상태 (또는, 슬립 상태)로 전환할 수 있다.
프로세서(220)는, 예를 들어, 영상 데이터를 주기적으로 또는 비주기적으로 그래픽 램(261)에 제공할 수 있다. 예컨대, 상기 프로세서(220)는 지정된 시간 간격으로 업데이트 된 영상 데이터(예: 디지털 시계 이미지)를 그래픽 램(261)에 주기적으로 제공할 수 있다. 또 다른 예를 들어, 상기 프로세서는 알림(notification)이 발생한 경우 상기 알림을 나타내는 영상 데이터(예: IM 어플리케이션의 아이콘 이미지를 포함할 수 있음)를 그래픽 램(261)에 비주기적으로 제공할 수 있다.
일 실시 예에 따르면, 디스플레이 구동 회로(260)는 프로세서(220)로부터 제공받은 영상 데이터를 그래픽 램(261)에 저장할 수 있다. 디스플레이 구동 회로(260)는 내부적인 설정 또는 프로세서(220)로부터 수신되는 제어 정보에 따라, 그래픽 램(261)에 저장된 영상 데이터를 영상 신호로 변환할 수 있다. 디스플레이 구동 회로(260)에 의해, 영상 신호가 디스플레이 패널(270)에 공급되고, 영상 신호를 통해 컨텐츠(텍스트, 이미지, 또는 GUI 객체 등)는 디스플레이 패널(270) 중 적어도 일부 영역(예: 패드 영역(810), 스크린 영역(820))에 출력될 수 있다.
예를 들면, 디스플레이 구동 회로(260)는 활성화 상태 (또는, 웨이크업 상태)로 동작하는 프로세서(220)로부터 아이콘, 숫자, 이미지 등의 컨텐츠를 포함한 하나의 영상 데이터를 수신할 수 있다. 프로세서(220)는 하나의 영상 데이터를 디스플레이 구동 회로(260)를 제공한 후 비활성화 상태 (또는, 슬립 상태)로 전환할 수 있다.
이후, 디스플레이 구동 회로(260)는, 프로세서(220)의 비활성화 상태(또는, 슬립 상태)에서, 상기 프로세서(220)로부터 수신한 제어 정보(예: 알림 컨텐츠를 나타내는 제어 정보)와, 기 수신한 하나의 영상 데이터에 포함된 아이콘, 숫자, 이미지 등을 조합할 수 있다. 디스플레이 구동 회로(260)는 조합된 결과 이미지를 자체적인 동작만으로 디스플레이 패널(270)에 출력 및/또는 갱신(update)할 수 있다.
다양한 실시 예에 따르면, 분할 출력 모드에서, 그래픽 램(261)은 복수의 저장 영역들(예: 제1 저장 영역(261a) 및 제2 저장 영역(261b))로 구분될 수 있다. 그래픽 램(261)은 디스플레이 패널(270)의 각 영역(예: 패드 영역(810) 또는 스크린 영역(820))을 담당하는 저장 영역을 구분하여 저장할 수 있다. 디스플레이 구동 회로(260)는 각 저장 영역에 저장된 영상 데이터를, 다른 프레임률로 디스플레이 패널(270)에 전송할 수 있다.
예를 들면, 디스플레이 구동 회로(260)는 홍채 인식을 가이드하는 스크린 영역(820)에 대해, 사용자의 입력에 대해 빠른 응답을 제공하기 위해 상대적으로 빠른 프레임률(예: 프로세서(220)의 활성화 상태에서와 같은 프레임률)로 영상신호를 전송할 수 있다. 반면, 디스플레이 구동 회로(260)는 터치 패드로 동작하는 패드 영역(810)에 대해 상대적으로 낮은 프레임률로 영상 신호를 전송할 수 있다. 패드 영역(810)은 상대적으로 컨텐츠의 변화가 적기 때문에, 디스플레이 구동 회로(260)는 프로세서(220)의 비활성화에서와 같은 프레임률로 영상신호를 전송할 수 있다. 이를 통해, 전력 소모가 줄어들 수 있다.
도 12는 다양한 실시 예에 따른 전자 장치의 터치 컨트롤러를 나타낸다.
다양한 실시 예에 따른 전자 장치는 도 2의 전자 장치(110)의 구성 요소 전부 또는 적어도 일부를 포함할 수 있다.
도 12를 참조하면, 터치 컨트롤러(255)는 레지스터 또는 메모리(256 내지 258)를 포함할 수 있다. 레지스터 또는 메모리(256 내지 258)는 분할 출력 모드에서, 유효 패드 영역에 관한 데이터(256)를 저장할 수 있다. 유효 패드 영역 데이터(256)는 기준 지점 좌표(X, Y), 너비 데이터(W), 높이 데이터(H)를 포함할 수 있다. 다양한 실시 예에서, 유효 범위에 관한 정보(256)는 디스플레이 패널(270)에 포함된 화소에 기반하여 바이트(Byte)로 표현될 수 있다.
다양한 실시 예에 따르면, 터치 컨트롤러(255)는 유효 범위에 관한 정보(256)에 따라 결정되는 패드 영역(810) 이내에서 발생한 터치 입력은 커널(241)로 전송하고, 패드 영역(810) 이외에서 발생하는 터치입력은 무시하여, 전력 소모를 줄일 수 있다.
다양한 실시 예에 따르면, 터치 컨트롤러(255)는 유효 터치 데이터(257)를 저장할 수 있다. 유효 터치 데이터(257)는 유효한 터치가 이루어진 위치의 좌표 데이터(X, Y)를 포함할 수 있다. 상기 좌표 데이터는 프로세서(220)에 의해 판독될 수 있다.
유효 터치 데이터(257)는 유효한 터치를 감지하기 위해 지정된 영역 중, 유효한 터치가 이루어진 "분할 영역"의 식별 정보(ICON_ID)를 포함할 수 있다. 상기 식별 정보는 유효한 터치의 유형에 관한 정보(258)를 포함할 수 있다. 유형에 관한 정보(258)는 제1 터치 및 제2 터치를 포함하는 더블 터치 및 지정된 시간 이상 동안 이루어지는 터치 다운, 지정된 압력 이상으로 이루어지는 압력 터치, 근접 터치(호버링) 등을 포함할 수 있다.
도 13는 다양한 실시 예에 따른 전자 장치(1301)의 블록도이다.
전자 장치(1301)는, 예를 들면, 도 1 또는 도 2에 도시된 전자 장치(110)의 전체 또는 일부를 포함할 수 있다. 전자 장치(1301)는 하나 이상의 프로세서(예: AP)(1310), 통신 모듈(1320), 가입자 식별 모듈(1329), 메모리(1330), 센서 모듈(1340), 입력 장치(1350), 디스플레이(1360), 인터페이스(1370), 오디오 모듈(1380), 카메라 모듈(1391), 전력 관리 모듈(1395), 배터리(1396), 인디케이터(1397), 및 모터(1398)를 포함할 수 있다.
프로세서(예: 도 2의 프로세서(220))(1310)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(1310)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1310)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(1310)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(1310)는 도 13에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(1321))를 포함할 수도 있다. 프로세서(1310) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(1320)은 도 2의 통신 회로(225))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(1320)은, 예를 들면, 셀룰러 모듈(1321), WiFi 모듈(1322), 블루투스 모듈(1323), GNSS 모듈(1324), NFC 모듈(1325) 및 RF 모듈(1327)를 포함할 수 있다. 셀룰러 모듈(1321)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1321)은 가입자 식별 모듈(예: SIM 카드)(1329)을 이용하여 통신 네트워크 내에서 전자 장치(1301)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1321)은 프로세서(1310)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1321)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(1321), WiFi 모듈(1322), 블루투스 모듈(1323), GNSS 모듈(1324) 또는 NFC 모듈(1325) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(1327)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(1327)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(1321), WiFi 모듈(1322), 블루투스 모듈(1323), GNSS 모듈(1324) 또는 NFC 모듈(1325) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(1329)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(1330)(예: 메모리(230))는, 예를 들면, 내장 메모리(1332) 또는 외장 메모리(1334)를 포함할 수 있다. 내장 메모리(1332)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(1334)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(1334)는 다양한 인터페이스를 통하여 전자 장치(1301)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(1340)은, 예를 들면, 물리량을 계측하거나 전자 장치(1301)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1340)은, 예를 들면, 제스처 센서(1340A), 자이로 센서(1340B), 기압 센서(1340C), 마그네틱 센서(1340D), 가속도 센서(1340E), 그립 센서(1340F), 근접 센서(1340G), 컬러(color) 센서(1340H)(예: RGB(red, green, blue) 센서), 생체 센서(1340I), 온/습도 센서(1340J), 조도 센서(1340K), 또는 UV(ultra violet) 센서(1340M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1340)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(1340)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1301)는 프로세서(1310)의 일부로서 또는 별도로, 센서 모듈(1340)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(1310)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(1340)을 제어할 수 있다.
입력 장치(1350)는, 예를 들면, 터치 패널(1352), (디지털) 펜 센서(1354), 키(1356), 또는 초음파 입력 장치(1358)를 포함할 수 있다. 터치 패널(1352)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(1352)은 제어 회로를 더 포함할 수도 있다. 터치 패널(1352)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(1354)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(1356)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(1358)는 마이크(예: 마이크(1388))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(1360)(예: 도 1의 디스플레이(111))는 패널(예: 도 2의 디스플레이 패널(270)) (1362), 홀로그램 장치(1364), 프로젝터(1366), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(1362)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(1362)은 터치 패널(예: 도 2의 터치 센서(250))(1352)과 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널(1362)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(1352)과 일체형으로 구현되거나, 또는 터치 패널(1352)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(1364)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1366)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1301)의 내부 또는 외부에 위치할 수 있다. 인터페이스(1370)는, 예를 들면, HDMI(1372), USB(1374), 광 인터페이스(optical interface)(1376), 또는 D-sub(D-subminiature)(1378)를 포함할 수 있다. 인터페이스(1370)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1370)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(1380)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1380)은, 예를 들면, 스피커(1382), 리시버(1384), 이어폰(1386), 또는 마이크(1388) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(1391)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(1395)은, 예를 들면, 전자 장치(1301)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(1395)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(1396)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(1396)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(1397)는 전자 장치(1301) 또는 그 일부(예: 프로세서(1310))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1398)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(1301)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치(예: 전자 장치(1301))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
다양한 실시 예에 따른 전자 장치(예: 도 1 또는 도 2의 전자 장치(111))는 제1 표면 및 상기 제1 표면과 반대 방향을 향하는 제2 표면을 포함하는 하우징, 상기 제1 표면의 적어도 일 부분을 통해 노출되고, 터치 입력이 가능한 디스플레이, 상기 하우징의 내부에 배치되는 적어도 하나의 유선 또는 무선 통신 회로(예: 도 2의 통신 회로(225)), 상기 하우징의 내부에 배치되고, 상기 디스플레이(예: 도 1의 디스플레이(111)) 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서(예: 도 2의 프로세서(220)) 및 상기 하우징의 내부에 배치되고, 상기 적어도 하나의 프로세서와 전기적으로 연결되는 메모리(예: 도 2의 메모리(230)를 포함하고, 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가 상기 전자 장치가 상기 통신 회로를 통해 외부 디스플레이 장치와 통신 중인지를 감지하고, 통신 중인 경우, 상기 외부 디스플레이 장치 상에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 상기 통신 회로를 통해 상기 외부 디스플레이 장치에 전송하고, 상기 통신 회로를 통해 상기 전자 장치가 외부 포인팅 장치와 연결되지 않은 것을 감지하고, 상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이의 제1 부분을 상기 포인팅 장치로 제공하고, 상기 디스플레이의 제2 부분을 사용자 인증을 위한 제2 사용자 인터페이스로 제공하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 외부 포인팅 장치는 외부 마우스를 포함하고, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 제1 부분이 터치 패드로 동작하도록 하여, 상기 디스플레이를 통해 감지되는 터치 입력이 상기 제1 사용자 인터페이스에 대한 방향 데이터를 제공하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 상기 제1 표면의 다른 일부를 통해 노출되는 생체 센서를 더 포함하고, 상기 제2 사용자 인터페이스는 상기 생체 센서를 사용하기 위한 가이드를 제공하도록 구성될 수 있다. 상기 생체 센서는 홍채 인식 센서 또는 지문 인식 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하는 동안, 상기 디스플레이의 적어도 일부에 검은색을 제공하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 제1 부분에서 발생하는 사용자 입력을 제1 입력 드라이버를 통해 처리하고, 상기 제2 부분에서 발생하는 사용자 입력을 제2 입력 드라이버를 통해 처리하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 제2 사용자 인터페이스에서 발생하는 사용자 입력을 무효 처리하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치는 상기 디스플레이에 영상 신호를 제공하는 디스플레이 구동 회로를 더 포함하고, 상기 디스플레이 구동 회로는 그래픽 램을 포함하고, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 그래픽 램이 상기 제1 부분을 위한 제1 영상 데이터와 상기 제2 부분을 위한 제2 영상 데이터를 분리하여 저장하도록 설정하도록 할 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이 구동 회로가 상기 제1 영상 데이터와 상기 제2 영상 데이터를 서로 다른 프레임률로 상기 디스플레이에 제공하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하는 중, 상기 외부 포인팅 장치를 인식하는 경우, 상기 포인팅 장치로의 동작을 종료하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하는 중, 상기 디스플레이에 사용자 입력이 발생하지 않고, 지정된 시간이 경과하는 경우, 상기 포인팅 장치로의 동작을 종료하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이 중 상기 포인팅 장치로 동작 가능한 영역을 상기 디스플레이 상에 표시하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가 상기 디스플레이의 출력 방향에 관한 Landscape 모드를 기준으로 상기 디스플레이가 상기 포인팅 장치로 동작하도록 설정하고, 상기 디스플레이의 출력 방향에 관한 Portrait 모드에서 사용자의 터치 입력을 수신하는 경우, 상기 터치 입력을 상기 Landscape 모드를 기준으로 변경하도록 할 수 있다.
다양한 실시 예에 따른 전자 장치는 터치 입력을 수신할 수 있는 디스플레이, 적어도 하나의 유선 또는 무선 통신 회로, 프로세서 및 메모리를 포함하고, 상기 프로세서는 상기 적어도 하나의 통신 회로를 통해 외부 디스플레이 장치와 연결을 감지하고, 상기 적어도 하나의 통신 회로를 통해 지정된 외부 포인팅 장치의 연결 여부를 감지하고, 상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하도록 설정할 수 있다.
도 14은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다. 한 실시 예에 따르면, 프로그램 모듈(1410)(예: 도 2의 프로그램(240)))은 전자 장치(예: 전자 장치(110))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 도 2의 어플리케이션 프로그램(247))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 14을 참조하면, 프로그램 모듈(1410)은 커널(1420)(예: 도 2의 커널(241)), 미들웨어(1430)(예: 프레임워크(243), (API(1460), 및/또는 어플리케이션(1470)(예: 어플리케이션 프로그램(247))을 포함할 수 있다. 프로그램 모듈(1410)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치로부터 다운로드 가능하다.
커널(예: 도 2의 커널(241)) (1420)은, 예를 들면, 시스템 리소스 매니저(1421) 및/또는 디바이스 드라이버(1423)를 포함할 수 있다. 시스템 리소스 매니저(1421)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(1421)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(1423)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(1430)는, 예를 들면, 어플리케이션(1470)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(1470)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(1460)를 통해 다양한 기능들을 어플리케이션(1470)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(1430) 는 런타임 라이브러리(1435), 어플리케이션 매니저(1441), 윈도우 매니저(1442), 멀티미디어 매니저(1443), 리소스 매니저(1444), 파워 매니저(1445), 데이터베이스 매니저(1446), 패키지 매니저(1447), 연결 매니저(1448), 통지 매니저(1449), 위치 매니저(1450), 그래픽 매니저(1451), 또는 보안 매니저(1452) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(1435)는, 예를 들면, 어플리케이션(1470)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(1435)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(1441)는, 예를 들면, 어플리케이션(1470)의 생명 주기를 관리할 수 있다. 윈도우 매니저(1442)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1443)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(1444)는 어플리케이션(1470)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(1445)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시 예에 따르면, 파워 매니저(1445)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(1446)는, 예를 들면, 어플리케이션(1470)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(1447)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(1448)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(1449)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(1450)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(1451)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1452)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(1430)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시 예에 따르면, 미들웨어(1430)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(1430)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(1460)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(1470)은, 예를 들면, 홈(1471), 다이얼러(1472), SMS/MMS(1473), IM(instant message)(1474), 브라우저(1475), 카메라(1476), 알람(1477), 컨택트(1478), 음성 다이얼(1479), 이메일(1480), 달력(1481), 미디어 플레이어(1482), 앨범(1483), 와치(1484), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(1470)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시 예에 따르면, 어플리케이션(1470)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(1470)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(1410)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(220)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(230))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(220))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    제1 표면 및 상기 제1 표면과 반대 방향을 향하는 제2 표면을 포함하는 하우징;
    상기 제1 표면의 적어도 일 부분을 통해 노출되고, 터치 입력이 가능한 디스플레이;
    상기 하우징의 내부에 배치되는 적어도 하나의 유선 또는 무선 통신 회로;
    상기 하우징의 내부에 배치되고, 상기 디스플레이 및 상기 통신 회로와 전기적으로 연결되는 적어도 하나의 프로세서;및
    상기 하우징의 내부에 배치되고, 상기 적어도 하나의 프로세서와 전기적으로 연결되는 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가:
    상기 전자 장치가 상기 통신 회로를 통해 외부 디스플레이 장치와 통신 중인지를 감지하고,
    통신 중인 경우, 상기 외부 디스플레이 장치 상에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 상기 통신 회로를 통해 상기 외부 디스플레이 장치에 전송하고,
    상기 통신 회로를 통해 상기 전자 장치가 외부 포인팅 장치와 연결되지 않은 것을 감지하고,
    상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하도록 하는 인스트럭션들을 저장하는 전자 장치.
  2. 제1항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이의 제1 부분을 상기 포인팅 장치로 제공하고,
    상기 디스플레이의 제2 부분을 사용자 인증을 위한 제2 사용자 인터페이스로 제공하도록 하는 전자 장치.
  3. 제2항에 있어서, 상기 외부 포인팅 장치는
    외부 마우스를 포함하고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 제1 부분이 터치 패드로 동작하도록 하여, 상기 디스플레이를 통해 감지되는 터치 입력이 상기 제1 사용자 인터페이스에 대한 방향 데이터를 제공하도록 하는 전자 장치.
  4. 제2항에 있어서,
    상기 제1 표면의 다른 일부를 통해 노출되는 생체 센서를 더 포함하고,
    상기 제2 사용자 인터페이스는 상기 생체 센서를 사용하기 위한 가이드를 제공하도록 구성되는 전자 장치.
  5. 제4항에 있어서, 상기 생체 센서는
    홍채 인식 센서 또는 지문 인식 센서 중 적어도 하나를 포함하는 전자 장치.
  6. 제1항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하는 동안, 상기 디스플레이의 적어도 일부에 검은색을 제공하도록 하는 전자 장치.
  7. 제2항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 제1 부분에서 발생하는 사용자 입력을 제1 입력 드라이버를 통해 처리하고,
    상기 제2 부분에서 발생하는 사용자 입력을 제2 입력 드라이버를 통해 처리하도록 하는 전자 장치.
  8. 제2항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 제2 사용자 인터페이스에서 발생하는 사용자 입력을 무효 처리하도록 하는 전자 장치.
  9. 제2항에 있어서,
    상기 디스플레이에 영상 신호를 제공하는 디스플레이 구동 회로를 더 포함하고,
    상기 디스플레이 구동 회로는 그래픽 램을 포함하고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 그래픽 램이 상기 제1 부분을 위한 제1 영상 데이터와 상기 제2 부분을 위한 제2 영상 데이터를 분리하여 저장하도록 설정하도록 하는 전자 장치.
  10. 제9항에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이 구동 회로가 상기 제1 영상 데이터와 상기 제2 영상 데이터를 서로 다른 프레임률로 상기 디스플레이에 제공하도록 하는 전자 장치.
  11. 제1항에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하는 중, 상기 외부 포인팅 장치를 인식하는 경우, 상기 포인팅 장치로의 동작을 종료하도록 하는 전자 장치.
  12. 제1항에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하는 중, 상기 디스플레이에 사용자 입력이 발생하지 않고, 지정된 시간이 경과하는 경우, 상기 포인팅 장치로의 동작을 종료하도록 하는 전자 장치.
  13. 제1항에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이 중 상기 포인팅 장치로 동작 가능한 영역을 상기 디스플레이 상에 표시하도록 하는 전자 장치.
  14. 제1항에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서가:
    상기 디스플레이의 출력 방향에 관한 Landscape 모드를 기준으로 상기 디스플레이가 상기 포인팅 장치로 동작하도록 설정하고,
    상기 디스플레이의 출력 방향에 관한 Portrait 모드에서 사용자의 터치 입력을 수신하는 경우, 상기 터치 입력을 상기 Landscape 모드를 기준으로 변경하도록 하는 전자 장치.
  15. 전자 장치에 있어서,
    터치 입력을 수신할 수 있는 디스플레이;
    적어도 하나의 유선 또는 무선 통신 회로;
    프로세서;및
    메모리를 포함하고,
    상기 프로세서는
    상기 적어도 하나의 통신 회로를 통해 외부 디스플레이 장치와 연결을 감지하고,
    상기 적어도 하나의 통신 회로를 통해 지정된 외부 포인팅 장치의 연결 여부를 감지하고,
    상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부가 포인팅 장치로 동작하도록 설정하는 전자 장치.
  16. 외부 디스플레이 장치와 연결될 수 있는 전자 장치에서 수행되는 화면 출력 방법에 있어서,
    통신 회로를 통해 상기 외부 디스플레이 장치와 통신 중인지를 감지하는 동작;
    통신 중인 경우, 상기 외부 디스플레이 장치 상에 제1 사용자 인터페이스를 렌더링하기 위한 데이터를 상기 적어도 하나의 통신 회로를 통해 상기 외부 디스플레이 장치에 전송하는 동작;
    상기 통신 회로를 통해 상기 전자 장치가 외부 포인팅 장치와 연결되었는지 여부를 감지하는 동작; 및
    상기 외부 포인팅 장치가 연결되지 않은 경우, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하는 동작을 포함하는 화면 출력 방법.
  17. 제16항에 있어서, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하는 동작은
    상기 디스플레이의 제1 부분을 상기 포인팅 장치로 제공하는 동작; 및
    상기 디스플레이의 제2 부분을 사용자 인증을 위한 제2 사용자 인터페이스로 제공하는 동작을 포함하는 화면 출력 방법.
  18. 제17항에 있어서, 상기 제1 부분을 상기 포인팅 장치로 제공하는 동작은
    상기 제1 부분이 터치 패드로 동작하도록 하여, 상기 제1 부분을 통해 감지되는 터치 입력이 상기 제1 사용자 인터페이스에 대한 방향 데이터를 제공하는 동작을 포함하는 화면 출력 방법.
  19. 제17항에 있어서, 상기 제2 사용자 인터페이스로 제공하는 동작은
    생체 센서를 사용하기 위한 가이드를 제공하는 동작을 포함하는 화면 출력 방법.
  20. 제17항에 있어서, 상기 디스플레이의 적어도 일부를 포인팅 장치로 제공하는 동작은
    상기 제1 부분에서 발생하는 사용자 입력을 제1 입력 드라이버를 통해 처리하는 동작; 및
    상기 제2 부분에서 발생하는 사용자 입력을 제2 입력 드라이버를 통해 처리하는 동작을 포함하는 화면 출력 방법.
KR1020170040004A 2017-03-29 2017-03-29 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치 KR102365678B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020170040004A KR102365678B1 (ko) 2017-03-29 2017-03-29 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
EP23176451.5A EP4231130A3 (en) 2017-03-29 2018-03-27 Screen output method using external device and electronic device for supporting the same
EP23176463.0A EP4235414A3 (en) 2017-03-29 2018-03-27 Screen output method using external device and electronic device for supporting the same
EP18164258.8A EP3382524B1 (en) 2017-03-29 2018-03-27 Screen output method using external device and electronic device for supporting the same
ES18164258T ES2958582T3 (es) 2017-03-29 2018-03-27 Procedimiento de salida de pantalla utilizando un dispositivo externo y un dispositivo electrónico para soportar el mismo
US15/938,067 US11119601B2 (en) 2017-03-29 2018-03-28 Screen output method using external device and electronic device for supporting the same
CN201810276097.7A CN108694032B (zh) 2017-03-29 2018-03-29 使用外部设备的画面输出方法和用于支持其的电子设备
CN202311240629.9A CN117289886A (zh) 2017-03-29 2018-03-29 使用外部设备的画面输出方法和用于支持其的电子设备
CN202311234792.4A CN117289885A (zh) 2017-03-29 2018-03-29 使用外部设备的画面输出方法和用于支持其的电子设备
US17/382,464 US11747933B2 (en) 2017-03-29 2021-07-22 Screen output method using external device and electronic device for supporting the same
US17/382,480 US11669190B2 (en) 2017-03-29 2021-07-22 Screen output method using external device and electronic device for supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170040004A KR102365678B1 (ko) 2017-03-29 2017-03-29 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20180110452A true KR20180110452A (ko) 2018-10-10
KR102365678B1 KR102365678B1 (ko) 2022-02-21

Family

ID=62492378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170040004A KR102365678B1 (ko) 2017-03-29 2017-03-29 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치

Country Status (5)

Country Link
US (3) US11119601B2 (ko)
EP (3) EP4231130A3 (ko)
KR (1) KR102365678B1 (ko)
CN (3) CN108694032B (ko)
ES (1) ES2958582T3 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753184A (zh) * 2019-01-07 2019-05-14 北京硬壳科技有限公司 触控显示设备及其控制方法和装置
CN110399080A (zh) * 2019-07-31 2019-11-01 联想(北京)有限公司 一种输出控制方法、终端及多设备系统
US11625155B2 (en) * 2020-03-23 2023-04-11 Ricoh Company, Ltd. Information processing system, user terminal, method of processing information
JP2022056043A (ja) * 2020-09-29 2022-04-08 セイコーエプソン株式会社 表示システム、表示方法及びプログラム
US11606456B1 (en) 2021-10-19 2023-03-14 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement
US11503358B1 (en) 2021-10-19 2022-11-15 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement
US11907495B2 (en) * 2021-10-19 2024-02-20 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009533A (ja) * 2008-06-30 2010-01-14 Fujitsu Ltd 表示及び入力機能を備えた装置
KR20130085604A (ko) * 2012-01-20 2013-07-30 (주)모비엔 연결된 디스플레이를 이용한 사용자 입력 제어 방법 및 그 장치
KR20140034025A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치
KR20140089874A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
US20150193613A1 (en) * 2013-03-27 2015-07-09 Samsung Electronics Co., Ltd. Portable apparatus and method of connecting to external apparatus
WO2017022931A1 (ko) * 2015-08-06 2017-02-09 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076671A2 (en) * 2007-12-13 2009-06-18 Advanced Micro Devices, Inc. Driver architecture for computing device having multiple graphics subsystems, reduced power consumption modes, software and methods
KR101453906B1 (ko) * 2008-08-27 2014-10-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8369893B2 (en) * 2010-12-31 2013-02-05 Motorola Mobility Llc Method and system for adapting mobile device to accommodate external display
JP5629242B2 (ja) 2011-06-10 2014-11-19 京セラ株式会社 通信端末
KR20130105044A (ko) 2012-03-16 2013-09-25 삼성전자주식회사 터치 스크린 단말기의 사용자 인터페이스 방법 및 장치
AU2013262488A1 (en) * 2012-05-18 2014-12-18 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
EP4164203A1 (en) 2012-09-10 2023-04-12 Samsung Electronics Co., Ltd. Method for connecting mobile terminal and external display and apparatus implementing the same
US20140075377A1 (en) * 2012-09-10 2014-03-13 Samsung Electronics Co. Ltd. Method for connecting mobile terminal and external display and apparatus implementing the same
US20140139431A1 (en) * 2012-11-21 2014-05-22 Htc Corporation Method for displaying images of touch control device on external display device
KR102044826B1 (ko) 2013-01-02 2019-11-14 삼성전자 주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
EP2866165B1 (en) * 2013-10-28 2018-12-05 LG Electronics Inc. -1- Mobile terminal and controlling method thereof
US20150192989A1 (en) 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Electronic device and method of controlling electronic device
KR102330255B1 (ko) * 2014-05-28 2021-11-23 삼성전자주식회사 사물 인터넷 기기들을 제어하기 위한 제어 장치 및 방법
JP2016038619A (ja) 2014-08-05 2016-03-22 シャープ株式会社 携帯端末装置及びその操作方法
KR102364620B1 (ko) * 2015-01-26 2022-02-17 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9734779B2 (en) * 2015-02-12 2017-08-15 Qualcomm Incorporated Efficient operation of wearable displays
KR102371943B1 (ko) * 2015-02-24 2022-03-08 삼성전자 주식회사 자기장 통신이 가능한 휴대 전자 장치 및 이를 이용한 결제 방법
KR102377277B1 (ko) * 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
KR102352172B1 (ko) * 2015-04-08 2022-01-17 삼성전자주식회사 전자 장치들의 연동 방법 및 장치
KR102261962B1 (ko) * 2015-07-21 2021-06-07 삼성전자주식회사 디스플레이 구동 장치, 이를 포함하는 디스플레이 장치 및 시스템
KR20170019651A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 음향 제공 방법 및 이를 수행하는 전자 장치
US10146734B2 (en) * 2015-08-20 2018-12-04 Casio Computer Co., Ltd. Utilizing function apparatus, recording medium, and method for comparing information before and after connection release with an external device
KR20170040004A (ko) 2015-10-02 2017-04-12 주식회사 케이티 Uml 모델 기반의 동시성 코드의 리팩토링 장치 및 리팩토링 방법
KR102450840B1 (ko) * 2015-11-19 2022-10-05 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009533A (ja) * 2008-06-30 2010-01-14 Fujitsu Ltd 表示及び入力機能を備えた装置
KR20130085604A (ko) * 2012-01-20 2013-07-30 (주)모비엔 연결된 디스플레이를 이용한 사용자 입력 제어 방법 및 그 장치
KR20140034025A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치
KR20140089874A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
US20150193613A1 (en) * 2013-03-27 2015-07-09 Samsung Electronics Co., Ltd. Portable apparatus and method of connecting to external apparatus
WO2017022931A1 (ko) * 2015-08-06 2017-02-09 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
KR102365678B1 (ko) 2022-02-21
CN117289885A (zh) 2023-12-26
CN108694032B (zh) 2023-10-17
CN108694032A (zh) 2018-10-23
US20180284967A1 (en) 2018-10-04
US11119601B2 (en) 2021-09-14
US20210357114A1 (en) 2021-11-18
US20210357068A1 (en) 2021-11-18
US11747933B2 (en) 2023-09-05
US11669190B2 (en) 2023-06-06
EP4235414A3 (en) 2023-10-18
EP4231130A3 (en) 2023-10-18
CN117289886A (zh) 2023-12-26
EP4235414A2 (en) 2023-08-30
EP3382524A1 (en) 2018-10-03
ES2958582T3 (es) 2024-02-12
EP4231130A2 (en) 2023-08-23
EP3382524B1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
US10819133B2 (en) Device for performing wireless charging and method thereof
US10725578B2 (en) Apparatus and method for controlling fingerprint sensor
US10256658B2 (en) Operating method of an electronic device and electronic device supporting the same
EP3483714B1 (en) Electronic device and operation method therefor
US10963211B2 (en) Electronic device and method for controlling audio path thereof
KR102365678B1 (ko) 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
US10545662B2 (en) Method for controlling touch sensing module of electronic device, electronic device, method for operating touch sensing module provided in electronic device, and touch sensing module
KR102498502B1 (ko) 커버 장치와 상기 커버 장치를 포함하는 전자 장치
KR20160027757A (ko) 전자 장치 내의 발열을 관리하기 위한 방법 및 이를 위한 전자 장치
KR20170019789A (ko) 어플리케이션을 실행하기 위한 장치 및 방법
US11073942B2 (en) Touch recognition method and electronic device executing same
US10126794B2 (en) Electronic device, method for power management in electronic device and recording medium
US10528248B2 (en) Method for providing user interface and electronic device therefor
KR20180014614A (ko) 전자 장치 및 전자 장치의 터치 이벤트 처리 방법
KR20170054072A (ko) 액세서리 장치를 감지하는 전자장치 및 그의 동작 방법
KR102553573B1 (ko) 전자 장치 및 전자 장치의 터치 입력 감지 방법
KR20180117314A (ko) 전자 장치 및 전자 장치의 동작을 제어하는 방법
KR20180060683A (ko) 그립 센서의 감지 신호에 기초하여 ui를 표시하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant