KR20220128970A - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220128970A
KR20220128970A KR1020220113794A KR20220113794A KR20220128970A KR 20220128970 A KR20220128970 A KR 20220128970A KR 1020220113794 A KR1020220113794 A KR 1020220113794A KR 20220113794 A KR20220113794 A KR 20220113794A KR 20220128970 A KR20220128970 A KR 20220128970A
Authority
KR
South Korea
Prior art keywords
external device
input
display
touch input
screen
Prior art date
Application number
KR1020220113794A
Other languages
English (en)
Other versions
KR102548903B1 (ko
Inventor
한상진
강수진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220113794A priority Critical patent/KR102548903B1/ko
Publication of KR20220128970A publication Critical patent/KR20220128970A/ko
Application granted granted Critical
Publication of KR102548903B1 publication Critical patent/KR102548903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23216—
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

디스플레이, 터치 입력을 수신하는 터치 입력부, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 디스플레이의 적어도 일부 영역에 출력하도록 디스플레이를 제어하고, 드로잉 입력으로 인식되는 터치 입력에 기초하여, 드로잉 입력에 대응하는 드로잉 데이터를 출력하도록 디스플레이를 제어하고, 외부 디바이스 제어 입력으로 인식되는 터치 입력에 기초하여, 외부 디바이스 제어 입력에 대응하는 외부 디바이스 제어 신호를 생성하고, 외부 디바이스 제어 입력은 외부 디바이스를 제어하기 위한 것이고, 디스플레이의 적어도 일부 영역에 출력되는 외부 디바이스의 화면에 포함된 아이콘에 대한 터치 입력에 대응하고, 외부 디바이스가 외부 디바이스 제어 신호에 대응하는 기능을 수행하도록, 외부 디바이스 제어 신호를 외부 디바이스로 전송하고, 프로세서는 외부 디바이스를 미러링하여, 외부 디바이스 제어 신호에 대응하는 기능을 수행하여 변화된 화면을 갖는 외부 디바이스의 화면을 출력하도록 디스플레이를 제어하는, 전자 장치가 개시된다.

Description

전자 장치 및 그 동작 방법{Image display apparatus and operating method thereof}
개시된 다양한 실시예들은 전자 장치 및 그 동작 방법에 관한 것으로서, 보다 상세하게는, 전자 장치가 터치 입력을 인식하는 방법에 관한 것이다.
터치스크린을 이용하여 구현된 전자 장치가 널리 사용됨에 따라, 사용자의 손 및 전자 펜을 이용한 다양한 터치 입력이 활용되고 있다. 사용자는, 터치 입력을 이용하여, 전자 장치의 화면에 디스플레이된 아이콘을 선택하거나, 그림을 그리거나, 글자를 입력하는 등 전자 장치에 관한 다양한 동작을 수행할 있다. 또한, 보다 미세한 터치 입력을 지원하기 위하여, 전자 펜을 이용한 터치 입력에 관한 다양한 기술이 개발되고 있다. 터치 입력 수단이 다양해짐에 따라, 전자 장치가 서로 다른 터치 입력을 용이하게 구분할 수 있는 방법이 필요하다.
개시된 다양한 실시예들은, 터치 입력의 종류를 변경하는 추가 동작 없이, 수신되는 터치 입력의 굵기에 기초하여 터치 입력의 종류를 다르게 인식하고, 인식된 터치 입력의 종류에 기초하여 외부 디바이스를 제어하거나 드로잉 입력을 디스플레이에 출력할 수 있는 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 전자 장치는, 디스플레이, 터치 입력을 수신하는 터치 입력부; 하나 이상의 인스트럭션을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는 하나 이상의 인스트럭션을 실행함으로써 외부 디바이스를 미러링함으로써 외부 디바이스의 화면을 상기 디스플레이의 적어도 일부 영역에 출력하도록 디스플레이를 제어하고, 터치 입력부를 통해 상기 디스플레이의 적어도 일부 영역에 출력된 상기 외부 디바이스의 화면상에서 수신되는 터치 입력의 굵기에 기초하여 터치 입력을 드로잉 입력 또는 상기 외부 디바이스 제어 입력으로 인식하고, 상기 드로잉 입력으로 인식된 터치 입력에 따라 드로잉 입력에 대응하는 드로잉 데이터를 출력하도록 디스플레이를 제어하고, 외부 디바이스 제어 입력으로 인식된 터치 입력에 따라 외부 디바이스를 제어할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 터치 입력의 굵기를 측정하고, 측정된 터치 입력의 굵기가 제1 임계 범위일 때, 터치 입력을 드로잉 입력으로 인식하고, 측정된 터치 입력의 굵기가 제2 임계 범위일 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 터치 입력의 굵기에 기초하여, 터치 입력을 전자 펜에 의한 터치 입력 또는 손가락에 의한 터치 입력으로 판단하고, 터치 입력이 전자 펜에 의한 터치 입력으로 판단될 때, 터치 입력을 드로잉 입력으로 인식하고, 터치 입력이 손가락에 의한 터치 입력으로 판단될 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 디스플레이에서 외부 디바이스의 화면에 대응하는 영역에 드로잉 데이터를 출력할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 드로잉 입력이 완료됨에 따라, 외부 디바이스의 화면을 캡쳐한 이미지 및 드로잉 데이터를 저장할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 저장된 이미지를 이동시키는 외부 입력에 응답하여, 드로잉 데이터와 저장된 이미지를 이동시켜 출력하도록 디스플레이를 제어할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 디스플레이에 출력된 드로잉 데이터 중에서, 외부 디바이스의 화면에 대응하는 영역에 위치하는 드로잉 데이터를 저장된 이미지와 함께 이동시켜 출력하도록 디스플레이를 제어할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 디스플레이에 출력된 드로잉 입력을 터치하는 터치 입력에 응답하여, 터치 입력의 굵기를 판단하고, 터치 입력의 굵기가 제3 임계 범위일 때, 터치 입력을 드로잉 입력을 지우는 입력으로 인식하고, 인식된 입력에 응답하여 출력된 드로잉 데이터를 지울 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 수행함으로써, 외부 디바이스의 화면을 디스플레이의 전체 영역에 출력하도록 디스플레이를 제어하고, 드로잉 입력이 수신됨에 따라, 외부 디바이스의 화면을 디스플레이의 일부 영역에 출력하기 위한 메뉴를 표시하도록 디스플레이를 제어하고, 메뉴를 선택하는 입력에 응답하여, 외부 디바이스의 화면을 디스플레이의 전체 영역에서 일부 영역으로 축소하여 출력하도록 디스플레이를 제어할 수 있다.
일 실시예에 따른 프로세서는, 하나 이상의 인스트럭션을 실행함으로써, 전자 펜을 이용하여 디스플레이에서 메뉴가 표시된 영역을 터치하는 터치 입력에 응답하여, 터치 입력을 메뉴를 선택하는 입력으로 인식할 수 있다.
일 실시예에 따른 전자 장치의 동작 방법은, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 디스플레이에 적어도 일부 영역에 출력하는 단계, 디스플레이의 적어도 일부 영역에 출력된 외부 디바이스의 화면상에서 터치 입력을 수신하는 단계, 수신되는 터치 입력의 굵기에 기초하여 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식하는 단계, 드로잉 입력으로 인식된 터치 입력에 따라 드로잉 입력에 대응하는 드로잉 데이터를 출력하는 단계, 및 외부 디바이스 제어 입력으로 인식된 터치 입력에 따라 외부 디바이스를 제어하는 단계를 포함할 수 있다.
개시된 다양한 실시예들에 따르면, 터치 입력의 종류를 변경하는 추가 동작 없이, 수신되는 터치 입력의 굵기에 기초하여 터치 입력의 종류를 다르게 인식하고, 인식된 터치 입력의 종류에 기초하여 외부 디바이스를 제어하거나 드로잉 입력을 디스플레이에 출력할 수 있다. 따라서 사용자는 터치 입력의 종류에 따라 장치의 모드 변경 없이 드로잉과 외부 디바이스 제어를 편리하게 경험할 수 있다.
도 1a는 미러링 화면을 표시하는 전자 장치의 일 예를 나타내는 도면이다.
도 1b는 일 실시예에 따른 전자 장치의 시스템의 개념을 설명하기 위한 참고도이다.
도 2a는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2b은 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 3a는 일 실시예에 따라 터치 입력의 두께에 따라 인식을 다르게 하는 입력의 종류의 일 예를 나타낸다.
도 3b는 일 실시예에 따라 터치 입력의 두께에 따라 인식을 다르게 하는 입력의 종류의 다른 예를 나타낸다.
도 4a는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 예를 설명하기 위한 참고도이다.
도 4b는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 다른 예를 설명하기 위한 참고도이다.
도 4c는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 또 다른 예를 설명하기 위한 참고도이다.
도 4d는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 또 다른 예를 설명하기 위한 참고도이다.
도 4e는 일 실시예에 따라 터치 입력의 두께에 따라 드로잉 입력으로 처리하는 예를 설명하기 위한 참고도이다.
도 5는 일 실시예에 따른 전자 장치의 디스플레이에 동영상이 출력될 때 드로잉 입력이 수신되는 예시를 나타내는 도면이다.
도 6은 일 실시예에 따른 전자 장치가 드로잉 입력에 관련된 메뉴를 출력하는 예시를 나타내는 도면이다.
도 7a, 도 7b 및 도 7c는 일 실시예에 따른 전자 장치가 드로잉 데이터 및 외부 디바이스의 화면을 캡쳐한 이미지를 저장하는 예시를 나타내는 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 전자 장치가 드로잉 데이터를 삭제하는 예시를 나타내는 도면이다.
도 9는 일 실시예에 따른 전자 장치가 외부 디바이스의 화면을 캡쳐한 이미지를 이동시키는 예시를 나타내는 도면이다.
도 10은 일 실시예에 따른 전자 장치가 외부 디바이스의 화면에 대응하는 영역의 외부에 드로잉 입력을 출력하는 예시를 나타내는 도면이다.
도 11a 내지 도 11c는 일 실시예에 따른 전자 장치가 외부 디바이스의 화면을 디스플레이의 전체 영역에 출력하는 예시를 나타내는 도면이다.
도 12는 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1a는 미러링 화면을 표시하는 전자 장치의 일 예를 나타내는 도면이다.
도 1a를 참조하면, 전자 장치(100)는 전자 칠판일 수 있으나, 이에 한정되지 않으며, 디스플레이를 포함하는 전자 장치로 구현되 수 있다. 예를 들어, 전자 장치(100)는 TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 또한, 전자 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
전자 장치(100)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
전자 장치(100)가 터치스크린(touch screen)을 이용하여 구현된 경우, 전자 장치(100)는, 전자 펜(101) 또는 사용자의 손에 의한 터치 입력에 기초하여, 제어될 수 있다. 전자 장치(100)는, 전자 펜(101) 또는 손가락으로부터 드로잉(drawing) 입력을 수신할 수 있으며, 수신된 드로잉 입력을 전자 장치(100)의 디스플레이에 출력할 수 있다. 드로잉 입력은, 디스플레이 상에서, 전자 펜(101) 또는 손가락을 이용하여 점을 찍거나 소정의 궤적을 나타내는 형태를 그리는 입력, 글자를 쓰는 입력을 의미할 수 있으나, 이에 한정되지 않는다. 또한, 전자 장치(100)는, 전자 펜(101) 또는 사용자의 손에 의한 터치 입력에 응답하여, 디스플레이에 출력된 드로잉 입력을 삭제할 수도 있다.
본 명세서의 실시예에서 "사용자"라는 용어는 전자 장치(100)의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 전자 장치(100)의 디스플레이에 출력할 수 있다. 예를 들어, 도 1a를 참조하면, 사용자는, 외부 디바이스보다 화면의 크기가 큰 전자 장치(100)를 이용하여 회의를 진행하기 위하여, 외부 디바이스에 저장된 회의 자료를 전자 장치(100)의 디스플레이에 출력하고자 할 수 있다. 회의 자료가 외부 디바이스의 화면에 출력되어 있을 때, 전자 장치(100)는, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면(110)을 전자 장치(100)의 디스플레이에 출력할 수 있다. 외부 디바이스의 화면(110)은 전자 장치(100)이 디스플레이의 적어도 일부 영역에 출력될 수 있다. 이때, 전자 장치(100)의 디스플레이의 적어도 일부 영역에 출력된 외부 디바이스의 화면(110)은, 외부 디바이스에서 실행된 회의 자료 및 외부 디바이스를 제어하기 위한 하나 이상의 아이콘(120)을 포함할 수 있으나, 이에 한정되지 않는다.
외부 디바이스의 화면(110)이 전자 장치(100)의 디스플레이의 적어도 일부 영역에 출력될 때, 전자 장치(100)는 전자 펜(101) 또는 사용자의 손가락(102)으로부터 디스플레이의 적어도 일부 영역에 출력된 외부 디바이스의 미러링 화면 상에서 터치 입력을 수신할 수 있다. 이때, 수신되는 터치 입력은, 소정의 아이콘을 선택하는 입력 또는 드로잉 입력을 포함할 수 있다. 예를 들어, 도 1a에 도시된 바와 같이, 회의 자료를 나타내는 외부 디바이스의 화면(110)이 전자 장치(100)의 디스플레이에 출력될 때, 사용자는 전자 장치(100)의 디스플레이 상에서, 회의 자료에 관련된 텍스트를 입력하거나 또는 회의 자료에 하이라이트를 표시할 수 있다. 또한, 전자 장치(100)는, 외부 디바이스의 화면(110)에 위치하는 소정의 아이콘(120)을 터치하는 입력을 수신하고, 수신된 입력에 응답하여 터치된 아이콘(120)에 관련된 동작을 수행하도록 외부 디바이스를 제어할 수 있다.
그러나, 전자 장치(100)가 아이콘을 선택하는 입력과 드로잉 입력을 구분하도록 하기 위해서는, 터치 입력의 종류를 변경하기 위한 입력(예를 들어, 아이콘을 선택하는 입력에서 드로잉 입력으로 변경하기 위한 메뉴를 선택하는 동작)이 추가적으로 필요할 수 있다. 즉, 종래의 경우 전자 장치(100)는 드로잉 입력 모드에 있을 때 외부 디바이스 제어 모드로 동작하기 위해서는 모드 전환이 필요하다. 또한 외부 디바이스 제어 모드에 있을 때 드로잉 입력 모드로 동작하기 위해서는 다시 모드 전환이 필요하다. 이 경우, 터치 입력의 종류를 변경하기 위한 입력이 반복적으로 필요할 수 있기 때문에, 사용자 측면에서 효율적이지 않을 수 있다. 따라서, 사용자가 전자 장치(100)의 디스플레이 상에서 외부 디바이스를 용이하게 제어하기 위해서는, 전자 장치(100)가 외부 디바이스를 제어하는 입력과 드로잉 입력을 자동으로 인식할 수 있는 방법이 필요하다.
도 1b는 일 실시예에 따른 전자 장치의 시스템의 개념을 설명하기 위한 참고도이다.
도 1b를 참조하면, 일 실시예에 따른 전자 장치(100)는 모바일 디바이스(50)으로부터 미러링 화면(110)을 수신하여 이를 디스플레이에 표시할 수 있다. 미러링 화면(110)은 전자 장치(100)의 디스플레이의 일부 영역 또는 전체 영역에 표시될 수 있다.
전자 장치(100)는 디스플레이의 적어도 일부 영역에 표시된 미러링 화면(110)상에서 사용자의 터치 입력을 감지하면, 터치 입력의 굵기를 판단할 수 있다. 전자 장치(100)는 터치 입력의 굵기에 따라 입력의 종류를 다르게 결정할 수 있다. 예를 들어, 전자 장치(100)는 터치 입력의 굵기에 따라 터치 입력을 드로잉 입력으로 인식하거나 또는 외부 디바이스 제어 입력으로 인식할 수 있다.
전자 장치(100)가 터치 입력의 굵기에 따라 터치 입력을 드로잉 입력으로 인식한 경우에는 터치 입력에 따라 전자 장치(100)의 화면에 드로잉 입력에 대응하는 드로잉 데이터를 출력하도록 제어할 수 있다. 도 1b를 참조하면, 사용자가 펜(101)을 이용하여 별 모양을 나타내는 궤적에 따라 터치 입력을 한 경우, 전자 장치(100)는 이러한 터치 입력의 굵기에 따라 이를 드로잉 입력으로 인식하고, 이 드로잉 입력에 따라 드로잉 데이터(130)을 출력할 수 있다. 즉, 전자 장치(100)가 터치 입력을 드로잉 입력으로 인식한 경우에는 이러한 터치 입력으로 전자 장치(100) 자체를 제어하는 것이고, 외부 디바이스 제어에는 이용되지 않는다.
전자 장치(100)가 터치 입력의 굵기에 따라 터치 입력을 외부 디바이스 제어 입력으로 인식한 경우에는 터치 입력에 대응하는 외부 디바이스 제어를 수행할 수 있다. 도 1b를 참조하면, 사용자가 손가락(102)를 이용하여 아이콘(120)을 선택하는 터치 입력을 한 경우, 전자 장치(100)는 이러한 터치 입력의 굵기에 따라 이를 외부 디바이스 제어 입력으로 인식하고, 터치 입력에 대응하는 외부 디바이스 제어 신호(52)를 생성하여 이를 외부 디바이스(50)으로 전송할 수 있다. 외부 디바이스 제어 신호(52)를 수신한 외부 디바이스(50)는 외부 디바이스 제어 신호(52)에 대응하는 제어 기능을 수행하고 이 제어 기능 수행에 따라 대응하는 화면으로 변경할 수 있다. 외부 디바이스(50)와 전자 장치(100)는 미러링 상태이기 때문에 전자 장치(100)는 제어기능 수행에 따라 변경된 대응하는 화면을 수신하여 표시할 수 있다. 따라서 전자 장치(100)는 아이콘(120)의 선택에 따라 수행되는 기능에 대응하는 화면을 외부 디바이스(50)로부터 수신하여 표시할 수 있다.
외부 디바이스 제어는, 다양한 형태로 나타날 수 있다. 전자 장치(100)와 외부 디바이스(50)는 미러링 상태이고, 기본적으로 미러링 상태에서 전자 장치(100)는 외부 디바이스(50)에서 수행될 수 있는 모든 제어 기능을 수행하도록 외부 디바이스(50)로 제어 신호를 보낼 수 있다. 따라서, 사용자가 소정의 입력 수단이나 사용자의 손가락을 이용하여 외부 디바이스(50)에 대해 수행할 수 있는 모든 제어 동작을, 미러링된 화면을 표시하는 전자 장치(100)에서 수행함으로써, 외부 디바이스(50)을 제어할 수 있다. 예를 들어, 외부 디바이스 제어는, 아이콘 선택에 대응하는 제어, 페이지 스크롤링에 대응하는 제어, 인접 페이지로 전환에 대응하는 제어 등을 포함할 수 있다.
따라서, 도 1b에 도시된 바와 같이 터치 입력의 두께를 이용하여 드로잉 입력 모드와 외부 디바이스 모드 사이에서 자동으로 스위칭함으로써 별도의 모드 전환 과정이 제거할 수 있다.
이와 같이 전자 장치(100)에 표시되는 미러링 화면 상으로 터치 입력이 수신될 때, 이러한 터치 입력의 굵기에 따라 자동으로 드로잉 입력으로 인식하거나 또는 외부 디바이스 제어 입력으로 인식함으로써, 사용자가 드로잉 입력과 외부 디바이스 제어 입력을 구분하기 위해 수동으로 별도의 하드웨어 버튼을 누른다든가 별도의 인터페이스를 요구하지 않음으로써, 미러링 화면을 사용하는 사용자의 편의성을 증대시킬 수 있다.
도 2a는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2a에 도시된 전자 장치(100a)는 도 1에 도시된 전자 장치(100)의 일 실시예일 수 있다. 도 2a를 참조하면, 일 실시예에 따른 전자 장치(100a)는 메모리(210), 프로세서(220), 디스플레이(230), 및 입력부(240)를 포함할 수 있다. 그러나, 전자 장치(100a)는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 메모리(210)는, 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(100a)로 입력되거나 전자 장치(100a)로부터 출력되는 데이터를 저장할 수 있다.
메모리(210)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따른 메모리(210)는, 외부 디바이스를 미러링함으로써 외부 디바이스의 화면을 디스플레이의 적어도 일부 영역에 출력하고, 디스플레이의 적어도 일부 영역에 출력된 외부 디바이스의 화면상에서 수신되는 터치 입력의 굵기에 기초하여 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식하고, 외부 디바이스 제어 입력에 응답하여 외부 디바이스를 제어하거나, 또는 드로잉 입력에 대응하는 드로잉 데이터를 출력하도록 디스플레이를 제어하는 하나 이상의 인스트럭션(instruction)을 포함하는 모듈을 포함할 수 있다.
일 실시예에 따른 프로세서(220)는 전자 장치(100a)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(220)는, 메모리(210)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이(230)를 제어할 수 있으며, 도 1 내지 도 12에 기재된 전자 장치(100a)의 기능을 수행할 수 있다.
일 실시예에 따른 프로세서(220)는, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 디스플레이(230)의 적어도 일부 영역에 출력하도록 디스플레이(230)를 제어한다.
미러링(mirroring)은, 전자 장치(100a)와 외부 디바이스가 무선 또는 유선으로 연결된 상태에서, 외부 디바이스의 화면을 전자 장치(100a)의 디스플레이를 통해 출력하고, 전자 장치(100a)를 이용하여 외부 디바이스를 제어할 수 있는 방법을 의미할 수 있다. 사용자로부터 수신된, 디스플레이(230)에 출력된 외부 디바이스의 화면에서 외부 디바이스를 제어하는 입력에 응답하여, 외부 디바이스를 제어할 수 있다.
일 실시예에 따른 프로세서(220)는, 디스플레이(230)의 적어도 일부 영역에 출력된 외부 디바이스 화면 즉, 미러링 화면상에서 수신되는 터치 입력의 굵기에 기초하여 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식한다.
터치 입력은, 사용자의 손에 의한 입력 또는 전자 펜(101)에 의한 입력을 포함할 수 있으며, 이에 한정되지 않는다. 예를 들어, 사용자의 손에 의한 입력은, 손가락(102)에 의한 입력, 손바닥에 의한 입력을 포함할 수 있으나, 이에 한정되지 않는다.
터치 입력의 굵기는, 터치 입력이 디스플레이(230)의 한 지점을 터치하는 입력일 때, 터치된 영역의 넓이를 의미할 수 있다. 또한, 터치 입력이 디스플레이(230)에서 소정의 궤적을 그리는 입력일 때, 터치 입력의 굵기는 그려진 궤적을 나타내는 선(line)의 두께를 의미할 수 있다.
드로잉 입력은 아이콘을 선택하는 입력보다 상대적으로 미세한 입력을 필요로 하므로, 드로잉 입력의 굵기가 아이콘을 선택하는 입력의 굵기보다 상대적으로 가늘 수 있다. 일 실시예에 따른 프로세서(220)는, 터치 입력의 굵기에 기초하여, 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식함으로써, 터치 입력의 종류를 변경하기 위한 추가적인 입력 없이, 터치 입력의 종류를 자동으로 인식할 수 있다.
일 실시예에 따른 프로세서(220)는, 수신되는 터치 입력의 굵기를 측정하고, 측정된 터치 입력의 굵기가 제1 임계 범위일 때, 터치 입력을 드로잉 입력으로 인식할 수 있다. 또한, 프로세서(220)는, 측정된 터치 입력의 굵기가 제2 임계 범위일 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다. 예를 들어, 프로세서(220)는, 터치 입력의 굵기가 0mm 이상 3mm 이하일 때, 터치 입력을 드로잉 입력으로 인식하고, 터치 입력의 굵기가 3mm 보다 굵을 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있으나, 이에 한정되지 않는다. 제1 임계 범위 및 제2 임계 범위는, 전자 장치(100a)의 내부 설정에 따라 달라질 수 있으며, 사용자의 설정에 따라 달라질 수 있다.
또한, 일 실시예에 따른 프로세서(220)는, 터치 입력의 굵기에 기초하여, 터치 입력을 전자 펜(101)에 의한 터치 입력 또는 손가락(102)에 의한 터치 입력으로 판단할 수 있다. 예를 들어, 손가락(102)에 의한 터치 입력의 굵기는, 전자 펜(101)에 의한 터치 입력의 굵기보다 굵을 수 있다. 이에 따라, 프로세서(220)는, 터치 입력의 굵기를 측정하고, 측정된 터치 입력의 굵기가 임계치 이상이면 손가락(102)에 의한 터치 입력으로 판단하고, 측정된 터치 입력의 굵기가 임계치보다 작으면 전자 펜(101)에 의한 터치 입력으로 판단할 수 있다.
또한, 프로세서(220)는, 터치 입력이 전자 펜(101)에 의한 터치 입력으로 판단될 때, 터치 입력을 드로잉 입력으로 인식하고, 터치 입력이 손가락에 의한 터치 입력으로 판단될 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다.
일 실시예에 따른 프로세서(220)는, 외부 디바이스 제어 입력에 응답하여 외부 디바이스를 제어하거나, 또는 드로잉 입력에 대응하는 드로잉 데이터를 출력하도록 디스플레이(230)를 제어한다. 드로잉 데이터는, 도형, 글자, 소정의 궤적 중 적어도 하나를 나타내는 터치 입력에 응답하여, 디스플레이(230)에 의해 인식된 터치 입력에 의해 인식된 도형, 글자, 소정의 궤적 중 적어도 하나를 나타내는 데이터를 의미할 수 있다.
프로세서(220)는, 디스플레이(230)에서 외부 디바이스의 화면에 대응하는 영역에 드로잉 데이터를 출력할 수 있다. 출력되는 드로잉 데이터는, 디스플레이(230)에서 외부 디바이스의 화면에 대응하는 영역에만 위치할 수 있으며, 실시예에 따라, 외부 디바이스의 화면에 대응하는 영역의 외부에 위치할 수도 있다.
일 실시예에 따른 프로세서(220)는, 드로잉 입력이 완료됨에 따라, 외부 디바이스의 화면을 캡쳐한 이미지, 및 드로잉 데이터를 저장할 수 있다. 이때, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터는, 서로 다른 파일로 저장될 수 있다. 또한, 따른 프로세서(220)는, 저장된 이미지를 이동시키는 외부 입력에 응답하여, 드로잉 데이터와 저장된 이미지를 이동시켜 출력하도록 디스플레이(230)를 제어할 수 있다. 이때, 프로세서(220)는, 디스플레이에 출력된 드로잉 데이터 중에서, 외부 디바이스의 화면에 대응하는 영역에 위치하는 드로잉 데이터를 저장된 이미지와 함께 이동시켜 출력하도록 디스플레이(230)를 제어할 수 있다.
일 실시예에 따른 프로세서(220)는, 사용자의 입력에 따라 드로잉 데이터를 삭제할 수도 있다. 예를 들어, 프로세서(220)는, 디스플레이(230)에 출력된 드로잉 입력을 터치하는 터치 입력에 응답하여, 터치 입력의 굵기를 판단할 수 있다. 프로세서(220)는, 터치 입력의 굵기가 제3 임계 범위일 때, 터치 입력을 드로잉 입력을 삭제하는 입력으로 인식할 수 있으며, 인식된 입력에 응답하여 출력된 드로잉 데이터를 삭제할 수 있다.
또한, 일 실시예에 따른 프로세서(220)는, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력할 수 있다. 예를 들어, 사용자는, 전자 장치(100a)에 미러링된 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력하고자 할 수 있다. 이때, 프로세서(220)는, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력할 것을 요청하는 사용자 입력에 응답하여, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력할 수 있다.
또한, 프로세서(220)는, 드로잉 입력이 수신됨에 따라, 외부 디바이스의 화면을 디스플레이(230)의 일부 영역에 출력하기 위한 메뉴를 디스플레이(230)에 표시할 수 있다. 외부 디바이스가 전자 장치(100a)에 미러링되어 외부 디바이스의 화면이 디스플레이(230)의 전체 화면에 출력될 때, 디스플레이(230)를 통해 수신되는 외부 디바이스 제어 입력은 외부 디바이스를 제어하기 위한 입력일 수 있다. 그러나, 외부 디바이스의 화면을 디스플레이(230)의 일부 영역에 출력하도록 변경하기 위한 입력은, 전자 장치(100a)를 제어하기 위한 입력일 수 있다. 따라서, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에서 일부 영역에 출력하도록 변경하기 위해서는, 전자 장치(100)가 외부 디바이스를 제어하기 위한 입력과 전자 장치(100a)를 제어하기 위한 입력을 구분할 수 있는 방법이 필요하다.
일 실시예에 따른 프로세서(220)는, 외부 디바이스의 화면이 디스플레이(230)의 전체 영역에 출력되고, 전자 펜(101)에 의한 드로잉 입력이 수신되면, 외부 디바이스의 화면을 디스플레이(230)의 일부 영역에 출력하기 위한 메뉴를 표시하도록 디스플레이(230)를 제어할 수 있다. 그리고, 프로세서(220)는, 전자 펜(101)을 이용하여 표시된 메뉴를 선택하는 입력에 응답하여, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에서 일부 영역으로 축소하여 출력하도록 디스플레이(230)를 제어할 수 있다.
일 실시예에 따른 프로세서(220)는, 수신되는 터치 입력의 굵기에 기초하여, 전자 펜(101)을 이용하여 메뉴를 선택하는 입력과 손가락(102)을 이용하여 외부 디바이스 제어 입력을 구분할 수 있다. 이에 따라, 사용자는, 외부 디바이스의 화면이 디스플레이(230)의 전체 화면에 출력되고 있더라도, 외부 디바이스의 화면이 출력되는 디스플레이(230)의 영역을 용이하게 전환할 수 있다.
일 실시예에 따른 디스플레이(230)는, 전자 장치(100a)에 미러링된 외부 디바이스의 화면을 출력할 수 있다. 또한, 디스플레이(230)는, 사용자로부터 수신된 드로잉 입력에 대응하는 드로잉 데이터를 출력할 수 있다.
입력부(240)는 사용자 입력을 수신하는 인터페이스로서, 터치 센서티브 소자를 이용하여 터치 입력을 수신할 수 있다. 사용자 입력은, 사용자 손가락의 터치 입력, 전자 펜 입력, 전자 펜의 뒷부분에 배치된 지우개 입력, 손바닥 터치 입력 등을 포함할 수 있다.
디스플레이(230)가 터치 스크린으로 구현되는 경우, 디스플레이(230)는 출력 장치 이외에 입력 장치로 사용될 수 있다. 예를 들어, 디스플레이(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 전자 장치(100a)의 구현 형태에 따라, 전자 장치(100a)는 디스플레이(230)를 2개 이상 포함할 수 있다.
도 2b은 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2b에 도시된 바와 같이, 전자 장치(100b)는, 메모리(210), 프로세서(220), 및 디스플레이(230) 이외에, 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170), 비디오 처리부(180), 오디오 처리부(1150), 오디오 출력부(125), 및 사용자 입력부(190)를 더 포함할 수 있다.
메모리(210), 프로세서(220), 및 디스플레이(230)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 3에서 생략한다.
튜너부(140)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(100b)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(220)의 제어에 의해 메모리(210)에 저장될 수 있다.
전자 장치(100b)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 전자 장치(100b)와 일체형(all-in-one)으로 구현되거나 또는 전자 장치(100b)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입/출력부(170)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(150)는 프로세서(220)의 제어에 의해 전자 장치(100b)를 외부 장치(예를 들어, 오디오 장치, 모바일 디바이스 등)와 연결할 수 있다. 프로세서(220)는 통신부(150)를 통해 연결된 외부 장치로 컨텐트를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드하거나 또는 웹 브라우징을 할 수 있다.
통신부(150)는 전자 장치(100b)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부(150)는 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다. 통신부(150)는 프로세서(220)의 제어에 의해 제어 장치의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
감지부(160)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(161), 카메라부(162), 및 광 수신부(163)를 포함할 수 있다.
마이크(161)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(161)는 수신된 음성을 전기 신호로 변환하여 프로세서(220)로 출력할 수 있다.
카메라부(162)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다.
광 수신부(163)는, 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(163)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(220)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(170)는 프로세서(220)의 제어에 의해 전자 장치(100b)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는 HDMI 포트(High-Definition Multimedia Interface port, 171), 컴포넌트 잭(component jack, 172), PC 포트(PC port, 173), 및 USB 포트(USB port, 174) 중 하나를 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 및 USB 포트(174)의 조합을 포함할 수 있다.
일 실시예에 따른 메모리(210)는, 프로세서(220)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(100b)로 입력되거나 전자 장치(100b)로부터 출력되는 데이터를 저장할 수 있다.
프로세서(220)는 전자 장치(100b)의 전반적인 동작 및 전자 장치(100b)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(220)는 사용자의 입력이 있거나 기설정되어 저장된 조건을 만족하는 경우, 메모리(210)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
일 실시예에 따른 프로세서(220)는, 메모리(210)에 저장된 하나 이상의 인스트럭션을 수행함으로써, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 디스플레이(230)의 적어도 일부 영역에 출력하도록 디스플레이(230)를 제어하고, 수신되는 터치 입력의 굵기에 기초하여, 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식하고, 외부 디바이스 제어 입력에 응답하여 외부 디바이스를 제어하거나, 또는 드로잉 입력을 출력하도록 디스플레이(230)를 제어할 수 있다.
비디오 처리부(180)는, 디스플레이(230)에 의해 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.
디스플레이(230)는 프로세서(220)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시할 수 있다. 또한, 디스플레이(230)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐트(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(230)는 프로세서(220)의 제어에 의해 메모리(210)에 저장된 영상을 출력할 수 있다. 또한, 일 실시예에 따른 디스플레이(230)는, 전자 장치(100b)에 미러링된 외부 디바이스의 화면을 출력할 수 있으며, 수신된 드로잉 입력에 대응하는 드로잉 데이터를 출력할 수 있다.
한편, 디스플레이(230)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이(230)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
오디오 처리부(115)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 출력부(125)는 프로세서(220)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오, 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오, 메모리(210)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(125)는 스피커(126), 헤드폰 출력 단자(127) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(128) 중 적어도 하나를 포함할 수 있다.
사용자 입력부(190)는, 사용자가 전자 장치(100b)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 사용자 입력부(190)는 터치 입력을 수신하는 터치 입력부를 포함할 수 있다. 예를 들어, 사용자 입력부(190)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 한편, 도 2 및 도 3에 도시된 전자 장치(100a 및 100b)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상 표시 장치(100a 및 100b)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3a는 일 실시예에 따라 터치 입력의 두께에 따라 인식을 다르게 하는 입력의 종류의 일 예를 나타낸다.
도 3a를 참조하면, 전자 장치(100)의 터치 입력부를 통해 디스플레이의 적어도 일부 영역에 출력된 미러링 화면상에서 수신되는 터치 입력의 두께가 제1값에서 제2값의 범위에 있을 때는, 이 터치 입력을 펜으로부터의 입력으로 인식하고, 이 터치 입력에 대응하는 드로잉 입력으로 처리할 수 있다.
전자 장치(100)의 터치 입력부를 통해 수신되는 터치 입력의 두께가 제2값에서 제3값의 범위에 있을 때는, 이 터치 입력을 사용자의 손가락으로부터의 입력으로 인식하고, 이 터치 입력에 대응하는 외부 디바이스 제어 입력으로 처리할 수 있다.
도 3a에서, 제1값에서 제2값의 범위는 제1임계 범위로, 제2값에서 제3값의 범위는 제2임계 범위로 언급될 수 있다.
도 3b는 일 실시예에 따라 터치 입력의 두께에 따라 인식을 다르게 하는 입력의 종류의 다른 예를 나타낸다.
도 3b를 참조하면, 전자 장치(100)의 터치 입력부를 통해 디스플레이의 적어도 일부 영역에 출력된 미러링 화면상에서 수신되는 터치 입력의 두께가 제1값에서 제2값의 범위에 있을 때는, 이 터치 입력을 펜으로부터의 입력으로 인식하고, 이 터치 입력에 대응하는 드로잉 입력으로 처리할 수 있다.
전자 장치(100)의 터치 입력부를 통해 수신되는 터치 입력의 두께가 제2값에서 제3값의 범위에 있을 때는, 이 터치 입력을 전자 미세지우개의 입력으로 인식하고, 이 터치 입력에 대응하는 드로잉 입력으로 처리할 수 있다. 전자 미세지우개의 터치 입력에 대응하여 전자 장치(100)는 화면상에 출력된 드로잉 데이터를 지울 수 있다. 전자 미세지우개는 전자 펜의 일부에 배열될 수 있거나, 또는 전자 펜과 별도의 장치로 구현될 수도 있다.
전자 장치(100)의 터치 입력부를 통해 수신되는 터치 입력의 두께가 제3값에서 제4값의 범위에 있을 때는, 이 터치 입력을 사용자의 손가락으로부터의 입력으로 인식하고, 이 터치 입력에 대응하는 외부 디바이스 제어 입력으로 처리할 수 있다.
전자 장치(100)의 터치 입력부를 통해 수신되는 터치 입력의 두께가 제4값에서 제5값의 범위에 있을 때는, 이 터치 입력을 손바닥의 입력으로 인식하고, 이 터치 입력에 대응하는 드로잉 입력으로 처리할 수 있다. 손바닥의 터치 입력에 대응하여 전자 장치(100)는 화면상에 출력된 드로잉 데이터를 전자 미세지우개가 지우는 두께보다 더 두꺼운 굵기로 지울 수 있다.
도 3b에서, 제1값에서 제2값의 범위는 제1임계 범위로, 제2값에서 제3값의 범위는 제2임계 범위로, 제3값에서 제4값의 범위는 제3임계 범위로, 제4값에서 제5값의 범위는 제4임계 범위로 언급될 수 있다.
도 3b에 도시된 제1값 내지 제5값은 반드시 모두 사용되어야 하는 것은 아니고 시스템에 따라 선택적으로 취사선택하여 사용될 수 있다. 예를 들어, 어떤 시스템에서는 손바닥 인식은 사용되지 않을 수 있다. 또한 어떠 시스템에서는 미세지우개 인식이 사용되지 않을 수 있다.
도 3a 및 도 3b에 도시된 제1값 내지 제5값은 다양하게 결정될 수 있다.
일 실시예에 따라 제1값 내지 제5값은 많은 수의 실험에 의한 결과로 최적의 값을 얻어 초기에 설정될 있다.
일 실시예에 따라 제1값 내지 제5값은 적절한 사용자 인터페이스를 통해서 사용자에 의해 설정되거나 변경될 수 있다.
일 실시예에 따라 제1값 내지 제5값은 하나 이상의 뉴럴 네트워크를 이용한 학습 모델을 이용하여 결정될 수 있다. 뉴럴 네트워크는, 인공지능(Artificial Intelligence)에 기초하여 뉴럴 네트워크에 입력된 터치 입력의 두께 데이터로부터 제1값 내지 제5값을 학습하는 알고리즘의 집합일 수 있다.
도 4a 내지 4e를 참조하여 일 실시예에 따른 전자 장치(100)가 미러링된 외부 디바이스의 화면을 출력하고 터치 입력의 두께에 따라 동작을 다르게 하는 방법을 설명한다.
일 실시예에 따른 전자 장치(100)는 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 디스플레이(230)에 출력할 수 있다. 예를 들어, 전자 장치(100)는 외부 디바이스의 화면을 디스플레이(230)의 전체 영역 또는 일부 영역에 출력할 수 있으며, 디스플레이(230)에 출력된 외부 디바이스의 화면을 통해, 외부 디바이스를 제어할 수 있다. 또한, 전자 장치(100)는, 디스플레이(230)를 통해 터치 입력을 수신할 수 있으며, 수신된 터치 입력의 굵기에 기초하여, 수신되는 터치 입력을 드로잉 입력 또는 외부 디바이스를 제어하는 입력으로 인식할 수 있다.
예를 들어, 전자 장치(100)는, 터치 입력의 굵기가 제1 임계 범위일 때, 수신되는 터치 입력을 드로잉 입력으로 인식하고, 터치 입력의 굵기가 제2 임계 범위일 때, 수신되는 터치 입력을 외부 디바이스를 제어하는 입력으로 인식할 수 있으며, 제1 임계 범위는 제2 임계범위보다 작은 값일 수 있다. 또한, 실시예에 따라, 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 수신되는 터치 입력을 전자 펜(101)에 의한 터치 입력 또는 손가락(102)에 의한 터치 입력으로 인식할 수 있으나, 전술한 예에 한정되지 않는다.
도 4a는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 예를 설명하기 위한 참고도이다.
도 4a를 참조하면, 전자 장치(100)는, 외부 디바이스(50)를 미러링함으로써, 미러링된 외부 디바이스의 화면(110)을 디스플레이(230)의 일부 영역에 출력할 수 있다. 또한, 전자 장치(100)는, 디스플레이(230)에 출력된 외부 디바이스의 화면(110)에 표시된 아이콘(400)을 터치하는 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 아이콘(400)을 선택하는 입력으로 인식할 수 있다. 수신된 터치 입력이 아이콘(400)을 선택하는 입력으로 인식됨에 따라, 전자 장치(100)는, 아이콘(400)을 선택하는 입력에 응답하여 외부 디바이스를 제어할 수 있다. 예를 들어, 선택된 아이콘(400)이 외부 디바이스에 설치된 어플리케이션을 나타내는 아이콘일 때, 전자 장치(100)는 아이콘(400)을 선택하는 입력에 응답하여, 해당 어플리케이션을 실행하도록 외부 디바이스를 제어할 수 있다. 좀 더 구체적으로, 전자 장치(100)는 아이콘(400)의 선택에 대응하는, 즉, 아이콘(400)이 선택되었음을 나타내는 외부 디바이스 제어 신호(401)를 생성하고, 생성된 외부 디바이스 제어 신호(401)를 외부 디바이스로 전송할 수 있다. 외부 디바이스 제어 신호(401)를 수신한 외부 디바이스(50)는 제어 신호(401)에 대응하여, 아이콘(400)의 선택에 대응하는 제어 기능을 수행한다. 예를 들어 아이콘(400)이 외부 디바이스(50)에 설치된 어플리케이션을 나타낼 때 외부 디바이스(50)는 아이콘(400)의 선택에 대응하여 이 어플리케이션을 실행할 수 있다. 아이콘(400)에 대응하는 어플리케이션의 실행에 따라 외부 디바이스(50)는 새로 실행된 어플리케이션 화면(402)를 표시할 수 있고, 또한 미러링 상태이므로, 전자 장치(100)는 외부 디바이스(50)의 디스플레이에 표시된 어플리케이션 화면(402)을 수신하여 표시할 수 있다.
다른 예로서, 선택된 아이콘(400)이 외부 디바이스에서 소정의 메뉴를 나타내는 아이콘일 때, 전자 장치(100)는 선택된 메뉴에 대응하는 동작을 수행하도록 외부 디바이스를 제어할 수 있다. 선택된 메뉴에 대응하는 동작은, 예를 들어, 페이지 업/다운 메뉴와 같은 것을 포함할 수 있다.
도 4b는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 다른 예를 설명하기 위한 참고도이다.
도 4b를 참조하면, 전자 장치(100)는 미러링 화면(402)를 디스플레이의 일부 영역에 표시한다. 미러링 화면(402)의 하단에는 이전 페이지로 돌아가기 아이콘(411)과 다음 페이지로 가기 아이콘(412)이 표시될 수 있다. 이전 페이지로 돌아가기 아이콘(411)은 웹페이지의 히스토리상 현재 페이지보다 시간적으로 이전에 열어보았던 페이지로 돌아가는 기능을 수행할 수 있다. 다음 페이지로 가기 아이콘(413)은 웹페이지의 히스토리상 현재 페이지보다 시간적으로 나중에 열어보았던 페이지로 가는 기능을 수행할 수 있다.
사용자는 예를 들어 손가락(102)로 이전 페이지로 돌아가기 아이콘(411)을 선택할 수 있다. 전자 장치(100)는, 아이콘(413)을 터치하는 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 아이콘(413)을 선택하는 입력으로 인식할 수 있다. 수신된 터치 입력이 아이콘(413)을 선택하는 입력으로 인식됨에 따라, 전자 장치(100)는, 아이콘(413)을 선택하는 입력에 응답하여 외부 디바이스를 제어할 수 있다. 좀 더 구체적으로, 전자 장치(100)는 아이콘(411)의 선택에 대응하는, 즉, 아이콘(411)이 선택되었음을 나타내는 외부 디바이스 제어 신호(413)를 생성하고, 생성된 외부 디바이스 제어 신호(413)를 외부 디바이스로 전송할 수 있다. 외부 디바이스 제어 신호(413)를 수신한 외부 디바이스(50)는 제어 신호(413)에 대응하여, 아이콘(413)의 선택에 대응하는 제어 기능을 수행한다. 아이콘(411)에 대응하는 이전 페이지로 돌아가기 기능의 실행에 따라, 외부 디바이스(50)는 히스토리상 현재 페이지보다 시간상 이전에 열었던 페이지 화면(414)를 표시할 수 있고, 또한 미러링 상태이므로, 전자 장치(100)는 외부 디바이스(50)의 디스플레이에 표시된 페이지 화면(414)을 수신하여 표시할 수 있다.
도 4c는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 또 다른 예를 설명하기 위한 참고도이다.
도 4c를 참조하면, 전자 장치(100)는 미러링 화면(402)를 디스플레이의 일부 영역에 표시한다. 사용자는 손가락(102)를 이용하여 표시된 미러링 화면(402)상에서 예를 들어 위 아래로 드래그할 수 있다. 전자 장치(100)는, 드래그하는 터치하는 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다. 수신된 터치 입력이 외부 디바이스 제어 입력으로 인식됨에 따라, 전자 장치(100)는, 드래그 터치 입력에 응답하여 외부 디바이스를 제어할 수 있다. 좀 더 구체적으로, 전자 장치(100)는 드래그에 대응하는 제어 신호, 예를 들어, 시작 위치로부터 드래그가 시작되어 끝 위치에서 드래그가 종료되었음을 나타내는 외부 디바이스 제어 신호(421)를 생성하고, 생성된 외부 디바이스 제어 신호(421)를 외부 디바이스로 전송할 수 있다. 외부 디바이스 제어 신호(421)를 수신한 외부 디바이스(50)는 제어 신호(421)에 대응하는 제어 기능을 수행한다. 즉, 외부 디바이스(50)는 수신된 외부 디바이스 제어 신호(421)에 따라 시작 위치로부터 드래그가 시작되어 끝 위치에서 드래그가 종료되었음을 나타내는 드래그에 따라 페이지 스크롤링을 실행하고, 페이지 스크롤링에 따라 외부 디바이스(50)는 새로운 화면(422)를 표시할 수 있고, 또한 미러링 상태이므로, 전자 장치(100)는 외부 디바이스(50)의 디스플레이에 표시된 페이지 화면(422)을 수신하여 표시할 수 있다. 도 4d는 일 실시예에 따라 터치 입력의 두께에 따라 외부 디바이스를 제어하는 또 다른 예를 설명하기 위한 참고도이다.
도 4d를 참조하면, 전자 장치(100)는 미러링 화면(402)를 디스플레이의 일부 영역에 표시한다. 사용자는 손가락(102)를 이용하여 표시된 미러링 화면(402)상에서 예를 들어 좌우로 드래그할 수 있다. 전자 장치(100)는, 드래그하는 터치하는 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다. 수신된 터치 입력이 외부 디바이스 제어 입력으로 인식됨에 따라, 전자 장치(100)는, 드래그 터치 입력에 응답하여 외부 디바이스를 제어할 수 있다. 좀 더 구체적으로, 전자 장치(100)는 드래그에 대응하는 제어 신호, 예를 들어, 시작 위치로부터 드래그가 시작되어 끝 위치에서 드래그가 종료되었음을 나타내는 외부 디바이스 제어 신호(431)를 생성하고, 생성된 외부 디바이스 제어 신호(431)를 외부 디바이스로 전송할 수 있다. 외부 디바이스 제어 신호(431)를 수신한 외부 디바이스(50)는 제어 신호(431)에 대응하는 제어 기능을 수행한다. 즉, 외부 디바이스(50)는 수신된 외부 디바이스 제어 신호(431)에 따라 시작 위치로부터 드래그가 시작되어 끝 위치에서 드래그가 종료되었음을 나타내는 드래그에 따라 인접 페이지로 전환하고, 페이지 전환에 따라 외부 디바이스(50)는 새로운 화면(432)를 표시할 수 있고, 또한 미러링 상태이므로, 전자 장치(100)는 외부 디바이스(50)의 디스플레이에 표시된 페이지 화면(432)을 수신하여 표시할 수 있다.
도 4e는 일 실시예에 따라 터치 입력의 두께에 따라 드로잉 입력으로 처리하는 예를 설명하기 위한 참고도이다.
도 4e를 참조하면, 외부 디바이스(50)에서 문서 파일이 실행되어 문서 파일 화면(430)이 외부 디바이스의 디스플레이에 출력된 경우, 미러링된 전자 장치(100)는 문서 파일이 출력된 외부 디바이스의 화면(440)을 디스플레이(230)에 출력할 수 있다. 또한, 전자 장치(100)는, 디스플레이(230)에 출력된 문서 파일 화면(440)에서 소정의 궤적을 그리는 터치 입력(441) 또는 소정의 도형(442)을 그리는 터치 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 드로잉 입력으로 인식할 수 있다. 수신된 터치 입력이 드로잉 입력으로 인식됨에 따라, 전자 장치(100)는 드로잉 입력에 대응하는 드로잉 데이터를 디스플레이(230)에 출력할 수 있다. 이에 따라, 전자 장치(100)는, 터치 입력의 종류(예를 들어, 아이콘을 선택하는 입력 또는 드로잉 입력)를 변경하기 위한 추가적인 동작 없이, 터치 입력의 굵기에 기초하여 터치 입력의 종류를 자동으로 인식할 수 있다. 이러한 드로잉 입력은 전자 장치(100)의 자체 제어에 관한 기능이므로, 전자 장치(100) 내에서만 실행되고, 외부 디바이스 제어에는 이용되지 않으므로, 외부 디바이스(50)는 드로잉 데이터가 표시되지 않는다.
도 5는 일 실시예에 따른 전자 장치의 디스플레이에 동영상이 출력될 때 드로잉 입력이 수신되는 예시를 나타내는 도면이다.
일 실시예에 따르면, 외부 디바이스가 동영상을 재생 중일 때, 외부 디바이스가 전자 장치(100)에 미러링될 수 있으며, 전자 장치(100)는 재생중인 동영상을 나타내는 외부 디바이스의 화면을 디스플레이(230)에 출력할 수 있다.
일 실시예에 따른 전자 장치(100)는, 터치 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 드로잉 입력으로 인식할 수 있다. 또는, 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 수신된 터치 입력을 전자 펜(101)에 의한 터치 입력으로 판단하고, 전자 펜(101)에 의한 터치 입력을 드로잉 입력으로 인식할 수 있다. 수신되는 터치 입력이 드로잉 입력으로 인식되면, 전자 장치(100)는, 외부 디바이스를 제어함으로써 외부 디바이스에서 재생중인 동영상을 일시정지 상태로 변경할 수 있다.
예를 들어, 도 5를 참조하면, 축구 전략을 분석하는 회의에서, 축구 경기 영상이 사용될 수 있으며, 사용자는 다른 회의 참석자들의 이해를 돕기 위하여, 축구 경기 영상에 그림을 그려 설명하고자 할 수 있다. 또한, 회의에서 사용될 축구 경기 영상은, 회의 장소에 있는 전자 장치(100)에 저장되어 있지 않고, 사용자의 외부 디바이스에 저장되어 있을 수 있다. 이때, 외부 디바이스가 해당 축구 경기 영상을 재생하고, 외부 디바이스를 전자 장치(100)에 미러링함으로써, 축구 경기 영상을 재생중인 외부 디바이스의 화면이 전자 장치(100)의 디스플레이(230)에 출력되도록 할 수 있다.
영상을 재생중인 외부 디바이스의 화면(110)이 디스플레이(230)에 출력될 때, 사용자는, 설명을 위하여 전자 펜(101)을 이용하여 디스플레이(230) 상에 소정의 궤적(501)을 그릴 수 있다. 전자 장치(100)는, 수신되는 터치 입력의 굵기에 기초하여 수신된 터치 입력을 드로잉 입력으로 인식할 수 있다. 또한, 전자 장치(100)는, 터치 입력이 드로잉 입력으로 인식됨에 따라, 외부 디바이스를 제어함으로써 외부 디바이스에서 재생중인 축구 경기 영상을 일시정지 상태로 변경할 수 있다. 이때, 도 5에 도시된 바와 같이, 영상이 일시정지 상태임을 나타내는 아이콘(502)을 외부 디바이스의 화면(110)에 출력할 수 있으나, 이에 한정되지 않는다.
도 6은 일 실시예에 따른 전자 장치가 드로잉 입력에 관련된 메뉴를 출력하는 예시를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는, 기설정된 터치 입력에 응답하여, 드로잉 입력에 관련된 메뉴를 출력할 수 있다. 예를 들어, 기설정된 터치 입력은, 기설정된 시간(예를 들어, 1초) 이상 디스플레이(230)를 터치하는 입력, 또는 디스플레이(230)를 소정의 횟수(예를 들어, 2번) 이상 탭(tap)하는 입력일 수 있으나, 이에 한정되지 않는다.
도 6을 참조하면, 전자 장치(100)가 축구 경기 영상을 재생중인 외부 디바이스의 화면(110)을 디스플레이(230)에 출력할 때, 전자 펜(101)으로부터 축구 경기 영상에 도형(601) 및/또는 화살표(602)를 그리는 터치 입력이 수신될 수 있다. 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 수신된 터치 입력을 전자 펜(101)에 의한 입력으로 판단하고, 수신된 터치 입력을 드로잉 입력으로 인식할 수 있다. 또한, 전자 장치(100)는, 드로잉 입력에 의한 도형(601) 또는 화살표(602)를 디스플레이(230)에 출력할 수 있다.
드로잉 입력이 완료되고, 전자 펜(101)으로부터 디스플레이(230)를 기설정된 시간(예를 들어, 1초) 이상 터치하는 입력이 수신됨에 따라, 전자 장치(100)는 드로잉 입력에 관련된 메뉴(610)를 출력할 수 있다. 드로잉 입력에 관련된 메뉴(610)는, 드로잉 입력의 속성을 설정하거나 드로잉 입력을 저장하기 위한 메뉴를 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 드로잉 입력이 소정의 궤적을 그리는 입력일 때, 드로잉 입력에 관련된 메뉴(610)는, 궤적을 나타내는 선(line)의 색, 두께, 스타일(예를 들어, 실선, 점선 등)을 설정하는 메뉴를 포함할 수 있으며, 디스플레이(230)에 출력된 드로잉 데이터를 저장하는 메뉴를 포함할 수 있다. 또한, 드로잉 입력이 텍스트를 입력하는 입력일 때, 드로잉 입력에 관련된 메뉴(610)는, 텍스트의 폰트, 크기 중 적어도 하나를 설정하는 메뉴를 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 전자 장치(100)는, 드로잉 입력에 관련된 메뉴(610)를 출력하고, 사용자에 의해 선택된 메뉴(예를 들어, 선을 파란색으로 설정)에 대응하는 동작을 수행할 수 있다.
도 7a 내지 도 7c는 일 실시예에 따른 전자 장치가 드로잉 데이터 및 외부 디바이스의 화면을 캡쳐한 이미지를 저장하는 예시를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는, 외부 디바이스의 화면을 캡쳐한 이미지 및 드로잉 데이터를 저장할 수 있다.
도 7a를 참조하면, 전자 장치(100)는, 드로잉 입력에 관련된 메뉴(710)에서 "저장" 메뉴를 선택하는 터치 입력에 응답하여, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 저장할 수 있다. 이때, "저장" 메뉴를 선택하는 터치 입력은 사용자의 손(101)에 의한 터치 입력일 수 있으며, 전자 장치(100)는 터치 입력의 굵기에 기초하여, 수신되는 터치 입력을 아이콘을 선택하는 입력으로 인식할 수 있다.
일 실시예에 따른 전자 장치(100)는, "저장" 메뉴를 선택하는 입력에 응답하여, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 서로 다른 파일로 저장할 수 있다. 또한, 전자 장치(100)는, 서로 다른 파일로 저장된 이미지와 드로잉 데이터를 서로 오버랩되도록 출력할 수 있다.
일 실시예에 따른 전자 장치(100)는, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 저장한 후에, 드로잉 데이터를 삭제할 수 있다. 예를 들어, 도 7b를 참조하면, 드로잉 입력에 관련된 메뉴(710)에서 "저장" 메뉴를 선택하는 터치 입력이 수신되면, 전자 장치(100)는 드로잉 데이터를 삭제할 것인지 여부를 선택하기 위한 메뉴(720)를 출력할 수 있다. 예를 들어, 도 7b에 도시된 바와 같이, 출력된 메뉴(720)에서 "YES"에 대응하는 영역을 터치하는 터치 입력이 수신되면, 전자 장치(100)는, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 손가락(102)에 의한 터치 입력으로 판단할 수 있으며, 아이콘을 선택하는 입력으로 인식할 수 있다. 이에 따라, 전자 장치(100)는, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 저장한 후에, 디스플레이(230)에 출력된 출력된 드로잉 데이터를 삭제할 수 있다.
일 실시예에 따른 전자 장치(100)는, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 저장하고, 저장된 이미지와 드로잉 데이터를 추가적으로 디스플레이(230)에 출력할 수 있다. 도 7c를 참조하면, 전자 장치(100)는, 사용자 입력에 따라 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 저장할 수 있으며, 외부 디바이스의 화면(110)에 추가적으로 저장된 이미지와 드로잉 데이터(730)를 디스플레이(230)에 출력할 수 있다. 또한, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 저장한 이후 드로잉 데이터를 삭제하는 메뉴를 선택하는 입력이 수신됨에 따라, 전자 장치(100)는 저장된 이미지와 드로잉 데이터(730)는 디스플레이(230)에 출력하고, 외부 디바이스의 화면(110)에 출력된 드로잉 데이터를 삭제할 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 전자 장치가 드로잉 데이터를 삭제하는 예시를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는, 디스플레이(230)에 출력된 드로잉 데이터를 삭제할 수 있다. 예를 들어, 도 8a를 참조하면, 외부 디바이스가 전자 장치(100)에 미러링되어, 축구 경기 영상을 재생중인 외부 디바이스의 화면(110)이 디스플레이(230)에 출력될 때, 사용자는 축구 경기 영상을 설명하기 위해 전자 펜(101)을 이용하여 화살표를 그릴 수 있다. 전자 장치(100)는, 터치 입력의 굵기에 기초하여 수신된 터치 입력을 드로잉 입력으로 인식하고, 드로잉 입력에 의한 화살표(800)를 디스플레이(230)에 출력할 수 있다. 디스플레이(230)에 출력된 화살표(800)를 삭제하고자 할 때, 사용자는 전자 펜(101)의 뒷면을 이용하여 디스플레이(230)에 출력된 화살표(800)의 적어도 일부를 삭제할 수 있다.
전자 펜(101)의 뒷면에 의해 수신되는 터치 입력의 굵기는, 전자 펜(101)의 앞면에 의해 수신되는 터치 입력의 굵기보다 굵을 수 있다. 전자 장치(100)는, 전자 펜(101)의 뒷면에 의해 수신되는 터치 입력의 굵기를 측정하고, 측정된 터치 입력의 굵기에 기초하여 수신된 터치 입력을 전자 펜(101)의 뒷면에 의한 터치 입력으로 판단할 수 있다. 또한, 수신된 터치 입력이 전자 펜(101)의 뒷면에 의한 터치 입력으로 판단됨에 따라, 전자 장치(100)는, 드로잉 데이터를 삭제하는 입력으로 인식할 수 있으며, 인식된 입력에 응답하여 화살표(800)의 적어도 일부를 삭제할 수 있다.
또한, 전자 장치(100)는, 손바닥을 이용한 터치 입력에 응답하여, 디스플레이(230)에 출력된 드로잉 입력을 삭제할 수 있다. 예를 들어, 도 8b를 참조하면, 손바닥(103)을 이용하여 디스플레이(230)에 출력된 드로잉 입력(810)의 일부를 터치하는 입력에 응답하여, 전자 장치(100)는 디스플레이(230)에 출력된 드로잉 입력(810)의 일부를 삭제할 수 있다. 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 손바닥(103)에 의한 터치 입력인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(100)는, 터치 입력의 굵기가 임계치(예를 들어, 3cm) 이상일 때, 수신된 터치 입력을 손바닥(103)에 의한 터치 입력으로 판단할 수 있다. 수신된 터치 입력이 손바닥(103)에 의한 터치 입력으로 판단됨에 따라, 전자 장치(100)는 디스플레이(230)에서 터치 입력이 감지된 영역에 출력된 드로잉 입력을 삭제할 수 있다.
도 9는 일 실시예에 따른 전자 장치가 외부 디바이스의 화면을 캡쳐한 이미지를 이동하는 예시를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는, 저장된 이미지를 이동시키는 입력에 응답하여, 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터를 이동시켜 출력할 수 있다.
도 9를 참조하면, 전자 장치(100)는, 드로잉 입력이 완료됨에 따라, 드로잉 데이터 및 외부 디바이스의 화면을 캡쳐한 이미지(900)를 저장할 수 있다. 또한, 전자 장치(100)는, 저장된 이미지(900)을 이동시키는 터치 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는, 손가락(102)을 이용하여 저장된 이미지(900)을 소정의 방향으로 드래그(drag)하는 입력을 수신할 수 있다. 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 수신된 터치 입력을 손가락(102)에 의한 터치 입력으로 판단할 수 있다. 전자 장치(100)는, 손가락(102)에 의한 터치 입력이 소정의 궤적(910)을 나타내는 것으로 인식함에 따라, 수신된 터치 입력을 저장된 이미지(900)와 드로잉 데이터를 이동시키는 입력으로 인식할 수 있다. 이에 따라, 전자 장치(100)는, 저장된 이미지와 드로잉 데이터를 함께 이동시킬 수 있다.
도 10은 일 실시예에 따른 전자 장치가 외부 디바이스의 화면 외부에 드로잉 데이터를 출력하는 예시를 나타내는 도면이다.
도 10을 참조하면, 일 실시예에 따른 전자 장치(100)는, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면(110)을 디스플레이(230)에 출력할 수 있다. 또한, 수신되는 터치 입력의 굵기에 기초하여, 수신된 터치 입력이 드로잉 입력이라고 인식됨에 따라, 전자 장치(100)는 인식된 드로잉 입력에 대응하는 드로잉 데이터(1000, 1001, 1002)를 디스플레이(230)에 출력할 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 전자 펜(101)을 이용하여 소정의 궤적을 그리는 터치 입력이 수신되면, 전자 장치(100)는 수신된 터치 입력을 드로잉 입력으로 인식할 수 있다. 디스플레이(230)에 출력되는 드로잉 데이터(1000, 1001, 1002) 중 일부(1001, 1002)는, 디스플레이(230)에서 외부 디바이스의 화면(110)에 대응하는 영역의 외부에 출력될 수 있다.
또한, 전자 장치(100)는, 드로잉 데이터(1000, 1001, 1002) 및 외부 디바이스의 화면(110)을 캡쳐한 이미지를 저장할 수 있다. 이때, 외부 디바이스의 화면(110)을 캡쳐한 이미지와 드로잉 데이터는 서로 다른 파일로 저장될 수 있다.
또한, 저장된 이미지를 소정의 방향으로 드래그하는 입력이 수신되면, 전자 장치(100)는 저장된 이미지와 드로잉 데이터를 함께 이동시킬 수 있다. 이때, 저장된 이미지 위에 나타나는 드로잉 데이터는, 저장된 이미지와 함께 이동하고, 디스플레이(230)에서 외부 디바이스의 화면(110)에 대응하는 영역의 외부에 출력된 드로잉 데이터(1001, 1002)는 이동하지 않을 수 있다.
도 11a 내지 도 11c는 일 실시예에 따른 전자 장치가 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력하는 예시를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는, 전자 장치(100)에 미러링된 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력할 수 있다. 외부 디바이스의 화면이 디스플레이(230)의 전체 영역에 출력될 때, 수신되는 터치 입력 중에서 아이콘을 선택하거나, 페이지를 스크롤하는 등의 입력은, 모두 외부 디바이스를 제어하기 위한 입력일 수 있다. 예를 들어, 도 11a를 참조하면, 외부 디바이스는 문서 파일을 실행시킬 수 있으며, 외부 디바이스는 전자 장치(100)에 미러링될 수 있다. 이에 따라, 전자 장치(100)는 문서 파일이 실행된 외부 디바이스의 화면(1100)을 디스플레이(230)에 출력할 수 있다.
도 11a에 도시된 바와 같이, 손가락(102)을 이용하여 외부 디바이스의 화면(1100)에 도시된 그래프의 한 지점(1110)을 터치하는 입력이 수신되면, 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 수신되는 터치 입력을 아이콘을 선택하는 입력으로 인식할 수 있다. 외부 디바이스의 화면(1100)이 디스플레이(230)의 전체 영역에 출력될 때, 아이콘을 선택하는 입력은 외부 디바이스를 제어하기 위한 입력일 수 있다. 예를 들어, 전자 장치(100)는, 외부 디바이스의 화면(1100)에 도시된 그래프의 한 지점(1110)을 터치하는 입력에 응답하여, 터치된 지점의 값(1111)을 외부 디바이스의 화면(1100)에 표시하도록 외부 디바이스를 제어할 수 있다.
또한, 도 11b를 참조하면, 외부 디바이스의 화면(1100)이 디스플레이(230)의 전체 영역에 출력 중일 때, 전자 펜(101)에 의한 드로잉 입력이 수신될 수 있다. 전자 장치(100)는, 수신된 터치 입력의 굵기에 기초하여, 수신된 터치 입력을 전자 펜(101)에 의한 드로잉 입력으로 인식할 수 있으며, 인식된 드로잉 입력에 대응하는 드로잉 데이터(1130)를 디스플레이(230)에 출력할 수 있다. 드로잉 입력이 수신되면, 전자 장치(100)는, 외부 디바이스의 화면(1100)을 디스플레이(230)의 전체 영역에서 일부 영역에 출력하기 위한 메뉴(1120)를 출력할 수 있다. 예를 들어, 메뉴(1120)는, 도 11b에 도시된 바와 같이, 디스플레이(230)의 상단에 출력될 수 있으나, 이에 한정되지 않는다.
외부 디바이스의 화면(1100)이 디스플레이(230)의 전체 영역에 출력될 때, 수신되는 터치 입력은 외부 디바이스를 제어하기 위한 입력(예를 들어, 외부 디바이스의 화면(1100)에 출력된 아이콘을 선택하는 입력) 또는 드로잉 입력일 수 있다. 따라서, 외부 디바이스의 화면(1100)이 디스플레이(230)의 전체 영역에 출력 중일 때, 외부 디바이스의 화면(1100)을 디스플레이(230)의 일부 영역에 출력하는 것으로 전환하기 위해서는, 외부 디바이스를 제어하기 위한 입력 및 드로잉 입력과 구별될 수 있는 다른 입력이 필요하다. 이에 따라, 외부 디바이스의 화면(1100)이 디스플레이(230)의 전체 영역에 출력될 때, 전자 장치(100)는 외부 디바이스의 화면(1100)를 디스플레이(230)의 일부 영역으로 출력하기 위한 메뉴(1120)를 디스플레이(230)에 함께 출력할 수 있다. 또한, 전자 장치(100)는, 전자 펜(101)을 이용하여 메뉴(1120)를 선택하는 입력에 응답하여, 외부 디바이스의 화면(1100)을 디스플레이(230)의 일부 영역에 축소하여 출력할 수 있다.
도 11c를 참조하면, 전자 장치(100)는, 전자 펜(101)에 의한 터치 입력을 수신할 수 있으며, 터치 입력의 굵기에 기초하여, 수신되는 터치 입력을 드로잉 입력으로 인식할 수 있다. 그러나, 전자 펜(101)을 이용하여 메뉴를 터치하는 입력이 수신되면, 전자 장치(100)는 수신된 터치 입력을 드로잉 입력으로 인식하는 것이 아니라, 외부 디바이스의 화면(1100)을 디스플레이(230)의 일부 영역에 출력하는 것으로 전환하는 입력으로 인식할 수 있다. 인식된 입력에 응답하여, 전자 장치(100)는 외부 디바이스의 화면(1140)을 디스플레이(230)의 전체 영역에서 일부 영역으로 축소하여 출력할 수 있다. 이에 따라, 전자 장치(100)는, 외부 디바이스의 화면(1100)이 출력되는 디스플레이(230)의 영역을 전체 영역에서 일부 영역으로 용이하게 변경할 수 있다.
도 12는 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 흐름도이다.
S1200 단계에서, 일 실시예에 따른 전자 장치(100)는, 외부 디바이스를 미러링함으로써, 외부 디바이스의 화면을 디스플레이(230)에 출력한다. 전자 장치(100)는, 외부 디바이스의 화면을 디스플레이(230)에 출력함으로써, 사용자가 디스플레이(230)에 출력된 외부 디바이스의 화면을 통해 외부 디바이스를 용이하게 제어할 수 있도록 한다.
S1210 단계에서, 일 실시예에 따른 전자 장치(100)는, 수신되는 터치 입력의 굵기에 기초하여 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식한다.
드로잉 입력은 외부 디바이스 제어 입력보다 상대적으로 미세한 입력을 필요로 하므로, 드로잉 입력의 굵기가 외부 디바이스 제어 입력의 굵기보다 상대적으로 가늘 수 있다. 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 터치 입력을 드로잉 입력 또는 외부 디바이스 제어 입력으로 인식함으로써, 인식되는 터치 입력의 종류를 변경하기 위한 별도의 동작 없이, 터치 입력의 종류를 용이하게 변경할 수 있다.
일 실시예에 따른 전자 장치(100)는, 수신되는 터치 입력의 굵기를 측정하고, 측정된 터치 입력의 굵기가 제1 임계 범위일 때, 터치 입력을 드로잉 입력으로 인식할 수 있다. 또한, 전자 장치(100)는, 측정된 터치 입력의 굵기가 제2 임계 범위일 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다. 제1 임계 범위 및 제2 임계 범위는, 전자 장치(100a)의 내부 설정에 따라 달라질 수 있으며, 사용자의 설정에 따라 달라질 수 있다.
일 실시예에 따른 전자 장치(100)는, 터치 입력의 굵기에 기초하여, 터치 입력을 전자 펜(101)에 의한 터치 입력 또는 손가락에 의한 터치 입력으로 판단할 수 있다. 예를 들어, 사용자의 손가락에 의한 터치 입력의 굵기는, 전자 펜(101)에 의한 터치 입력의 굵기보다 굵을 수 있다. 이에 따라, 전자 장치(100)는, 터치 입력의 굵기를 측정하고, 측정된 터치 입력의 굵기가 임계치 이상이면 사용자의 손가락에 의한 터치 입력으로 판단하고, 측정된 터치 입력의 굵기가 임계치보다 작으면 전자 펜(101)에 의한 터치 입력으로 판단할 수 있다.
또한, 전자 장치(100)는, 터치 입력이 전자 펜(101)에 의한 터치 입력으로 판단될 때, 터치 입력을 드로잉 입력으로 인식하고, 터치 입력이 손가락에 의한 터치 입력으로 판단될 때, 터치 입력을 외부 디바이스 제어 입력으로 인식할 수 있다.
S1220 단계에서, 전자 장치(100)는, 외부 디바이스 제어 입력에 응답하여 외부 디바이스를 제어하거나, 또는 드로잉 입력을 디스플레이에 출력한다.
일 실시예에 따른 전자 장치(100)는, 디스플레이(230)에서 외부 디바이스의 화면에 대응하는 영역에 드로잉 데이터를 출력할 수 있다. 예를 들어, 드로잉 데이터는, 디스플레이(230)에서 외부 디바이스의 화면에 대응하는 영역에만 나타날 수 있으며, 실시예에 따라, 외부 디바이스의 화면에 대응하는 영역의 외부에도 출력될 수 있다.
일 실시예에 따른 전자 장치(100)는, 드로잉 입력이 완료됨에 따라, 외부 디바이스의 화면을 캡쳐한 이미지 및 드로잉 데이터를 저장할 수 있다. 외부 디바이스의 화면을 캡쳐한 이미지와 드로잉 데이터는, 서로 다른 파일로 저장될 수 있으며, 사용자의 선택에 따라 드로잉 데이터만 삭제될 수도 있다.
또한, 일 실시예에 따른 전자 장치(100)는, 저장된 이미지를 이동시키는 외부 입력에 응답하여, 저장된 이미지와 드로잉 데이터를 함께 이동시킬 수 있다.
일 실시예에 따른 전자 장치(100)는, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에 출력할 수 있으며, 드로잉 입력이 수신됨에 따라, 외부 디바이스의 화면을 디스플레이(230)의 일부 영역에 출력하기 위한 메뉴를 디스플레이(230)에 표시할 수 있다. 또한, 전자 장치(100)는, 전자 펜(101)을 이용하여 표시된 메뉴를 선택하는 입력에 응답하여, 외부 디바이스의 화면을 디스플레이(230)의 전체 영역에서 일부 영역으로 축소하여 출력하도록 디스플레이(230)를 제어할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (5)

  1. 디스플레이;
    터치 입력을 수신하는 터치 입력부;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    외부 디바이스를 미러링함으로써, 상기 외부 디바이스의 화면을 상기 디스플레이의 적어도 일부 영역에 출력하도록 상기 디스플레이를 제어하고,
    드로잉 입력으로 인식되는 터치 입력에 기초하여, 상기 드로잉 입력에 대응하는 드로잉 데이터를 출력하도록 상기 디스플레이를 제어하고,
    외부 디바이스 제어 입력으로 인식되는 터치 입력에 기초하여, 상기 외부 디바이스 제어 입력에 대응하는 외부 디바이스 제어 신호를 생성하고,
    상기 외부 디바이스 제어 입력은 상기 외부 디바이스를 제어하기 위한 것이고, 상기 디스플레이의 상기 적어도 일부 영역에 출력되는 상기 외부 디바이스의 화면에 포함된 아이콘에 대한 터치 입력에 대응하고,
    상기 외부 디바이스가 상기 외부 디바이스 제어 신호에 대응하는 기능을 수행하도록, 상기 외부 디바이스 제어 신호를 상기 외부 디바이스로 전송하고,
    상기 프로세서는 상기 외부 디바이스를 미러링하여, 상기 외부 디바이스 제어 신호에 대응하는 기능을 수행하여 변화된 화면을 갖는 상기 외부 디바이스의 화면을 출력하도록 상기 디스플레이를 제어하는, 전자 장치.
  2. 제1 항에 있어서, 상기 외부 디바이스 제어 신호는 상기 디스플레이의 상기 적어도 일부 영역에 출력되는 상기 외부 디바이스의 화면의 터치 위치를 상기 외부 디바이스의 디스플레이의 터치 위치에 매핑하기 위한 신호를 포함하는, 전자 장치.
  3. 전자 장치의 동작 방법에 있어서,
    외부 디바이스를 미러링함으로써, 상기 전자 장치의 디스플레이의 적어도 일부 영역에 상기 외부 디바이스의 화면을 출력하는 단계;
    드로잉 입력으로 인식되는 터치 입력에 기초하여, 상기 드로잉 입력에 대응하는 드로잉 데이터를 출력하는 단계;
    외부 디바이스 제어 입력으로 인식되는 터치 입력에 기초하여, 상기 외부 디바이스 제어 입력에 대응하는 외부 디바이스 제어 신호를 생성하는 단계;
    상기 외부 디바이스 제어 입력은 상기 외부 디바이스를 제어하기 위한 것이고, 상기 디스플레이의 상기 적어도 일부 영역에 출력되는 상기 외부 디바이스의 화면에 포함된 아이콘에 대한 터치 입력에 대응하고,
    상기 외부 디바이스가 상기 외부 디바이스 제어 신호에 대응하는 기능을 수행하도록, 상기 외부 디바이스 제어 신호를 상기 외부 디바이스로 전송하는 단계; 및
    상기 외부 디바이스를 미러링하여, 상기 외부 디바이스 제어 신호에 대응하는 기능을 수행하여 변화된 화면을 갖는 상기 외부 디바이스의 화면을 출력하는 단계를 포함하는, 전자 장치의 동작 방법.
  4. 제3 항에 있어서, 상기 외부 디바이스 제어 신호는 상기 디스플레이의 상기 적어도 일부 영역에 출력되는 상기 외부 디바이스의 화면의 터치 위치를 상기 외부 디바이스의 디스플레이의 터치 위치에 매핑하기 위한 신호를 포함하는, 전자 장치의 동작 방법.
  5. 제3 항에 기재된 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.

KR1020220113794A 2018-02-13 2022-09-07 전자 장치 및 그 동작 방법 KR102548903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220113794A KR102548903B1 (ko) 2018-02-13 2022-09-07 전자 장치 및 그 동작 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180018059A KR102469754B1 (ko) 2018-02-13 2018-02-13 전자 장치 및 그 동작 방법
KR1020220113794A KR102548903B1 (ko) 2018-02-13 2022-09-07 전자 장치 및 그 동작 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180018059A Division KR102469754B1 (ko) 2018-02-13 2018-02-13 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20220128970A true KR20220128970A (ko) 2022-09-22
KR102548903B1 KR102548903B1 (ko) 2023-06-29

Family

ID=67542338

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180018059A KR102469754B1 (ko) 2018-02-13 2018-02-13 전자 장치 및 그 동작 방법
KR1020220113794A KR102548903B1 (ko) 2018-02-13 2022-09-07 전자 장치 및 그 동작 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180018059A KR102469754B1 (ko) 2018-02-13 2018-02-13 전자 장치 및 그 동작 방법

Country Status (5)

Country Link
US (2) US10739907B2 (ko)
EP (1) EP3685254B1 (ko)
KR (2) KR102469754B1 (ko)
CN (1) CN111566604B (ko)
WO (1) WO2019160238A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3687144A4 (en) * 2018-09-05 2021-06-23 LG Electronics Inc. MOBILE DEVICE
CN112346597A (zh) * 2020-11-11 2021-02-09 广州视源电子科技股份有限公司 触控处理方法、装置和电子设备
KR20220087815A (ko) * 2020-12-18 2022-06-27 삼성전자주식회사 전자장치 및 그 제어방법
TWI770979B (zh) * 2021-05-03 2022-07-11 華碩電腦股份有限公司 螢幕顯示方法及裝置
KR20230112485A (ko) * 2022-01-20 2023-07-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
JP2010198290A (ja) * 2009-02-25 2010-09-09 Nec Corp 入力装置、ポインタの表示位置調整方法およびプログラム
KR20140006523A (ko) * 2012-07-06 2014-01-16 엘지전자 주식회사 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법
US20170255304A1 (en) * 2012-07-06 2017-09-07 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132699A (ja) * 1998-10-22 2000-05-12 Casio Comput Co Ltd 作画制御装置及び記憶媒体
JP4153350B2 (ja) * 2002-05-13 2008-09-24 株式会社リコー タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
WO2010113397A1 (ja) * 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
US9720587B2 (en) * 2011-07-11 2017-08-01 Kddi Corporation User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion
WO2013169853A1 (en) * 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US9176703B2 (en) 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
KR101875744B1 (ko) * 2012-07-13 2018-07-06 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20140055880A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 가상 화면 제어 방법 및 장치
KR101984592B1 (ko) * 2013-01-04 2019-05-31 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR20140134018A (ko) * 2013-05-13 2014-11-21 삼성전자주식회사 화면상에서 사용자 입력과 관련된 기능을 실행하기 위한 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9639199B2 (en) 2013-06-07 2017-05-02 Samsung Electronics Co., Ltd. Method and device for controlling a user interface
JP2015088032A (ja) * 2013-10-31 2015-05-07 コニカミノルタ株式会社 入力装置入力値補正方法プログラム
US9462175B2 (en) * 2013-11-18 2016-10-04 Heekwan Kim Digital annotation-based visual recognition book pronunciation system and related method of operation
TWI514229B (zh) * 2013-11-22 2015-12-21 Elan Microelectronics Corp 圖形編輯方法以及電子裝置
US20150153897A1 (en) * 2013-12-03 2015-06-04 Microsoft Corporation User interface adaptation from an input source identifier change
US20150160794A1 (en) * 2013-12-09 2015-06-11 Microsoft Corporation Resolving ambiguous touches to a touch screen interface
US20150160779A1 (en) * 2013-12-09 2015-06-11 Microsoft Corporation Controlling interactions based on touch screen contact area
JP2015146177A (ja) * 2014-01-06 2015-08-13 船井電機株式会社 入力装置
CN104866210B (zh) * 2014-02-20 2019-10-29 联想(北京)有限公司 一种触摸屏操控方法、装置及电子设备
JP2015197587A (ja) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 双方向表示方法および双方向表示装置
WO2016036427A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Electronic device with rotatable input mechanism
KR20160108732A (ko) * 2015-03-06 2016-09-20 (주)케이지일렉트론 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법
KR20160128606A (ko) * 2015-04-29 2016-11-08 삼성전자주식회사 바로가기 ui를 제공하는 전자 장치 및 방법
CN113093984A (zh) * 2016-06-12 2021-07-09 苹果公司 用于访问常用设备功能的设备和方法
CN106781744B (zh) * 2017-02-01 2019-07-05 徐西文 智能数学媒体教学系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
JP2010198290A (ja) * 2009-02-25 2010-09-09 Nec Corp 入力装置、ポインタの表示位置調整方法およびプログラム
KR20140006523A (ko) * 2012-07-06 2014-01-16 엘지전자 주식회사 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법
US20170255304A1 (en) * 2012-07-06 2017-09-07 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same

Also Published As

Publication number Publication date
US10739907B2 (en) 2020-08-11
KR102469754B1 (ko) 2022-11-22
US20200341582A1 (en) 2020-10-29
EP3685254A1 (en) 2020-07-29
CN111566604B (zh) 2024-02-02
EP3685254B1 (en) 2022-12-07
EP3685254A4 (en) 2020-11-25
WO2019160238A1 (en) 2019-08-22
KR102548903B1 (ko) 2023-06-29
CN111566604A (zh) 2020-08-21
KR20190097973A (ko) 2019-08-21
US20190250757A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
KR102548903B1 (ko) 전자 장치 및 그 동작 방법
US10452333B2 (en) User terminal device providing user interaction and method therefor
US10175847B2 (en) Method and system for controlling display device and computer-readable recording medium
US9344622B2 (en) Control of input/output through touch
CN110727369B (zh) 电子装置
KR102092234B1 (ko) 이동 단말기 및 그 제어방법
KR20180134668A (ko) 이동 단말기 및 그 제어방법
KR20180129432A (ko) 이동 단말기 및 그 제어방법
KR102455382B1 (ko) 이동단말기 및 그 제어 방법
EP3133801B1 (en) Mobile terminal and method of controling the same
JP2014123378A (ja) 文字拡大表示方法
US20160048297A1 (en) Method and apparatus for inputting character
KR20170001531A (ko) 입력 장치, 그 입력 장치로부터 신호를 입력받는 전자기기 및 그 제어방법
US20160041960A1 (en) Method and device for controlling the same
KR101373337B1 (ko) 이동 단말기 및 이의 제어방법
KR20160090709A (ko) 이동단말기 및 그 제어방법
EP3662357B1 (en) Display apparatus for providing preview ui and method of controlling display apparatus
KR20210086103A (ko) 디스플레이 기기, 모바일 기기, 그에 따른 디스플레이 기기를 통해 수행되는 영상 통화 방법 및 그에 따른 모바일 기기를 통해 수행되는 영상 통화 방법
KR20210023434A (ko) 디스플레이장치 및 그 제어방법
US20170220317A1 (en) Electronic apparatus and control program of electronic apparatus
KR102149481B1 (ko) 이동 단말 및 그 제어 방법
JP7077024B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
KR20220021756A (ko) 전자 장치 및 그 동작 방법
KR20160040028A (ko) 디스플레이 장치 및 그 제어 방법
US20170280046A1 (en) Method and mobile device for switching camera mode

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right