KR20200122651A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20200122651A
KR20200122651A KR1020190045606A KR20190045606A KR20200122651A KR 20200122651 A KR20200122651 A KR 20200122651A KR 1020190045606 A KR1020190045606 A KR 1020190045606A KR 20190045606 A KR20190045606 A KR 20190045606A KR 20200122651 A KR20200122651 A KR 20200122651A
Authority
KR
South Korea
Prior art keywords
image
received
layer
display
input
Prior art date
Application number
KR1020190045606A
Other languages
English (en)
Inventor
임현식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190045606A priority Critical patent/KR20200122651A/ko
Priority to EP20167247.4A priority patent/EP3726357B1/en
Priority to PCT/KR2020/004788 priority patent/WO2020213886A1/en
Priority to US16/849,530 priority patent/US11249640B2/en
Publication of KR20200122651A publication Critical patent/KR20200122651A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 전자 장치의 제어방법이 개시된다. 본 전자 장치는 디스플레이, 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리, 및 적어도 하나의 인스트럭션을 실행하는 프로세서, 를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 사용자의 제1 드로잉 터치가 입력되면, 그래픽을 표시하기 위한 제1 레이어 상에 상기 제1 드로잉 터치 입력에 따른 드로잉이 표시되도록 처리하고, 외부 장치로부터 영상을 수신하기 위한 제1 사용자 입력이 수신되면, 상기 제1 레이어 상에 상기 영상 및 드로잉 아이콘이 표시되도록 처리하며, 상기 드로잉 아이콘을 선택하기 위한 제2 사용자 입력이 수신되면, 드로잉을 수행하기 위한 제2 레이어를 생성하고, 사용자의 제2 드로잉 터치가 입력되면, 상기 제2 드로잉 터치 입력에 따라 상기 제2 레이어 상에 드로잉이 표시되도록 처리한다.

Description

전자 장치 및 그 제어 방법 {Electronic apparatus and control method thereof}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 드로잉 기능을 수행하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 전자 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
특히, 이러한 전자 장치와 같이 컨텐츠를 디스플레이 하는 기능뿐만 아니라, 드로잉 기능을 포함하는 전자 칠판 장치가 현재 많이 사용되고 있다.
전자 칠판 장치는 터치 데이터를 사용하여 드로잉을 하는 기능을 제공하는 전자 장치이다. 이러한 드로잉 기능에는 드로잉 스피드가 가장 중요하며, 실제 터치와 화면상에 나오는 선의 시간 차이가 적을수록 좋다.
디스플레이 화면에 전자 장치의 화면과 다른 외부 장치 화면을 동시에 표시하게 되는 경우, 전자 장치의 화면과 외부 장치 화면을 합성(composite)하여 디스플레이에 표시하는 과정에서 성능이 떨어지게 된다.
또한, 외부 장치로부터 수신된 화면이 디스플레이에 표시되는 경우, 전자 장치에서 제공하는 화면에 대해 드로잉을 하는 동안, 외부 장치로부터 수신된 화면과 동시에 드로잉을 할 수 없다.
이에 따라, 외부 장치로부터 수신된 화면이 제공되는 경우에도 드로잉 기능의 성능을 유지하면서, 전자 장치에서 제공하는 화면과 외부 장치로부터 수신된 화면에 대해 동시에 드로잉을 수행할 필요성이 증대되었다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 외부 장치로부터 수신된 화면 및 전자 장치에서 제공하는 화면에 대해 동시에 드로잉을 수행하는 전자 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 전자 장치는 디스플레이, 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리, 및 상기 적어도 하나의 인스트럭션을 실행하는 프로세서, 를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 사용자의 제1 드로잉 터치가 입력되면, 그래픽을 표시하기 위한 제1 레이어 상에 상기 제1 드로잉 터치 입력에 따른 드로잉이 표시되도록 처리하고, 외부 장치로부터 영상이 수신되면 상기 제1 레이어 상에 상기 영상 및 드로잉 아이콘이 표시되도록 처리하며, 상기 드로잉 아이콘이 선택하기 위한 제2 사용자 입력이 수신되면, 드로잉을 수행하기 위한 제2 레이어를 생성하고, 사용자의 제2 드로잉 터치가 입력되면, 상기 제2 드로잉 터치 입력에 따라 상기 제2 레이어 상에 드로잉이 표시되도록 처리한다.
또한, 상기 제2 사용자 입력이 수신되기 전에 상기 영상이 표시된 영역이 아닌 곳에 상기 제1 드로잉 터치가 입력되면, 상기 제1 드로잉 터치 입력에 따라 상기 제1 레이어 상에 드로잉이 표시되도록 처리할 수 있다.
또한, 회로를 포함하는 통신부, 를 더 포함할 수 있으며, 상기 프로세서는, 상기 제2 사용자 입력이 수신되기 전에 상기 영상 상에 사용자 터치가 입력되면, 드로잉을 수행하지 않고 상기 사용자 터치에 대응되는 터치 명령을 상기 외부 장치에 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 제2 사용자 입력이 수신된 후, 상기 영상 상에 상기 제2 드로잉 터치가 입력되면, 상기 영상 상에 드로잉을 표시하도록 상기 디스플레이를 제어할 수 있다.
그리고, 상기 제2 레이어는 프론트 버퍼(front buffer)에 저장될 수 있다.
또한, 상기 프로세서는, 상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 상기 드로잉을 포함하는 전체 화면에 대한 이미지 파일을 생성할 수 있다.
그리고, 상기 프로세서는, 상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 상기 드로잉을 포함하는 전체 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 제2 사용자 입력이 수신되면, 상기 디스플레이 전체 영역의 투명도를 조정하여 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 수신된 영상을 상기 디스플레이 내의 일 영역에 PIP(Picture In Picture) 및 PBP(Picture By Picture) 중 하나의 형태로 표시 하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른, 전자 장치의 제어 방법은 사용자의 제1 드로잉 터치가 입력되면, 그래픽을 표시하기 위한 제1 레이어 상에 상기 제1 드로잉 터치 입력에 따른 드로잉을 표시하는 단계; 외부 장치로부터 영상을 수신하기 위한 제1 사용자 입력이 수신되면, 상기 제1 레이어 상에 상기 영상 및 드로잉 아이콘을 표시하는 단계; 상기 드로잉 아이콘을 선택하기 위한 제2 사용자 입력이 수신되면, 드로잉을 수행하기 위한 제2 레이어를 생성하는 단계; 및 사용자의 제2 드로잉 터치가 입력되면, 상기 제2 드로잉 터치 입력에 따라 상기 제2 레이어 상에 드로잉을 표시하는 단계; 를 포함할 수 있다.
그리고, 상기 제2 사용자 입력이 수신되기 전에 상기 영상이 표시된 영역이 아닌 곳에 상기 제1 드로잉 터치가 입력되면, 상기 제1 드로잉 터치에 따라 상기 제1 레이어 상에 드로잉을 표시하는 단계; 를 더 포함할 수 있다.
그리고, 상기 제2 사용자 입력이 수신되기 전에 상기 영상 상에 사용자 터치가 입력되면, 드로잉을 수행하지 않고 상기 사용자 터치에 대응되는 터치 명령을 상기 외부 장치에 전송하는 단계; 를 더 포함할 수 있다.
또한, 상기 제2 레이어 상에 드로잉을 표시하는 단계는, 상기 제2 사용자 입력이 수신된 후, 상기 영상 상에 제2 드로잉 터치가 입력되면, 상기 영상 상에 드로잉을 표시하는 단계; 를 포함할 수 있다.
그리고, 상기 제2 레이어는 프론트 버퍼(front buffer)에 저장될 수 있다.
또한, 상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 상기 드로잉을 포함하는 전체 화면에 대한 이미지 파일을 생성하는 단계; 를 더 포함할 수 있다.
그리고, 상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 상기 드로잉을 포함하는 전체 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI를 표시하는 단계; 를 더 포함할 수 있다.
그리고, 상기 제2 사용자 입력이 수신되면, 디스플레이 전체 영역의 투명도가 조정될 수 있다.
또한, 상기 수신된 영상이 디스플레이 내의 일 영역에 PIP(Picture In Picture) 및 PBP(Picture By Picture) 중 하나의 형태로 표시될 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 전자 장치는 외부 장치로부터 영상이 수신되는 경우에도 드로잉 성능 저하 없이 외부 장치로부터 수신된 화면 및 전자 장치에서 제공하는 화면에 대해 동시에 드로잉을 수행할 수 있게 된다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 외부 장치로부터 수신된 화면이 제공되는 경우에도, 드로잉 기능의 성능을 유지하며, 외부 장치에 대한 화면 및 전자장치에서 제공하는 화면에 대해 동시에 드로잉을 수행할 수 있어 사용자의 편의가 증대 될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 영상이 디스플레이에 표시되는 과정을 나타내는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타낸 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 전자장치의 구체적 구성을 나타내는 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 메모리에 저장된 소프트웨어 모듈에 관한 도면이다.
도 5a는 본 개시의 일 실시 예에 따른 외부 장치로부터 영상이 수신되기 전의 복수의 레이어를 나타내는 도면이다.
도 5b는 본 개시의 일 실시 예에 따른 외부 장치로부터 영상이 수신된 후의 복수의 레이어를 나타내는 도면이다.
도 5c는 본 개시의 일 실시 예에 따른 외부 장치로부터 영상이 수신되고, 드로잉 아이콘이 선택된 후의 복수의 레이어를 나타내는 도면이다.
도 5d는 드로잉을 포함한 전체 화면에 대한 이미지 파일을 나타내는 도면이다.
도 6a는 수신된 영상이 표시되는 영역 상에 드로잉이 표시되지 않는 경우를 도시한 도면이다.
도 6b는 수신된 영상이 표시되는 영역 상에 드로잉이 표시되는 경우를 도시한 도면이다.
도 7은 드로잉을 포함한 전체 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI를 표시한 도면이다.
도 8은 드로잉 아이콘이 선택되는 경우 전체 영역의 투명도를 조정하여 표시한 도면이다.
도 9a는 수신된 영상을 PIP 형태로 표시한 도면이다.
도 9b는 수신된 영상을 PBP형태로 표시한 도면이다.
도 10a는 드로잉 아이콘이 수신된 영상 외부 영역에 표시된 경우를 나타낸 도면이다.
도 10b는 드로잉 아이콘이 수신된 영상 내부 영역에 표시된 경우를 나타낸 도면이다.
도 11은 본 개시의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도 이다.
도 12은 본 개시의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도 이다.
본 개시의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시 예들에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시 예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 개시의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 개시의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 개시의 실시 예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의'모듈' 혹은 복수의'부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
특히, 본 개시의 실시 예에서, “사용자 터치”란 사용자가 장치를 제어하기 위해 디스플레이 및 커버에 행하는 터치 제스처를 포함할 수 있다. 또한, “사용자 터치”는 디스플레이 상에 접촉되지 않고, 일정 거리 이상 이격되어 있는 상태의 터치(예컨대, 플로팅(floating) 또는 호버링(hovering))를 포함할 수 있다. 사용자 터치에는 터치&홀드 제스처, 터치 후 해제하는 탭 제스처, 더블 탭 제스처, 패닝 제스처, 플릭 제스처, 터치 후 일 방향으로 이동하는 터치 드래그 제스처, 핀치 제스처 등이 있을 수 있으나, 이에 제한되지 않는다.
본 개시의 실시 예에서 "레이어" 란 전자 장치에서 제공되는 영상 또는 외부 장치로부터 수신된 영상이 표시되도록 처리되는 가상의 이미지로, 레이어는 버퍼에 저장될 수 있다. 전자 장치는 각각의 레이어에 포함된 영상 등을 하나의 합성 화면으로 표시 할 수 있다.
본 개시의 실시 예에서 전자 장치는 각각의 레이어에 영상을 포함시키거나 드로잉을 표시하도록 처리할 수 있다. 드로잉이란 사용자의 터치에 대응되어 디스플레이에 선, 점 등으로 표시하는 것으로 드로잉을 통해 디스플레이상에 글씨 및 그림 등을 표시할 수 있다.
본 개시에서 사용되는 “레이어”라는 용어는 특정한 용어로 한정되지는 않으며, 레이어 대신 다른 용어(예를 들어, plane, surface, window 등)가 사용 될 수 있다.
본 개시에서, "사용자"라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 개시의 일 실시 예에 따른 영상이 디스플레이에 표시되는 과정을 나타내는 도면이다.
전자 장치는 그래픽, 동영상 및 드로잉 이미지를 제1 레이어(110)에 표시되도록 처리할 수 있다.
제1 레이어(110)는 동영상 및 그래픽(graphic)을 포함하기 위한 레이어로 도 1에는 제1 레이어(110)가 하나의 레이어인된 경우의 실시 예이다. 그래픽은 영상에 포함된 동영상을 제외한 모든 이미지 등을 의미하며, 드로잉 아이콘(111), 메뉴UI 등을 포함할 수 있다.
제2 레이어(120)는 본 개시의 일 실시 예에 따라 외부 장치로부터 영상이 수신된 후, 드로잉 아이콘(111)이 선택되면 생성되는 레이어로, 드로잉 아이콘(111)을 선택하기 위한 사용자 입력이 수신되는 경우, 전자 장치는 제2 레이어(120)를 생성하고, 제2 레이어(120)에 사용자의 드로잉 터치 입력에 따라 드로잉을 표시할 수 있다. 또한, 제2 레이어(120)에 표시되는 드로잉 이미지는 수신된 영상과 합성(composite) 과정을 거치지 않고 디스플레이에 바로 표시될 수 있어 외부 장치로부터 영상이 수신되는 경우에도 드로잉 성능을 유지할 수 있다.
외부 장치로부터 영상이 수신되기 전, 디스플레이 상에 사용자의 드로잉 터치가 입력되면, 전자 장치는 제1 레이어(110) 상에 사용자의 드로잉 터치에 따른 드로잉을 표시할 수 있다.
외부 장치로부터 영상을 수신하기 위한 사용자 입력이 수신되면, 전자 장치는 제1 레이어(110) 상에 수신된 영상(151) 및 드로잉 아이콘(111)을 표시할 수 있다. 드로잉 아이콘(111)이 선택되기 전에 수신된 영상이 표시된 영역이 아닌 곳에 사용자의 드로잉 터치가 입력되면, 전자 장치는 사용자의 드로잉 터치에 따라 제1 레이어(110) 상에 드로잉(122)을 표시할 수 있다.
제1 레이어(110)에 표시되는 드로잉은 수신된 영상과 합성(composite)하는 과정을 거쳐 디스플레이에 표시되어야 한다. 즉, 제1 레이어(110) 상에 드로잉(112)이 표시되는 경우, 드로잉 이미지(112)가 제1 레이어(110)에 표시된 수신된 영상(151)과 합성하는 과정을 거쳐, 실제 사용자의 터치와 화면상에 표시되는 선의 시간 차이(latency)가 커져 드로잉 성능이 떨어질 수 있다.
또한, 제1 레이어(110) 상에 드로잉(112)이 표시되는 경우, 수신된 영상이 표시되는 영역과 그 외의 영역에 대한 연속적인 드로잉을 수행 할 수 없게 된다. 즉, 전자 장치가 제1 레이어(110) 상에 드로잉(112)을 표시하면, 수신된 영상이 표시된 영역을 제외한 나머지 영역에서만 사용자 터치에 따른 드로잉이 표시되어, 수신된 영상이 표시된 영역과 그 외의 영역에 대한 연속적인 드로잉을 수행할 수 없게 된다. 이에 대한 설명은 도 6a를 통해 후술하도록 한다.
드로잉 아이콘(111)을 선택하기 위한 사용자 입력이 수신되면, 전자 장치는 드로잉을 수행하기 위한 제2 레이어(120)를 생성하고, 사용자의 드로잉 터치가 입력되면, 전자 장치는 제2 레이어(120) 상에 사용자의 드로잉 터치에 대응되는 드로잉(121)을 표시할 수 있다. 제2 레이어(120)에 표시되는 드로잉(121)은 수신된 영상(151)과 합성 과정을 거치지 않고 디스플레이에 바로 표시될 수 있다.
즉, 제1 레이어(110)에 포함된 드로잉(112), 수신된 영상(151)은 합성과정을 거쳐 전체 화면(130)으로 디스플레이에 표시되나, 제2 레이어(120)에 포함된 드로잉(121)은 합성과정 없이 바로 전체 화면(130)에 표시될 수 있어 드로잉 성능을 유지할 수 있다. 또한, 제2 레이어(120)에 드로잉이 표시되는 경우, 수신된 영상이 표시되는 영역(152)과 그 외의 영역에 대하여 연속적으로 드로잉을 수행할 수 있게 된다. 이에 대한 자세한 내용은 도 6b를 통해 후술하도록 한다.
도 1 에서는 제1 레이어(110)를 하나의 레이어로만 설명하였으나, 이에 한정되지 않는다. 즉 도 5a 내지 도 5d에서 후술하듯이, 제1 레이어는 동영상을 표시하기 위한 비디오 레이어 및 동영상을 제외한 그래픽을 표시하기 위한 그래픽 레이어로 구성될 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타낸 블럭도 이다.
도 2에 따르면, 전자 장치(200)는 디스플레이(210), 메모리(220), 프로세서(230)를 포함한다. 여기서 전자 장치(200)는 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현 될 수 있다. 그리고 전자 칠판은 전자 펜으로 쓸 수 있는 전도체성 칠판을 의미하며, 표면이 전도성을 갖는 평판으로 되어 있어서 전자 펜으로 필기가 가능하다.
본 개시의 일 실시 예에 따른 전자 장치(200)는 전자 칠판 자체로 구현되는 경우뿐만 아니라, 전자 칠판 기능을 수행 할 수 있는 일반적인 TV, 전자 테이블, 스마트 폰, 태블릿 등으로 구현되는 경우를 포함할 수 있다.
디스플레이(210)는 영화, 드라마, 녹화 영상, 슬로우 비디오 등의 복수의 이미지로 생성되어 일정한 프레임 비율을 가지고 디스플레이 될 수 있는 모든 동영상 이미지 또는 스틸 이미지, 사진, 문서 등의 다양한 오브젝트들을 디스플레이 할 수 있다. 또한, 디스플레이(210)는 각종 메뉴들을 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
특히, 디스플레이(210)는 전자 칠판 기능을 제공하는 판서 화면을 디스플레이 할 수 있다. 이러한 전자 칠판 기능을 제공하는 판서 화면은 검은색 또는 하얀색의 화면으로 디스플레이(210)에 표시될 수 있으며, 또한, 투명도가 조정되어 투명한 화면으로 제공될 수도 있다. 또한, 전자 칠판 기능은 일반적인 전자 칠판 장치에서 수행되는 모든 기능을 의미할 수 있다.
디스플레이(210)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Displat, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현 될 수 있으나, 이에 한정되지 않는다.
메모리(220)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장할 수 있다. 특히, 메모리(220)는 프로세서(230)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(230)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(220)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
특히, 메모리(220)는 전자 칠판 기능을 수행하기 위한 프로그램을 저장한다. 상술한 디스플레이(210)에서 전자 칠판 기능을 수행하기 위한 화면이 제공되기 위해서는 메모리(220)에 저장된 전자 칠판 기능을 수행하기 위한 프로그램이 프로세서(230)에 의해 실행되어야 한다. 이러한 전자 칠판 기능을 수행하기 위한 프로그램은 전자 장치(200) 설계 시부터 저장될 수 있으나, 펌웨어 형식으로 업데이트 될 수 있다. 그리고 이러한 펌웨어 형식의 업데이트는 유선이나 무선 통신에 의해 수행될 수 있다.
그리고, 메모리(220)에 드로잉을 포함하는 전체화면에 대한 이미지 파일이 저장될 수 있으며, 메모리(220)의 프론트 버퍼(front buffer)에 제2 레이어가 저장될 수 있다.
프로세서(230)는 디지털 신호를 처리하는 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(230)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(230)는 메모리(220)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다. 특히, 프로세서(230)는 메모리(220)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다.
프로세서(230)는 디스플레이(210)의 동작을 전반적으로 제어할 수 있다.
프로세서(230)는 사용자의 드로잉 터치가 입력되면, 그래픽을 표시하기 위한 제1 레이어 상에 사용자의 드로잉 터치 입력에 따른 드로잉이 표시되도록 처리할 수 있다.
그리고, 프로세서(230)는 외부 장치로부터 영상을 수신하기 위한 제1 사용자 입력이 수신되면, 제1 레이어 상에 수신된 영상 및 드로잉 아이콘이 표시되도록 처리할 수 있다.
그리고, 프로세서(230)는 외부 장치로부터 영상이 수신된 후, 드로잉 아이콘이 선택되기 전에 수신된 영상이 표시된 영역이 아닌 곳에 드로잉 터치가 입력되면, 드로잉 터치 입력에 따라 제1 레이어 상에 드로잉이 표시되도록 처리할 수 있다. 제1 레이어 상에 드로잉이 표시되는 경우 수신된 영상이 표시된 영역을 제외한 나머지 영역에서 사용자의 드로잉 터치에 따른 드로잉이 표시될 수 있다.
또한, 프로세서(230)는 드로잉 아이콘이 선택되기 전에 수신된 영상 상에 사용자 터치가 입력되면, 드로잉을 수행하지 않고, 상기 사용자 터치에 대응되는 터치 명령을 외부 장치에 전송하도록 통신부(250)를 제어할 수 있다. 즉, 수신된 영상 상의 아이콘을 선택하는 사용자 터치에 대응되도록 프로세서(230)는 아이콘에 대응되는 명령을 외부 장치에 전송하도록 통신부(250)를 제어할 수 있다.
그리고, 프로세서(230)는 드로잉 아이콘이 선택되면, 드로잉을 수행하기 위한 제2 레이어를 생성할 수 있다. 그 후, 사용자의 제2 드로잉 터치가 입력되면, 사용자의 제2 드로잉 터치 입력에 따라 제2 레이어 상에 드로잉이 표시되도록 디스플레이(210)를 제어할 수 있다. 프로세서(230)가 제2 레이어 상에 드로잉을 표시하도록 처리하는 경우, 제2 레이어 상에 표시되는 드로잉은 수신된 영상과 합성과정을 거치지 않아, 외부 장치로부터 영상이 수신되어도 전자 장치(200)가 드로잉 성능을 유지할 수 있다. 또한, 디스플레이(210)의 전체 영역에서 드로잉이 표시될 수 있어, 프로세서(230)가 제2 레이어 상에 드로잉이 표시하도록 처리하는 경우, 화면 전체에 대한 연속적인 드로잉을 수행할 수 있다.
그리고, 프로세서(230)는 드로잉 아이콘이 선택된 후, 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되는 경우, 드로잉을 포함한 전체 화면에 대한 이미지 파일을 생성할 수 있다. 즉, 드로잉 아이콘이 다시 선택되는 경우, 드로잉 아이콘이 선택된 시점의 드로잉 이미지, 동영상 이미지, 그래픽 이미지가 캡쳐되어 하나의 이미지 파일로 생성될 수 있다. 또한, 프로세서(230)는 드로잉 아이콘이 다시 선택되는 경우, 드로잉을 포함하는 전체 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI(user interface)를 표시하도록 디스플레이(210)를 제어할 수 있다. 이에 대한 자세한 내용은 도 7을 통해 후술 하도록 한다.
그리고, 프로세서(230)는 드로잉 아이콘을 선택하기 위한 사용자 입력이 수신되면, 디스플레이 화면의 전체 영역의 투명도를 조정하여 표시하도록 디스플레이(210)를 제어할 수 있다. 이에 대한 자세한 내용은 도 8을 통해 후술 하도록 한다.
또한, 프로세서(230)는 수신된 영상을 디스플레이 내의 일 영역에 PIP(Picture In Picture) 및 PBP(Picture By Picture) 중 하나의 형태로 표시 하도록 디스플레이(210)를 제어할 수 있다. 이에 대한 자세한 내용은 도 6을 통해 후술하도록 한다.
도 3은 본 개시의 일 실시 예에 따른 전자장치의 구체적 구성을 나타내는 블럭도이다.
도 3을 참조하면 전자장치(200`)는 디스플레이(210), 메모리(220), 프로세서(230), 터치센서(240), 통신부(250), 오디오 처리부(260), 오디오 출력부(270), 입출력 인터페이스(280)를 포함 할 수 있다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
터치센서(240)는 디스플레이(210) 상에서의 드로잉 입력을 감지할 수 있다. 드로잉 입력은 사용자의 터치에 의해 전자 장치에 입력될 수 있으며, 사용자의 터치는 사용자의 손가락에 의한 터치 입력 및 전자펜에 의한 터치 입력을 포함한다.
사용자의 손가락에 의한 터치 입력의 경우 터치센서(240)는 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력한다. 이때, 터치 신호에 대응하는 정보가 디스플레이(210)상에 표시될 수 있다.
전자펜에 의한 터치 입력의 경우 터치센서(240)는 전자펜의 운용에 따른 전자펜의 근접 입력 또는 접촉 입력을 감지하고, 감지된 전자펜 근접 이벤트 또는 전자펜 접촉 이벤트를 출력한다. 통신부(250)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(250)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩을 포함할 수 있다. 프로세서(230)는 통신부(250)를 이용하여 각종 외부 장치와 통신을 수행한다.
특히, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
통신부(250)는 외부 장치와 통신을 수행할 수 있으며, 외부 장치로부터 영상을 수신할 수 있다. 외부 장치로부터 수신된 영상에는 그래픽 이미지, 동영상 이미지 오디오 데이터가 포함될 수 있다.
오디오 처리부(260)는 영상 컨텐츠의 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(260)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(260)에서 처리된 오디오 데이터는 오디오 출력부(270)로 출력될 수 있다.
본 개시의 일 실시 예에 따르면, 외부 장치로부터 영상이 수신되는 경우, 수신된 영상에 오디오가 포함되어 있는 경우 오디오 처리부(260)는 오디오 데이터에 대한 처리를 수행할 수 있다. 또한, 전자 장치에서 제공하는 화면에 오디오가 포함되어 있는 경우에도 오디오 처리부(260)는 오디오 데이터에 대한 처리를 수행할 수 있다.
오디오 출력부(270)는 오디오 처리부(260)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(270)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
본 개시의 일 실시 예에 따르면, 외부 장치의 영상 또는 전자 장치에서 제공하는 화면에 오디오가 포함되어 있는 경우, 오디오 처리부(260)에서 처리된 오디오 데이터를 출력할 수 있다.
입출력 인터페이스(280)는 오디오 및 영상 신호 중 적어도 하나를 입출력 할 수 있다. 특히, 입출력 인터페이스(280)는 외부 장치로부터 컨텐츠 및 UI 중 적어도 하나를 포함하는 영상을 입력 받을 수 있으며, 외부 장치로 제어 명령을 출력할 수 있다.
한편, 입출력 인터페이스(280)는 HDMI(High Definition Multimedia Interface) 일 수 있으나, 이는 일 실시 예에 불과할 뿐, MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 구현 예에 따라, 입출력 인터페이스(280)는 오디오 신호만을 입출력하는 포트와 영상 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 영상 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
따라서, 전자 장치(200)는 입출력 인터페이스(280) 또는 통신부(250)를 통해 외부 장치로부터 영상을 수신할 수 있다. 외부 장치로부터 수신된 영상에는 그래픽 이미지, 동영상 이미지 오디오 데이터가 포함될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 메모리(220)에 저장된 소프트웨어 모듈에 관한 도면이다.
도 4를 참조하면, 메모리(220)에는 레이어 관리 모듈(410), 합성 모듈(420), 영상 입력 모듈(430), 메뉴 생성 모듈(440), 투명도 조절 모듈(450), 전자 칠판 기능 실행 모듈(460) 등의 프로그램이 저장되어 있을 수 있다.
한편, 상술한 프로세서(230)의 동작들은 메모리(220)에 저장된 프로그램에 의해 이루어질 수 있다. 다만, 이에 한정되는 것은 아니며, 적어도 하나의 모듈이 하드웨어로 구성될 수 있다.
이하에서는 메모리(220)에 저장된 프로그램을 이용한 프로세서(230)의 세부 동작에 대해 자세히 설명하도록 한다.
본 개시의 일 실시 예에 따르면, 전자 장치(200)가 실행되는 경우, 레이어 관리 모듈(410)은 그래픽 및 동영상을 표시하기 위한 제1 레이어를 생성할 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 드로잉 아이콘이 선택되는 경우 레이어 관리 모듈(410)은 드로잉을 수행하기 위한 제2 레이어를 생성하고, 드로잉 아이콘이 다시 선택되는 경우 레이어 관리 모듈은 제2 레이어를 삭제할 수 있다.
합성 모듈(420)은 제1 레이어에 포함된 드로잉 이미지, 그래픽 또는 동영상 등을 합성(composite)하는 기능을 수행 할 수 있다. 즉, 제1 레이어에 포함된 드로잉 이미지는 수신된 영상과 합성(composite)하는 과정을 통해 디스플레이(210)에 표시 되어야 한다. 이러한 합성과정에 의해 제1 레이어에 드로잉이 표시되는 경우 드로잉 성능이 떨어질 수 있다.
일 실시 예에 따르면, 합성 모듈(420)은 합성 대기 상태의 제1 레이어가 있는지 확인할 수 있다. 합성 모듈(420)은 프레임 레이트가 60Hz 일 경우 16.6ms 마다 생성되는 vsync에 의해 트리거 되어, 합성 대기 상태의 레이어가 있는지 여부를 확인할 수 있다. 합성 대기 상태의 레이어가 없을 경우 합성 모듈(420)은 다음 vsync까지 sleep상태로 들어가고, 합성 대기 상태의 레이어가 있을 하나의 합성 화면을 생성할 수 있다.
일 실시 예에 따르면, 합성 모듈(420)은 그래픽 라이브러리를 사용하여 합성을 수행할 수 있다. 그래픽 라이브러리는, 예를 들어 OpenGL ES, Direct3D 및 Stage3D 등을 포함할 수 있다.
일 실시 예에 따르면 합성 모듈(420)은 제1 레이어에 포함된 드로잉 이미지, 그래픽 및 동영상들을 합성(composite)하여 합성된 하나의 화면을 생성할 수 있다. 생성된 합성 화면은 프로세서(230)에 의해 디스플레이(210)에 표시될 수 있다.
다만, 프론트 버퍼(front buffer)에 저장된 레이어에 표시되도록 처리된 드로잉 이미지는 합성 모듈(420)에 의한 합성을 거치지 않고 바로 디스플레이(210)에 표시 될 수 있다. 본 개시의 일 실시 예에 따르면, 외부 장치로부터 영상이 수신되는 경우, 제1 레이어에 포함된 수신된 영상과 전자 장치에서 제공하는 영상 및 드로잉 이미지 등을 합성하는 과정이 필요하므로, 제1 레이어는 프론트 버퍼(front buffer)에 저장될 수 없게 된다. 즉, 외부 장치로부터 영상이 수신 되는 경우, 프로세서(230)가 제1 레이어 상에 드로잉을 표시하도록 처리하는 경우, 실제 터치와 화면상에 표시되는 드로잉의 시간 차이(latency)가 커져 드로잉 성능이 떨어 질 수 있다.
따라서, 프로세서(230)는 드로잉 아이콘이 선택되면, 프론트 버퍼에 저장된 제2 레이어를 생성할 수 있다. 제2 레이어에 표시된 드로잉 이미지는 합성 과정 없이 디스플레이(210)에 바로 표시될 수 있다. 따라서, 외부 장치로부터 영상이 수신되어도, 프로세서(230)는 제2 레이어에 드로잉을 표시하도록 처리하여, 드로잉 성능 저하 없이(latency 없이) 드로잉을 수행할 수 있다.
영상 입력 모듈(430)은 외부 장치로부터 영상을 입력 받아 디스플레이(210)에 외부 장치로부터 입력 받은 영상을 표시하는 기능을 수행할 수 있다. 즉 영상 입력 모듈(430)은 외부 장치로부터 영상을 수신하기 위한 사용자 입력이 수신되면, 통신부(250) 또는 입출력 인터페이스(280)로부터 수신되는 영상을 입력 받아 디스플레이(210)에 표시되도록 처리할 수 있다. 외부 장치로부터 입력 받은 영상에는 동영상 또는 그래픽 등이 포함될 수 있다.
메뉴 생성 모듈(440)은 드로잉을 수행하기 위한 드로잉 아이콘, 전자 칠판 기능에 필요한 메뉴 및 이미지 파일 생성 여부를 확인하기 위한 UI를 생성하는 기능을 수행할 수 있다.
본 개시의 일 실시 예에 따르면, 통신부(250) 또는 입출력 인터페이스(280)를 통해 전자 장치(200)로 외부 장치의 영상이 수신되는 경우, 메뉴 생성 모듈(440)은 드로잉을 수행하기 위한 드로잉 아이콘을 생성 할 수 있고, 프로세서(230)는 드로잉 아이콘을 디스플레이(210) 내의 일 영역에 표시하도록 디스플레이(210)를 제어할 수 있다.
그리고, 메뉴 생성 모듈(440)은 외부 장치의 영상이 수신되는 경우 외부 장치에 대한 제어 메뉴를 생성할 수 있다. 이러한 메뉴 생성 모듈(440)에 의해 생성된 제어 메뉴를 통해 사용자는 전자 장치(200)와 연결된 외부 장치를 손쉽게 제어 할 수 있다.
또한, 메뉴 생성 모듈(440)은 전자 장치가 전자 칠판 기능을 수행하기 위한 메뉴들을 생성할 수 있다.
투명도 조절 모듈(450)은 디스플레이(210)에 표시되는 화면의 투명도를 조정하는 기능을 수행할 수 있다.
본 개시의 일 실시 예에 따르면, 드로잉 아이콘이 선택되어 제2 레이어가 생성되는 경우, 투명도 조절 모듈(450)은 제1 레이어에 포함된 수신된 영상 및 드로잉 이미지 등에 대한 투명도를 조정하고, 제2 레이어에 표시된 드로잉에 대하여는 투명도를 조정하지 않을 수 있다. 이 경우, 제2 레이어에 표시되는 드로잉이 다른 동영상 및 그래픽에 비해 선명하게 표시될 수 있어, 드로잉이 디스플레이(210)에 표시되는 궤적을 사용자가 용이하게 파악할 수 있다.
또한, 전자 장치(200)에서 제공하는 화면이 배경화면을 포함하는 경우 투명도 조절 모듈(450)은 배경화면의 투명도를 조정할 수 있다.
전자 칠판 기능 실행 모듈(460)은 전자 칠판 기능을 실행하기 위한 프로그램 자체를 의미할 수 있고, 이러한 전자 칠판 기능을 실행하기 위한 프로그램을 실행하기 위한 플랫폼 프로그램을 의미할 수도 있다. 즉, 전자 칠판 기능을 실행하기 위한 모든 소프트웨어 등을 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 전자 칠판 기능 실행 모듈(460)은 디스플레이(210)에 표시되고 있는 화면을 이미지 파일로 생성하는 기능을 수행할 수 있다.
본 개시의 일 실시 예에 따르면, 사용자가 드로잉 아이콘을 선택하여 드로잉기능을 수행하고, 드로잉 기능을 종료하기 위해 드로잉 아이콘을 한번 더 누른 경우 전자 칠판 기능 실행 모듈(460)은 제1 레이어 및 제2 레이어에 표시된 그래픽, 영상, 드로잉 이미지 등을 하나의 이미지 파일로 생성할 수 있으며, 생성된 이미지 파일은 메모리(220)에 저장될 수 있다.
이와 같이, 프로세서(230)는 메모리(220)에 저장된 다양한 소프트웨어 모듈을 사용하여 입력 장치로부터 수신된 영상을 화면의 일 영역에 표시하고, 전자 장치에서 제공하는 판서화면 및 수신된 영상 화면에 대해 연속적인 드로잉 기능을 수행 할 수 있다.
도 5a는 본 개시의 일 실시 예에 따른 외부 장치로부터 영상이 수신되기 전의 복수의 레이어를 나타내는 도면이다.
외부 장치로부터 영상이 수신되기 전에는 프로세서(230)는 전자 장치(200)에서 제공하는 화면을 레이어에 표시하도록 디스플레이(210)를 제어할 수 있다. 도 5a 내지 도 5c는 제1 레이어가 비디오 레이어(110) 및 그래픽 레이어(120)로 구성된 경우이다. 비디오 레이어(110)는 동영상를 표시하기 위한 레이어이고, 그래픽 레이어(120)는 그래픽을 표시하기 위한 레이어로, 그래픽 레이어(120)에 동영상을 제외한 메뉴,아이콘,이미지 등이 표시될 수 있다.
도 5a를 참조하면, 프로세서(230)는 외부 장치로부터 영상이 수신되기 전에, 사용자의 드로잉 터치에 따라 그래픽 레이어(120)상에 드로잉을 표시하도록 처리할 수 있다.
또한, 프로세서(230)는 비디오 레이어(110) 및 그래픽 레이어(120)에 전자 장치(200) 자체에서 제공하는 동영상 및 그래픽이 포함되는 경우(미도시), 전자 장치(200)에서 제공하는 동영상을 비디오 레이어(110) 상에 표시하도록 처리할 수 있고, 전자 장치(200)에서 제공하는 그래픽 및 드로잉 이미지를 그래픽 레이어(120) 상에 표시하도록 처리할 수 있다. 이 경우, 비디오 레이어(110) 및 그래픽 레이어(120)에 표시되는 동영상, 그래픽 및 드로잉 이미지를 합성하여, 하나의 합성 화면(510)으로 표시하도록 디스플레이(210)를 제어할 수 있다.
도 5b는 본 개시의 일 실시 예에 따른 외부 장치로부터 영상이 수신된 후의 복수의 레이어를 나타내는 도면이다.
외부 장치로부터 영상이 수신되면, 프로세서(230)는 수신된 영상에 포함된 동영상(151)을 비디오 레이어(110) 상에 표시하도록 처리하고, 수신된 영상에 포함된 그래픽(152)을 그래픽 레이어(120) 상에 표시하도록 처리할 수 있다. 그리고 프로세서(230)는 드로잉을 수행하기 위한 드로잉 아이콘(121)을 그래픽 레이어(120) 상에 표시하도록 처리할 수 있다.
드로잉 아이콘(121)이 선택되기 전에 수신된 영상이 표시된 영역 상에 사용자 터치가 입력되면, 프로세서(230)는 드로잉을 수행하지 않고, 사용자 터치에 대응되는 터치명령을 외부 장치에 전송하도록 통신부(250)를 제어할 수 있다.
드로잉 아이콘(121)을 선택하기 전에 수신된 영상이 표시된 영역이 아닌 곳에 사용자의 드로잉 터치가 입력되면, 프로세서(230)는 그래픽 레이어(120) 상에 드로잉을 표시하도록 처리할 수 있다.
프로세서(230)는 비디오 레이어(110) 및 그래픽 레이어(120)에 포함된 그래픽, 동영상 및 드로잉 이미지를 합성하여 하나의 합성 화면(520)으로 표시하도록 디스플레이(210)를 제어할 수 있다.
도 5c는 본 개시의 일 실시 예에 따른 외부 장치로부터 영상이 수신되고, 드로잉 아이콘(121)이 선택된 후의 동영상 레이어(110), 그래픽 레이어(120) 및 제2 레이어(130)를 나타내는 도면이다.
드로잉 아이콘(121)이 선택되면, 프로세서(230)는 드로잉을 수행하기 위한 제2 레이어(130)를 생성할 수 있다. 그 후 사용자의 드로잉 터치가 입력되면, 프로세서(230)는 제2 레이어(130) 상에 사용자의 드로잉 터치 입력에 따라 드로잉을 표시하도록 처리할 수 있다.
프로세서(230)는 비디오 레이어(110) 및 그래픽 레이어(120)에 포함된 그래픽, 드로잉 이미지 및 동영상을 합성한 합성 화면에, 제2 레이어(130)에 표시된 드로잉 이미지를 포함시켜 하나의 화면(530)을 표시하도록 디스플레이(210)를 제어할 수 있다. 즉, 제2 레이어(130)에 표시된 드로잉 이미지는 합성과정을 거치지 않고, 바로 하나의 화면(530)에 표시될 수 있다.
다만, 본 개시의 일 실시 예에 따르면, 드로잉 아이콘(121)이 선택되면 사용자의 입력에 따라 그래픽 레이어(120) 또는 제2 레이어(130)에 선택적으로 드로잉이 표시될 수 있다. 예로, 드로잉 아이콘이(120)이 선택되면, 사용자의 드로잉 터치 입력에 따라 제2 레이어(130) 상에 드로잉이 표시되는 중, 사용자의 스크롤 입력이 수신되면, 사용자의 드로잉 터치 입력에 따라 그래픽 레이어(120) 상에 드로잉이 표시될 수 있다. 즉, 외부 장치로부터 영상이 수신되고, 드로잉 아이콘(121)이 선택되는 경우, 프로세서(230)는 사용자의 스크롤 입력에 따라 그래픽 레이어(120) 또는 제2 레이어(130)를 선택적으로 스크롤 하여, 그래픽 레이어(120) 또는 제2 레이어(130)에 드로잉을 표시하도록 처리할 수 있다.
도 5d는 드로잉을 수행한 화면에 대한 이미지 파일(540)을 나타내는 도면이다.
드로잉 아이콘이 선택된 후 프로세서(230)는 사용자의 드로잉 터치 입력에 따라 드로잉을 수행하고, 드로잉 아이콘이 다시 선택되면, 프로세서(230)는 드로잉 포함하는 전체 화면에 대한 이미지 파일(540)을 생성 할 수 있다. 즉, 드로잉 아이콘이 다시 선택되어 드로잉 기능이 종료되는 경우, 프로세서(230)는 각각의 레이어에 포함된 영상, 그래픽, 드로잉 이미지를 하나의 이미지 파일(540)로 생성하여 메모리(220)에 저장할 수 있다.
도 5a 내지 도 5d에서는 제1 레이어를 두 개의 레이어(그래픽 레이어 및 동영상 레이어)로 설명하였으나, 이에 한정되지 않고, 하나의 레이어에 동영상 및 그래픽이 포함될 수 있거나, 두 개 이상의 레이어가 사용될 수 있다.
도 6a는 수신된 영상이 표시되는 영역 상에 드로잉이 표시되지 않는 경우를 도시한 도면이며, 도 6b는 수신된 영상이 표시되는 영역 상에 드로잉이 표시되는 경우를 도시한 도면이다.
도 6a를 참조하면, 외부 장치로부터 영상이 수신되고, 드로잉 아이콘(111)이 선택되지 않은 경우, 수신된 영상이 표시되는 영역(152)이 아닌 곳에 사용자 터치가 입력되는 경우, 프로세서(230)는 제1 레이어 상에 드로잉을 표시하도록 처리할 수 있다. 이 경우, 수신된 영상이 표시되는 영역(152)이 아닌 곳에 터치가 개시되어 수신된 영역(152)까지 터치가 드래그 되는 경우, 프로세서(230)는 수신된 영상이 표시되는 영역(152) 상에는 드로잉이 표시되지 않도록 처리할 수 있다. 즉, 수신된 영상이 표시된 영역을 제외한 나머지 영역에서 사용자 터치에 따른 드로잉이 표시되어, 수신된 영상이 표시되는 영역(152)과 그 외의 영역에 대한 연속적인 드로잉이 수행될 수 없다.
도 6b를 참조하면, 외부 장치로부터 영상이 수신되고, 드로잉 아이콘(111)이 선택된 후, 사용자 터치가 감지되는 경우, 프로세서(230)는 제2 레이어 상에 드로잉을 표시하도록 처리할 수 있다. 이 경우, 수신된 영상이 표시되는 영역(152)이 아닌 곳에 터치가 개시되어 수신된 영역(152)까지 터치가 드래그 되는 경우, 수신된 영상이 표시되는 영역(152) 상에 드로잉이 표시될 수 있다. 따라서, 프로세서(230)는 수신된 영상이 표시되는 영역(152)을 포함한 전체 화면에 대한 연속적인 드로잉을 수행할 수 있다.
도 7은 드로잉을 수행한 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI를 표시한 도면이다.
외부 장치로부터 영상이 수신되고, 드로잉 아이콘이 선택된 후, 프로세서(230)는 사용자 터치에 의해 드로잉을 수행 하도록 디스플레이(210)를 제어할 수 있다. 그 후, 드로잉 아이콘이 다시 선택되는 경우, 프로세서(230)는 도 7과 같이 드로잉을 수행한 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI(700)를 표시하도록 디스플레이(210)를 제어할 수 있다.
UI(700)에 따라 이미지 파일 생성을 위한 사용자 터치가 입력되면, 프로세서(230)는 각각의 레이어에 포함된 그래픽, 영상, 드로잉 이미지 등을 하나의 이미지 파일로 생성하여 메모리(220)에 저장할 수 있다. 따라서, 프로세서(230)는 UI(700)를 표시하도록 디스플레이(210)를 제어하여, 드로잉이 표시된 화면에 대한 이미지 파일 생성 여부를 사용자에 요청할 수 있다.
이미지 파일 생성 여부를 확인하기 위한 UI는 도 7의 UI에 한정되지 않으며, UI에 생성할 이미지 파일이 포함될 수 있다. 즉, 드로잉 아이콘이 다시 선택되면, 선택된 시점의 드로잉 이미지, 동영상 이미지, 그래픽 이미지가 캡쳐 되고, 캡쳐된 이미지가 UI내에 포함될 수 있다. 이 경우, 사용자가 생성될 이미지 파일에 대한 정보를 미리 알 수 있다.
도 8은 드로잉 아이콘이 선택되는 경우 디스플레이(210)에 표시된 화면의 투명도가 조정된 화면을 나타내는 도면이다.
외부 장치로부터 영상이 수신되고, 드로잉 아이콘이 선택되는 경우 프로세서(230)는 디스플레이(210)의 전체 영역의 투명도를 조정할 수 있으며, 제1 레이어에 포함된 그래픽 및 동영상의 투명도를 조정하여 표시하도록 디스플레이(210)를 제어할 수 있다.
프로세서(230)는 드로잉 아이콘을 선택하는 입력이 감지되면, 제1 레이어에 표시된 드로잉 이미지(810) 및 외부 장치로부터 수신된 영상 화면(820)의 투명도를 조정하여 표시하도록 디스플레이(210)를 제어하고, 사용자의 터치가 감지되면, 프로세서(230)는 제2 레이어 상에 드로잉을 표시하도록 처리 할 수 있다.
제2 레이어 상에 표시되는 드로잉 이미지를 제외한 그래픽 및 동영상에 대해 투명도가 조정되어 표시되는 경우, 드로잉이 표시되는 궤적을 사용자가 용이하게 파악할 수 있다.
또한, 드로잉 아이콘이 선택되는 경우뿐만 아니라, 드로잉 아이콘이 선택되지 않더라도 사용자의 입력에 따라 디스플레이(210)에 표시된 화면의 투명도를 조절할 수 있다. 즉, 드로잉 아이콘이 선택되지 않아, 프로세서(230)가 제1 레이어에 드로잉을 표시하도록 처리하는 경우에도, 드로잉 이미지를 제외한 나머지 그래픽 및 동영상에 대해 투명도를 조절할 수 있다.
또한, 전자 장치에서 제공하는 판서 화면에 배경화면이 포함되어 있는 경우, 드로잉 아이콘이 선택되면, 프로세서(230)는 배경화면의 투명도를 조정할 수 있다.
도 9a는 입력 장치로부터 수신된 영상을 PIP 형태로 표시한 도면이며, 도 9b는 입력 장치로부터 수신된 영상을 PBP형태로 표시한 도면이다.
외부 장치로부터 영상이 수신되는 경우, 프로세서(230)는 수신되는 영상화면을 도 9a와 같이 디스플레이(210) 내의 일 영역(910)에 PIP(Picture In Picture) 형태로 표시하도록 디스플레이(210)를 제어할 수 있다.
즉, 수신된 영상이 PIP형태로 디스플레이(210) 내의 일 영역(910)에 표시되면, 그 외의 영역에는 전자 장치에서 제공하는 화면이 표시될 수 있다.
수신된 영상 화면이 PIP형태로 디스플레이(210) 내의 일 영역(910)에 표시되는 상태에서, 드로잉 아이콘이 선택되면, 수신된 영상이 표시된 영역이 아닌 곳에 터치가 개시되어 수신된 영상이 표시된 영역까지 터치가 드래그 되는 경우, 전체 화면에 대해 드로잉이 표시될 수 있다. 따라서, 드로잉 아이콘이 선택되면 프로세서(230)는 전체 화면에 대한 연속적인 드로잉을 수행할 수 있다.
또한, 외부 장치로부터 영상이 수신되는 경우, 프로세서(230)는 수신되는 영상화면을 도 9b와 같이 디스플레이 내의 일 영역(920)에 PBP(Picture By Picture) 형태로 표시하도록 디스플레이(210)를 제어할 수 있다.
즉, 수신된 영상이 PBP형태로 디스플레이(210) 내의 일 영역(920)에 표시되면, 그 외의 영역에는 전자 장치에서 제공하는 화면이 축소되어 표시되거나, 일 부분만 표시될 수 있다.
수신된 영상 화면이 PBP형태로 디스플레이(210) 내의 일 영역(920)에 표시되는 상태에서, 드로잉 아이콘이 선택되면, 수신된 영상이 표시된 영역(920)이 아닌 곳에 터치가 개시되어 수신된 영상이 표시된 영역(920)까지 터치가 드래그 되는 경우, 전체 화면에 대해 드로잉이 표시될 수 있다. 프로세서(230)
도 10a는 드로잉 아이콘이 수신된 영상 외부 영역에 표시된 경우를 나타낸 도면이다.
본 개시의 일 실시 예에 따르면, 외부 장치로부터 영상을 수신하기 위한 사용자 입력이 수신되면, 프로세서(230)는 수신된 영상이 표시된 영역(151) 외부에 드로잉 아이콘(111)을 표시하도록 처리할 수 있다.
도 10b는 드로잉 아이콘이 수신된 영상 내부 영역에 표시된 경우를 나타낸 도면이다.
본 개시의 일 실시 예에 따르면, 외부 장치로부터 영상을 수신하기 위한 사용자 입력이 수신되면, 프로세서(230)는 수신된 영상이 표시된 영역(151) 내에 드로잉 아이콘(111)을 표시하도록 처리할 수 있다.
도 11은 본 개시의 일 실시 예에 따른, 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도 이다.
사용자의 제1 드로잉 터치가 입력되면, 전자 장치(200)는 그래픽을 표시하기 위한 제1 레이어 상에 제1 드로잉 터치 입력에 따른 드로잉을 표시할 수 있다(S1110). 제1 레이어에는 동영상, 그래픽 및 드로잉 이미지를 포함할 수 있으며, 여기서 그래픽은 영상 상에 포함된 동영상을 제외한 모든 그래픽을 의미하며, 아이콘, 메뉴UI, 이미지 등을 포함할 수 있다.
외부 장치로부터 영상이 수신되면, 전자 장치(200)는 제1 레이어 상에 수신된 영상 및 드로잉 아이콘을 표시할 수 있다(S1120). 드로잉 아이콘은 수신된 영상 상에 사용자의 드로잉 터치 입력에 따른 드로잉을 수행하기 위한 아이콘이다.
드로잉 아이콘을 선택하기 위한 사용자 입력이 수신되어, 드로잉 아이콘이 선택되면, 드로잉을 수행하기 위한 제2 레이어를 생성할 수 있다(S1130). 그 후, 사용자의 제2 드로잉 터치가 입력되면, 제2 드로잉 터치 입력에 따라 제2 레이어 상에 드로잉을 표시하고(S1140), 처리를 종료할 수 있다. 드로잉 아이콘이 선택되지 않고 드로잉이 표시되는 경우에는 수신된 영상 상에 드로잉이 표시되지 않아 전체 화면에 대한 연속적인 드로잉을 수행할 수 없다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도 이다.
우선 전자 장치(200)는 사용자 터치가 입력되면, 제1 레이어 상에 드로잉을 표시할 수 있다(S1205).
외부 장치로부터 영상을 수신하기 위한 사용자 입력이 수신되어, 외부 장치로부터 영상이 수신되면, 전자 장치(200)는 제1 레이어 상에 수신된 영상 및 드로잉 아이콘을 표시할 수 있다(S1210). 그 후 드로잉 아이콘이 선택되지 않으면(S1215-N), 전자 장치(200)는 수신된 영상 상에 사용자 터치가 입력되는지 여부를 판단한다(S1220).
수신된 영상 상에 사용자 터치가 입력되는 경우(S1220-Y), 전자 장치(200)는 사용자 터치에 대응되는 터치 명령을 외부 장치에 전송하고(S1225) 처리를 종료할 수 있다.
수신된 영상 상에 사용자 터치가 개시되지 않고(S1220-N), 수신된 영상이 표시된 영역이 아닌 곳에 사용자 터치가 개시되면, 전자 장치(200)는 제1 레이어 상에 드로잉을 표시하고(S1230) 처리를 종료할 수 있다. 즉, 드로잉 아이콘이 선택되지 않는 경우 수신된 영상 상에서 사용자 터치가 입력되면 전자 장치(200)는 터치명령을 수행하고, 수신된 영상이 표시된 영역이 아닌 곳에서 사용자 터치가 입력되면 전자 장치(200)는 제1 레이어 상에 드로잉을 표시할 수 있다.
드로잉 아이콘이 선택되면(S1215-Y), 전자 장치(200)는 제2 레이어를 생성할 수 있다(S1235). 그 후, 사용자의 제2 드로잉 터치가 감지되면, 전자 장치(200)는 제2 드로잉 터치에 따라 제2 레이어 상에 드로잉을 표시할 수 있다(S1240).
드로잉 아이콘이 다시 선택되지 않고(S1245-N), 제2 드로잉 터치가 계속 감지되면, 전자 장치(200)는 제2 레이어 상에 드로잉을 계속 표시하도록 처리할 수 있다(S1240). 이 경우, 본 개시의 일 실시 예에 따르면, 사용자의 스크롤 입력에 따라 제1 레이어 또는 제2 레이어를 선택적으로 스크롤 하여, 드로잉을 표시할 수 있다.
드로잉 아이콘이 다시 선택되면(S1245-Y), 전자 장치(200)는 드로잉을 포함하는 전체 화면에 대한 이미지 파일 생성 여부를 확인할 수 있다(S1250). 또한, 전자 장치(200)는 이미지 파일 생성 여부를 확인하기 위한 UI를 표시하여 이미지 파일 생성 여부를 확인할 수 있다. 이미지 파일을 생성하는 경우(S1250-Y), 전자 장치(200)는 드로잉을 포함하는 전체 화면에 대한 이미지 파일을 생성하고(S1255) 처리를 종료할 수 있다. 이미지 파일을 생성하지 않는 경우(S1250-N) 바로 처리를 종료할 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
200: 전자 장치 210: 디스플레이
220: 메모리 230: 프로세서

Claims (18)

  1. 전자장치에 있어서,
    디스플레이,
    적어도 하나의 인스트럭션(instruction)을 저장하는 메모리, 및
    상기 적어도 하나의 인스트럭션을 실행하는 프로세서, 를 포함하고,
    상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써,
    사용자의 제1 드로잉 터치가 입력되면, 그래픽을 표시하기 위한 제1 레이어 상에 상기 제1 드로잉 터치 입력에 따른 드로잉이 표시되도록 처리하고,
    외부 장치로부터 영상을 수신하기 위한 제1 사용자 입력이 수신되면, 상기 제1 레이어 상에 상기 영상 및 드로잉 아이콘이 표시되도록 처리하며,
    상기 드로잉 아이콘을 선택하기 위한 제2 사용자 입력이 수신되면, 드로잉을 수행하기 위한 제2 레이어를 생성하고,
    사용자의 제2 드로잉 터치가 입력되면, 상기 제2 드로잉 터치 입력에 따라 상기 제2 레이어 상에 드로잉이 표시되도록 처리하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 사용자 입력이 수신되기 전에 상기 영상이 표시된 영역이 아닌 곳에 상기 제1 드로잉 터치가 입력되면, 상기 제1 드로잉 터치 입력에 따라 상기 제1 레이어 상에 드로잉이 표시되도록 처리하는 전자장치.
  3. 제1항에 있어서,
    회로를 포함하는 통신부; 를 더 포함하고,
    상기 프로세서는,
    상기 제2 사용자 입력이 수신되기 전에 상기 영상 상에 사용자 터치가 입력되면, 드로잉을 수행하지 않고 상기 사용자 터치에 대응되는 터치 명령을 상기 외부 장치에 전송하도록 상기 통신부를 제어하는 전자장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 사용자 입력이 수신된 후, 상기 영상 상에 상기 제2 드로잉 터치가 입력되면, 상기 영상 상에 드로잉을 표시하도록 상기 디스플레이를 제어하는 전자장치.
  5. 제1항에 있어서,
    상기 제2 레이어는 프론트 버퍼(front buffer)에 저장되는 전자장치
  6. 제1항에 있어서,
    상기 프로세서는
    상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 드로잉을 포함하는 전체 화면에 대한 이미지 파일을 생성하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 드로잉을 포함하는 전체 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI를 표시하도록 상기 디스플레이를 제어하는 전자장치.
  8. 제1항에 있어서
    상기 프로세서는,
    상기 제2 사용자 입력이 수신되면,
    상기 디스플레이 전체 영역의 투명도를 조정하여 표시하도록 상기 디스플레이를 제어하는 전자장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 수신된 영상을 상기 디스플레이 내의 일 영역에 PIP(Picture In Picture) 및 PBP(Picture By Picture) 중 하나의 형태로 표시 하도록 상기 디스플레이를 제어하는 전자장치.
  10. 전자장치의 제어방법에 있어서,
    사용자의 제1 드로잉 터치가 입력되면, 그래픽을 표시하기 위한 제1 레이어 상에 상기 제1 드로잉 터치 입력에 따른 드로잉을 표시하는 단계;
    외부 장치로부터 영상을 수신하기 위한 제1 사용자 입력이 수신되면, 상기 제1 레이어 상에 상기 영상 및 드로잉 아이콘을 표시하는 단계;
    상기 드로잉 아이콘을 선택하기 위한 제2 사용자 입력이 수신되면, 드로잉을 수행하기 위한 제2 레이어를 생성하는 단계; 및
    사용자의 제2 드로잉 터치가 입력되면, 상기 제2 드로잉 터치 입력에 따라 상기 제2 레이어 상에 드로잉을 표시하는 단계;
    를 포함하는 전자장치의 제어방법.
  11. 제10항에 있어서,
    상기 제2 사용자 입력이 수신되기 전에 상기 영상이 표시된 영역이 아닌 곳에 상기 제1 드로잉 터치가 입력되면, 상기 제1 드로잉 터치 입력에 따라 상기 제1 레이어 상에 드로잉을 표시하는 단계;
    를 더 포함하는 전자장치의 제어방법.
  12. 제10항에 있어서,
    상기 제2 사용자 입력이 수신되기 전에 상기 영상 상에 사용자 터치가 입력되면, 드로잉을 수행하지 않고 상기 사용자 터치에 대응되는 터치 명령을 상기 외부 장치에 전송하는 단계;
    를 더 포함하는 전자장치의 제어방법.
  13. 제10항에 있어서,
    상기 제2 레이어 상에 드로잉을 표시하는 단계는,
    상기 제2 사용자 입력이 수신된 후, 상기 영상 상에 상기 제2 드로잉 터치가 입력되면, 상기 영상 상에 드로잉을 표시하는 단계;
    를 포함하는 전자장치의 제어방법.
  14. 제10항에 있어서,
    상기 제2 레이어는 프론트 버퍼(front buffer)에 저장되는 전자장치의 제어방법.
  15. 제10항에 있어서,
    상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 드로잉을 포함하는 전체 화면에 대한 이미지 파일을 생성하는 단계;
    를 더 포함하는 전자장치의 제어방법.
  16. 제10항에 있어서,
    상기 제2 사용자 입력이 수신된 후, 상기 드로잉 아이콘을 다시 선택하기 위한 제3 사용자 입력이 수신되면, 드로잉을 포함하는 전체 화면에 대한 이미지 파일 생성 여부를 확인하기 위한 UI를 표시하는 단계;
    를 더 포함하는 전자장치의 제어방법.
  17. 제10항에 있어서,
    상기 제2 사용자 입력이 수신되면,
    디스플레이 전체 영역의 투명도가 조정되는 전자장치의 제어방법.
  18. 제10항에 있어서,
    상기 수신된 영상이 디스플레이 내의 일 영역에 PIP(Picture In Picture) 및 PBP(Picture By Picture) 중 하나의 형태로 표시되는 전자장치의 제어방법.


KR1020190045606A 2019-04-18 2019-04-18 전자 장치 및 그 제어 방법 KR20200122651A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190045606A KR20200122651A (ko) 2019-04-18 2019-04-18 전자 장치 및 그 제어 방법
EP20167247.4A EP3726357B1 (en) 2019-04-18 2020-03-31 Electronic apparatus and controlling method thereof
PCT/KR2020/004788 WO2020213886A1 (en) 2019-04-18 2020-04-09 Electronic apparatus and controlling method thereof
US16/849,530 US11249640B2 (en) 2019-04-18 2020-04-15 Electronic apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190045606A KR20200122651A (ko) 2019-04-18 2019-04-18 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20200122651A true KR20200122651A (ko) 2020-10-28

Family

ID=70110174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045606A KR20200122651A (ko) 2019-04-18 2019-04-18 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US11249640B2 (ko)
EP (1) EP3726357B1 (ko)
KR (1) KR20200122651A (ko)
WO (1) WO2020213886A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704015B2 (en) 2018-12-24 2023-07-18 Samsung Electronics Co., Ltd. Electronic device to display writing across a plurality of layers displayed on a display and controlling method of electronic device
WO2023182624A1 (ko) * 2022-03-22 2023-09-28 엘지전자 주식회사 디스플레이 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256402B1 (en) * 2020-08-12 2022-02-22 Facebook, Inc. Systems and methods for generating and broadcasting digital trails of visual media

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101735610B1 (ko) 2010-05-06 2017-05-15 엘지전자 주식회사 영상표시장치의 동작 방법
KR20110123337A (ko) 2010-05-07 2011-11-15 유엔젤주식회사 이동 통신 단말기용 드로잉 메시지 작성 프로그램을 저장한 컴퓨터 판독 가능한 기록매체, 드로잉 메시지 송신 시스템 및 그 송신 방법
US8774955B2 (en) 2011-04-13 2014-07-08 Google Inc. Audio control of multimedia objects
KR102042265B1 (ko) * 2012-03-30 2019-11-08 엘지전자 주식회사 이동 단말기
KR20130115694A (ko) * 2012-04-13 2013-10-22 삼성전자주식회사 사용자 데이터를 입력 및 관리할 수 있는 전자 장치 및 방법
KR20140008987A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
KR20140014551A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 클라우드 서비스 기반의 메모 기능 제공 방법 및 시스템과 이를 지원하는 단말기
US10089633B2 (en) * 2013-08-13 2018-10-02 Amazon Technologies, Inc. Remote support of computing devices
KR102047499B1 (ko) * 2013-09-27 2019-11-21 삼성전자주식회사 콘텐트를 공유하는 방법 및 그 장치
KR20180052302A (ko) 2016-11-10 2018-05-18 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
KR20180062832A (ko) 2016-12-01 2018-06-11 주식회사 하이딥 사용자 인터페이스 제공을 위한 터치 입력 방법 및 장치
KR20190021016A (ko) * 2017-08-22 2019-03-05 삼성전자주식회사 전자 장치 및 그 제어 방법
EP3447623B1 (en) * 2017-08-22 2020-01-29 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704015B2 (en) 2018-12-24 2023-07-18 Samsung Electronics Co., Ltd. Electronic device to display writing across a plurality of layers displayed on a display and controlling method of electronic device
WO2023182624A1 (ko) * 2022-03-22 2023-09-28 엘지전자 주식회사 디스플레이 장치

Also Published As

Publication number Publication date
EP3726357B1 (en) 2024-05-01
WO2020213886A1 (en) 2020-10-22
EP3726357A1 (en) 2020-10-21
US20200333949A1 (en) 2020-10-22
US11249640B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
US11586293B2 (en) Display control method and apparatus
US20210132779A1 (en) Electronic device and method for configuring display thereof
US10430918B2 (en) Display driver, display system, and method of operating the display driver
KR102213212B1 (ko) 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치
CN112947840B (zh) 包括触敏显示器的电子装置及操作该电子装置的方法
KR102248841B1 (ko) 디스플레이 장치, 전자 장치 및 전자 장치의 동작 방법
CN105938699B (zh) 用于减少老化的电子设备和方法
KR102143618B1 (ko) 프레임률 제어 방법 및 그 전자 장치
EP3726357A1 (en) Electronic apparatus and controlling method thereof
US9389884B2 (en) Method and apparatus for providing adaptive wallpaper display for a device having multiple operating system environments
EP3337169A1 (en) Method and device for adjusting resolution of electronic device
KR20160046620A (ko) 디스플레이 구동 회로 및 디스플레이 시스템
EP2988198B1 (en) Apparatus and method for processing drag and drop
US20150143277A1 (en) Method for changing an input mode in an electronic device
US11068158B2 (en) Electronic apparatus and method for controlling thereof
US20140043267A1 (en) Operation Method of Dual Operating Systems, Touch Sensitive Electronic Device Having Dual Operating Systems, and Computer Readable Storage Medium Having Dual Operating Systems
KR20150052481A (ko) 콘텐츠 표시 방법 및 이를 구현하는 전자 장치
EP2911047A1 (en) Method and apparatus for displaying information and electronic device adapted to the method
KR20150021800A (ko) 전자 장치 및 영상 표시 방법
US10725608B2 (en) Electronic device and method for setting block
US10331334B2 (en) Multiple transparent annotation layers for use within a graphical user interface
US20220374127A1 (en) Electronic device recognizing touch and performing display
KR20200140708A (ko) 전자 장치 및 이의 제어 방법
KR20200140675A (ko) 전자 장치 및 이의 제어 방법
US20230400972A1 (en) Electronic apparatus and controlling method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right