KR20190021016A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20190021016A
KR20190021016A KR1020170106066A KR20170106066A KR20190021016A KR 20190021016 A KR20190021016 A KR 20190021016A KR 1020170106066 A KR1020170106066 A KR 1020170106066A KR 20170106066 A KR20170106066 A KR 20170106066A KR 20190021016 A KR20190021016 A KR 20190021016A
Authority
KR
South Korea
Prior art keywords
area
image
display
displayed
external terminal
Prior art date
Application number
KR1020170106066A
Other languages
English (en)
Inventor
강수진
김동혁
김수아
김용구
박소정
배현승
원동희
이성혜
이재광
최현호
한영란
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170106066A priority Critical patent/KR20190021016A/ko
Priority to PCT/KR2018/008150 priority patent/WO2019039739A1/en
Priority to EP18184649.4A priority patent/EP3447626A3/en
Priority to US16/050,563 priority patent/US20190065030A1/en
Priority to CN201810951083.0A priority patent/CN109426412A/zh
Publication of KR20190021016A publication Critical patent/KR20190021016A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive loop type
    • H04B5/0025—Near field system adaptations
    • H04B5/70—
    • H04B5/72—

Abstract

전자 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 전자 장치의 제어 방법은 외부 단말로부터 외부 단말이 표시하는 영상을 수신하여 수신된 영상을 디스플레이의 일 영역에 표시하는 단계 및 캡쳐를 위한 사용자 명령이 입력되면, 사용자 명령에 입력된 시점에 일 영역에 표시된 영상을 캡쳐하여 캡쳐된 영상을 일 영역과 다른 영역에 표시하는 단계를 포함한다. 이에 따라, 전자 장치는 다양한 인터렉션 환경을 제공할 수 있다.

Description

전자 장치 및 그 제어 방법{Electronic device and control method thereof}
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 대화면의 디스플레이를 구비한 전자 장치 및 그 제어 방법에 관한 것이다.
일반적으로 전자 칠판과 같은 대화면의 전자 장치는 디스플레이 화면을 통해 외부 단말로부터 전송된 컨텐츠를 수신하여 디스플레이하거나, 기저장된 컨텐츠를 디스플레이하는 등의 디스플레이 장치 내에서의 인터렉션 동작을 수행한다.
특히, 외부 단말로부터 전송된 컨텐츠를 수신하여 디스플레이할 경우, 전자 장치는 외부 단말로부터 수신된 컨텐츠만 화면상에 디스플레이할 뿐, 해당 컨텐츠가 디스플레이된 화면상에 또다른 컨텐츠를 함께 디스플레이하지 못하는 문제가 있다.
뿐만 아니라, 종래의 전자 장치는 외부 단말로부터 수신된 컨텐츠을 화면상에 디스플레이할 경우, 디스플레이된 컨텐츠를 캡쳐하는 등의 편집하거나 혹은 해당 컨텐츠가 디스플레이된 화면상에서 텍스트 입력과 같은 문서 작업을 하지 못하는 문제가 있다.
이에 따라, 전자 칠판과 같은 대화면의 전자 장치가 사용자들간 커뮤니케이션이 활발히 이루어지는 장소에서 이용되는 점을 고려할 때, 종래의 전자 장치는 사용자들 간 커뮤니티 환경이 원활히 이루어질 수 있는 정도의 용도로 이용되지 못하는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은, 대화면의 디스플레이를 제공하는 전자 장치를 통해 다양한 인터렉션 환경을 제공하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치의 제어 방법은 외부 단말로부터 상기 외부 단말이 표시하는 영상을 수신하여 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계 및 캡쳐를 위한 사용자 명령이 입력되면, 상기 사용자 명령에 입력된 시점에 상기 일 영역에 표시된 영상을 캡쳐하여 상기 캡쳐된 영상을 상기 일 영역과 다른 영역에 표시하는 단계를 포함한다.
그리고, 상기 전자 장치와 상기 외부 단말 각각은 NFC 통신을 위한 NFC 모듈을 포함하며, 상기 방법은, 상기 외부 단말이 상기 전자 장치에 태깅되면, 상기 NFC 모듈을 이용하여 상기 외부 단말과 통신 연결을 수행하는 단계를 더 포함할 수 있다.
그리고, 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는, 상기 일 영역에 표시될 영상을 전송할 상기 외부 단말과의 연결을 안내하는 아이콘 및 상기 디스플레이에 표시된 영상을 상기 외부 단말로 전송하기 위한 아이콘 중 적어도 하나를 상기 일 영역을 제외한 나머지 영역에 표시할 수 있다.
또한, 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는, 상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상을 캡쳐하기 위한 아이콘을 표시하며, 상기 캡쳐를 위한 사용자 명령은, 상기 수신된 영상을 캡쳐하기 위한 아이콘을 선택하는 사용자 명령일 수 있다.
그리고, 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는, 상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘을 표시하며, 상기 방법은, 상기 아이콘을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하는 단계를 더 포함할 수 있다.
또한, 상기 캡쳐된 영상을 상기 일 영역과 다른 영역에 표시하는 단계는, 상기 일 영역 상에 상기 수신된 영상을 표시하고, 상기 다른 영역에 상기 캡쳐된 영상을 표시하며, 상기 방법은, 상기 수신된 영상 및 상기 캡쳐된 영상이 표시되는 동안 상기 수신된 영상을 제거하기 위한 사용자 명령이 입력되면, 상기 일 영역 상에 표시되는 상기 수신된 영상을 제거하는 단계를 더 포함할 수 있다.
그리고, 상기 디스플레이는, 복수의 페이지 중 적어도 하나를 표시하며, 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는, 상기 디스플레이에 표시된 적어도 하나의 페이지를 스크롤하기 위한 사용자 명령이 입력에 기초하여 페이지를 스크롤하면서, 상기 일 영역 상에 상기 수신된 영상을 고정시켜 표시할 수 있다.
또한, 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는, 상기 디스플레이의 또 다른 영역에 상기 복수의 페이지를 안내하기 위한 네비게이션 창을 표시할 수 있다.
그리고, 상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역 내에서 사용자 터치가 감지되면, 상기 감지된 사용자 터치에 대응되는 터치 정보를 상기 외부 단말로 전송하는 단계 및 상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역을 제외한 나머지 영역에서 사용자 터치가 감지되면, 상기 사용자 터치에 따라 드로잉 기능을 수행하는 단계를 더 포함할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 통신부, 디스플레이 및 상기 통신부를 통해 외부 단말로부터 상기 외부 단말이 표시하는 영상이 수신되면, 상기 수신된 영상을 디스플레이의 일 영역에 표시하고, 캡쳐를 위한 사용자 명령이 입력되면, 상기 사용자 명령에 입력된 시점에 상기 일 영역에 표시된 영상을 캡쳐하여 상기 캡쳐된 영상을 상기 일 영역과 다른 영역에 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
그리고, 상기 통신부는, 상기 외부 단말과 NFC 통신을 위한 NFC 모듈을 포함하며, 상기 프로세서는, 상기 외부 단말이 상기 전자 장치에 태깅되면, 상기 NFC 모듈을 이용하여 상기 외부 단말과 통신 연결을 수행하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는, 상기 일 영역에 표시될 영상을 전송할 상기 외부 단말과의 연결을 안내하는 아이콘 및 상기 디스플레이에 표시된 영상을 상기 외부 단말로 전송하기 위한 아이콘 중 적어도 하나를 표시하도록 상기 디스플레이를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상을 캡쳐하기 위한 아이콘을 표시하도록 상기 디스플레이를 제어하며, 상기 캡쳐를 위한 사용자 명령은, 상기 수신된 영상을 캡쳐하기 위한 아이콘을 선택하는 사용자 명령일 수 있다.
또한, 상기 프로세서는, 상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘을 표시하도록 상기 디스플레이를 제어하며, 상기 아이콘을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집할 수 있다.
그리고, 상기 프로세서는, 상기 일 영역 상에 상기 수신된 영상을 표시하고, 상기 다른 영역에 상기 캡쳐된 영상을 표시하도록 상기 디스플레이를 제어하며, 상기 수신된 영상 및 상기 캡쳐된 영상이 표시되는 동안 상기 수신된 영상을 제거하기 위한 사용자 명령이 입력되면, 상기 일 영역 상에 표시되는 상기 수신된 영상을 제거할 수 있다.
또한, 상기 디스플레이는, 복수의 페이지 중 적어도 하나를 표시하며, 상기 프로세서는, 상기 디스플레이에 표시된 적어도 하나의 페이지를 스크롤하기 위한 사용자 명령이 입력에 기초하여 페이지를 스크롤하면서, 상기 일 영역 상에 상기 수신된 영상을 고정시켜 표시하도록 상기 디스플레이를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 디스플레이의 또 다른 영역에 상기 복수의 페이지를 안내하기 위한 네비게이션 창을 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역 내에서 사용자 터치가 감지되면, 상기 감지된 사용자 터치에 대응되는 터치 정보를 상기 외부 단말로 전송하도록 상기 통신부를 제어하며, 상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역을 제외한 나머지 영역에서 사용자 터치가 감지되면, 상기 사용자 터치에 따라 드로잉 기능을 수행할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 본 발명에 따른 전자 장치는 다양한 인터렉션 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 PIP(Picture in Picture) 캡쳐 인터렉션을 위한시스템의 개략적인 동작을 나타내는 예시도,
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 구조를 나타내는 예시도,
도 4는 본 발명의 일 실시예에 따른 전자 장치의 세부 블록도,
도 5는 본 발명의 일 실시예에 따른 외부 단말의 세부 블록도,
도 6은 본 발명의 일 실시예에 따른 전자 장치에서 영상을 캡쳐하는 예시도,
도 7 내지 도 10은 본 발명의 일 실시예에 따른 전자 장치에서 외부 단말로부터 수신된 영상을 편집하는 예시도,
도 11은 본 발명에 따른 전자 장치에서 사용자 명령에 따라 PIP 영상을 표시하는 예시도,
도 12는 본 발명의 일 실시예에 따른 전자 장치에서 네비게이션 창을 표시하는 예시도,
도 13은 본 발명의 일 실시예에 따른 전자 장치에서 PIP 모드에서 사용자 명령에 따라 동작을 수행하는 예시도,
도 14는 본 발명의 일 실시예에 따른 전자 장치의 제어 방법에 대한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 물리적인 연결뿐만 아니라 무선 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 PIP(Picture in Picture) 캡쳐 인터렉션을 위한시스템의 개략적인 동작을 나타내는 예시도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 시스템은 전자 장치(100) 및 외부 단말(200)를 포함한다.
전자 장치(100)는 복수의 사용자들 간에 다양한 커뮤니티 환경이 이루어지는 강의실 및 회의실 등에 이용되는 전자 칠판 혹은 건물 외벽에 설치된 전자 광고판과 같은 대화면 디스플레이 장치가 될 수 있다.
외부 단말(200)은 전자 장치(100)와 통신을 수행하여 데이터를 송수신하는 기기로부터 예를 들어, 스마트 폰, 테블릿 등의 휴대용 단말 장치이거나 혹은 스마트 TV와 같은 디스플레이 장치가 될 수 있다.
구체적으로, 전자 장치(100)와 통신 연결된 외부 단말(200)은 사용자 명령에 따라 외부 단말(200)에 표시된 영상 정보를 전자 장치(100)로 전송한다. 이에 따라, 전자 장치(100)는 외부 단말(200)로부터 수신된 영상 정보에 기초하여 외부 단말(200)에 표시된 영상과 동일한 영상(이하 제1 영상이라 함)(10)을 디스플레이의 제1 영역에 표시할 수 있다.
이 같은 전자 장치(100)는 제1 영역에 제1 영상(10)이 표시되는 동안 제1 영역 내에서 사용자 터치가 감지되면, 감지된 사용자 터치에 대응되는 터치 정보를 제1 영상(10)을 전송한 외부 단말(200)로 전송할 수 있다.
예를 들어, 제1 영역에 표시된 제1 영상(10)이 동영상인 경우, 제1 영역 내에서 사용자 터치가 감지되면, 전자 장치(100)는 감지된 사용자 터치에 기초하여 재생 정지, 고속 재생, 되감기 등의 터치 정보를 제1 영상(10)을 전송한 외부 단말(200)로 전송할 수 있다.
한편, 전자 장치(100)는 제1 영역에 제1 영상(10)이 표시되는 동안 제1 영역을 제외한 나머지 영역에서 사용자 터치가 감지되면, 사용자 터치에 따라 드로잉 기능을 수행하여 드로잉 이미지를 사용자 터치가 감지된 영역 상에 표시할 수 있다.
한편, 전자 장치(100)는 제1 영역 상에 제1 영상(10)과 함께 제1 영상(10)을 캡쳐하기 위한 아이콘(11)을 표시될 수 있다. 이 같은 아이콘(11)이 선택되면, 전자 장치(100)는 디스플레이의 제1 영역에 표시된 제1 영상(10)을 캡쳐하고, 캡쳐된 영상(이하 제1 캡쳐 영상이라 함)(20)을 제1 영역과 다른 영역에 표시할 수 있다. 즉, 전자 장치(100)는 아이콘(11)이 선택되면, 디스플레이의 제1 영역에 제1 영상을 표시하고, 제1 영역과 다른 영역에 제1 영상으로부터 캡쳐된 영상을 표시하는 PIP 모드로 동작할 수 있다.
예를 들어, 제1 영역에 표시된 제1 영상(10)이 정지 영상인 경우, 전자 장치(100)는 아이콘(11)이 선택되면, 제1 영역에 표시된 제1 영상(10)에 대한 제1 캡쳐 영상(20)을 생성하여 제1 영역과 다른 영역에 표시할 수 있다.
한편, 제1 영역에 표시된 제1 영상(10)이 동영상인 경우, 전자 장치(100)는 제1 영상(10)을 구성하는 복수의 영상 프레임 중 아이콘(11)이 선택된 시점에 표시된 영상 프레임에 대한 제1 캡쳐 영상(20)을 생성하여 제1 영역과 다른 영역에 표시할 수 있다.
한편, 전자 장치(100)는 제1 영역 상에 제1 영상(10)과 함께 제1 영상(10)을 편집하기 위한 아이콘(12)을 표시될 수 있다. 이 같은 아이콘(12)이 선택되면, 전자 장치(100)는 디스플레이의 제1 영역에 표시된 제1 영상(10)의 크기, 위치 및 방향 중 적어도 하나를 편집할 수 있다.
한편, 전자 장치(100)는 디스플레이 상에 복수의 페이지 중 적어도 하나의 페이지를 표시하며, 적어도 하나의 페이지가 표시된 디스플레이의 제1 영역에 제1 영상(10)을 표시하고, 또다른 제2 영역에 제1 캡쳐 영상(20)을 표시할 수 있다.
이 같은 제1 캡쳐 영상(20)이 표시된 상태에서 전자 장치(100)는 제1 캡쳐 영상(20)이 표시된 제2 영역에 대한 사용자 터치가 입력되면, 전자 장치(100)는 사용자 터치에 따라, 제2 영역에 표시된 제1 캡쳐 영상(20)의 위치, 크기 및 방향 중 적어도 하나를 편집할 수 있다.
이 같이, 디스플레이 상에 적어도 하나의 페이지, 제1 영상(10) 및 제2 캡쳐 영상(20)이 표시된 상태에서 스크롤하기 위한 사용자 명령이 입력되면, 전자 장치(10)는 사용자 명령에 대응되는 방향으로 페이지를 스크롤한다. 페이지가 스크롤 되면, 전자 장치(10)는 스크롤된 페이지 및 제1 영상(10)을 제1 영역에 표시할 수 있다.
실시예에 따라, 디스플레이는 복수의 레이어가 적층 구조로 이루어질 수 있으며, 복수의 레이어 중 제1 레이어 상에는 복수의 페이지 중 제1 페이지 및 제1 영상(10)으로부터 캡쳐된 제1 캡쳐 영상(20)을 표시하고, 제2 레이어 상에는 외부 단말(100)로부터 수신된 제1 영상(10)을 제1 영역에 표시할 수 있다.
따라서, 전자 장치(100)는 스크롤하기 위한 사용자 명령이 입력되면, 제1 영상(10)을 제2 레이어 상에 고정시켜 표시하고, 제2 레이어에 표시된 제1 페이지를 사용자 명령에 따라 스크롤된 페이지로 변경하여 표시한다. 이에 따라, 전자 장치(100)는 스크롤을 위한 사용자 명령에 따라 페이지가 변경되면, 제1 영상(10) 만을 디스플레이의 제1 영역에 표시할 수 있다.
지금까지, 본 발명에 따른 PIP(Picture in Picture) 캡쳐 인터렉션을 위한 시스템의 동작에 대해서 개략적으로 설명하였다. 이하에서는, 전술한 전자 장치(100) 및 외부 단말(200)의 각 구성에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 2에 도시된 바와 같이, 전자 장치(100)는 통신부(110), 디스플레이(120) 및 프로세서(130)를 포함한다.
통신부(110)는 스마트 폰, 테블릿 PC, PC 등의 외부 단말(200)과 무선 혹은 유선으로 데이터 통신을 수행하여 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상에 대한 데이터를 수신할 수 있다.
일 실시예에 따라, 통신부(110)는 NFC(Near Field Communication) 통신 모듈을 통해 외부 단말(200)와 데이터 통신을 수행하여 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상에 대한 데이터를 수신할 수 있다.
구체적으로, 통신부(110)는 외부 단말(200)이 전자 장치(100)의 일 측면에 구비된 NFC 통신 모듈에 NFC 통신 가능한 외부 단말(200)이 근접하면, 외부 단말(200)과 NFC 통신을 수행하여 외부 단말(200)이 표시하는 영상 관련 데이터를 수신할 수 있다.
또다른 실시예에 따라, 통신부(110)는 외부 단말(200)과의 통신 연결을 위한 사용자 명령이 입력되면, 브로드캐스팅 방식으로 통신 연결을 위한 메시지를 전송한다. 이후, 통신부(110)는 통신 연결을 위한 메시지를 수신한 복수의 외부 단말(200) 중 하나가 선택되면, 선택된 외부 단말(200)로부터 수신된 응답 메시지에 기초하여 사용자에 의해 선택된 외부 단말(200)과 통신 연결을 수행한다. 이후, 통신부(110)는 통신 연결된 외부 단말(200)이 표시하는 영상 관련 데이터를 수신할 수 있다.
이 같은 통신부(110)는 후술할 도 4를 통해 보다 구체적으로 설명하도록 한다.
디스플레이(120)는 전자 장치(100)와 통신 연결된 외부 단말(200)로부터 수신된 데이터에 기초하여 외부 단말(200)이 표시하는 영상을 일 영역에 표시한다. 또한, 디스플레이(120)는 일 영역에 표시된 영상과 관련하여 캡쳐된 영상을 영상이 표시된 일 영역과 다른 영역에 표시한다.
프로세서(130)는 전자 장치(100)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 특히, 프로세서(130)는 통신부(110)를 통해 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상이 수신되면, 수신된 영상을 디스플레이(120)의 일 영역에 표시하도록 디스플레이(120)를 제어한다. 이에 따라, 디스플레이(120)는 외부 단말(200)이 표시하는 영상을 일 영역에 표시할 수 있다.
구체적으로, 프로세서(130)는 통신부(110)를 통해 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상에 대한 데이터가 수신되면, 수신된 데이터에 기초하여 외부 단말(200)이 표시하는 영상과 동일한 영상(이하 제1 영상이라 함)을 생성하고, 생성된 제1 영상을 디스플레이하도록 디스플레이(120)를 제어한다. 이에 따라, 디스플레이(120)는 제1 영상을 일 영역(이하 제1 영역이라 함)에 표시할 수 있다.
한편, 프로세서(130)는 디스플레이(120)의 제1 영역에 표시된 제1 영상을 캡쳐하기 위한 사용자 명령이 입력되면, 사용자 명령이 입력된 시점에 제1 영역에 표시된 제1 영상을 캡쳐하고, 캡쳐된 영상을 제1 영역과 다른 영역(이하 제2 영역이라 함)에 표시하도록 디스플레이(120)를 제어한다. 이에 따라, 디스플레이(120)는 제1 영역에 제1 영상을 표시하고, 제2 영역에 제1 영상으로부터 캡쳐된 영상을 표시할 수 있다.
한편, 프로세서(130)는 제1 영역 상에 제1 영상과 함께 제1 영상을 캡쳐하기 위한 아이콘(이하 제1 아이콘이라 함)을 표시하도록 디스플레이(120)를 제어한다. 이에 따라, 디스플레이(120)는 제1 영상 및 제1 영상을 캡쳐하기 위한 제1 아이콘을 제1 영역 상에 표시할 수 있다. 한편, 프로세서(130)는 제1 아이콘이 선택되면, 제1 영상을 캡쳐하기 위한 사용자 명령이 입력된 것으로 판단하고, 제1 아이콘이 선택된 시점에 표시된 제1 영상을 캡쳐하여, 캡쳐된 영상을 디스플레이(120)의 제2 영역에 표시할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(130)는 제1 영역에 표시될 제1 영상에 대한 데이터를 전송할 외부 단말(200)과의 연결을 안내하는 아이콘(이하 제2 아이콘이라 함) 및 디스플레이(120)의 제1 영역에 표시된 제1 영상을 외부 단말(200)로 전송하기 위한 아이콘(이하 제3 아이콘이라 함) 중 적어도 하나를 표시하도록 디스플레이(120)를 제어할 수 있다.
이에 따라, 디스플레이(120)는 제1 영상 및 캡쳐된 영상을 표시하는 제1 및 제2 영역과 다른 영역(이하 제3 영역이라 함)에 제2 및 제3 아이콘을 표시할 수 있다.
이 같은 제2 및 제3 아이콘이 표시된 상태에서, 제2 아이콘에 대한 사용자 명령이 입력되면, 프로세서(130)는 전자 장치(100)와 통신 연결이 가능한 복수의 외부 단말(200)을 포함하는 리스트를 제공한다. 이후, 리스트 상에 포함된 복수의 외부 단말(200) 중 하나가 선택되면, 프로세서(130)는 선택된 외부 단말(200)로부터 해당 외부 단말(200)이 표시하는 영상을 수신하도록 통신부(110)를 제어할 수 있다. 이에 따라, 통신부(110)는 사용자에 의해 선택된 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상에 대한 데이터를 수신할 수 있다.
한편, 제3 아이콘에 대한 사용자 명령이 입력되면, 프로세서(130)는 전자 장치(100)와 통신 연결이 가능한 복수의 외부 단말(200)을 포함하는 리스트를 제공한다. 이후, 리스트 상에 포함된 복수의 외부 단말(200) 중 하나가 선택되면, 프로세서(130)는 선택된 외부 단말(200)로 제1 영역에 표시된 제1 영상을 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 사용자에 의해 선택된 외부 단말(200)로 제1 영역에 표시된 제1 영상에 대한 데이터를 전송할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(130)는 제1 영역 상에 제1 영상과 함께, 제1 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘(이하 제4 아이콘이라 함)을 표시하도록 디스플레이(120)를 제어할 수 있다. 이 같이, 제1 영상이 표시된 제1 영역에 제4 아이콘이 표시된 상태에서, 제4 아이콘을 통해 사용자 명령이 입력되면, 프로세서(130)는 사용자 명령에 따라, 제1 영역에 표시된 제1 영상의 크기, 위치 및 방향 중 적어도 하나를 편집한다. 이에 따라, 디스플레이(120)는 제1 영상의 크기, 위치 및 방향 중 적어도 하나가 편집된 제1 영상을 제1 영역에 표시할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(130)는 제1 영역에 제1 영상이 표시되고, 제2 영역에 제1 영상과 관련하여 캡쳐된 영상이 표시된 상태에서 제1 영상을 제거하기 위한 사용자 명령이 입력되면, 일 영역 상에 표시된 제1 영상을 제거할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(130)는 디스플레이(120)를 통해 복수의 페이지 중 적어도 하나가 표시된 상태에서, 디스플레이(120)에 표시된 적어도 하나의 페이지를 스크롤하기 위한 사용자 명령이 입력되면, 입력된 사용자 명령에 기초하여 페이지를 스크롤하면서, 제1 영역 상에 제1 영상을 고정시켜 표시하도록 디스플레이(120)를 제어할 수 있다. 이에 따라, 디스플레이(120)는 스크롤된 페이지의 제1 영역에 제1 영상만을 고정시켜 표시할 수 있다.
본 발명의 추가적인 양상에 따라, 프로세서(130)는 디스프레이(120)의 또다른 영역(이하 제3 영역이라 함)에 복수의 페이지를 안내하기 위한 네비게이션 창을 표시할 수 있다.
또한, 프로세서(130)는 제1 영역 상이 제1 영상이 표시되는 도안 제1 영역 내에서 사용자 터치가 감지되면, 감지된 사용자 터치에 대응되는 터치 정보를 제1 영상을 전송한 외부 단말(200)로 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 제1 영상을 전송한 외부 단말(200)로 터치 정보를 전송할 수 있다.
한편, 프로세서(130)는 제1 영역 상에 제1 영상이 표시되는 동안 제1 영역을 제외한 나머지 영역에서 사용자 터치가 감지된 것으로 판단되면, 사용자 터치에 따라 드로잉 기능을 수행한다. 이에 따라, 디스플레이(120)는 사용자 터치가 감지된 영역 상에 디로잉 이미지를 표시할 수 있다.
한편, 전술한 디스플레이(120)는 아래와 같이 복수의 페이어 구조로 이루어질 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 구조를 나타내는 예시도이다.
도 3에 도시된 바와 같이, 디스플레이(120)는 복수의 레이어(310~330) 구조로 이루어질 수 있다.
복수의 레이어(310~330) 중 제1 레이어(310)는 복수의 페이지 중 적어도 하나의 페이지 및 사용자 터치에 대응되는 드로잉 이미지를 표시한다. 뿐만 아니라, 제1 레이어(310)는 외부 단말(200)로부터 수신된 제1 영상으로부터 캡쳐된 영상을 표시할 수 있다.
제2 레이어(320)는 제1 레이어(310) 상단에 배치되어 외부 단말(200)로부터 수신된 제1 영상을 표시한다. 구체적으로, 제2 레이어(320)는 외부 단말(200)로부터 수신된 제1 영상을 제1 영역에 표시할 수 있다.
제3 레이어(330)는 제2 레이어(320) 상단에 배치되어 다양한 UI를 표시한다.
실시예에 따라, 제3 레이어(330)는 외부 단말(200)로부터 수신된 제1 영상을 캡쳐하기 위한 아이콘 및 외부 단말(200)과의 연결을 안내하는 아이콘을 포함하는 제1 UI(30), 제 제1 영역에 표시된 제1 영상을 외부 단말(200)로 전송하기 위한 아이콘과, 제1 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘을 포함하는 제2 UI(40)를 표시할 수 있다.
이 같이, 디스플레이(120)가 제1 내지 제3 레이어(310~330)로 구현됨에 따라, 페이지를 스크롤하기 위한 사용자 명령이 입력되면, 프로세서(130)는 제1 영상을 제1 레이어(310)의 제1 영역 상에 고정시켜 표시하고, 제2 레이어(320)에 표시된 제1 페이지를 사용자 명령에 따라 스크롤된 페이지로 변경하여 표시하도록 디스플레이(120)를 제어한다. 이때, 프로세서(130)는 페이지를 스크롤하기 위한 사용자 명령에 상관없이, 제3 레이어(330) 상에 표시된 UI도 고정시켜 표시하도록 디스플레이(120)를 제어한다.
이에 따라, 제1 영상으로부터 캡쳐된 영상이 표시된 제1 페이지에서 제2 페이지로 스크롤되면, 디스플레이(120)는 제1 레이어(310) 및 제2 레이어(320)에 표시된 제1 영상 및 UI의 표시를 유지하면서, 제3 레이어(330) 상에 표시되는 페이지를 제1 페이지에서 제2 페이지로 변경하여 표시할 수 있다.
한편, 본 발명은 이에 한정되지 않으며, 복수의 레이어(310~330)는 전술한 배치 구조와 다른 구조 형태로 배치될 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 세부 블록도이다.
전술한 바와 같이, 전자 장치(100)가 전자 칠판 혹은 건물 외벽에 설치된 전자 광고판과 같은 대화면 디스플레이 장치인 경우, 전술한 통신부(110), 디스플레이(120) 및 프로세서(130) 구성 외에도, 4에 도시된 바와 같이, 입력부(140), 영상 처리부(150), 오디오 출력부(160), 저장부(170)를 더 포함할 수 있다.
먼저, 전술한 통신부(110)는 근거리 통신 모듈(111), 무선 통신 모듈(112) 및 커넥터(113)를 포함할 수 있다.
근거리 통신 모듈(111)은 근거리에 위치하는 적어도 하나의 외부 단말(200)과 근거리 무선 통신을 수행하는 모듈로써, 예를들어, 블루투스(bluetooth)모듈, NFC(Near Field Communication)모듈, 와이파이(WiFi)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신 모듈(112)은 무선 랜 모듈과 같이, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 그러나, 본 발명은 이에 한정되지 않으며, 무선 통신 모듈(112)은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈이 될 수 있다.
커넥터(113)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(113)는 프로세서(130)의 제어 명령에 따라 커넥터(113)에 연결된 유선 케이블을 통해 외부 단말(200) 혹은 외부 서버(미도시)로부터 전송된 영상 관련 데이터를 수신하거나, 기저장된 영상 관련 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(113)는 커넥터(113)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
입력부(140)는 다양한 사용자 명령을 입력받아 프로세서(130)로 전달하기 위한 수단으로써, 조작부(141) 및 터치 입력부(142)를 포함할 수 있다.
조작부(141)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(142)는 전술한 디스플레이(120)과 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(142)는 디스플레이(120)를 통해 디스플레이된 다양한 UI 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.
그리고, 디스플레이부(120)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 등으로 구현될 수 있다.
영상 처리부(150)는 외부 단말(200)로부터 수신된 제1 영상에 대한 데이터를 전자 장치(100)의 디스플레이(120) 및 후술할 오디오 출력부(160) 중 적어도 하나를 통해 출력 가능한 형태로 신호 처리한다.
오디오 출력부(160)는 외부 단말(200)로부터 수신된 제1 영상에 대한 데이터에 포함된 오디오 데이터를 스피커(미도시)를 통해 가청음 형태로 출력한다.
그리고, 저장부(170)는 외부 단말(200)로부터 수신된 제1 영상에 대한 영상 및 오디오 데이터 및 제1 영상과 관련하여 캡쳐된 영상에 대한 데이터를 저장할 수 있다. 뿐만 아니라, 저장부(170)는 전자 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 전자 장치(100)가 턴 온(Turn On)되는 경우, 저장부(170)에서 읽혀지고, 컴파일되어 전자 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
한편, 전술한 프로세서(130)는 RAM(131), ROM(132), CPU(133) 및 GPU(134)를 더 포함할 수 있으며, RAM(131), ROM(132), CPU(133) 및 GPU(134)는 버스(135)를 통해 서로 연결될 수 있다.
CPU(133)는 저장부(170)를 액세스하여, 저장부(170)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(133)는 저장부(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(134)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(134)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(131)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(131)에 저장된 명령어에 따라 저장부(170)에 저장된 OS를 RAM(124)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(170)에 저장된 각종 프로그램을 RAM(132)에 복사하고, RAM(132)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 프로세서(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(170)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(170)는 ROM(131), RAM(132) 또는 전자 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
지금까지 본 발명에 따른 전자 장치(100)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 전자 장치(100)로 영상을 제공하는 외부 단말(200)의 각 구성에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 외부 단말의 세부 블록도이다.
외부 단말(200)는 스마트 폰, 테블릿과 같은 휴대용 단말 장치이거나 스마트 TV와 같은 디스플레이 장치가 될 수 있다.
예를 들어, 외부 단말(200)이 휴대용 단말 장치인 경우, 외부 단말(200)은 도 5에 도시된 바와 같이, 입력부(210), 통신부(220), 촬영부(230), 감지부(240), 출력부(250), 저장부(260) 및 프로세서(270)를 포함할 수 있다.
입력부(210)는 다양한 사용자 명령을 입력받아 프로세서(270)로 전달하기 위한 입력 수단으로써, 사용자 음성을 입력받는 마이크(미도시) 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현된 조작부(미도시), 사용자의 터치 명령을 입력받는 터치 입력부(미도시) 등을 포함할 수 있다.
통신부(220)는 동일한 네트워크 상에 존재하는 주변 단말(미도시)과 유무선으로 데이터 통신을 수행하거나, 혹은 전술한 전자 장치(100)와 NFC 통신 모듈을 통해 근거리 통신을 수행할 수 있다.
구체적으로, 통신부(220)는 NFC(Near Field Communication)모듈과 같은 거리 통신 모듈(미도시)을 통해 전자 장치(200)로 영상 관련 데이터를 전송할 수 있다. 뿐만 아니라, 통신부(220)는 블루투스(bluetooth)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈과 같은 근거리 통신 모듈(미도시)을 통해 전자 장치(200) 및 주변 단말(미도시)과 데이터 통신을 수행할 수 있다.
또한, 통신부(220)는 무선 랜 모듈(미도시)를 통해 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하거나, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행할 수 있다.
촬영부(230)는 주변 환경에 대한 영상을 촬영하며, 감지부(240)는 외부 단말(200)의 움직임을 감지하거나, 사용자의 다양한 움직임을 감지한다. 실시예에 따라, 감지부(240)는 외부 단말(200)의 움직임을 감지하는 움직임 센서, 사용자의 동공 추적이 가능한 동공 추적 센서, 지구 자기장을 이용하여 방위각을 탐지하는 지자기 센서, 중력이 어느 방향으로 작용하는지를 탐지하여, 외부 단말(200)의 이동 방향을 감지하는 중력 센서 등을 포함할 수 있다.
출력부(240)는 사용자 명령에 대응되는 컨텐츠를 출력하는 것으로써, 디스플레이(미도시)를 통해 컨텐츠에 포함된 영상 데이터를 디스플레이하며, 스피커(미도시)를 통해 컨텐츠에 포함된 오디오 데이터를 가청음 형태로 출력한다.
저장부(250)는 다양한 컨텐츠 및 외부 단말(200)의 동작을 제어하기 이한 각종 운용 프로그램을 저장한다. 여기서, 운용 프로그램은 외부 단말(200)이 턴 온 되는 경우, 저장부(250)에서 읽혀지고, 컴파일되어 외부 단말(200)의 각 구성을 동작시키기 위한 프로그램이 될 수 있다.
프로세서(260)는 외부 단말(200)을 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 구체적으로, 프로세서(260)는 외부 단말(200)이 턴 온 되는 경우, 저장부(250)에 저장된 OS 관련 운용 프로그램을 이용하여 부팅을 수행하고, 부팅이 완료되면, 저장부(250)에 저장된 각종 운용 프로그램을 실행시켜 외부 단말(200)을 구성하는 각 구성들에 대한 동작을 제어할 수 있다.
이 같은, 프로세서(260)는 전자 장치(100)와 NFC 통신 모듈을 통해 통신 연결되면, 출력부(240)를 통해 출력되는 영상에 대한 데이터를 전송하도록 통신부(220)를 제어할 수 있다. 예를 들어, 출력부(240)를 통해 출력되는 영상이 정지 영상인 경우, 프로세서(260)는 정지 영상에 대한 영상 데이터를 전자 장치(100)로 전송하도록 통신부(220)를 제어할 수 있다. 한편, 출력부(240)를 통해 출력되는 영상이 동영상인 경우, 프로세서(260)는 동영상에 대한 영상 및 오디오 데이터를 전자 장치(100)로 전송하도록 통신부(220)를 제어할 수 있다.
뿐만 아니라, 프로세서(260)는 외부 단말(200)과 통신 연결된 전자 장치(100)의 요청에 따라, 출력부(240)를 통해 출력되는 영상(정지 영상 혹은 동영상)을 전자 장치(100)로 전송하도록 통신부(220)를 제어할 수 있다.
또한, 프로세서(260)는 전자 장치(100)로 영상을 전송한 후, 전자 장치(100)로부터 해다 영상에 대한 제어 명령이 수신되면, 수신된 제어 명령에 기초하여 출력부(240)를 통해 출력되는 영상을 제어할 수 있다. 예를 들어, 전자 장치(100)로 동영상을 전송한 상태에서 정지 관련 제어 명령이 수신되면, 프로세서(260)는 수신된 제어 명령에 따라, 출력부(240)를 통해 출력되는 동영상을 정지시킬 수 있다.
지금까지, 본 발명에 따른 외부 단말(200)의 각 구성에 대해서 상세히 설명하였다. 이하에서는 다양한 실시예를 통해 본 발명에 따른 전자 장치(100)에서 수행하는 동작에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 전자 장치에서 영상을 캡쳐하는 예시도이다.
도 6의 (a)에 도시된 바와 같이, 전자 장치(100)는 일 측에 마련된 NFC 통신 모듈(610)에 외부 단말(200)이 근접하여 전자 장치(100)와 외부 단말(200) 간의 NFC 통신이 개시되면, 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상에 대한 데이터를 수신한다.
이후, 전자 장치(100)는 외부 단말(200)로부터 수신된 데이터에 기초하여 외부 단말(200)이 표시하는 영상과 대응되는 영상(이하 제1 영상이라 함)(620)을 디스플레이(120)의 제1 영역에 표시한다. 또한, 전자 장치(100)는 제1 영역에 제1 영상(620)과 함께, 제1 영상(620)에 대한 사용자 명령을 입력받기 위한 복수의 아이콘을 포함하는 UI(630)를 표시할 수 있다.
이 같은 UI(630)에 표시된 복수의 아이콘 중 제1 영상(620)을 캡쳐하기 위한 제1 아이콘(631)이 선택되면, 전자 장치(200)는 제1 아이콘(631)이 선택된 시점에 제1 영역에 표시된 제1 영상(620)을 캡쳐한다. 이후, 전자 장치(200)는 도 6의 (b)에 도시된 바와 같이, 제1 영상(620)으로부터 캡쳐된 영상(이하 제1 캡쳐 영상이라 함)(640)을 제1 영역과 상이한 제2 영역에 표시한다.
한편, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 제1 영역에 표시된 제1 영상(620)에 대한 제1 캡쳐 영상(640)이 생성되면, 제1 영역에 표시된 제1 영상(620)을 일 측면으로 이동시켜 표시하고, 제1 영상(620)이 표시되지 않은 영역 중 기설정된 제2 영역에 제1 캡쳐 영상(640)을 표시할 수 있다.
한편, 전자 장치(100)는 사용자 명령에 따라, 제2 영역에 표시된 제1 캡쳐 영상(640)을 편집할 수 있다.
예를 들어, 전자 장치(100)는 제1 캡쳐 영상(640)이 표시된 영역을 터치한 후, 제1 방향으로 이동하는 사용자 터치가 입력되면, 제2 영역에 표시된 제1 캡쳐 영상(640)을 사용자 터치가 입력된 제1 방향에 대응되는 영역으로 이동시켜 표시할 수 있다.
또한, 전자 장치(100)는 제1 캡쳐 영상(640)이 표시된 영역에 대한 터치가 기설정된 임계 시간 이상 터치되는 사용자 터치가 입력되면, 제2 영역에 표시된 제1 캡쳐 영상(640)을 삭제, 복사 등의 편집을 위한 UI를 제1 캡쳐 영상(640)이 표시된 제2 영역 주변에 표시할 수 있다. 이 같은 UI가 표시된 상태에서 사용자 명령이 입력되면, 전자 장치(100)는 제2 영역에 표시된 제1 캡쳐 영상(640)을 삭제하거나 복사하는 편집 동작을 수행할 수 있다.
한편, 전자 장치(100)는 외부 단말(200)과의 연결을 안내하는 아이콘(이하 제2 아이콘이라 함)(651) 및 제1 영역에 표시된 제1 영상(620)을 외부 단말(200)로 전송하기 위한 아이콘(이하 제3 아이콘이라 함)(652)을 디스플레이(120)의 제3 영역에 표시할 수 있다.
구체적으로, 전자 장치(100)는 제2 아이콘(651)이 선택되면, 브로드캐스팅 방식으로 통신 연결을 위한 메시지를 전송하고, 적어도 하나의 외부 단말(200)로부터 응답 메시지가 수신되면, 응답 메시지를 전송한 외부 단말(200)에 대한 리스트를 표시한다. 이후, 리스트에 표시된 복수의 외부 단말(200) 중 하나가 선택되면, 전자 장치(100)는 선택된 외부 단말(200)과 통신 연결을 수행한다. 이후, 전자 장치(100)는 통신 연결된 외부 단말(200)로부터 외부 단말(200)이 표시하는 영상에 대한 데이터가 수신되면, 수신된 데이터에 기초하여 외부 단말(200)이 표시하는 영상에 대응되는 제1 영상(620)을 디스플레이(120)의 제1 영역에 표시할 수 있다.
또한, 전자 장치(100)는 제3 아이콘(652)이 선택되면, 디스플레이(120)의 제1 영역에 표시된 제1 영상(620)을 외부 단말(200)로 전송할 수 있다.
일 실시예에 따라, 전자 장치(100)는 제3 아이콘(652)이 선택되면, 영상을 전송한 외부 단말(200)로 제1 영상(620)을 전송할 수 있다.
또다른 실시예에 따라, 전자 장치(100)는 제3 아이콘(652)이 선택되면, 기수신된 응답 메시지에 기초하여 응답 메시지를 전송한 외부 단말(200)에 대한 리스트를 표시한다. 만약, 응답 메시지가 없는 경우, 전자 장치(100는 브로드캐스팅 방식으로 통신 연결을 위한 메시지를 수신하고, 적어도 하나의 외부 단말(200)로부터 응답 메시지가 수신되면, 응답 메시지를 전송한 외부 단말(200)에 대한 리스트를 표시할 수 있다.
이후, 리스트에 표시된 복수의 외부 단말(200) 중 적어도 하나가 선택되면, 전자 장치(100)는 선택된 적어도 하나의 외부 단말(200)과 통신 연결을 수행한 후, 통신 연결된 적어도 하나의 외부 단말(200)로 제1 영상(620)을 전송할 수 있다.
도 7 내지 도 10은 본 발명의 일 실시예에 따른 전자 장치에서 외부 단말로부터 수신된 영상을 편집하는 예시도이다.
도 6에서 설명한 바와 같이, 전자 장치(100)는 디스플레이(120)의 제1 영역에 제1 영상(620)과 함께, 제1 영상(620)에 대한 사용자 명령을 입력받기 위한 복수의 아이콘을 포함하는 UI(630)를 표시할 수 있다.
구체적으로, 도 7의 (a)에 도시된 바와 같이, 전자 장치(100)는 디스플레이(120)의 제1 영역에 제1 영상(620)과 함께, 제1 영상(620)의 캡쳐를 위한 제1 아이콘(631) 및 제1 영상(620)의 편집을 위한 제4 아이콘(632)을 포함하는 UI(630)를 표시할 수 있다.
이 같은 UI(630)가 표시된 상태에서 제4 아이콘(632)에 대한 사용자 명령이 입력되면, 전자 장치(100)는 도 7의 (b)에 도시된 바와 같이 제1 영상(620)의 편집을 가이드하기 위한 편집 UI(710)을 표시할 수 있다. 따라서, 사용자는 편집 UI(710)를 통해 제1 영상(620)을 편집할 수 있다.
구체적으로, 전자 장치(100)는 편집 UI(710)가 표시된 상태에서 사용자 터치가 입력되면, 사용자 터치가 입력된 지점이 편집 UI(710) 내 인지 여부를 판단한다. 또한, 전자 장치(100)는 사용자 터치가 입력된 지점이 편집 UI(710) 내 인 것으로 판단되면, 사용자 터치가 싱글 터치인지 멀티 터치인지 여부를 판단한다.
도 8의 (a)에 도시된 바와 같이, 전자 장치(100)는 편집 UI(710)가 표시된 영역 내의 사용자 터치가 제1 지점(810)을 터치하는 싱글 터치인 것으로 판단할 수 있다. 이 경우, 전자 장치(100)는 도 8의 (b)에 도시된 바와 같이, 제1 영상(620)을 일 측 방향으로 회전시키고, 일 측 방향으로 회전된 편집 영상(820)을 표시할 수 있다.
한편, 도 9의 (a)에 도시된 바와 같이, 전자 장치(100)는 편집 UI(710)가 표시된 영역 내의 사용자 터치가 제2 및 제3 지점(910,920)을 터치하는 멀티 터치인 것으로 판단할 수 있다. 이 같이 사용자 터치가 멀티 터치인 것으로 판단된 상태에서 제1 및 제2 방향으로 이동하는 핀치 아웃의 사용자 터치가 감지되면, 전자 장치(100)는 도 9의 (b)에 도시된 바와 같이, 제1 영상(620)의 크기를 제1 및 제2 방향으로 이동하는 사용자 터치에 대응되는 크기로 확대시켜 확대된 편집 영상(930)을 표시할 수 있다.
구체적으로, 전자 장치(100)는 핀치 아웃의 사용자 터치가 감지되면, 최초 멀티 터치된 제2 및 제3 지점(910,920) 간의 거리와 핀치 아웃된 사용자 터치 지점 간의 거리 차이 정도에 따라 제1 영상(620)의 크기를 확대시키고, 확대된 편집 영상(930)을 표시할 수 있다.
반대로, 전자 장치(100)는 핀치 인의 사용자 터치가 감지되면, 최초 멀티 터치된 제2 및 제3 지점(91,920) 간의 거리와 핀치 인된 사용자 터치 지점 간의 거리 차이 정도에 따라 제1 영상(620)의 크기를 축소시켜 표시할 수 있다.
한편, 전자 장치(100)의 제1 영역에 제1 영상(620)과 함께 표시되는 UI(630)는 제1 영상(620)을 삭제하기 위한 제5 아이콘(633)을 더 포함할 수 있다. 따라서, 전자 장치(100)는 UI(630)에 표시된 제5 아이콘(633)에 대한 사용자 명령이 입력되면, 제1 영역에 표시된 제1 영상(620)을 삭제할 수 있다.
한편, 도 10의 (a)에 도시된 바와 같이, 전자 장치(100)는 편집 UI(710)가 표시된 영역 내의 사용자 터치가 제1 지점(1010)을 터치하는 싱글 터치인 것으로 판단할 수 있다. 이 같이 사용자 터치가 싱글 터치인 것으로 판단된 상태에서 제1 방향으로 이동하는 사용자 터치가 감지되면, 전자 장치(100)는 도 10의 (b)에 도시되 바와 같이, 제1 영상(620)을 표시할 제1 영역을 제1 방향에 대응되는 영역으로 변경하고, 변경된 영역으로 이동시켜 제1 영상(620')을 표시할 수 있다.
도 11은 본 발명에 따른 전자 장치에서 사용자 명령에 따라 PIP 영상을 표시하는 예시도이다.
도 11의 (a)에 도시된 바와 같이, 전자 장치(100)는 복수의 페이지 중 제1 페이지(1140)가 표시된 디스플레이(120)의 제1 영역에 외부 단말(200)로부터 수신된 제1 영상(1110)을 표시하고, 제2 및 제3 영역에 제1 캡쳐 영상(1120) 및 제2 캡쳐 영상(1130)을 표시할 수 있다. 여기서, 제1 및 제2 캡쳐 영상(1120)는 제1 영상(1110)으로부터 캡쳐된 영상이 될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 제1 및 제2 캡쳐 영상(1120) 중 하나는 제1 영상(1110)과 상이한 영상으로부터 캡쳐된 영상이 될 수 있다.
이 같이 제1 페이지(1140)가 표시된 디스플레이(120) 상에 제1 영상(1110), 제1 및 제2 캡쳐 영상(1120,1130)이 표시된 상태에서, 페이지를 스크롤하기 위한 사용자 명령이 입력되면, 전자 장치(100)는 사용자 명령에 따라 페이지를 스크롤한다.
도 11의 (b)에 도시된 바와 같이, 전자 장치(100)는 스크롤을 위한 사용자 명령에 따라, 디스플레이(120) 상에 제1 및 제2 페이지(1140,1141)를 표시할 수 있다. 이 같이, 제1 및 제2 페이지(1140,1141)가 표시되면, 전자 장치(100)는 제1 영역 상에 제1 영상(1110)을 고정시켜 표시한다. 또한, 전자 장치(100)는 제1 및 제2 캡쳐 영상(1120,1130)이 표시된 영역을 제1 페이지(1140)가 이동하는 방향과 대응되는 방향으로 이동시켜 표시한다.
즉, 전자 장치(100)는 제1 페이지(1140)가 이동하는 방향에 따라, 제1 및 제2 캡쳐 영상(1120,1130)이 표시된 영역을 변경한다. 이에 따라, 전자 장치(100)는 제1 페이지(1140)가 이동하는 방향에 따라 변경된 영역에 제1 및 제2 캡쳐 영상(1120',1130')을 표시할 수 있다.
도 12는 본 발명의 일 실시예에 따른 전자 장치에서 네비게이션 창을 표시하는 예시도이다.
도 12에 도시된 바와 같이, 전자 장치(100)는 복수의 페이지 중 제1 페이지(1200)를 표시하는 디스플레이(120)의 제1 영역에 외부 단말(200)로부터 수신된 제1 영상(1210)을 표시하고, 제2 영역에 제1 및 제2 캡쳐 영상(1220,1230)을 표시하며, 제3 영역에 복수의 페이지를 안내하는 네비게이션 창(1240)을 표시할 수 있다.
구체적으로, 전자 장치(100)는 제3 영역에 복수의 페이지 각각에 대응되는 페이지 엘리먼트를 포함하는 네비게이션 창(1240)을 표시할 수 있다. 이때, 전자 장치(100)는 네비게이션 창(1240)에 표시되는 복수의 페이지 엘리먼트 중 디스플레이(120)에 표시되는 제1 페이지와 대응되는 제1 페이지 엘리먼트(1241)가 나머지 페이지 엘리먼트와 상이하게 표시되도록 네비게이션 창(1240)을 구성하여 표시할 수 있다.
예를 들어, 전자 장치(100)는 디스플레이(120)에 표시된 제1 페이지와 대응되는 제1 페이지 엘리먼트(1241)에 하이라이트가 표시되도록 네비게이션 창(1240)을 구성하여 표시할 수 있다.
또한, 전자 장치(100)는 제1 페이지 엘리먼트(1241)가 디스플레이(120) 상에 표시된 제1 영상(1210)과, 제1 및 제2 캡쳐 영상(1220,1230) 각각을 나타내는 이미지를 포함하는 형태로 표시되도록 네비게이션 창(1240)을 구성하여 표시할 수 있다.
한편, 전술한 바와 같이, 전자 장치(100)는 스크롤을 위한 사용자 명령에 따라 제1 페이지에서 제2 페이지로 스크롤되는 경우, 디스플레이(120)의 제1 영역에 제1 영상(1210)을 고정시켜 표시하면서, 스크롤된 제2 페이지를 표시할 수 있다.
또한, 전자 장치(100)는 스크롤을 위한 사용자 명령에 따라, 제1 페이지 엘리먼트(1241)에서 제2 페이지에 대응되는 페이지 엘리먼트로 하이라이트가 변경되어 표시되도록 네비게이션 창(1240)을 구성하여 표시할 수 있다. 뿐만 아니라, 전자 장치(100)는 제1 페이지 엘리먼트(1241)에 포함된 복수의 이미지 중 제1 및 제2 캡쳐 영상(1220,1230)을 나타내는 이미지만 제1 페이지 엘리먼트(1241)에 포함되고, 제2 페이지에 대응되는 페이지 엘리먼트에 제1 영상(1210)을 나타내는 이미지가 포함되는 형태로 표시되도록 네비게이션 창(1240)을 구성하여 표시할 수 있다.
도 13은 본 발명의 일 실시예에 따른 전자 장치에서 PIP 모드에서 사용자 명령에 따라 동작을 수행하는 예시도이다.
도 13에 도시된 바와 같이, 전자 장치(100)는 디스플레이(120)의 제1 영역에 외부 단말(200)로부터 수신된 제1 영상(1310)을 표시하고, 제2 영역에 제1 영상(1310)으로부터 캡쳐된 제1 캡쳐 영상(1320)을 표시할 수 있다. 한편, 제1 영역에 표시된 제1 영상(1310)은 외부 단말(200)에서 재생하는 동영상이 될 수 있다.
이 같은 제1 영상(1310) 및 제1 캡쳐 영상(1320)이 표시된 상태에서 제1 영상(1310)이 표시된 제1 영역에 대한 사용자 터치가 감지되면, 전자 장치(100)는 제1 영상(1310)의 재생을 제어하기 위한 아이콘(1311)을 표시할 수 있다. 이후, 사용자 명령에 따라, 제1 영상(1310)에 표시된 아이콘(1311)이 선택되면, 전자 장치(100)는 제1 영상(1310)을 전송한 외부 단말(200)로 선택된 아이콘(1311)에 대응되는 제어 명령을 전송할 수 있다. 이에 따라, 외부 단말(200)은 전자 장치(100)로부터 수신된 제어 명령에 기초하여 동영상의 재생을 제어할 수 있다.
한편, 전자 장치(100)는 제1 영상(1310)에 표시된 제1 영역을 제외한 나머지 영역에서 사용자 터치가 감지되면, 사용자 터치에 따라 드로잉 기능을 수행하여, 드로잉 이미지를 표시할 수 있다. 도시된 바와 같이, 전자 장치(100)는 제1 캡쳐 영상(1320)이 표시되는 제2 영역에 사용자 터치가 감지되면, 사용자 터치에 대응되는 드로잉 이미지(1321)를 표시할 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)의 제어 방법에 대해서 상세히 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 전자 장치의 제어 방법에 대한 흐름도이다.
도 14에 도시된 바와 같이, 전자 장치(100)는 외부 단말(200)과 통신 연결을 수행한다(S1410). 실시예에 따라, 전자 장치(100) 및 외부 단말(200) 각각은 NFC 통신을 위한 NFC 모듈을 포함한다. 따라서, 전자 장치(100)는 외부 단말(200)이 전자 장치(100)에 태깅되면, NFC 모듈을 이용하여 외부 단말(200)과 통신 연결될 수 있다.
이 같은 실시예를 통해 통신 연결되면, 전자 장치(100)는 외부 단말(200)이 표시하는 영상을 수신하고, 수신된 영상을 디스플레이의 일 영역에 표시한다(S1420).
또한, 전자 장치(100)는 외부 단말(200)로부터 수신된 영상과 함께 수신된 영상을 캡쳐하기 위한 아이콘을 일 영역에 표시할 수 있다. 또한, 전자 장치(100)는 외부 단말(200)로부터 수신된 영상이 표시되는 일 영역 상에 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘을 표시할 수 있다.
또한, 전자 장치(100)는 외부 단말(200)로부터 수신된 영상이 표시되는 일 영역을 제외한 나머지 영역에 적어도 하나의 아이콘을 표시할 수 있다. 구체적으로, 전자 장치(100)는 디스플레이의 일 영역에 표시될 영상을 전송할 외부 단말(200)과의 연결을 안내하는 아이콘 및 디스플레이의 일 영역에 표시된 영상을 외부 단말(200)로 전송하기 위한 아이콘 중 적어도 하나를 영상이 표시되는 일 영역을 제외한 나머지 영역에 표시할 수 있다.
이 같은 복수의 아이콘이 일 영역 및 나머지 영역에 표시된 상태에서, 전자 장치(100)는 아이콘을 통해 사용자 명령이 입력받을 수 있다. 아이콘을 통해 입력된 사용자 명령이 외부 단말(200)로부터 수신된 영상을 캡쳐하기 위한 제1 사용자 명령이면, 전자 장치(100)는 제1 사용자 명령이 입력된 시점에 일 영역에 표시된 영상을 캡쳐하고, 캡쳐된 영상을 일 영역과 다른 영역에 표시한다(S1430,S1440).
외부 단말(200)로부터 수신된 영상 및 해당 영상으로부터 캡쳐된 영상이 PIP 형태로 표시되는 동안 아이콘을 통해 입력된 사용자 명령이 외부 단말(200)로부터 수신된 영상을 편집하기 위한 제2 사용자 명령이면, 전자 장치(100)는 제2 사용자 명령에 따라 외부 단말(200)로부터 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집한다(S1450,S1460).
이후, 전자 장치(100)는 일 영역에 외부 단말(200)로부터 수신된 영상을 표시하고, 다른 영역에 캡쳐된 영상을 표시한 상태에서 사용자 터치가 감지되면, 터치 정보를 외부 단말(200)로 전송하거나 드로잉 기능을 수행한다(S1470).
구체적으로, 전자 장치(100)는 일 영역에 외부 단말(200)로부터 수신된 영상을 표시하고, 다른 영역에 캡쳐된 영상을 표시한 상태에서 사용자 터치가 감지되면, 사용자 터치가 감지된 지점을 판단한다. 판단 결과, 사용자 터치가 감지된 지점이 외부 단말(200)로부터 수신된 영상을 표시하는 일 영역 내이면, 전자 장치(100)는 사용자 터치에 대응되는 터치 정보를 외부 단말(200)로 전송한다.
한편, 사용자 터치가 감지된 지점이 외부 단말(200)로부터 수신된 영상을 표시하는 일 영역을 제외한 나머지 영역 내이면, 전자 장치(100)는 감지된 사용자 터치에 따라 드로잉 기능을 수행한다. 이에 따라, 전자 장치(100)는 사용자 터치가 감지된 지점에 사용자 터치에 대응되는 드로잉 이미지를 표시할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 전자 장치(100)는 외부 단말(200)로부터 수신된 영상 및 해당 영상으로부터 캡쳐된 영상이 PIP 형태로 표시되는 동안 외부 단말(200)로부터 수신된 영상을 제거하기 위한 사용자 명령에 따라 일 영역에 표시된 표시된 영상을 삭제할 수 있다.
또한, 전자 장치(100)는 디스플레이를 통해 복수의 페이지 중 적어도 하나를 표시할 수 있다. 따라서, 전자 장치(100)는 디스플레이에 표시된 적어도 하나의 페이지를 스크롤하기 위한 사용자 명령이 입력되면, 입력된 사용자 명령에 기초하여 페이지를 스크롤한다. 이때, 전자 장치(100)는 사용자 명령에 따라 페이지가 스크롤되는 동안, 일 영역 표시된 영상을 고정시켜 표시한다.
또한, 전자 장치(100)는 외부 단말(200)로부터 수신된 영상을 표시하는 일 영역, 수신된 영상으로부터 캡쳐된 영상을 표시하는 영역을 제외한 또다른 영역에 복수의 페이지를 안내하기 위한 네비게이션 창을 표시할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 전자 장치(100)의 제어 방법은 소프웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별으로 이해되어져서는 안 될 것이다.
100 : 전자 장치 110,220 : 통신부
111 : 근거리 통신 모듈 112 : 무선 통신 모듈
113 : 커넥터 120 : 디스플레이
130,270 : 프로세서 140,210 : 입력부
141 : 조작부 142 : 터치 입력부
150 : 영상 처리부 160 : 오디오 출력부
170,260 : 저장부 200 : 외부 단말
230 : 촬영부 240 : 감지부
250 : 출력부

Claims (18)

  1. 전자 장치의 제어 방법에 있어서,
    외부 단말로부터 상기 외부 단말이 표시하는 영상을 수신하여 상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계; 및
    캡쳐를 위한 사용자 명령이 입력되면, 상기 사용자 명령에 입력된 시점에 상기 일 영역에 표시된 영상을 캡쳐하여 상기 캡쳐된 영상을 상기 일 영역과 다른 영역에 표시하는 단계;
    를 포함하는 제어 방법.
  2. 제 1 항에 있어서,
    상기 전자 장치와 상기 외부 단말 각각은 NFC 통신을 위한 NFC 모듈을 포함하며,
    상기 방법은,
    상기 외부 단말이 상기 전자 장치에 태깅되면, 상기 NFC 모듈을 이용하여 상기 외부 단말과 통신 연결을 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  3. 제 1 항에 있어서,
    상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는,
    상기 일 영역에 표시될 영상을 전송할 상기 외부 단말과의 연결을 안내하는 아이콘 및 상기 디스플레이에 표시된 영상을 상기 외부 단말로 전송하기 위한 아이콘 중 적어도 하나를 상기 일 영역을 제외한 나머지 영역에 표시하는 것을 특징으로 하는 제어 방법.
  4. 제 1 항에 있어서,
    상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는,
    상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상을 캡쳐하기 위한 아이콘을 표시하며,
    상기 캡쳐를 위한 사용자 명령은,
    상기 수신된 영상을 캡쳐하기 위한 아이콘을 선택하는 사용자 명령인 것을 특징으로 하는 제어 방법.
  5. 제 1 항에 있어서,
    상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는,
    상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘을 표시하며,
    상기 방법은,
    상기 아이콘을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  6. 제 1 항에 있어서,
    상기 캡쳐된 영상을 상기 일 영역과 다른 영역에 표시하는 단계는,
    상기 일 영역 상에 상기 수신된 영상을 표시하고, 상기 다른 영역에 상기 캡쳐된 영상을 표시하며,
    상기 방법은,
    상기 수신된 영상 및 상기 캡쳐된 영상이 표시되는 동안 상기 수신된 영상을 제거하기 위한 사용자 명령이 입력되면, 상기 일 영역 상에 표시되는 상기 수신된 영상을 제거하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  7. 제 1 항에 있어서,
    상기 디스플레이는,
    복수의 페이지 중 적어도 하나를 표시하며,
    상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는,
    상기 디스플레이에 표시된 적어도 하나의 페이지를 스크롤하기 위한 사용자 명령이 입력에 기초하여 페이지를 스크롤하면서, 상기 일 영역 상에 상기 수신된 영상을 고정시켜 표시하는 것을 특징으로 하는 제어 방법.
  8. 제 7 항에 있어서,
    상기 수신된 영상을 디스플레이의 일 영역에 표시하는 단계는,
    상기 디스플레이의 또 다른 영역에 상기 복수의 페이지를 안내하기 위한 네비게이션 창을 표시하는 것을 특징으로 하는 제어 방법.
  9. 제 1 항에 있어서,
    상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역 내에서 사용자 터치가 감지되면, 상기 감지된 사용자 터치에 대응되는 터치 정보를 상기 외부 단말로 전송하는 단계; 및
    상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역을 제외한 나머지 영역에서 사용자 터치가 감지되면, 상기 사용자 터치에 따라 드로잉 기능을 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  10. 전자 장치에 있어서,
    통신부;
    디스플레이; 및
    상기 통신부를 통해 외부 단말로부터 상기 외부 단말이 표시하는 영상이 수신되면, 상기 수신된 영상을 디스플레이의 일 영역에 표시하고,
    캡쳐를 위한 사용자 명령이 입력되면, 상기 사용자 명령에 입력된 시점에 상기 일 영역에 표시된 영상을 캡쳐하여 상기 캡쳐된 영상을 상기 일 영역과 다른 영역에 표시하도록 상기 디스플레이를 제어하는 프로세서;
    를 포함하는 전자 장치.
  11. 제 10 항에 있어서,
    상기 통신부는,
    상기 외부 단말과 NFC 통신을 위한 NFC 모듈을 포함하며,
    상기 프로세서는,
    상기 외부 단말이 상기 전자 장치에 태깅되면, 상기 NFC 모듈을 이용하여 상기 외부 단말과 통신 연결을 수행하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  12. 제 10 항에 있어서,
    상기 프로세서는,
    상기 일 영역에 표시될 영상을 전송할 상기 외부 단말과의 연결을 안내하는 아이콘 및 상기 디스플레이에 표시된 영상을 상기 외부 단말로 전송하기 위한 아이콘 중 적어도 하나를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는,
    상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상을 캡쳐하기 위한 아이콘을 표시하도록 상기 디스플레이를 제어하며,
    상기 캡쳐를 위한 사용자 명령은,
    상기 수신된 영상을 캡쳐하기 위한 아이콘을 선택하는 사용자 명령인 것을 특징으로 하는 전자 장치.
  14. 제 11 항에 있어서,
    상기 프로세서는,
    상기 일 영역 상에 상기 수신된 영상과 함께 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하기 위한 아이콘을 표시하도록 상기 디스플레이를 제어하며,
    상기 아이콘을 통해 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 수신된 영상의 크기, 위치 및 방향 중 적어도 하나를 편집하는 것을 특징으로 하는 전자 장치.
  15. 제 10 항에 있어서,
    상기 프로세서는,
    상기 일 영역 상에 상기 수신된 영상을 표시하고, 상기 다른 영역에 상기 캡쳐된 영상을 표시하도록 상기 디스플레이를 제어하며,
    상기 수신된 영상 및 상기 캡쳐된 영상이 표시되는 동안 상기 수신된 영상을 제거하기 위한 사용자 명령이 입력되면, 상기 일 영역 상에 표시되는 상기 수신된 영상을 제거하는 것을 특징으로 하는 전자 장치.
  16. 제 10 항에 있어서,
    상기 디스플레이는,
    복수의 페이지 중 적어도 하나를 표시하며,
    상기 프로세서는,
    상기 디스플레이에 표시된 적어도 하나의 페이지를 스크롤하기 위한 사용자 명령이 입력에 기초하여 페이지를 스크롤하면서, 상기 일 영역 상에 상기 수신된 영상을 고정시켜 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  17. 제 16 항에 있어서,
    상기 프로세서는,
    상기 디스플레이의 또 다른 영역에 상기 복수의 페이지를 안내하기 위한 네비게이션 창을 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  18. 제 10 항에 있어서,
    상기 프로세서는,
    상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역 내에서 사용자 터치가 감지되면, 상기 감지된 사용자 터치에 대응되는 터치 정보를 상기 외부 단말로 전송하도록 상기 통신부를 제어하며,
    상기 일 영역 상에 상기 수신된 영상이 표시되는 동안 상기 일 영역을 제외한 나머지 영역에서 사용자 터치가 감지되면, 상기 사용자 터치에 따라 드로잉 기능을 수행하는 것을 특징으로 하는 전자 장치.


KR1020170106066A 2017-08-22 2017-08-22 전자 장치 및 그 제어 방법 KR20190021016A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170106066A KR20190021016A (ko) 2017-08-22 2017-08-22 전자 장치 및 그 제어 방법
PCT/KR2018/008150 WO2019039739A1 (en) 2017-08-22 2018-07-19 DISPLAY APPARATUS AND METHOD FOR CONTROLLING THE SAME
EP18184649.4A EP3447626A3 (en) 2017-08-22 2018-07-20 Display apparatus and control method thereof
US16/050,563 US20190065030A1 (en) 2017-08-22 2018-07-31 Display apparatus and control method thereof
CN201810951083.0A CN109426412A (zh) 2017-08-22 2018-08-20 显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170106066A KR20190021016A (ko) 2017-08-22 2017-08-22 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20190021016A true KR20190021016A (ko) 2019-03-05

Family

ID=63254488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170106066A KR20190021016A (ko) 2017-08-22 2017-08-22 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20190065030A1 (ko)
EP (1) EP3447626A3 (ko)
KR (1) KR20190021016A (ko)
CN (1) CN109426412A (ko)
WO (1) WO2019039739A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673782A (zh) * 2019-08-29 2020-01-10 华为技术有限公司 一种应用于投屏场景的控制方法以及相关设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
KR20200122651A (ko) 2019-04-18 2020-10-28 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2021112754A1 (en) * 2019-12-06 2021-06-10 Flatfrog Laboratories Ab An interaction interface device, system and method for the same
EP4104042A1 (en) 2020-02-10 2022-12-21 FlatFrog Laboratories AB Improved touch-sensing apparatus
CN111522497B (zh) * 2020-04-16 2022-09-13 深圳市颍创科技有限公司 Pip模式中触摸控制显示设备子画面大小和位置的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640808B1 (ko) * 2005-08-12 2006-11-02 엘지전자 주식회사 촬상 이미지의 듀얼 디스플레이 기능을 갖는 이동통신단말기 및 그 방법
WO2009143294A2 (en) * 2008-05-20 2009-11-26 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
KR102043810B1 (ko) * 2012-08-20 2019-11-12 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 제어 방법
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
IN2013CH04818A (ko) * 2013-10-25 2015-08-07 Samsung India Software Operations Pvt Ltd

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673782A (zh) * 2019-08-29 2020-01-10 华为技术有限公司 一种应用于投屏场景的控制方法以及相关设备
US11809704B2 (en) 2019-08-29 2023-11-07 Honor Device Co., Ltd. Control method applied to screen projection scenario and related device

Also Published As

Publication number Publication date
US20190065030A1 (en) 2019-02-28
WO2019039739A1 (en) 2019-02-28
EP3447626A3 (en) 2019-05-22
EP3447626A2 (en) 2019-02-27
CN109426412A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN106155517B (zh) 移动终端及其控制方法
KR20190021016A (ko) 전자 장치 및 그 제어 방법
JP5805588B2 (ja) 電子機器、制御方法及び制御プログラム
KR102064952B1 (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
KR102039172B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
KR102243855B1 (ko) 전자 장치에서 이미지 운영 방법 및 장치
JP6655275B2 (ja) モバイル装置及びその制御方法
US9420172B2 (en) Electronic device for editing dual image and method thereof
JP2015508211A (ja) カメラモジュールを通じてユーザの頭部を追跡することによりスクリーンを制御する方法及び装置、並びにそのコンピュータ可読記録媒体
KR102022042B1 (ko) 데이터 전송 방법 및 시스템
KR101932675B1 (ko) 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 기록 매체에 기록된 프로그램
US20150363091A1 (en) Electronic device and method of controlling same
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
US10939171B2 (en) Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time
WO2021073579A1 (zh) 长截图的方法及终端设备
KR20140141046A (ko) 디스플레이 장치 및 그 제어 방법
US11169700B2 (en) Electronic device and control method thereof
US10320965B2 (en) Electronic device and method of executing application
AU2017330785A1 (en) Electronic apparatus and controlling method thereof
US9886167B2 (en) Display apparatus and control method thereof
KR20200033640A (ko) 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체
KR102368203B1 (ko) 사용자 인터페이스 기반 동영상 인덱스 생성을 위한 전자 장치 및 그의 동작 방법
KR102249746B1 (ko) 링크 객체에 연결된 전자문서의 표시 방법 및 전자 장치
KR102535567B1 (ko) 전자 장치 및 그 제어 방법
JP6434339B2 (ja) 電子機器、制御方法、及び制御プログラム