KR20160053641A - 멀티 디스플레이 제어 방법 및 그 전자 장치 - Google Patents

멀티 디스플레이 제어 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20160053641A
KR20160053641A KR1020140152966A KR20140152966A KR20160053641A KR 20160053641 A KR20160053641 A KR 20160053641A KR 1020140152966 A KR1020140152966 A KR 1020140152966A KR 20140152966 A KR20140152966 A KR 20140152966A KR 20160053641 A KR20160053641 A KR 20160053641A
Authority
KR
South Korea
Prior art keywords
display
displayed
electronic device
processor
virtual object
Prior art date
Application number
KR1020140152966A
Other languages
English (en)
Inventor
주재석
강두석
박수영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140152966A priority Critical patent/KR20160053641A/ko
Priority to US14/922,594 priority patent/US20160124599A1/en
Publication of KR20160053641A publication Critical patent/KR20160053641A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Abstract

본 개시의 다양한 실시 예는 멀티 디스플레이 제어 방법 및 그 전자 장치에 관한 것으로, 전자 장치의 동작 방법에 있어서, 제1 디스플레이에 표시된 오브젝트가 선택되면, 제2 디스플레이에 가상 오브젝트를 표시하는 동작; 상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 가상 오브젝트를 제2 디스플레이에서 제 1 디스플레이 이동과 연동하여 이동시키는 동작; 및 상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 오브젝트를 제2 디스플레이로 이동 또는 복사하는 동작을 포함할 수 있다. 또한, 본 개시의 다양한 실시 예는 상술한 실시 예와 다른 실시 예들도 포함한다.

Description

멀티 디스플레이 제어 방법 및 그 전자 장치{METHOD FOR CONTROLLING MULTI DISPLAYS AND ELECTRONIC APPARATUS THEREOF}
본 개시의 다양한 실시 예는, 멀티 디스플레이 제어 방법 및 그 전자 장치에 관한 것이다.
최근에는 다양한 유형의 전자 장치들이 널리 사용되고 있다. 예를 들어, 스마트 폰(smart phone), 태블릿(tablet) PC, 랩톱(laptop) 컴퓨터 등은 물론, 스마트-와치(smart-watch) 또는 스마트-글라스(smart-glasses) 등과 같은 웨어러블(wearable) 형태의 다양한 전자 장치들이 널리 사용되고 있다.
상기 전자 장치는, 2 개 이상의 디스플레이들을 구비하거나, 다른 전자 장치와의 연동(예: 무선 또는 유선 통신)을 통해, 멀티 디스플레이(multi display) 기능을 구현할 수 있다. 예를 들어, 스마트 폰 등과 같은 전자 장치는, 물리적으로 분리된 제1 디스플레이(display 1)와 제2 디스플레이(display 2)를 구비할 수 있고, 상기 제1 디스플레이와 제2 디스플레이는, 터치 스크린(touch screen)일 수 있다.
상기 제1 디스플레이에는, 제1 어플리케이션(예: 사진 프리뷰 어플리케이션)이 실행되는 화면이 디스플레이될 수 있고, 상기 제2 디스플레이에는, 제2 어플리케이션(예: 채팅 서비스 어플리케이션)이 실행되는 화면이 디스플레이될 수 있다.
상기 전자 장치의 사용자는, 상기 제1 디스플레이에 표시된 임의의 한 오브젝트(object)(예: 사진, 아이콘, 파일 등)를 터치한 후, 통상적인 드래그(drag) 및 드롭(drop) 동작을 통해, 상기 제2 디스플레이의 임의의 위치(예: 채팅 서비스 화면 내)로 이동, 복사, 또는 삽입 중 적어도 어느 한 동작을 수행하길 원할 수 있다.
그러나, 상기 제1 디스플레이와 제2 디스플레이는, 물리적으로 분리되어 있기 때문에, 상기 제1 디스플레이와 제2 디스플레이의 경계 지점에서, 연속적인 드래그 동작이 불가피하게 단절되는 문제점이 있다.
본 개시의 다양한 실시 예는, 물리적으로 분리된 2 개 이상의 디스플레이들을 기능적으로 연결하여 멀티 디스플레이로 사용하는 경우, 임의의 한 디스플레이에 표시된 오브젝트를, 드래그 및 드롭 동작을 통해, 다른 디스플레이로 이동, 복사, 삽입 중 적어도 어느 한 동작을 수행할 수 있는 멀티 디스플레이 제어 방법 및 그 전자 장치를 제공한다.
본 개시의 다양한 실시 예는, 전자 장치의 동작 방법에 있어서, 제1 디스플레이에 표시된 오브젝트가 선택되면, 제2 디스플레이에 가상 오브젝트를 표시하는 동작; 상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 가상 오브젝트를 제2 디스플레이에서 상기 오브젝트와 연동하여 이동시키는 동작; 및 상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 오브젝트를 제2 디스플레이로 이동 또는 복사하는 동작을 포함할 수 있다.
본 개시의 다양한 실시 예는, 전자 장치에 있어서, 멀티 디스플레이; 및 상기 멀티 디스플레이를 제어하는 프로세서를 포함하되, 상기 프로세서는, 상기 멀티 플레이 중 제1 디스플레이에 표시된 오브젝트가 선택되면, 상기 멀티 플레이 중 제2 디스플레이에 가상 오브젝트를 표시하고, 상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 가상 오브젝트를 제2 디스플레이에서 상기 오브젝트의 이동과 연동하여 이동시키고, 상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 오브젝트를 제2 디스플레이로 이동 또는 복사할 수 있다.
본 개시의 다양한 실시 예에 따르면, 예를 들어, 물리적으로 분리되되, 기능적으로 연동되는 멀티 디스플레이를 사용하는 경우, 사용자가, 제1 디스플레이에서의 오브젝트 선택(예: 터치)과, 드래그 및 드롭 동작을 수행하여, 제1 디스플레이에 표시된 오브젝트를, 제2 디스플레이로 간편하게 이동 또는 복사할 수 있다.
본 개시의 다양한 실시 예에 따르면, 예를 들어, 물리적으로 분리되되, 기능적으로 연동되는 멀티 디스플레이를 사용하는 경우, 사용자가, 제1 디스플레이에 표시된 오브젝트를 선택(예: 터치)하여, 제2 디스플레이의 전체 화면 또는 일부 화면을 대신하는 대표 화면을 제1 디스플레이에 다양하게 오버레이(overlay)하고, 상기 오브젝트를 상기 대표 화면으로 드래그 및 드롭 하여, 제1 디스플레이에 표시된 오브젝트를, 제2 디스플레이로 간편하게 이동 또는 복사할 수 있다.
도 1은 본 개시의 다양한 실시 예에 따른 전자 장치 운용 환경을 예시한 도면이다.
도 2a 및 도 2b는 본 개시의 다양한 실시 예에 따른 표시 제어 모듈과 디스플레이를 예시한 도면이다
도 3은 본 개시의 다양한 실시 예에 따른 전자 장치 외관을 예시한 도면이다.
도 4는 본 개시의 다양한 실시 예에 따른 전자 장치의 하드웨어 블록도를 예시한 도면이다.
도 5는, 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 도면이다.
도 6은 본 개시의 다양한 실시 예에 따른 멀티 디스플레이 제어 방법의 동작 흐름도를 예시한 도면이다.
도 7은 본 개시의 다양한 실시 예에 따른 가상 오브젝트 표시 방법을 예시한 도면이다.
도 8은 본 개시의 다양한 실시 예에 따른 가상 오브젝트 표시 방법을 예시한 다른 도면이다.
도 9는 본 개시의 다양한 실시 예에 따른 멀티 디스플레이 제어 방법의 동작 흐름도를 예시한 다른 도면이다.
도 10은 본 개시의 다양한 실시 예에 따른 가상 오브젝트가 다른 비율로 표시되는 예시 도면이다.
도 11은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 다른 도면이다.
도 12는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 14는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 15는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 16은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 17은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 18은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 19는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 20은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다.
도 21 및 도 22는 본 개시의 다양한 실시 예에 따라 다수의 디스플레이들이 기능적으로 연동되는 예시 도면이다.
이하, 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 설명한다. 본 개시의 다양한 실시 예는 여러 형태의 변경을 가할 수 있으며, 이하에서 후술되는 특정 실시예에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 개시의 다양한 실시 예에 따른 전자 장치 운용 환경을 예시한 도면이다. 도 1을 참조하면, 상기 전자 장치 운용 환경 10은, 전자 장치 100, 외부 전자 장치 101, 102, 서버 장치 106, 그리고 네트워크 162 등을 포함할 수 있다.
상기 전자 장치 운용 환경 10은, 상기 전자 장치 100이 복수개의 디스플레이들 150을 포함하고, 상기 복수개의 디스플레이들 중 적어도 하나에서 오브젝트들의 이동을 보다 직관적이며 용이한 이동을 지원할 수 있다. 상기 외부 전자 장치 101, 102는, 상기 전자 장치 100에 적어도 하나의 오브젝트와 오브젝트 관련 정보를 제공할 수 있다.
상기 오브젝트는, 디스플레이에 표시되는 이미지, 아이콘, 파일, 텍스트 중 적어도 하나일 수 있다. 예컨대, 상기 오브젝트는 디스플레이 150에 표시되는 위젯, 아이콘(예: 앱 실행 아이콘, 파일 아이콘, 폴더 아이콘 등), 메뉴 항목, 링크 정보, 사진 등을 포함할 수 있다.
상기 오브젝트 관련 정보는, 상기 디스플레이 150에 표시된 오브젝트 선택에 대응하여 실행되는 실행 데이터 또는 실행과 관련한 프로그램 데이터를 포함할 수 있다. 예컨대, 상기 오브젝트 관련 정보는 파일 아이콘 선택에 따라 실행되는 파일 정보, 또는 메뉴 항목 선택에 따라 실행되는 해당 프로그램 데이터와, 프로그램 실행 데이터, 또는 링크 정보 선택에 따라 실행되는 브라우저와 링크 기능 실행에 따라 제공되는 실행 데이터 등을 포함할 수 있다.
상기 전자 장치 운용 환경 10은, 상기 외부 전자 장치 101, 102와 전자 장치 100 간의 통신 채널을 형성하고, 상기 전자 장치 100에 저장된 적어도 하나의 오브젝트가 복수개의 디스플레이들 간에 이동하는 과정에서, 상기 외부 전자 장치 101, 102에 적어도 하나의 오브젝트와 오브젝트 관련 정보 중 적어도 하나의 전송 또는 복사를 수행할 수 있다.
상기 전자 장치 101은, 상기 전자 장치 100의 통신 인터페이스 160과 통신 채널을 형성할 수 있다. 예컨대, 상기 전자 장치 101은 상기 통신 인터페이스 160과 근거리 통신 채널 또는 유선 통신 채널을 형성할 수 있다. 상기 전자 장치 101은 상기 통신 인터페이스 160과 블루투스 통신 채널 또는 와이파이 다이렉트 통신 채널 등을 형성할 수 있다.
상기 전자 장치 101은, 상기 전자 장치 100에서 발생한 이벤트(예: 터치 이벤트, 또는 입출력 인터페이스 140 기반의 이벤트 등) 발생에 대응하여 디스플레이 150에 배치된 적어도 하나의 오브젝트를 통신 채널을 통해 수신할 수 있다. 상기 전자 장치 101은 상기 전자 장치 100에서 발생한 이벤트에 대응하여 상기 전자 장치 101에 출력되고 있는 화면 중 적어도 일부를 상기 전자 장치 100에 전송할 수 있다.
상기 전자 장치 101은 웨어러블 타입으로 마련될 수도 있다. 상기 전자 장치 102는, 네트워크 162을 통하여 상기 전자 장치 100과 통신 채널을 형성할 수 있다. 예컨대, 상기 전자 장치 102는 셀룰러 통신 모듈을 포함하고, 상기 전자 장치 100과 이동통신 채널을 형성할 수 있다. 또는 상기 전자 장치 102는 와이파이 통신 모듈을 포함하고, 상기 전자 장치 100과 이동통신 채널을 형성할 수 있다.
상기 전자 장치 102는, 형성된 통신 채널을 이용하여 상기 전자 장치 100과 적어도 하나의 오브젝트와 오브젝트 관련 정보를 송수신할 수 있다. 예컨대, 상기 전자 장치 102는 상기 전자 장치 100의 제1 디스플레이에 표시된 적어도 하나의 오브젝트와 오브젝트 관련 정보 또는 제2 디스플레이에 표시된 적어도 하나의 오브젝트와 오브젝트 관련 정보를 통신 채널을 통해 수신할 수 있다.
상기 전자 장치 102는, 상기 전자 장치 100이 전송하는 메시지나, 이메일 등을 수신할 수도 있고, 채팅 메시지를 송수신할 수도 있다. 상기 네트워크 162는 상기 전자 장치 100과 상기 전자 장치 102 사이의 통신 채널을 형성할 수 있다. 예컨대 이동통신 채널 형성과 관련한 네트워크 장치 요소들을 포함할 수 있다. 또는 인터넷 통신 채널 형성과 관련한 네트워크 장치 요소들을 포함할 수 있다.
상기 네트워크 162는, 상기 전자 장치 100의 요청에 대응하여 특정 오브젝트와 오브젝트 관련 정보 중 적어도 하나를 전자 장치 102에 전달할 수 있다. 상기 서버 장치 106은 네트워크 162를 통하여 전자 장치 100과 통신 채널을 형성할 수 있다. 상기 서버 장치 106은 전자 장치 100의 디스플레이 151에 출력될 오브젝트와 오브젝트 관련 정보 또는 적어도 하나의 디스플레이 153에 출력될 오브젝트와 오브젝트 관련 정보 중 적어도 하나를 전자 장치 100에 제공할 수 있다.
상기 서버 장치 106은, 상기 전자 장치 100의 채팅 채널 형성 및 운용을 지원할 수도 있다. 상기 전자 장치 100은 복수개의 디스플레이 151, 153들을 포함하고, 상기 디스플레이 151, 153 간의 오브젝트 이동, 복사, 제거 중 적어도 하나를 지원할 수 있다. 상기 전자 장치 100은 사용자 입력에 대응하여 특정 디스플레이에 표시된 오브젝트를 다른 디스플레이에 이동 또는 복사할 수 있다.
상기 전자 장치 100은 오브젝트 이동과 관련하여 화면 교체를 지원할 수 있고, 상기 전자 장치 100은 특정 디스플레이에서 발생한 이벤트에 대응하여 다른 디스플레이에 특정 기능 실행 화면을 출력할 수 있다.
도 1을 참조하면, 상기 전자 장치 100은, 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160, 표시 제어 모듈 170 등을 포함할 수 있다. 추가적으로 또는 대체적으로 상기 전자 장치 100은 센서 모듈, 적어도 하나의 카메라 모듈 등을 더 포함할 수 있다.
상기 버스 110은 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다. 예컨대, 상기 버스 110은 입출력 인터페이스 140에서 입력된 입력 신호를 프로세서 120 또는 표시 제어 모듈 170 중 적어도 하나에 전달할 수 있다.
상기 버스 110은 통신 인터페이스 160을 통해 수신한 오브젝트와 오브젝트 관련 정보 중 적어도 일부를 메모리 130, 디스플레이 150, 프로세서 120, 또는 표시 제어 모듈 170 중 적어도 하나에 전달할 수 있다. 상기 버스 110은 메모리 130에 저장된 오브젝트를 표시 제어 모듈 170 제어에 대응하여 디스플레이 150에 전달할 수 있다.
상기 프로세서 120은, 예를 들면, 상기 버스 110을 통해 전술한 다른 구성요소들(예: 상기 메모리 130, 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 표시 제어 모듈 170 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 프로세서 120은, 상기 표시 제어 모듈 170을 포함하는 형태로 마련되거나 또는 표시 제어 모듈 170과 독립적인 형태로 마련되고, 상기 버스 110을 기반으로 또는 직접적으로 통신을 수행하는 형태로 마련될 수 있다.
상기 메모리 130은, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 표시 제어 모듈 170 등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다.
상기 메모리 130은, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 100의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134이 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 어플리케이션 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 134 중 적어도 하나의 어플리케이션에 상기 전자 장치 100의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케줄링 또는 로드 밸런싱)을 수행할 수 있다.
상기 API 133은 상기 어플리케이션 134이 상기 커널 131 또는 상기 미들웨어 132에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
상기 어플리케이션 134는 SMS/MMS 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 어플리케이션 134는 상기 전자 장치 100과 외부 전자 장치(예: 전자 장치 101, 102) 사이의 정보 교환과 관련된 어플리케이션일 수 있다.
상기 메모리 130은, 적어도 하나의 오브젝트와 오브젝트 관련 정보를 저장할 수 있다. 적어도 하나의 오브젝트는 디스플레이 150에 표시되는 적어도 하나의 오브젝트를 포함할 수 있다. 예컨대, 오브젝트는 파일, 아이템, 위젯, 아이콘 중 적어도 하나일 수 있다.
상기 오브젝트는, 디스플레이 150에 표시되는 이미지(또는 텍스트 중 적어도 하나)일 수 있고, 상기 오브젝트 관련 정보는 오브젝트와 관련한 데이터로서, 프로그램 데이터, 프로그램 실행 데이터 등을 포함할 수 있다.
예를 들어, 사진 관련 기능은 사진 파일과 관련하여 디스플레이 150에 표시되는 썸네일 이미지에 해당하는 오브젝트와, 사진 파일에 해당하는 오브젝트 관련 정보를 포함할 수 있고, 채팅 기능은 채팅 관련 프로그램 데이터에 해당하는 오브젝트 관련 정보와, 채팅 관련 프로그램에 대응하여 디스플레이 150에 표시되는 채팅 아이콘에 해당하는 오브젝트를 포함할 수 있다.
또한, 폴더 기능은 폴더 데이터에 해당하는 오브젝트 관련 정보와, 폴더를 지시하는 아이콘에 해당하는 오브젝트를 포함할 수 있고, 날씨 알림 기능은 날씨 정보를 제공하는 서버 장치 등에 접속 가능하도록 설정된 브라우저에 해당하는 오브젝트 관련 정보와, 상기 브라우저 실행과 관련한 아이콘에 해당하는 오브젝트를 포함할 수 있다.
상기 입출력 인터페이스 140은, 입출력 장치(예: 센서, 키보드 또는 터치스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 표시 제어 모듈 170에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 터치스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서 120으로 제공할 수 있다.
상기 입출력 인터페이스 140은, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 표시 제어 모듈 170로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다.
상기 입출력 인터페이스 140은 물리 키 버튼(예: 홈 키, 사이드 키, 전원 키 등), 조그 키, 키 패드 등을 포함할 수 있다. 입출력 인터페이스 140은 디스플레이 150에 출력되는 가상 키 패드를 입력 장치로 포함할 수 있다.
상기 입출력 인터페이스 140은 오디오 처리와 관련한 기능을 수행할 수 있다. 이와 관련하여 입출력 인터페이스 140은 스피커 및 마이크 중 적어도 하나를 단수 개 또는 복수 개 포함할 수 있다. 상기 입출력 인터페이스 140은 예를 들면, 상기 표시 제어 모듈 170 제어에 따라 디스플레이 150에 출력될 앱 실행 데이터에 포함된 오디오 데이터를 스피커를 통하여 출력할 수 있다.
상기 입출력 인터페이스 140은 복수의 디스플레이 150들에 출력될 앱 실행 데이터들에 포함된 적어도 하나의 오디오 데이터를 출력할 수 있다. 상술한 입출력 인터페이스 140의 오디오 데이터 출력은 사용자 설정 또는 전자 장치 100 지원 여부에 대응하여 생략될 수도 있다.
상기 디스플레이 150은 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)를 표시할 수 있다. 예컨대, 상기 디스플레이 150은 락 스크린, 대기 화면 등을 출력할 수 있다. 상기 디스플레이 150은 특정 기능 수행 화면 예컨대 음원 재생 앱(application) 실행 화면, 동영상 재생 앱 실행 화면, 방송 수신 화면 등을 기능 수행에 대응하여 출력할 수 있다.
상기 디스플레이 150은, 상기 전자 장치 100에서 실행된 적어도 하나의 앱 관련 화면 또는 앱 실행 화면(앱 실행과 관련된 화면으로서, 현재 실행 중인 앱의 실행 화면 또는 앱 실행 이력 중 캡쳐된 캡쳐 화면, 앱이 실행될 때 디스플레이 표시될 화면들, 앱 실행 중 입력에 따른 처리가 적용된 화면 중 적어도 하나, 이하 앱 실행 화면)을 출력할 수 있다.
상기 디스플레이 150은 복수개가 연속하여(또는 일정 간격을 가지며) 배치되고, 하나의 표시 제어 모듈 170 또는 복수의 표시 제어 모듈 제어에 대응하여 운용될 수 있다. 복수개의 디스플레이 151, 153들은 복수개의 앱 실행 화면들 중 적어도 하나가 출력될 수 있다.
상기 디스플레이에 출력된 오브젝트는 입력 이벤트에 대응하여 다른 디스플레이에 이동 표시(현재 디스플레이에서 오브젝트 표시가 제거되고 이동된 디스플레이만 오브젝트 표시) 또는 복사 표시(현재 디스플레이 및 다른 디스플레이에 오브젝트가 표시)될 수 있다.
상기 통신 인터페이스 160은, 상기 전자 장치 100과 외부 장치(예: 전자 장치 101, 102, 서버 장치 106 중 적어도 하나) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스 160은, 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치와 통신할 수 있다.
상기 무선 통신은, 예를 들어, WiFi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다.
상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
상기 네트워크 162는 통신 네트워크일 수 있고, 상기 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 상기 전자 장치 100과 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 어플리케이션 134, 어플리케이션 프로그래밍 인터페이스 133, 상기 미들웨어 132, 커널 131 또는 통신 인터페이스 160 중 적어도 하나에서 지원될 수 있다.
상기 통신 인터페이스 160은 전자 장치 100이 복수의 통신 방식들을 지원하는 경우 복수개의 통신 모듈들을 포함할 수 있다. 예컨대, 상기 전자 장치 100은 전자 장치 101과 직접 통신 채널을 형성할 수 있는 통신 모듈, 예컨대, 근거리 통신 모듈 또는 직접 통신 모듈을 포함할 수 있다.
상기 근거리 통신 모듈 또는 직접 통신 모듈은 와이파이 다이렉트 통신 모듈, 블루투스 통신 모듈, 지그비 통신 모듈 등 다양한 통신 모듈 중 적어도 하나를 포함할 수 있다. 또한 직접 통신 모듈은 케이블 등의 유선 통신 모듈을 포함할 수 있다.
상기 통신 인터페이스 160은 전자 장치 102 또는 서버 장치 106 중 적어도 하나로부터 오브젝트 관련 정보를 수신할 수 있다. 통신 인터페이스 160은 수신된 오브젝트 관련 정보를 표시 제어 모듈 170에 전달할 수 있다. 표시 제어 모듈 170은 수신된 오브젝트 관련 정보를 메모리 130에 저장할 수 있다.
상기 메모리에 저장된 오브젝트 관련 정보 중 오브젝트 이미지는 디스플레이 150에 출력될 수 있다. 오브젝트 이미지 선택 이벤트가 발생하면, 해당 오브젝트 이미지는 이동 표시될 수 있다. 또는 오브젝트 이미지 선택에 대응한 오브젝트 데이터(예: 앱 실행 화면)가 출력될 수 있다.
상기 표시 제어 모듈 170은, 다른 구성요소들(예: 상기 프로세서 120, 상기 메모리 130, 상기 입출력 인터페이스 140, 또는 상기 통신 인터페이스 160 등)로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 사용자에게 제공 할 수 있다. 예를 들면, 상기 표시 제어 모듈 170은 복수의 디스플레이 151, 153들 중 적어도 하나의 디스플레이에 적어도 하나의 오브젝트를 출력하도록 제어할 수 있다.
상기 표시 제어 모듈 170은 적어도 하나의 오브젝트를 선택하는 이벤트에 대응하여, 특정 오브젝트를 선택하고, 추가 이벤트에 대응하여 선택된 오브젝트와 관련한 기능을 다른 디스플레이를 기반으로 처리할 수 있다.
상기 표시 제어 모듈 170은 스케줄 정보에 대응하여 또는 사용자 입력 제어에 대응하여 디스플레이 151에 적어도 하나의 오브젝트를 표시하도록 제어할 수 있다. 상기 표시 제어 모듈 170은 입력 이벤트 발생에 기반하여 상기 오브젝트를 디스플레이 153과 연관된 기능 처리를 수행할 수 있다.
상기 연관된 기능 처리는 오브젝트를 디스플레이 153에 이동 표시하거나 복사 표시하는 처리, 오브젝트와 관련한 특정 앱(어플리케이션)을 실행하고, 앱 실행 화면을 디스플레이 153에 출력하는 기능 처리, 오브젝트를 적어도 하나의 앱의 입력 정보로 제공하는 기능 처리 중 적어도 하나를 포함할 수 있다.
상기 표시 제어 모듈 170은 입력 정보 처리와 관련하여 앱의 종류에 따라 오브젝트를 해당 앱의 첨부 파일로 처리하거나, 해당 앱의 파일 전송 기능과 관련한 파일 업로드로 처리하거나, 파일 편집 기능과 관련하여 편집 상태로 처리할 수 있다.
상기 표시 제어 모듈 170은 오브젝트를 통화 걸기 기능과 관련한 전화번호로 처리하거나, 웹 페이지 접속 기능과 관련한 주소 정보로 처리할 수 있다. 상기 표시 제어 모듈 170은 오브젝트의 속성 또는 오브젝트 정보 등을 기반으로 오브젝트를 입력 정보로 하는 지정된 기능 처리를 제어할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151에 배치된 입력 장치(예: 디스플레이 151에 배치된 터치스크린, 터치 시트, 물리 키 등 적어도 하나)에서 제1 입력 이벤트를 수신할 수 있고, 상기 제1 입력 이벤트에 대응하여 디스플레이 151에 표시된 적어도 하나의 오브젝트를 선택할 수 있다.
상기 표시 제어 모듈 170은, 제2 입력 이벤트 수신에 대응하여 상기 선택된 오브젝트를 적어도 하나의 제2 디스플레이에 전달할 입력 정보로 처리할 수 있다. 여기서 제2 입력 이벤트는 디스플레이 151과 관련한 입력 장치 또는 디스플레이 153과 관련한 입력 장치 중 적어도 하나에서 발생한 입력 이벤트를 포함할 수 있다.
상기 제1 입력 이벤트는 상기 디스플레이 151에 표시된 오브젝트를 손으로 터치하거나 전자 펜으로 터치하는 등의 터치 이벤트 또는 표시된 오브젝트를 지시하는 호버링 이벤트 중 적어도 하나를 포함할 수 있다.
상기 제2 입력 이벤트는 상기 디스플레이 151의 적어도 한 지점을 터치하는 터치 이벤트, 터치 후 움직임을 가지는 터치 이벤트, 지정된 시간 동안 유지되는 터치 이벤트, 지정된 시간 간격으로 반복적으로 또는 복수 회 발생하는 터치 이벤트, 상기 디스플레이 151의 적어도 한 지점을 지시하는 호버링 이벤트, 지시 후 움직임을 가지는 호버링 이벤트, 지시 후 지정된 시간 동안 유지되는 호버링 이벤트, 지정된 시간 간격으로 반복적으로 또는 복수 회 발생하는 호버링 이벤트 중 적어도 하나를 포함할 수 있다.
본 개시의 실시 예에 따르면, 적어도 하나의 디스플레이 153과 관련한 시각 정보(또는 표시 정보)는 상기 디스플레이 151에 오버레이 될 수 있다. 상기 시각 정보는 앱 실행 화면에 표시된 데이터 중 적어도 일부 데이터를 포함할 수 있다. 상기 표시 제어 모듈 170은 시각 정보 상에 오브젝트가 오버레이 되면, 시각 정보 상에 배치된 오브젝트의 위치에 대응하도록 제2 디스플레이 상에 대응 오브젝트를 표시하도록 제어할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151에서 선택된 오브젝트 관련 가상 오브젝트를 입력 이벤트에 대응하여 또는 상기 오브젝트의 이동 또는 이동 후 위치, 또는 배치된 위치 중 적어도 하나에 대응하여 디스플레이 153에 표시하도록 제어할 수 있다. 상기 표시 제어 모듈 170은 가상 오브젝트 관련 입력 이벤트가 발생하면, 입력 이벤트에 대응하여 디스플레이 151에 표시된 오브젝트를 디스플레이 153로 이동 또는 복사하도록 제어할 수 있다.
상기 가상 오브젝트는 디스플레이 153과 관련한 적어도 하나의 앱 실행 화면일 수 있다. 상기 표시 제어 모듈 170은 디스플레이 153 상에서 발생하는 입력 이벤트에 대응하여 디스플레이 153에서의 앱 실행 화면 표시를 변경할 수 있다. 상기 표시 제어 모듈 170은 복수의 앱 실행 화면들의 적어도 일부가 동시에 표시되도록 제어할 수 있다. 예컨대, 표시 제어 모듈 170은 각각의 앱 실행 화면들의 일부가 중첩되도록 배치하고 나머지 일부들이 보이도록 배치할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151에서 오브젝트가 선택되면, 선택된 오브젝트와 관련한 앱의 실행 화면을 디스플레이 153에 출력하도록 제어할 수 있다. 여기서 상기 표시 제어 모듈 170은 오브젝트 관련 앱의 실행 화면 중 적어도 일부를 변형하여 디스플레이 153에 출력하도록 제어할 수 있다. 예컨대, 오브젝트 관련하여 디스플레이 151에 출력되는 앱 실행 화면과 디스플레이 153에 출력되는 앱 실행 화면은 서로 상이한 데이터를 적어도 일부 포함할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151 또는 디스플레이 153에 동일한 앱 실행 화면을 출력하도록 제어할 수도 있다. 본 개시의 실시 예에 따르면, 상기 표시 제어 모듈 170은 디스플레이 151에 출력된 오브젝트 관련하여 실행 가능한 앱 관련 정보(예: 아이콘, 메뉴 항목 등)를 디스플레이 151 또는 디스플레이 153 중 적어도 하나에 출력하도록 제어할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151 또는 디스플레이 153 중 적어도 하나에 출력된 앱 관련 정보들 중 선택된 오브젝트와 관련한 적어도 하나의 앱 관련 정보를 활성화 상태(예: 선택 및 실행 가능한 상태, 이미지 유지 또는 변경)로 처리할 수 있다.
상기 표시 제어 모듈 170은 선택된 오브젝트와 관련 없는 적어도 하나의 앱 관련 정보를 비활성화 상태(예: 선택 또는 실행 불가능, 이미지 변경)로 처리할 수 있다. 표시 제어 모듈 170은 활성화 상태의 앱 관련 정보 중 적어도 하나가 선택되면, 해당 앱을 실행하고, 앱 실행 화면을 디스플레이 151 또는 디스플레이 153 중 적어도 하나에 출력하도록 제어할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151에서 선택된 오브젝트와 관련한 앱 관련 정보를 디스플레이 153에 출력하고, 디스플레이 153에서 선택된 앱 관련 정보에 대응하는 앱 실행 화면을 디스플레이 151에 출력하도록 제어할 수 있다. 이 동작에서 표시 제어 모듈 170은 선택된 오브젝트가 디스플레이 151 상에서 유지되도록 제어할 수 있다.
상기 표시 제어 모듈 170은 선택된 오브젝트가 디스플레이 151에 출력되는 앱 실행 화면에 대응하는 앱의 입력 정보로 처리하도록 제어할 수 있다. 또는 표시 제어 모듈 170은 이벤트 발생에 대응하여 오브젝트 관련 적어도 하나의 앱을 실행하고, 앱 실행 화면을 디스플레이 153에 표시하되, 선택된 오브젝트를 디스플레이 153의 앱 실행 화면 상에 표시하도록 제어할 수 있다.
상기 표시 제어 모듈 170은 이벤트 발생에 대응하여, 디스플레이 151에서 디스플레이 153에 이동 표시된 오브젝트를 변경할 수 있다. 예컨대, 표시 제어 모듈 170은 이벤트(디스플레이 151과 관련하여 발생한 터치 이벤트 또는 호버링 이벤트 중 적어도 하나) 발생에 대응하여 디스플레이 153에 표시된 오브젝트의 크기를 확대하거나 축소할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151에 표시된 적어도 하나의 오브젝트와 관련한 시각 정보를 제1 입력 이벤트 수신에 대응하여 디스플레이 153에 표시할 수 있다. 상기 표시 제어 모듈 170은 제2 입력 이벤트 수신에 대응하여 상기 디스플레이 153에 표시된 특정 오브젝트를 상기 디스플레이 151의 입력 정보로 처리할 수 있다. 예컨대, 표시 제어 모듈 170은 오브젝트가 오버레이된 시각 정보 상에서 시각 정보의 범위 영역 밖으로 오브젝트를 이동시키는 경우, 해당 오브젝트가 표시된 디스플레이에 배치되도록 제어할 수 있다.
상기 표시 제어 모듈 170은 디스플레이 151에 제1 앱 실행 화면을 출력하고, 디스플레이 153에 제2 앱 실행 화면을 출력하도록 제어할 수 있다. 표시 제어 모듈 170은 입력 이벤트 발생에 대응하여 또는 디스플레이 151과 디스플레이 153 간의 상대적 위치, 제1 디스플레이 또는 디스플레이 153 중 적어도 하나의 밴딩 각도나 밴딩 방향 중 적어도 하나에 대응하여 화면 스위칭을 제어할 수 있다. 예컨대, 표시 제어 모듈 170은 디스플레이 151 또는 디스플레이 153 중 적어도 하나가 지정된 방향 또는 지정된 각도 중 적어도 하나에 따라 힌지 동작하는 경우 디스플레이 151 또는 디스플레이 153에 출력된 앱 실행 화면 중 적어도 일부를 상호 공유 또는 전환할 수 있다.
도 2a 및 도 2b는 본 개시의 다양한 실시 예에 따른 표시 제어 모듈과 디스플레이를 예시한 도면이다. 도 2a를 참조하면, 상기 표시 제어 모듈 200은 제1 디스플레이 203와 연동하는 제1 표시 제어 모듈 201과, 제2 디스플레이 204와 연동하는 제2 표시 제어 모듈 202 중 적어도 하나를 포함할 수 있다.
도 2b를 참조하면, 상기 표시 제어 모듈 중 어느 하나, 예를 들어, 제1 표시 제어 모듈 201은, 디스플레이 매니저 201a, 윈도우 매니저 201b, 오브젝트 매니저 201c, 파일 매니저 201d을 포함할 수 있으며, 상기 매니저들은 소프트웨어 또는 펌웨어적으로 구현 가능한 구성 요소로서, 하나의 구성 요소로 구현할 수도 있으며, 각 매니저의 명칭은, 관리 동작에 따라 기능적으로 표현한 것이다.
상기 디스플레이 매니저 201a는, 제1 디스플레이 203를 관리하고, 상기 윈도우 매니저 20b는, 제1 디스플레이 203에 표시되는 윈도우를 관리하고, 상기 오브젝트 매니저 201c는, 상기 제1 디스플레이 203에 표시되는 오브젝트를 관리하고, 상기 파일 매니저 201d는, 상기 제1 디스플레이 203에 표시되는 파일들을 관리할 수 있다.
도 3은 본 개시의 다양한 실시 예에 따른 전자 장치 외관을 예시한 도면이다. 도 3을 참조하면, 전자 장치 300은 디스플레이 장치 301, 디스플레이 장치 302, 신호 라인 305, 힌지부 306 등을 포함할 수 있고, 상기 힌지부 306는 일정 각도로 회전 가능할 수 있다. 예컨대, 디스플레이 장치 301을 기준으로 디스플레이 장치 302이 360도 회전 가능하도록 지원할 수 있다.
상기 신호 라인 305는, 디스플레이 장치 301과 디스플레이 장치 302을 기능적으로 연결할 수 있고, 디스플레이 장치 301에 배치된 표시 제어 모듈의 제어 신호 또는 컨텐츠 정보를 디스플레이 장치 302에 전달할 수 있으며, 예컨대, FPCB(flexible printed circuit board) 타입으로 마련될 수 있다.
상기 디스플레이 장치 301은, 디스플레이 303과 제1 표시 제어 모듈을 포함할 수 있고, 상기 디스플레이 장치 302는 디스플레이 304과 제2 표시 제어 모듈을 포함할 수 있다. 다양한 실시 예에 따르면, 디스플레이 장치 301 또는 디스플레이 장치 302는 하나의 표시 제어 모듈을 공유하여 운용될 수 있다.
도 4는 본 개시의 다양한 실시 예에 따른 전자 장치의 하드웨어 블록도를 예시한 도면이다. 상기 전자 장치 400은, 예를 들면, 도 1에 도시된 전자 장치 100의 전체 또는 일부를 구성할 수 있다.
도 4을 참조하면, 상기 전자 장치 400은 하나 이상의 어플리케이션 프로세서(AP: application processor) 410(예: 프로세서 120, 표시 제어 모듈 170, 171, 173 등), 통신 모듈 420(예: 통신 인터페이스 160), SIM(subscriber identification module) 카드 424, 메모리 430(예: 메모리 130), 센서 모듈 440, 입력 장치 450(예: 입출력 인터페이스 140), 디스플레이 460(예: 디스플레이 150, 151, 153 등), 인터페이스 470, 오디오 모듈 480(예: 입출력 인터페이스 140), 카메라 모듈 491, 전력관리 모듈 495, 배터리 496, 인디케이터 497 및 모터 498 를 포함할 수 있다.
상기 AP 410은 운영체제 또는 응용 프로그램을 구동하여 상기 AP 410에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 410은, 예를 들면, SoC(system on chip) 로 구현될 수 있다.
한 실시 예에 따르면, 상기 AP 410은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다. AP 410은 표시 제어 모듈 170 기능을 지원할 수 있다. AP 410은 특정 디스플레이 출력된 오브젝트를 이벤트 발생에 대응하여 다른 디스플레이에 이동 표시하거나 복사 표시하도록 제어할 수 있다. AP 410은 이벤트 발생에 대응하여 오브젝트와 관련한 다양한 기능 수행을 지원할 수 있다.
상기 통신 모듈 420(예: 상기 통신 인터페이스 160)은 상기 전자 장치 400(예: 상기 전자 장치 100)과 네트워크를 통해 연결된 다른 전자 장치들(예: 전자 장치 101, 102 또는 서버 장치 106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시 예에 따르면, 상기 통신 모듈 420은 셀룰러 모듈 421, WiFi 모듈 423, BT 모듈 425, GPS 모듈 427, NFC 모듈 428 및 RF(radio frequency) 모듈 429를 포함할 수 있다.
상기 셀룰러 모듈 421은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈 421은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 424)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 상기 셀룰러 모듈 421은 상기 AP 410가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈 421은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
한 실시 예에 따르면, 상기 셀룰러 모듈 421은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈 421은, 예를 들면, SoC로 구현될 수 있다. 도 4에서는 상기 셀룰러 모듈 421(예: 커뮤니케이션 프로세서), 상기 메모리 430 또는 상기 전력관리 모듈 495 등의 구성요소들이 상기 AP 410와 별개의 구성요소로 도시되어 있으나, 한 실시 예에 따르면, 상기 AP 410가 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈 421)를 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP 410 또는 상기 셀룰러 모듈 421(예: 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 410 또는 상기 셀룰러 모듈 421은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 WiFi 모듈 423, 상기 BT 모듈 425, 상기 GPS 모듈 427 또는 상기 NFC 모듈 428 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 4에서는 셀룰러 모듈 421, WiFi 모듈 423, BT 모듈 425, GPS 모듈 427 또는 NFC 모듈 428이 각각 별개의 블록으로 도시되었으나, 한 실시 예에 따르면, 셀룰러 모듈 421, WiFi 모듈 423, BT 모듈 425, GPS 모듈 427 또는 NFC 모듈 428 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈 421, WiFi 모듈 423, BT 모듈 425, GPS 모듈 427 또는 NFC 모듈 428 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈 421에 대응하는 커뮤니케이션 프로세서 및 WiFi 모듈 423에 대응하는 WiFi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈 429는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈 429는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈 429는 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
도 4에서는 셀룰러 모듈 421, WiFi 모듈 423, BT 모듈 425, GPS 모듈 427 및 NFC 모듈 428이 하나의 RF 모듈 429을 서로 공유하는 것으로 도시되어 있으나, 한 실시 예에 따르면, 셀룰러 모듈 421, WiFi 모듈 423, BT 모듈 425, GPS 모듈 427 또는 NFC 모듈 428 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드 424는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 424는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 430(예: 상기 메모리 130)는 내장 메모리 432 또는 외장 메모리 434를 포함할 수 있다. 상기 내장 메모리 432는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 상기 내장 메모리 432는 Solid State Drive (SSD)일 수 있다. 상기 외장 메모리 434는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 외장 메모리 434는 다양한 인터페이스를 통하여 상기 전자 장치 400과 기능적으로 연결될 수 있다. 한 실시 예에 따르면, 상기 전자 장치 400은 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈 440은 물리 량을 계측하거나 전자 장치 400의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈 440은, 예를 들면, 제스처 센서 440A, 자이로 센서 440B, 기압 센서 440C, 마그네틱 센서 440D, 가속도 센서 440E, 그립 센서 440F, 근접 센서 440G, color 센서 440H(예: RGB(red, green, blue) 센서), 생체 센서 440I, 온/습도 센서 440J, 조도 센서 440K 또는 UV(ultra violet) 센서 440M 중의 적어도 하나를 포함할 수 있다.
추가적으로 또는 대체적으로, 상기 센서 모듈 440은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infrared) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈 440은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치 450은 터치 패널(touch panel) 452, (디지털) 펜 센서(pen sensor) 454, 키(key) 456 또는 초음파(ultrasonic) 입력 장치 458를 포함할 수 있다. 상기 터치 패널 452는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다.
또한, 상기 터치 패널 452는 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널 452는 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 452는 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서 454는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 시트(sheet)를 이용하여 구현될 수 있다. 상기 키 456은, 예를 들면, 물리적인 버튼, 광학식 키 또는 키 패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치 458은 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 400에서 마이크(예: 마이크 488)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시 예에 따르면, 상기 전자 장치 400은 상기 통신 모듈 420을 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 460(예: 상기 디스플레이 150)은 패널 462, 홀로그램 장치 464 또는 프로젝터 466을 포함할 수 있다. 상기 패널 462는, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널 462는, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다.
상기 패널 462는 복수개가 마련될 수 있다. 복수개의 패널 462들이 마련되는 경우, 패널 462들은 나란하게 배치될 수 있다. 나란하게 배치된 복수개의 패널 462들은 힌지 동작에 의하여 접히거나 다른 패널과 특정 각도를 가지며 배치될 수 있다.
복수개의 패널 462들 중 적어도 하나의 패널에는 이벤트 발생에 대응하여 적어도 하나의 오브젝트가 출력될 수 있다. 출력된 오브젝트는 이벤트 발생에 대응하여 선택되고, 추가 이벤트 발생에 대응하여 다른 패널의 입력 정보로 이용될 수 있다.
상기 패널 462는 상기 터치 패널 452와 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치 464는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 466은 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치 400의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 상기 디스플레이 460은 상기 패널 462, 상기 홀로그램 장치 464, 또는 프로젝터 466을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스 470은, 예를 들면, HDMI(high-definition multimedia interface) 472, USB(universal serial bus) 474, 광 인터페이스(optical interface) 476 또는 D-sub(D-subminiature) 478을 포함할 수 있다. 상기 인터페이스 470은, 예를 들면, 도 1에 도시된 통신 인터페이스 160에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 470은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈 480은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 480의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 140에 포함될 수 있다. 상기 오디오 모듈 480은, 예를 들면, 스피커 482, 리시버 484, 이어폰 486 또는 마이크 488 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈 491은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래시 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈 495는 상기 전자 장치 400의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈 495는, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 496의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 496은 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 400에 전원을 공급할 수 있다. 상기 배터리 496은, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
도 5는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 도면이다. 도 5를 참조하면, 상기 전자 장치 500은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있다. 상기 전자 장치 500은, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 501과 제2 디스플레이 502을 포함할 수 있다. 상기 제1 디스플레이 501가 메인(main) 디스플레이이고 상기 제2 디스플레이 502가 서브(sub) 디스플레이이거나, 반대로 상기 제2 디스플레이 502가 메인 디스플레이이고 상기 제1 디스플레이 501가 서브 디스플레일 수 있다.
상기 메인 디스플레이와 서브 디스플레이는, 사용자의 선택에 의해 변경될 수 있다. 또한, 예를 들어, 상기 전자 장치 500가 멀티 디스플레이 동작을 수행하는 도중, 사용자의 터치가 최초로 발생한 임의의 한 디스플레이가 메인 디스플레이가 되고, 나머지 다른 디스플레이가 서브 디스플레이가 될 수 있으며, 이외의 다양한 방법들이 적용될 수 있다.
상기 제1 디스플레이 501에, 임의의 한 오브젝트 503가 표시된 상태에서, 사용자 504가 상기 제1 디스플레이 501에 표시된 오브젝트 503를 손가락 또는 전자 펜 등을 이용하여 터치하거나, 소정 시간 이상 호버링(hovering) 또는 터치 상태를 유지하는 경우, 또는 사전에 정의된 오브젝트 선택 동작, 예를 들어, 메뉴를 이용하여 선택하는 경우, 도 1을 참조로 전술한 표시 제어 모듈 170은, 상기 오브젝트 503가 사용자의 터치 또는 사전에 정의된 선택 동작에 의해 선택되었다고 판단할 수 있다.
상기 표시 제어 모듈 170은, 예를 들어, 다수의 디스플레이들이 모두 제어하거나, 하나의 디스플레이만을 제어할 수 있다. 상기 표시 제어 모듈 170은, 예를 들어, 도 1을 참조로 전술한 프로세서 120과는 별도의 구성으로서, 상기 프로세서 120과 연동되거나, 또는 상기 프로세서 120 내에, 소프트웨어 또는 펌웨어 등으로 다양하게 포함될 수 있다. 이하에서는, 상기 표시 제어 모듈 170이, 상기 프로세서 120에 포함된 실시 예로 상세히 설명한다.
상기 프로세서 120은, 사용자 504에 의해 선택(예: 터치)된 오브젝트 503에 대응되는 가상 오브젝트 505를 생성하여, 상기 제2 디스플레이 502에 표시할 수 있다. 상기 가상 오브젝트 505는, 상기 오브젝트 503가 표시된 제1 디스플레이의 위치에 대응되는 제2 디스플레이의 특정 위치에 표시될 수 있고, 상기 오브젝트 503와 동일하거나 또는 유사한 형상으로 표시될 수 있으며, 또는, 상기 오브젝트 503과는 상이한 특정 형상, 컬러, 밝기 등으로 다양하게 표시될 수 있다.
상기 프로세서 120은, 상기 제1 디스플레이 501에 표시된 오브젝트 503이 사용자에 의해 선택된 후, 상기 제1 디스플레이 501의 임의의 위치로 드래그되는 경우, 상기 제2 디스플레이 502에 표시된 가상 오브젝트 505를 상기 드래그 동작에 연동하여, 상기 제2 디스플레이 502의 대응되는 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 504가 상기 드래그한 오브젝트 503에서 선택을 해제(예: 드롭(drop)) 동작을 수행하는 경우, 상기 제2 디스플레이 502의 대응되는 위치로 이동된 가상 오브젝트의 위치에, 상기 오브젝트 503을 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
예를 들어, 상기 제1 디스플레이 501에, 다수의 사진 이미지들이 리스트 형태로 표시되고, 상기 제2 디스플레이 502에, 임의의 문서 작성 화면이 표시된 상태에서, 사용자가, 상기 제1 디스플레이 501에서 특정 이미지를 터치한 후, 드래그 및 드롭 동작을 수행하면, 상기 제2 디스플레이의 문서 작성 화면으로 상기 특정 이미지를 이동, 복사, 삽입하는 등을 동작을 수행할 수 있게 된다.
상기 오브젝트의 선택은, 전자 펜을 이용한 터치 또는 호버링에 의해서도 가능하며, 상기 호버링의 경우, 상기 전자 펜에 구비된 버튼을 누르는 것에 의해 드롭(drop) 동작이 수행될 수도 있다.
또한, 상기 제 1 디스플레이에 제1 어플리케이션이 실행되고 있고, 상기 제 2 디스플레이에서 제 2 어플리케이션이 실행되고 있는 상황에서, 사용자가 상기 제1 어플리케이션의 구성 요소 중 하나, 예를 들어, 오브젝트를 선택한 후, 상기 오브젝트를 드래그 & 드롭 동작을 통해, 상기 제 2 어플리케이션으로 이동시킬 수 있다. 반대로, 상기 제2 어플리케이션에서 상기 제1 어플리케이션으로의 오브젝트 이동도 동일한 방법에 의한 가능하다,
도 6은 본 개시의 다양한 실시 예에 따른 멀티 디스플레이 제어 방법의 동작 흐름도를 예시한 도면이다. 도 6을 참조하면, 상기 프로세서 120은, 동작 600에서, 상기 제1 디스플레이에 적어도 하나의 오브젝트를 표시할 수 있다. 상기 프로세서 120은, 동작 601에서, 상기 제1 디스플레이에 표시된 오브젝트가, 사용자의 손가락 또는 전자 펜 등에 의해 터치 또는 호버링 되는 지를 감지하여, 오브젝트 터치 발생을 판단할 수 있다.
상기 프로세서 120은, 상기 판단 결과, 오브젝트 터치가 발생하였으면, 동작 602에서, 상기 제2 디스플레이에 가상 오브젝트를 표시하고, 동작 603에서, 상기 제1 디스플레이에서 터치된 오브젝트가 상기 제1 디스플레이의 임의의 위치로 드래그되는 지를 감지하여, 오브젝트 드래그 발생을 판단할 수 있다. 상기 오브젝트 선택은, 터치 또는 호버링에 한하여 수행될 수 있고, 또는 터치 후 메뉴 선택 등의 추가 동작이 필요할 수도 있다.
상기 프로세서 120은, 상기 판단 결과, 오브젝트 드래그가 발생하였으면, 동작 604에서, 상기 제2 디스플레이에 표시된 가상 오브젝트를 상기 드래그와 연동하여 상기 제2 디스플레이의 대응되는 위치로 이동시키고, 이후, 동작 605에서, 상기 제1 디스플레이에서 드래그된 오브젝트에 대해 드롭이 발생되는지를 감지하여, 오브젝트 드롭 발생을 판단할 수 있다.
상기 프로세서 120은, 상기 판단 결과, 오브젝트 드롭이 발생하였으면, 동작 606에서, 상기 제2 디스플레이에 표시된 가상 오브젝트의 위치로, 상기 오브젝트를 이동 또는 복사하는 등의 동작을 수행할 수 있다.
이에 따라, 사용자는, 상기 제1 디스플레이 상에서의 오브젝트 터치와 드래그 및 드롭 동작을 통해, 상기 오브젝트를, 상기 제2 디스플레이 상에서의 임의의 위치로 이동 또는 복사할 수 있다.
도 7은 본 개시의 다양한 실시 예에 따른 가상 오브젝트 표시 방법을 예시한 도면이다. 도 7을 참조하면, 상기 전자 장치 700은, 물리적으로 분리되되, 기능적으로 연동하는 제1 디스플레이 701와 제2 디스플레이 702을 포함할 수 있고, 상기 제1 디스플레이 701와 제2 디스플레이 702 중 어느 하나가 메인 디스플레이로 설정되고, 다른 나머지 하나가 서브 디스플레이로 설정될 수 있다.
상기 제1 디스플레이 701와 제2 디스플레이 702는, 도 1을 참조로 전술한 표시 제어 모듈 170에 의해 제어될 수 있고, 상기 표시 제어 모듈 170은, 예를 들어, 상기 프로세서 120와 연동되거나, 상기 프로세서 120 내에 포함될 수 있다. 상기 표시 제어 모듈 170이 상기 프로세서 120 내에 포함된 경우, 상기 프로세서 120은, 사용자의 터치를 다양하게 구분하여 사용자의 의도를 파악하고 동작을 수행 할 수 있다.
상기 프로세서 120은, 상기 제1 디스플레이 701에 표시된 오브젝트 703이 사용자의 손가락 또는 전자 펜 등에 의해 터치 또는 호버링 되어, 오브젝트 터치가 발생한 경우, 상기 오브젝트 터치가 일반적인 터치인지 또는 특정한 의도를 갖는 터치인지를 구분할 수 있다.
상기 프로세서 120은, 상기 일반적인 터치와 특정 의도를 갖는 터치는 대응되는 동작을 서로 다르게 수행할 수 있다.
예를 들어, 도 7을 참조하면, 제1 디스플레이 701에 표시된 오브젝트 703을 사용자 704가 1 개의 손가락으로 터치하면, 일반적인 터치로 판단하여, 제2 디스플레이 702에 가상 오브젝트를 표시하지 않는 반면, 사용자 704가 2 개의 손가락으로 터치하면, 사용자가 오브젝트 이동의 의도를 갖는 터치로 판단하여 제2 디스플레이 702에 가상 오브젝트 705을 표시하도록 다양하게 구현될 수 있다.
도 8은 본 개시의 다양한 실시 예에 따른 가상 오브젝트 표시 방법을 예시한 다른 도면이다. 도 8을 참조하면, 상기 전자 장치 800은, 물리적으로 분리되되, 기능적으로 연동하는 제1 디스플레이 801, 제2 디스플레이 802, 그리고 제3 디스플레이 803을 포함할 수 있고, 상기 제1 디스플레이 801, 제2 디스플레이 802, 그리고 제3 디스플레이 803 중 어느 하나가 메인 디스플레이로 설정되고, 다른 나머지 디스플레이들이 서브 디스플레이로 설정될 수 있다.
상기 제1 내지 제3 디스플레이 801, 802, 803은, 도 1을 참조로 전술한 표시 제어 모듈 170에 의해 제어될 수 있고, 상기 표시 제어 모듈 170은, 상기 프로세서 120와 연동되거나, 상기 프로세서 120 내에 포함될 수 있다. 상기 표시 제어 모듈 170이 상기 프로세서 120 내에 포함된 경우, 상기 프로세서 120은, 사용자에 의한 오브젝트 선택이 발생하면, 상기 오브젝트에 대응되는 가상 오브젝트를 표시할 타겟(target) 디스플레이의 선택 메뉴 화면을 표시할 수 있다.
예를 들어, 도 8을 참조하면, 제1 디스플레이 801에 표시된 오브젝트 804를, 사용자 805가 터치하면, 가상 오브젝트를 표시할 타겟(target) 디스플레이의 선택 메뉴 806을 표시할 수 있고, 상기 선택 메뉴 806은, 소형 크기의 팝업 창, 아이콘 등 다양하게 표시될 수 있으며, 제2 디스플레이와 제3 디스플레이를 선택할 수 있는 선택 항목들이 간소하게 포함될 수 있다.
상기 프로세서 120은, 사용자 805가, 상기 선택 메뉴 806을 통해 제3 디스플레이 803을 타겟 디스플레이로 선택하면, 상기 제3 디스플레이 803에 가상 오브젝트 807을 표시할 수 있다. 이에 따라, 사용자는 가상 오브젝트가 표시될 디스플레이를 간편하게 선택할 수 있다.
도 9는 본 개시의 다양한 실시 예에 따른 멀티 디스플레이 제어 방법의 동작 흐름도를 예시한 다른 도면이다. 도 9을 참조하면, 상기 프로세서 120은, 동작 900에서, 상기 제1 디스플레이에 적어도 하나의 오브젝트를 표시할 수 있다. 상기 프로세서 120은, 동작 901에서, 상기 제1 디스플레이에 표시된 오브젝트가, 사용자의 손가락 또는 전자 펜 등에 의해 터치 또는 호버링 되는 지를 감지하여, 오브젝트의 선택 발생을 판단할 수 있다.
상기 프로세서 120은, 상기 판단 결과, 오브젝트의 선택이 발생하였으면, 동작 902에서, 가상 오브젝트를 표시할 타겟 디스플레이의 선택 메뉴를 표시하고, 동작 903에서, 상기 선택 메뉴를 통해 타겟 디스플레이가 선택되면, 동작 904에서, 상기 선택된 타겟 디스플레이에 가상 오브젝트를 표시할 수 있다.
상기 프로세서 120은, 동작 905에서, 상기 제1 디스플레이에서 터치된 오브젝트가 상기 제1 디스플레이의 임의의 위치로 드래그되는 지를 감지하여, 오브젝트 드래그 발생을 판단할 수 있고, 상기 오브젝트 드래그가 발생하였으면, 동작 906에서, 상기 타겟 디스플레이에 표시된 가상 오브젝트를 상기 드래그와 연동하여 상기 타겟 디스플레이의 대응되는 위치로 이동시킬 수 있다.
이후, 동작 907에서, 상기 제1 디스플레이에서 드래그된 오브젝트에 대해 드롭이 발생되는지를 감지하여, 오브젝트 드롭 발생을 판단할 수 있다. 상기 판단 결과, 오브젝트 드롭이 발생하였으면, 동작 908에서, 상기 타겟 디스플레이에 표시된 가상 오브젝트의 위치로, 상기 오브젝트를 이동 또는 복사하는 등의 동작을 수행할 수 있다.
이에 따라, 사용자는, 상기 메뉴 화면을 통해 가상 오브젝트가 표시될 타겟 디스플레이를 간편하게 선택한 후, 상기 제1 디스플레이 상에서의 오브젝트 터치와 드래그 및 드롭 동작을 통해, 상기 오브젝트를, 상기 목표 디스플레이 상에서의 대응되는 위치로 이동 또는 복사할 수 있다.
도 10은 본 개시의 다양한 실시 예에 따른 가상 오브젝트가 다른 비율로 표시되는 예시 도면이다. 도 10을 참조하면, 사용자의 손가락 또는 전자 펜 등에 의해 제1 디스플레이 1001에 표시된 오브젝트(object)가 선택(예: 터치)되면, 상기 오브젝트에 대응되는 가상 오브젝트(virtual object)가, 제2 디스플레이 1002 또는 제3 디스플레이 1003 중 어느 하나에 표시될 수 있다.
상기 제1 디스플레이 1001의 화면 해상도와 상기 제2 디스플레이 1002의 화면 해상도, 그리고 상기 제3 디스플레이 1003의 화면 해상도는 서로 다를 수 있다. 예를 들어, 상기 제1 디스플레이 1001의 화면 해상도(예: N)에 비해, 상기 제2 디스플레이 1002의 화면 해상도 (예: N/4)는 4 배 작을 수 있고, 상기 제3 디스플레이 1003의 화면 해상도 (예: Nx4)는 4 배 클 수 있다.
이 경우, 상기 제1 디스플레이 1001에 표시된 오브젝트의 크기와 위치 좌표(x,y) 중 적어도 어느 하나는, 상기 제2 디스플레이 1002에 표시된 가상 오브젝트의 크기와 위치 좌표(x’, y’) 중 적어도 어느 하나와 비례 관계를 가지며, 상기 제3 디스플레이 1003에 표시된 가상 오브젝트의 크기와 위치 좌표(x”, y”) 중 적어도 어느 하나와 비례 관계를 가질 수 있다.
도 11은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 다른 도면이다. 도 11을 참조하면, 상기 전자 장치 1100은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있다. 상기 전자 장치 1100은, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1101과 제2 디스플레이 1102을 포함할 수 있다.
상기 제1 디스플레이 1101가 메인(main) 디스플레이이고 상기 제2 디스플레이 1102가 서브(sub) 디스플레이이거나, 반대로 상기 제2 디스플레이 1102가 메인 디스플레이이고 상기 제1 디스플레이 1101가 서브 디스플레일 수 있다.
상기 메인 디스플레이와 서브 디스플레이는, 사용자의 선택에 의해 변경될 수 있다. 또한, 예를 들어, 상기 전자 장치 1100가 멀티 디스플레이 동작을 수행하는 도중, 사용자의 터치가 최초로 발생한 임의의 한 디스플레이가 메인 디스플레이가 되고, 나머지 다른 디스플레이가 서브 디스플레이가 될 수 있으며, 이외의 다양한 방법들이 적용될 수 있다.
상기 제1 디스플레이 1101에, 임의의 한 오브젝트 1103가 표시된 상태에서, 사용자 1104가 상기 제1 디스플레이 1101에 표시된 오브젝트 1103를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 사용자 1104에 의해 터치된 오브젝트 1103에 대응되는 가상 오브젝트 1105를 생성하여, 상기 제2 디스플레이 1102에 표시할 수 있다.
상기 가상 오브젝트 1105는, 상기 오브젝트 1103가 표시된 제1 디스플레이의 위치에 대응되는 제2 디스플레이의 특정 위치에 표시될 수 있고, 상기 오브젝트 1103와 동일하거나 또는 유사한 형상으로 표시될 수 있으며, 또는, 상기 오브젝트 1103과는 상이한 특정 형상, 컬러, 밝기 등으로 다양하게 표시될 수 있다.
상기 프로세서 120은, 상기 제2 디스플레이 1102에 표시된 가상 오브젝트 1105이 사용자에 의해 터치된 후, 상기 제2 디스플레이 1102의 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 제2 디스플레이 1102의 임의의 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1104가 상기 드래그한 가상 오브젝트 1105에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제2 디스플레이 1102의 대응되는 위치로 이동된 가상 오브젝트의 위치에, 상기 제1 디스플레이 1101의 오브젝트 1103을 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 12는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 12을 참조하면, 상기 전자 장치 1200은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1201과 제2 디스플레이 1202을 포함할 수 있다.
상기 제1 디스플레이 1201에, 임의의 한 오브젝트 1203가 표시된 상태에서, 사용자 1204가 상기 제1 디스플레이 1201에 표시된 오브젝트 1203를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 사용자 1204에 의해 터치된 오브젝트 1203에 대응되는 가상 오브젝트 1205를 생성하여, 상기 제2 디스플레이 1202의 특정 위치 1206에 표시할 수 있다.
상기 특정 위치 1206은, 상기 제2 디스플레이 1202의 우측 상부이거나, 또는 좌측 상부, 또는 중앙 등과 같이 디스플레이상에서 다양한 위치칠 수 있으며, 상기 특정 위치 1206은, 사전에 설정되거나, 사용자에 의해 변경 가능하며, 상기 제2 디스플레이 1202에 표시된 컨텐츠 등에 따라 임의의 다른 위치로 자동 변경될 수 있다.
예를 들어, 상기 제2 디스플레이 1202의 우측 상부로 설정된 특정 위치 1206은, 현재 표시되고 있는 컨텐츠 또는 아이콘 등이 상기 가상 오브젝트 1205에 의해 가려지지 않도록, 좌측 상부 등의 다른 위치로 변경될 수 있다. 상기 가상 오브젝트 1205는, 예를 들어, 반투명 상태로 표시되어, 현재 표시되고 있는 컨텐츠 또는 아이콘 등이 상기 가상 오브젝트 1205에 의해 가려지지 않도록 할 수도 있다.
상기 프로세서 120은, 상기 제2 디스플레이 1202의 특정 위치 1206에 표시된 가상 오브젝트 1205이 사용자에 의해 터치된 후, 상기 제2 디스플레이 1202의 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 제2 디스플레이 1202의 임의의 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1204가 상기 드래그한 가상 오브젝트 1205에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제2 디스플레이 1202의 임의의 위치로 이동된 가상 오브젝트의 위치에, 상기 제1 디스플레이 1201의 오브젝트 1203을 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 13을 참조하면, 상기 전자 장치 1300은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1301과 제2 디스플레이 1302을 포함할 수 있다.
상기 제1 디스플레이 1301에, 임의의 한 오브젝트 1303가 표시된 상태에서, 사용자 1304가 상기 제1 디스플레이 1301에 표시된 오브젝트 1303를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1302의 현재 화면 1302a 전체 또는 일부를 대신하는 대표 화면을 생성하여, 상기 제1 디스플레이 1301에 오버레이(overlay)할 수 있다. 상기 제 1 디스플레이에 오버레이 되는 대표 화면은, 불투명하게 표시되거나, 투명도가 조절되어 제1 디스플레이 화면이 보이게 할 수 있다.
상기 프로세서 120은, 상기 선택된 오브젝트 1303가, 사용자 1304에 의해 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 오브젝트 1303을 임의의 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1304가 상기 드래그한 오브젝트 1303에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제1 디스플레이 1301에 오버레이 된 제2 디스플레이의 대표 화면 1302a은 제 1 디스플레이에서 사라지거나, 제2 디스플레이로 자연스럽게 이동하여 원래대로 복귀할 수 있으며, 상기 오브젝트 1303을 상기 제2 디스플레이 1302의 임의의 위치로 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 14는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 14을 참조하면, 상기 전자 장치 1400은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1401, 제2 디스플레이 1402, 그리고 제3 디스플레이 1403을 포함할 수 있다.
상기 제1 디스플레이 1401에, 임의의 한 오브젝트 1405가 표시된 상태에서, 사용자 1406가 상기 제1 디스플레이 1401에 표시된 오브젝트 1405를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1402의 현재 화면 1402a과, 상기 제3 디스플레이 1403의 현재 화면 1403a을 대신하는 대표 화면을 생성하여, 상기 제1 디스플레이 1401에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
상기 프로세서 120은, 상기 터치된 오브젝트 1405가, 사용자 1406에 의해 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 오브젝트 1405을 임의의 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1406가 상기 드래그한 오브젝트 1405에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제1 디스플레이 1401에 오버레이 된 제2 디스플레이 대표 화면 1402a와 제3 디스플레이 대표 화면 1403a을 사라게 하고, 상기 오브젝트 1405을, 예를 들어, 상기 제3 디스플레이 1403의 임의의 위치로 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 15는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 15을 참조하면, 상기 전자 장치 1500은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1501, 제2 디스플레이 1502, 그리고 제3 디스플레이 1503을 포함할 수 있다.
상기 제1 디스플레이 1501에, 임의의 한 오브젝트 1504가 표시된 상태에서, 사용자 1505가 상기 제1 디스플레이 1501에 표시된 오브젝트 1504를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1502의 현재 화면 1502a과, 상기 제3 디스플레이 1503의 현재 화면 1503a을 대신하는 대표 화면을 생성하여, 상기 제1 디스플레이 1501에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
예를 들어, 상기 제3 디스플레이 1503에 2 개의 윈도우 1503-1, 1503-2가 표시된 경우, 상기 제1 디스플레이 1501에 오버레이 되는 제3 디스플레이 1503의 현재 화면 1503a에는, 2 개의 윈도우가 표시될 수 있다.
상기 프로세서 120은, 상기 터치된 오브젝트 1504가, 사용자 1505에 의해 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 오브젝트 1504을 임의의 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1505가 상기 드래그한 오브젝트 1504에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제1 디스플레이 1501에 오버레이된 제2 디스플레이 대표 화면 1502a와 제3 디스플레이 대표 화면 1503a을 사라지게 하고, 상기 오브젝트 1504을, 예를 들어, 상기 제3 디스플레이 1503의 제2 윈도우 1503-2의 대응되는 위치로 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 16은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 16을 참조하면, 상기 전자 장치 1600은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1601, 제2 디스플레이 1602, 그리고 제3 디스플레이 1603을 포함할 수 있다.
상기 제1 디스플레이 1601에, 임의의 한 오브젝트 1604가 표시된 상태에서, 사용자 1605가 상기 제1 디스플레이 1601에 표시된 오브젝트 1604를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1602의 현재 화면 1602a과, 상기 제3 디스플레이 1603의 현재 화면 1503a 중 어느 하나만을 기능적으로 대신하는 대표 화면을 생성하여, 상기 제1 디스플레이 1601에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
예를 들어, 상기 프로세서 120은, 상기 오브젝트 터치 발생이, 사용자의 1 개 손가락에 의한 일반 터치이면, 상기 제2 디스플레이 1602의 현재 화면 1602a만을 기능적으로 대신하는 대표 화면을 생성하여, 상기 제1 디스플레이 1601에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
도 17은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 17을 참조하면, 상기 전자 장치 1700은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1701, 제2 디스플레이 1702, 그리고 제3 디스플레이 1703을 포함할 수 있다.
상기 제1 디스플레이 1701에, 임의의 한 오브젝트 1704가 표시된 상태에서, 사용자 1705가 상기 제1 디스플레이 1701에 표시된 오브젝트 1704를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1702의 현재 화면 1702a과, 상기 제3 디스플레이 1703의 현재 화면 1703a 중 어느 하나만을 기능적으로 대신하는 화면을 생성하여, 상기 제1 디스플레이 1701에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
예를 들어, 상기 프로세서 120은, 상기 오브젝트 터치 발생이, 사용자의 2 개 손가락에 의한 특수 터치이면, 상기 제3 디스플레이 1703의 현재 화면 1703a만을 기능적으로 대신하는 화면을 생성하여, 상기 제1 디스플레이 1701에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
도 18은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 18을 참조하면, 상기 전자 장치 1800은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1801, 제2 디스플레이 1802, 그리고 제3 디스플레이 1803을 포함할 수 있다.
상기 제1 디스플레이 1801에, 임의의 한 오브젝트 1804가 표시된 상태에서, 사용자 1805가 상기 제1 디스플레이 1801에 표시된 오브젝트 1804를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1802의 현재 화면 1802a과, 상기 제3 디스플레이 1803의 현재 화면 1803a을 기능적으로 대신하는 화면을 생성하여, 상기 제1 디스플레이 1801에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
예를 들어, 상기 제2 디스플레이의 대표 화면 1802a과, 상기 제3 디스플레이의 대표 화면 1803a은, 상기 제1 디스플레이 1801의 일부 영역(예: 하측 영역)에 표시되고, 상기 제1 디스플레이 1801의 화면 사이즈는, 상기 대표 화면들 1802a, 1803a과 겹치지 않도록 변경될 수 있다. 상기 대표 화면들 1802a, 1803a은, 불투명 상태로, 상기 제1 디스플레이의 특정 영역에 표시될 수 있다.
상기 프로세서 120은, 상기 터치된 오브젝트 1804가, 사용자 1805에 의해 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 오브젝트 1804을 대응되는 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1805가 상기 드래그한 오브젝트 1804에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제1 디스플레이 1801의 특정 영역에 표시된 대표 화면 1802a, 1803a을 지우고, 원래의 화면 사이즈로 복원하면서, 상기 오브젝트 1804을, 예를 들어, 상기 제3 디스플레이 1803의 대응되는 위치로 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 19는 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 19을 참조하면, 상기 전자 장치 1900은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 1901, 제2 디스플레이 1902, 그리고 제3 디스플레이 1903을 포함할 수 있다.
상기 제1 디스플레이 1901에, 임의의 한 오브젝트 1904가 표시된 상태에서, 사용자 1905가 상기 제1 디스플레이 1901에 표시된 오브젝트 1904를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 1902의 현재 화면 1902a과, 상기 제3 디스플레이 1903의 현재 화면 1903a을 기능적으로 대신하는 화면을 생성하여, 상기 제1 디스플레이 1901에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
예를 들어, 상기 터치된 오브젝트 1904가 고해상도의 사진 이미지이고, 상기 제3 디스플레이 1903의 해상도가, 상기 제2 디스플레이 1902의 해상도 보다 높은 경우, 상기 고해상도의 사진 이미지에 적합한 상기 제3 디스플레이 1903의 대표 화면 1903a을, 상기 제2 디스플레이 1902의 대표 화면 1902a에 비해 상대적으로 크게 디스플레이할 수 있다. 또는, 상기 고해상도의 사진 이미지에 적합한 상기 제3 디스플레이 1903의 대표 화면 1903a만을 상기 제1 디스플레이 1901에 다양한 방식으로 오버레이 할 수 있다.
상기 프로세서 120은, 상기 터치된 오브젝트 1904가, 사용자 1905에 의해 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 오브젝트 1904을 대응되는 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 1905가 상기 드래그한 오브젝트 1904에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제1 디스플레이 1901의 특정 영역에 표시된 대표 화면 1902a, 1903a을 지우고, 상기 오브젝트 1904을, 예를 들어, 상기 제3 디스플레이 1903의 임의의 위치로 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 20은 본 개시의 다양한 실시 예에 따른 전자 장치의 멀티 디스플레이 제어 방법을 예시한 또 다른 도면이다. 도 20을 참조하면, 상기 전자 장치 2000은, 예를 들어, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있고, 물리적으로 분리되되 기능적으로 연동하는 제1 디스플레이 2001, 제2 디스플레이 2002, 그리고 제3 디스플레이 2003을 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사용자 선택에 의한 오브젝트 이동 시 메인 전자 장치와 연결된 제2, 제3 디스플레이는, 상기 메인 전자 장치와의 상대적 위치를 고려하여, 기능적으로 대신하는 대표 화면을 생성할 수 있다.
상기 제1 디스플레이 2001에, 임의의 한 오브젝트 2004가 표시된 상태에서, 사용자 2005가 상기 제1 디스플레이 2001에 표시된 오브젝트 2004를 손가락 또는 전자 펜 등을 이용하여 터치하거나 소정 시간 이상 호버링 하는 경우, 상기 프로세서 120은, 상기 제2 디스플레이 2002의 현재 화면 2002a과, 상기 제3 디스플레이 2003의 현재 화면 2003a을 기능적으로 대신하는 화면을 생성하여, 상기 제1 디스플레이 2001에 다양한 여러 방식으로 오버레이(overlay)할 수 있다.
이때, 상기 오버레이 되는 대표 화면은 메인 전자 장치와의 실제 연결된 위치와 방향을 반영하여 배치될 수 있다. 예를 들어, 제 2 디스플레이가 메인 전자 장치의 좌측에 연결되어 있고, 제3 디스플레이가 메인 전자 장치의 우측에 연결되어 있을 때, 상기 제2 디스플레이의 대표 화면 2002a은, 상기 제1 디스플레이 2001의 좌측 일부에 표시되고, 상기 제3 디스플레이의 대표 화면 2003a은, 상기 제1 디스플레이 2001의 우측 일부에 표시될 수 있다. 또는 상기 대표 화면 2002a, 2003a 중 어느 하나만이, 상기 제1 디스플레이 2001의 좌측 일부 또는 우측 일부에 표시될 수 있다.
상기 프로세서 120은, 상기 터치된 오브젝트 2004가, 사용자 2005에 의해 임의의 위치로 드래그되는 경우, 상기 드래그 동작에 연동하여, 상기 오브젝트 2004을 대응되는 위치로 이동시키는 동작을 수행할 수 있다.
상기 프로세서 120은, 이후, 사용자 2005가 상기 드래그한 오브젝트 2004에서 터치를 해제하는 드롭(drop) 동작을 수행하는 경우, 상기 제1 디스플레이 2001의 특정 영역에 표시된 대표 화면 2002a, 2003a을 지우고, 상기 오브젝트 2004을, 예를 들어, 상기 제2 디스플레이 2002의 대응되는 위치로 이동시키거나 복사 또는 삽입하는 등의 동작을 수행할 수 있다.
도 21 및 도 22는, 본 개시의 다양한 실시 예에 따라 다수의 디스플레이들이 기능적으로 연동되는 예시 도면이다. 도 21을 참조하면, 예를 들어, 스마트 폰과 같은 메인 전자 장치 2100은, 적어도 하나 이상의 보조 디스플레이 2101와 유선 또는 무선으로 연결되어 기능적으로 연동될 수 있다.
도 22을 참조하면, 예를 들어, 스마트 폰과 같은 메인 전자 장치 2200는, 적어도 하나 이상의 스마트 폰과 같은 다른 전자 장치 2201와 유선 또는 무선으로 연결되어 기능적으로 연동될 수 있으며, 상기 다른 전자 장치 2201는, 스마트 TV 또는 태블릿 PC 등일 수 있으며, 이외의 다양한 실시 예가 가능하다.
본 개시의 다양한 실시 예에 따른 멀티 디스플레이 제어 방법은, 복수개의 디스플레이가 구비된 하나의 전자 장치에 적용되는 것은 물론이며, 유선 또는 무선 통신을 통해, 서로 다른 여러 개의 전자 장치들을 연동하여, 본 개시의 멀티 디스플레이 제어 방법을 동일하게 또는 유사하게 적용할 수 있다.
본 개시의 다양한 실시 예에 대해 구체적으로 설명하였으나, 본 개시의 다양한 실시 예의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하므로, 본 개시의 다양한 실시 예의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 네트워크 환경 101: 전자 장치
104: 전자 장치 106: 서버
110: 버스 120: 프로세서
130: 메모리 131: 커널
132: 미들웨어 133: 어플리케이션 프로그래밍 인터페이스
134: 어플리케이션 140: 입출력 인터페이스
150: 멀티 디스플레이 160: 통신 인터페이스
162: 네트워크 170: 표시 제어 모듈

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    제1 디스플레이에 표시된 오브젝트가 선택되면, 제2 디스플레이에 가상 오브젝트를 표시하는 동작;
    상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 가상 오브젝트를 제2 디스플레이에서 상기 오브젝트와 연동하여 이동시키는 동작; 및
    상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 오브젝트를 제2 디스플레이로 이동 또는 복사하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 디스플레이와 제2 디스플레이는, 물리적으로 분리되되 유선 또는 무선을 통해 기능적으로 연동되는 방법.
  3. 제1항에 있어서,
    상기 표시하는 동작은, 상기 제1 디스플레이에 표시된 오브젝트가 손가락 또는 전자 펜의 접촉 또는 호버링에 의해 특정 방식으로 선택되면, 상기 제2 디스플레이에 가상 오브젝트를 표시하는 방법.
  4. 제1항에 있어서,
    상기 표시하는 동작은, 상기 제1 디스플레이에 표시된 오브젝트가 선택되면, 기 오브젝트가 선택된 제1 디스플레이의 위치에 대응되는 제2 디스플레이의 위치에 가상 오브젝트를 표시하는 방법.
  5. 제1항에 있어서,
    상기 이동시키는 동작은, 상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 오브젝트가 제1 디스플레이에서 드래그되는 위치에 대응되는 제2 디스플레이의 위치로 이동시키는 방법.
  6. 제1항에 있어서,
    상기 이동 또는 복사하는 동작은, 상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 가상 오브젝트가 표시된 제2 디스플레이의 위치로, 상기 오브젝트를 이동 또는 복사하는 방법.
  7. 제1항에 있어서,
    상기 가상 오브젝트의 형상 또는 색상 중 적어도 어느 하나는, 상기 오브젝트의 형상 또는 색상 중 적어도 어느 하나와 연관성을 갖는 방법.
  8. 제1항에 있어서,
    상기 가상 오브젝트의 표시 위치는, 상기 오브젝트의 표시 위치와, 상기 제1 디스플레이 및 제2 디스플레이 간의 화면 해상도와 비율에 기반하여 결정되는 방법.
  9. 제1항에 있어서,
    상기 제1 디스플레이에 표시된 오브젝트가 선택되면, 상기 가상 오브젝트가 표시될 임의의 디스플레이를 선택하기 위한 메뉴 화면을 팝업 창으로 표시하는 동작을 더 포함하는 방법.
  10. 제9항에 있어서,
    상기 팝업 창을 통해 임의의 디스플레이가 선택되면, 상기 가상 오브젝트를, 상기 선택된 임의의 디스플레이에 표시하는 동작을 더 포함하는 방법.
  11. 전자 장치에 있어서,
    멀티 디스플레이; 및
    상기 멀티 디스플레이를 제어하는 프로세서를 포함하되,
    상기 프로세서는,
    상기 멀티 플레이 중 제1 디스플레이에 표시된 오브젝트가 선택되면, 상기 멀티 플레이 중 제2 디스플레이에 가상 오브젝트를 표시하고,
    상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 가상 오브젝트를 제2 디스플레이에서 상기 오브젝트의 이동과 연동하여 이동시키고,
    상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 오브젝트를 제2 디스플레이로 이동 또는 복사하는 장치.
  12. 제11항에 있어서,
    상기 제1 디스플레이와 제2 디스플레이는, 물리적으로 분리되되 유선 또는 무선을 통해 기능적으로 연동되는 장치.
  13. 제11항에 있어서,
    상기 프로세서는, 상기 제1 디스플레이에 표시된 오브젝트가 손가락 또는 전자 펜의 접촉 또는 호버링에 의해 특정 방식으로 선택되면, 상기 제2 디스플레이에 가상 오브젝트를 표시하는 장치.
  14. 제11항에 있어서,
    상기 프로세서는, 상기 제1 디스플레이에 표시된 오브젝트가 선택되면, 상기 오브젝트가 터치된 제1 디스플레이의 위치에 대응되는 제2 디스플레이의 위치에 가상 오브젝트를 표시하는 장치.
  15. 제11항에 있어서,
    상기 프로세서는, 상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 오브젝트가 제1 디스플레이에서 드래그되는 위치에 대응되는 제2 디스플레이의 위치로 이동시키는 장치.
  16. 제11항에 있어서,
    상기 프로세서는, 상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 가상 오브젝트가 표시된 제2 디스플레이의 위치로, 상기 오브젝트를 이동 또는 복사하는 장치.
  17. 제11항에 있어서,
    상기 가상 오브젝트의 형상 또는 색상 중 적어도 어느 하나는, 상기 오브젝트의 형상 또는 색상 중 적어도 어느 하나와 연관성을 갖는 장치.
  18. 제11항에 있어서,
    상기 프로세서는, 상기 가상 오브젝트의 표시 위치를, 상기 오브젝트의 표시 위치와, 상기 제1 디스플레이 및 제2 디스플레이 간의 화면 해상도와 비율에 기반하여 결정하는 장치.
  19. 제11항에 있어서,
    상기 프로세서는, 상기 제1 디스플레이에 표시된 오브젝트가 선택되면, 상기 가상 오브젝트가 표시될 임의의 디스플레이를 선택하기 위한 메뉴 화면을 팝업 창으로 표시한 후, 임의의 디스플레이가 선택되면, 상기 가상 오브젝트를, 상기 선택된 임의의 디스플레이에 표시하는 장치.
  20. 전자 장치에서, 제1 디스플레이에 표시된 오브젝트가 선택되면, 제2 디스플레이에 가상 오브젝트를 표시하는 동작; 상기 오브젝트가 제1 디스플레이에서 드래그되면, 상기 가상 오브젝트를 제2 디스플레이에서 제 1 디스플레이 이동과 연동하여 이동시키는 동작; 및 상기 오브젝트가 제1 디스플레이에서 드롭되면, 상기 오브젝트를 제2 디스플레이로 이동 또는 복사하는 동작을 포함하는 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장매체.
KR1020140152966A 2014-11-05 2014-11-05 멀티 디스플레이 제어 방법 및 그 전자 장치 KR20160053641A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140152966A KR20160053641A (ko) 2014-11-05 2014-11-05 멀티 디스플레이 제어 방법 및 그 전자 장치
US14/922,594 US20160124599A1 (en) 2014-11-05 2015-10-26 Method for controlling multi display and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140152966A KR20160053641A (ko) 2014-11-05 2014-11-05 멀티 디스플레이 제어 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20160053641A true KR20160053641A (ko) 2016-05-13

Family

ID=55852650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140152966A KR20160053641A (ko) 2014-11-05 2014-11-05 멀티 디스플레이 제어 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US20160124599A1 (ko)
KR (1) KR20160053641A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180004385A1 (en) * 2016-06-30 2018-01-04 Futurewei Technologies, Inc. Software defined icon interactions with multiple and expandable layers
WO2019123888A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 情報処理システム、情報処理方法、および、プログラム
CN109324775B (zh) * 2018-08-30 2022-01-25 Oppo（重庆）智能科技有限公司 信息提示方法及相关产品
US11126412B2 (en) * 2019-05-24 2021-09-21 Figma, Inc. Tool with multi-edit function
CN110489029B (zh) * 2019-07-22 2021-07-13 维沃移动通信有限公司 一种图标显示方法及终端设备
US20230236721A1 (en) * 2020-07-01 2023-07-27 Telefonaktiebolaget Lm Ericsson (Publ) User device for displaying a user-interface object and method thereof
CN112468863A (zh) * 2020-11-24 2021-03-09 北京字节跳动网络技术有限公司 投屏控制方法、设备及电子设备

Also Published As

Publication number Publication date
US20160124599A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
US20190354332A1 (en) Method and apparatus for outputting contents using a plurality of displays
KR102383103B1 (ko) 전자 장치 및 이의 화면 표시 방법
EP2940572A1 (en) Method and electronic device for managing display objects
US10025451B2 (en) Method and electronic device for managing screen
CN106055190B (zh) 用于经由显示器的部分提供信息的设备和方法
US9760331B2 (en) Sharing a screen between electronic devices
KR20160053641A (ko) 멀티 디스플레이 제어 방법 및 그 전자 장치
US20160004425A1 (en) Method of displaying graphic user interface and electronic device implementing same
EP2983074B1 (en) Method and apparatus for displaying a screen in electronic devices
KR20160011915A (ko) 화면 제어 방법 및 이를 사용하는 전자 장치
WO2022062898A1 (zh) 一种窗口显示方法及设备
US10275056B2 (en) Method and apparatus for processing input using display
US9538086B2 (en) Method of performing previewing and electronic device for implementing the same
KR102213897B1 (ko) 사용자 입력에 따라 하나 이상의 아이템들을 선택하는 방법 및 이를 위한 전자 장치
KR102319286B1 (ko) 드래그 앤 드롭 처리 방법 및 장치
US9955068B2 (en) Apparatus and method for operating a composition of a picture in a portable terminal
US20150331600A1 (en) Operating method using an input control object and electronic device supporting the same
US10303351B2 (en) Method and apparatus for notifying of content change
EP2990929B1 (en) Electronic device and method for setting block
KR20210059241A (ko) 전자 장치에서 리스트를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application