KR20150069801A - 화면 제어 방법 및 그 전자 장치 - Google Patents

화면 제어 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20150069801A
KR20150069801A KR1020130156364A KR20130156364A KR20150069801A KR 20150069801 A KR20150069801 A KR 20150069801A KR 1020130156364 A KR1020130156364 A KR 1020130156364A KR 20130156364 A KR20130156364 A KR 20130156364A KR 20150069801 A KR20150069801 A KR 20150069801A
Authority
KR
South Korea
Prior art keywords
screen
sub
area
screens
mirroring
Prior art date
Application number
KR1020130156364A
Other languages
English (en)
Inventor
김세훈
이예니
이종필
이지화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130156364A priority Critical patent/KR20150069801A/ko
Priority to US14/565,991 priority patent/US9626102B2/en
Publication of KR20150069801A publication Critical patent/KR20150069801A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Abstract

본 발명의 일 실시 예에 따르면, 전자 장치의 화면 제어 방법은, 화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하는 과정과, 여기에서 상기 다수 개의 서브 화면은 이웃하는 서브 화면과 일정한 넓이의 겹침 영역을 가지며, 상기 다수 개의 서브 화면 중 하나의 서브 화면을 선택하는 과정과, 선택한 상기 하나의 서브 화면을 미러링(mirroring) 영역에 디스플레이하는 과정, 및 상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면으로부터 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신하면, 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 상기 드래그에 따라 상기 미러링 영역에 디스플레이되는 과정을 포함할 수 있다.
또한, 다른 실시 예가 가능하다.

Description

화면 제어 방법 및 그 전자 장치{METHOD FOR CONTROLLING SCREEN AND ELECTRONIC DEVICE THEREOF}
본 발명의 실시 예는 전자 장치에서 서브 화면을 이용하여 화면 전체를 제어하기 위한 화면 제어 방법 및 그 전자 장치에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 전자 장치는 메신저 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스와 같은 다양한 멀티미디어 서비스를 제공하고 있다.
전자 장치들은 휴대성이 유리하게 점차 경박 단소화되고, 터치 스크린을 포함하여 터치 방식의 입력이 가능하다. 또한, 사용자는 대화면을 원하기 때문에 터치 스크린을 포함한 전자 장치는 날로 커지고 있다.
하지만, 전자 장치의 사용자는 한 손으로 전자 장치를 조작하려는 욕구는 있으나, 전자 장치의 대화면으로 인해 화면 전체를 조작하기는 어려움이 따른다. 이에 따라, 전자 장치는 사용자의 한 손 조작 욕구를 충족시키기 위한 서비스가 제공될 필요가 있다.
본 발명의 일 실시 예는 전자 장치에서 서브 화면을 이용하여 화면 전체를 제어하기 위한 화면 제어 방법 및 그 전자 장치를 제공하고자 한다.
본 발명의 일 실시 예는 전자 장치에서 한 손으로 화면 전체를 조작하기 위한 화면 제어 방법 및 그 전자 장치를 제공하고자 한다.
본 발명의 일 실시 예는 전자 장치에서 대화면을 효과적으로 활용하기 위한 화면 제어 방법 및 그 전자 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따르면, 전자 장치의 화면 제어 방법은, 화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하는 과정과, 여기에서 상기 다수 개의 서브 화면은 이웃하는 서브 화면과 일정한 넓이의 겹침 영역을 가지며, 상기 다수 개의 서브 화면 중 하나의 서브 화면을 선택하는 과정과, 선택한 상기 하나의 서브 화면을 미러링(mirroring) 영역에 디스플레이하는 과정, 및 상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면으로부터 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 감지하면, 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 상기 드래그에 따라 상기 미러링 영역에 디스플레이되는 과정을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 전자 장치는, 터치 스크린과, 메모리, 및 화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하고, 여기에서 상기 다수 개의 서브 화면은 이웃하는 서브 화면과 일정한 넓이의 겹침 영역을 가지며, 상기 다수 개의 서브 화면 중 하나의 서브 화면을 선택하고, 선택한 상기 하나의 서브 화면을 미러링(mirroring) 영역에 디스플레이하며, 상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면으로부터 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 감지하면, 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 상기 드래그에 따라 상기 미러링 영역에 디스플레이되도록 제어하는 프로세서를 포함할 수 있다.
상술한 바와 같이 전자 장치에서 서브 화면을 이용하여 손에 닿지 않는 화면 영역을 손에 닿는 화면 영역에서 제어함으로써, 전자 장치를 한 손으로 조작하기 위한 사용 편의성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록 구성을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 프로세서의 상세 블록 구성을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시한다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 전자 장치에서 서브 화면의 면적을 결정하기 위한 화면 구성을 도시한다.
도 5a내지 도 5e는 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 화면 구성을 도시한다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시한다.
도 7a내지 도 7c는 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 화면 구성을 도시한다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시한다.
도 9a 및 도 9b는 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 화면 구성을 도시한다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시한다.
도 11a내지 도 11c는 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 화면 구성을 도시한다.
도 12는 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시한다.
도 13은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 화면 구성을 도시한다.
이하 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있다. 따라서, 본 발명은 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.
본 발명에 따른 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 장신구(accessory), 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 손목 시계(wrist watch), 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 전자 팔찌, 전자 목걸이, 공기 청정기, 전자 액자, 의료기기, 네비게이션(navigation) 장치, 위성 신호 수신기, EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스, 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 앨범, 전자장치를 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 및 프로젝터(projector) 중 하나 이상을 포함할 수 있다. 또한, 본 발명에 따른 전자 장치는 상술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록 구성을 도시하고 있다.
도 1을 참조하면, 전자 장치(100)는 버스(110), 프로세서(120), 메모리(130), 입력부(140), 터치 스크린(150), 통신부(160)를 포함할 수 있다.
버스(110)는 전자 장치(100)에 포함되는 구성요소들(예: 프로세서(120), 메모리(130), 입력부(140), 터치 스크린(150) 또는 통신부(160))을 서로 연결하고, 구성요소들 간의 통신을 제어할 수 있다.
프로세서(120)는 버스(110)를 통해 전자 장치(100)에 포함된 구성요소들로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 수행할 수 있다. 이때, 프로세서(120)는 메모리(130)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공하도록 제어한다. 예를 들어, 프로세서(120)는 미러링 영역 제어 프로그램(131), 화면 분할 프로그램(133) 및 디스플레이 제어 프로그램(135)을 실행하여 화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하고, 다수 개의 서브 화면 중 하나의 서브 화면을 선택하며, 선택한 하나의 서브 화면을 미러링 영역에 디스플레이하고, 미러링 영역에 디스플레이된 하나의 서브 화면으로부터 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신하면, 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 드래그에 따라 미러링 영역에 디스플레이되도록 제어할 수 있다.
프로세서(120)는 하나 이상의 어플리케이션 프로세서(AP: application processor) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 여기서, AP 및 CP는 프로세서(120) 내에 포함되거나 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 또한, AP 및 CP는 하나의 IC 패키지 내에 포함될 수도 있다.
AP는 운영체제 또는 응용 프로그램을 구동하여 AP에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 여기서, AP는 SoC(system on chip)로 구현될 수 있다. 또한, CP는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다.
CP는 가입자 식별 모듈(예: SIM 카드)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 이때, CP는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data)를 포함하는 서비스를 제공할 수 있다. 또한, CP는 통신부(160)의 데이터 송수신을 제어할 수 있다.
AP 또는 CP는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. AP 또는 CP는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다. CP는 하드웨어를 포함하는 전자 장치와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 여기서, CP는 SoC로 구현될 수 있다. 추가적으로, 프로세서(120)는 GPU(graphic processing unit)를 더 포함할 수 있다.
메모리(130)는 전자 장치(100)에 포함되는 하나 이상의 구성요소(예: 프로세서(120), 입력부(140), 터치 스크린(150), 통신부(160))로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장할 수 있다.
메모리(130)는 전자 장치(100)의 서비스를 위한 하나 이상의 프로그램을 저장한다. 예를 들어, 메모리(130)는 미러링 영역 제어 프로그램(131), 화면 분할 프로그램(133) 및 디스플레이 제어 프로그램(135)을 포함할 수 있다. 이때, 각각의 프로그램은 프로그래밍 모듈로 구성될 수 있으며, 각각의 프로그래밍 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
미러링 영역 제어 프로그램(131)은 다수 개의 서브 화면 중 미러링 영역에 표시할 하나의 서브 화면을 결정하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 미러링 영역 제어 프로그램(131)은 미러링 영역 주변에 미러링 영역에 표시되지 않는 나머지 서브 화면과 대응하는 아이콘을 디스플레이할 수 있다. 미러링 영역 제어 프로그램(131)은 디스플레이된 아이콘을 선택하는 경우, 선택된 아이콘과 대응하는 서브 화면을 미러링 영역에 디스플레이하도록 제어할 수 있다.
다른 예를 들어, 미러링 영역 제어 프로그램(131)은 미러링 영역 주변에서 기준 시간 동안의 터치를 확인할 수 있다. 미러링 영역 제어 프로그램(131)은 확인된 터치 지점에 다수 개의 서브 화면과 대응하는 오브젝트를 디스플레이할 수 있다. 미러링 영역 제어 프로그램(131)은 디스플레이된 오브젝트를 선택하는 경우, 선택된 오브젝트와 대응하는 서브 화면을 미러링 영역에 디스플레이하도록 제어할 수 있다.
또 다른 예를 들어, 미러링 영역 제어 프로그램(131)은 미러링 영역의 일정 영역에서 수직 방향으로의 드래그를 확인할 수 있다. 미러링 영역 제어 프로그램(131)은 확인된 드래그의 이동거리에 따라 대응되는 서브 화면을 미러링 영역에 디스플레이하도록 제어할 수 있다.
또 다른 예를 들어, 미러링 영역 제어 프로그램(131)은 미러링 영역에 디스플레이된 하나의 서브 화면에서 사용자의 드래그가 겹침 영역으로 이동하는지를 판단할 수 있다. 전자 장치 사용자는 미러링 영역에 디스플레이된 화면을 일정 거리로 드래그할 수 있다. 미러링 영역에 디스플레이된 하나의 서브 화면으로부터 상기 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신하면, 미러링 영역 제어 프로그램(131)은 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 드래그에 따라 미러링 영역에 디스플레이되도록 할 수 있다. 이때, 미러링 영역 제어 프로그램(131)은 겹침 영역으로의 드래그 방향을 확인하여, 미러링 영역에 표시된 서브 화면과 겹침 영역을 가지는 이웃화면을 디스플레이할 수 있다.
화면 분할 프로그램(133)은 화면을 다수 개로 분할한 다수 개의 서브 화면을 결정하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 화면 분할 프로그램(133)은 화면에서 특정 입력 패턴이 감지되는지 확인할 수 있다. 특정 입력 패턴은 화면에 디스플레이될 다수 개의 서브 화면들의 영역을 결정하기 위한 동작일 수 있다.
예를 들어, 화면 분할 프로그램(133)은 도 4a 및 도 4b와 같이 사용자의 특정 입력 패턴에 따라 화면(400)에 디스플레이할 다수 개의 서브 화면들의 면적을 결정할 수 있다. 이러한 특정 입력 패턴으로는 화면(400)의 가장자리 지점(410)을 일정 시간 동안 터치 후, 가장자리 지점(410)으로부터 좌측 하단 지점(430)까지 포물선(420)을 그리는 제스처가 될 수 있다. 화면 분할 프로그램(133)은 이러한 제스처를 통하여 한 손 터치 가능 영역을 예측할 수 있으며, 화면(400)에 디스플레이할 다수 개의 서브 화면들의 면적을 계산할 수 있다.
다른 예를 들어, 화면 분할 프로그램(133)은 입력된 포물선(420)과 드래그가 끝난 지점(430)에 대한 수평선(440)이 이루는 폐곡선에 포함되는 영역을 검출할 수 있다. 화면 분할 프로그램(133)은 폐곡선의 영역에서 가장 큰 정사각형을 화면(400)에 디스플레이할 서브 화면의 면적으로 결정할 수 있다.
또 다른 예를 들어, 화면 분할 프로그램(133)은 미리 정해진 기준으로 화면에 표시할 다수 개의 서브 화면을 결정할 수 있다. 화면 분할 프로그램(133)은 화면에 표시된 아이콘 또는 컨텐츠 수에 따라 일정 면적을 가지는 서브 화면을 일정 간격으로 배치할 수 있다. 이때, 화면 분할 프로그램(133)은 다수 개의 서브 화면과 이웃하는 서브 화면이 일정한 면적의 겹침 영역을 갖도록 배치할 수 있다.
디스플레이 제어 프로그램(135)은 화면 정보를 터치 스크린(150)에 디스플레이하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 디스플레이 제어 프로그램(135)은 다수 개의 서브 화면과 미러링 영역을 터치 스크린(150)에 그래픽으로 표시할 수 있다. 또한, 디스플레이 제어 프로그램(135)은 미러링 영역에 다수 개의 서브 화면 중 하나의 서브 화면을 표시하기 위한 명령어들을 포함할 수 있다.
또한, 메모리(130)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM)) 또는 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory) 중 적어도 하나를 포함할 수 있다. 이때, 내장 메모리는 SSD(Solid State Drive)의 형태를 취할 수도 있다. 외장 메모리는 CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 memory stick 중 적어도 하나를 포함할 수 있다.
또한, 메모리(130)는 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface)를 더 포함할 수 있다.
커널은 나머지 다른 프로그래밍 모듈들(예: 미들웨어, API 또는 어플리케이션)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130))을 제어 또는 관리할 수 있다. 또한, 커널은 미들웨어, API 또는 어플리케이션에서 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어는 API 또는 어플리케이션이 커널과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어는 적어도 하나의 어플리케이션으로부터 수신된 작업 요청들에 전자 장치(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130))를 사용할 수 있는 우선 순위를 배정하는 방법을 이용하여 작업 요청에 대한 로드 밸런싱(load balancing)을 수행할 수 있다.
API는 어플리케이션이 커널 또는 미들웨어에서 제공하는 기능을 제어할 수 있는 인터페이스로, 파일 제어, 창 제어, 화상 처리 또는 문자 제어를 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
입력부(140)는 사용자의 선택에 의해 발생하는 명령 또는 데이터를 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전송할 수 있다. 예를 들어, 입력부(140)는 터치 패널(touch panel), 펜 센서(pen sensor), 키(key) 또는 초음파 입력 장치를 포함할 수 있다.
터치 패널은 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 터치 패널은 컨트롤러를 더 포함할 수 있다. 정전식의 경우, 터치 패널은 직접 터치뿐만 아니라 근접 터치 인식도 가능하다. 근접 터치는 비접촉 터치 또는 호버링(hovering)이라 표현하기도 한다. 이러한 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여 사용자에게 촉각 반응을 제공할 수 있다.
터치 스크린(150)은 사용자에게 화상, 영상 또는 데이터를 표시할 수 있다. 터치 스크린(150)은 입력 기능과 표시 기능을 동시에 수행할 수 있도록 터치 패널을 포함한다. 터치 패널은 LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode)를 포함할 수 있으며, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다.
터치 스크린(150)은 홀로그램을 포함할 수 있으며, 이러한 홀로그램은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 추가적으로, 터치 스크린(150)은 터치 패널 또는 홀로그램을 제어하기 위한 제어회로를 더 포함할 수 있다.
통신부(160)는 전자 장치(100)와 하나 이상의 다른 전자 장치(102 또는 104) 또는 서버(164) 간의 통신을 연결할 수 있다. 통신부(160)는 근거리 통신 프로토콜(예: Wi-Fi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service), 162)을 지원할 수 있다.
추가적으로, 전자 장치(100)는 센서 모듈을 더 포함할 수 있다. 센서 모듈은 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB(red, green, blue) 센서, 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중 적어도 하나를 포함할 수 있다. 또한, 센서 모듈은 물리량을 계측하거나 전자 장치(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 예를 들어, 센서 모듈은 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor) 또는 지문 센서를 포함할 수 있다.
본 실시 예에 따른 전자 장치(100)의 구성요소들의 명칭은 전자 장치(100)의 종류에 따라서 달라질 수 있다. 또한, 전자 장치(100)는 전자 장치(100)의 종류에 따라 상술한 구성요소들 중 하나 이상의 구성요소를 포함하거나, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 프로세서의 상세 블록 구성을 도시하고 있다.
도 2를 참조하면, 프로세서(120)는 미러링 영역 제어부(200), 화면 분할부(210) 및 디스플레이 제어부(220)를 포함한다.
미러링 영역 제어부(200)는 메모리(130)에 저장된 미러링 영역 제어 프로그램(131)을 실행하여, 다수 개의 서브 화면 중 미러링 영역에 표시할 하나의 서브 화면을 결정할 수 있다.
예를 들어, 미러링 영역 제어부(200)는 미러링 영역 주변에 미러링 영역에 표시되지 않는 나머지 서브 화면과 대응하는 아이콘을 디스플레이할 수 있다. 미러링 영역 제어부(200)는 디스플레이된 아이콘을 선택하는 경우, 선택된 아이콘과 대응하는 서브 화면을 미러링 영역에 디스플레이하도록 제어할 수 있다.
다른 예를 들어, 미러링 영역 제어부(200)는 미러링 영역 주변에서 기준 시간 동안의 터치를 확인할 수 있다. 미러링 영역 제어부(200)는 확인된 터치 지점에 다수 개의 서브 화면과 대응하는 오브젝트를 디스플레이할 수 있다. 미러링 영역 제어부(200)는 디스플레이된 오브젝트를 선택하는 경우, 선택된 오브젝트와 대응하는 서브 화면을 미러링 영역에 디스플레이하도록 제어할 수 있다.
또 다른 예를 들어, 미러링 영역 제어부(200)는 미러링 영역의 일정 영역에서 수직 방향으로의 드래그를 확인할 수 있다. 미러링 영역 제어부(200)는 확인된 드래그의 이동거리에 따라 대응되는 서브 화면을 미러링 영역에 디스플레이하도록 제어할 수 있다.
또 다른 예를 들어, 미러링 영역 제어부(200)는 미러링 영역에 디스플레이된 하나의 서브 화면에서 드래그가 겹침 영역으로 이동하는지를 판단할 수 있다. 전자 장치 사용자는 미러링 영역에 디스플레이된 화면을 일정 거리로 드래그할 수 있다. 미러링 영역에 디스플레이된 하나의 서브 화면으로부터 상기 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 감지하면, 미러링 영역 제어부(200)는 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 드래그에 따라 미러링 영역에 디스플레이되도록 할 수 있다. 이때, 미러링 영역 제어부(200)는 겹침 영역으로의 드래그 방향을 확인하여, 미러링 영역에 표시된 서브 화면과 겹침 영역을 가지는 이웃화면을 디스플레이할 수 있다.
화면 분할부(210)는 메모리(130)에 저장된 화면 분할 프로그램(133)을 실행하여, 화면을 다수 개로 분할한 다수 개의 서브 화면을 결정할 수 있다. 화면 분할부(210)는 결정된 다수 개의 서브 화면 정보를 디스플레이 제어부(220)로 제공할 수 있다. 예를 들어, 화면 분할부(210)는 화면에서 특정 입력 패턴이 감지되는지 확인할 수 있다. 특정 입력 패턴은 화면에 디스플레이될 다수 개의 서브 화면들의 영역을 결정하기 위한 동작일 수 있다.
예를 들어, 화면 분할부(210)는 도 4a 및 도 4b와 같이 사용자의 특정 입력 패턴에 따라 화면(400)에 디스플레이할 다수 개의 서브 화면들의 면적을 결정할 수 있다. 이러한 특정 입력 패턴으로는 화면(400)의 가장자리 지점(410)을 일정 시간 동안 터치 후, 가장자리 지점(410)으로부터 좌측 하단 지점(430)까지 포물선(420)을 그리는 제스처가 될 수 있다. 화면 분할부(210)는 이러한 제스처를 통하여 한 손 터치 가능 영역을 예측할 수 있으며, 화면(400)에 디스플레이할 다수 개의 서브 화면들의 면적을 계산할 수 있다.
다른 예를 들어, 화면 분할부(210)는 입력된 포물선(420)과 드래그가 끝난 지점(430)에 대한 수평선(440)이 이루는 폐곡선에 포함되는 영역을 검출할 수 있다. 화면 분할부(210)는 폐곡선의 영역에서 가장 큰 정사각형을 화면(400)에 디스플레이할 서브 화면의 면적으로 결정할 수 있다.
또 다른 예를 들어, 화면 분할부(210)는 미리 정해진 기준으로 화면에 표시할 다수 개의 서브 화면을 결정할 수 있다. 화면 분할부(210)는 화면에 표시된 아이콘 또는 컨텐츠 수에 따라 일정 면적을 가지는 서브 화면을 일정 간격으로 배치할 수 있다. 이때, 화면 분할부(210)는 다수 개의 서브 화면과 이웃하는 서브 화면이 일정한 면적의 겹침 영역을 갖도록 배치할 수 있다.
디스플레이 제어부(220)는 메모리(130)에 저장된 디스플레이 제어 프로그램(135)을 실행하여, 미러링 영역 제어부(200) 및 화면 분할부(210)로부터 제공받은 화면 정보를 터치 스크린(150)을 통하여 그래픽으로 디스플레이하도록 제어할 수 있다.
본 실시 예에 따르면, 프로세서(120)의 구성요소들은 별개의 모듈들로 이루어질 수 있지만, 다른 실시 예에서는 하나의 모듈 내에서 소프트웨어의 구성요소들로서 포함될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시하고 있다.
도 3을 참조하면, 전자 장치는 300과정에서 화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이한다. 이때, 전자 장치는 화면에서 특정 입력 패턴이 감지되는지 확인할 수 있다. 특정 입력 패턴은 화면에 디스플레이될 다수 개의 서브 화면들의 영역을 결정하기 위한 동작일 수 있다.
예를 들어, 전자 장치는 도 4a 및 도 4b와 같이 사용자의 특정 입력 패턴에 따라 화면(400)에 디스플레이할 다수 개의 서브 화면들의 면적을 결정할 수 있다. 이러한 특정 입력 패턴으로는 화면(400)의 가장자리 지점(410)을 일정 시간 동안 터치 후, 가장자리 지점(410)으로부터 좌측 하단 지점(430)까지 포물선(420)을 그리는 제스처가 될 수 있다. 전자 장치는 이러한 제스처를 통하여 한 손 터치 가능 영역을 예측할 수 있으며, 화면(400)에 디스플레이할 다수 개의 서브 화면들의 면적을 계산할 수 있다.
예를 들어, 전자 장치는 입력된 포물선(420)과 드래그가 끝난 지점(430)에 대한 수평선(440)이 이루는 폐곡선에 포함되는 영역을 검출할 수 있다. 전자 장치는 폐곡선의 영역에서 가장 큰 정사각형을 화면(400)에 디스플레이할 서브 화면의 면적으로 결정할 수 있다.
다른 예를 들어, 전자 장치는 미리 정해진 기준으로 화면에 표시할 다수 개의 서브 화면을 결정할 수 있다. 전자 장치는 화면에 표시된 아이콘 또는 컨텐츠 수에 따라 일정 면적을 가지는 서브 화면을 일정 간격으로 배치할 수 있다. 이때, 전자 장치는 다수 개의 서브 화면과 이웃하는 서브 화면이 일정한 면적의 겹침 영역을 갖도록 배치할 수 있다.
예를 들어, 전자 장치는 도 5a와 같이 화면을 다수 개로 분할한 다수 개의 서브 화면(500, 510, 520, 530, 540)을 디스플레이할 수 있다. 이러한 다수 개의 서브 화면(500, 510, 520, 530, 540)은 각각의 화면 라벨을 의미하는 텍스트가 표시될 수 있다. 이때, 다수 개의 서브 화면(500, 510, 520, 530, 540)은 서로 이웃하는 서브 화면과 일정 면적의 겹침 영역(550)을 가질 수 있다. 이러한 겹침 영역(550)은 다수 개 존재할 수 있으며, 각각의 겹침 영역(550)은 서로 면적 또는 형태가 같을 수도 있고 다를 수도 있다.
다른 예를 들어, 전자 장치는 화면의 일부 영역에 미러링(mirroring) 영역(560)을 더 표시할 수 있다. 후술하겠지만 미러링 영역(560)은 상술한 다수 개의 서브 화면(500, 510, 520, 530, 540) 중 하나를 선택받기 위한 선택화면 입력부가 될 수 있다. 이때, 미러링 영역(560)에는 선택된 하나의 서브 화면이 디스플레이될 수 있다. 예를 들어, 미러링 영역(560)은 미리 정해진 위치에 표시될 수 있으나 전자 장치를 파지하는 형태에 따라 다양하게 배치될 수 있다. 또한 미러링 영역(560)은 서브 화면의 크기와 동일한 크기를 가질 수 있으나 이에 국한되지는 않는다.
또 다른 예를 들어, 전자 장치는 미러링 영역(560) 주변에 하나 이상의 기능 버튼(570, 580)을 표시할 수 있다. 이러한 기능 버튼(570, 580)은 미러링 영역(560)의 원활한 동작을 위한 옵션 버튼(570) 또는 최근 수행한 동작을 취소하기 위한 취소 버튼(580)이 될 수 있으나 이에 국한되지는 않는다.
이후 전자 장치는 310과정에서 디스플레이된 다수 개의 서브 화면 중 하나의 서브 화면을 선택한다. 예를 들어, 전자 장치는 도 5b와 같이 미러링 영역(560)에 디스플레이할 서브 화면(500)의 라벨을 입력하는 방식으로 서브 화면(500)을 선택할 수 있다. 다른 예를 들어, 전자 장치는 미러링 영역(560)에 표시된 서브 화면(500)의 라벨을 터치하는 방식으로 서브 화면(500)을 선택할 수도 있다. 그러나 이에 국한되지는 않으며, 미러링 영역(560)에서 디스플레이할 서브 화면(500)을 선택하기 위한 다양한 방식들이 있을 것이다.
이후 전자 장치는 320과정에서 선택한 하나의 서브 화면을 미러링 영역에 디스플레이 한다. 이때, 전자 장치는 도 5c와 같이 미러링 영역(560)에 어떠한 서브 화면이 디스플레이되는지를 알 수 있도록 나머지 서브 화면들(510, 520, 530, 540)을 투명하게 표시할 수 있다. 또한 전자 장치는 미러링 영역(560)에 디스플레이되는 해당 서브 화면(500)을 부각되도록 표시할 수 있다.
다른 예를 들어, 전자 장치는 미러링 영역(560)에서의 터치, 드래그, 스와이프(swipe), 호버링(hovering) 등 다양한 동작을 수행할 수 있다. 또한, 전자 장치는 미러링 영역(560)에 표시되는 아이콘들(561, 563)을 실행하거나 편집 등과 같은 다양한 기능을 수행할 수 있다. 후술하겠지만, 전자 장치는 미러링 영역(560)에 표시된 겹침 영역(565)을 이용하여 현재 미러링 영역(560)에 표시되는 해당 서브 화면(500)을 이동시킬 수 있다.
이후 전자 장치는 330과정에서 미러링 영역에 디스플레이된 하나의 서브 화면으로부터 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신하는지를 판단한다. 예를 들어, 전자 장치 사용자는 도 5d와 같이 미러링 영역(560)에 디스플레이된 화면을 일정 거리로 드래그할 수 있다.
미러링 영역에 디스플레이된 하나의 서브 화면으로부터 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신한 경우, 전자 장치는 340과정에서 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 드래그에 따라 미러링 영역에 디스플레이되도록 한다. 이때, 전자 장치는 겹침 영역으로의 드래그 방향을 확인하여, 미러링 영역에 표시된 서브 화면과 겹침 영역을 가지는 이웃화면을 디스플레이할 수 있다.
예를 들어, 전자 장치 사용자가 도 5d와 같이 미러링 영역(560)에서 좌측에서 우측 방향으로 드래그하여 겹침 영역(565)으로 이동하는 경우, 전자 장치는 도 5e와 같이 선택된 서브 화면(500)의 우측 방향에 위치한 이웃화면(590)을 표시할 수 있다. 다른 예를 들어, 전자 장치는 겹침 영역(560)에서의 이동된 드래그 길이에 비례하여 이웃화면을 표시할 수 있다. 또 다른 예를 들어, 전자 장치는 상술한 드래그가 겹침 영역(560)으로 이동하면, 드래그 방향에 따라 미리 정해진 이웃화면을 보여줄 수도 있다. 또 다른 예를 들어, 전자 장치는 상술한 드래그가 겹침 영역(560)으로 이동하면, 드래그 방향에 따라 다른 서브 화면을 보여줄 수도 있다. 그러나 이에 국한되지는 않으며, 이웃화면이 드래그에 기반하여 미러링 영역에 디스플레이되는 다양한 방식들이 있을 것이다. 전자 장치는 미러링 영역(560)에서의 터치, 드래그, 스와이프(swipe), 호버링(hovering) 등 다양한 동작을 수행할 수 있다. 또한, 전자 장치는 미러링 영역(560)에 표시되는 아이콘들(569, 567)을 실행하거나 편집 등과 같은 다양한 기능을 수행할 수 있다.
본 실시 예에서는 어플리케이션을 선택하기 위한 화면에 대해서만 설명하였으나 이에 국한되지는 않는다. 예를 들어, 전자 장치는 전자 장치가 실행할 수 있는 모든 어플리케이션을 실행한 화면에서도 적용 가능하다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시하고 있다.
도 6을 참조하면, 전자 장치는 도 3의 320과정에서 선택한 하나의 서브 화면을 미러링 영역에 디스플레이한 이후, 600과정에서 미러링 영역 주변에 나머지 서브 화면과 대응하는 아이콘을 디스플레이한다. 이때, 나머지 서브 화면은 미러링 영역에 표시되지 않은 나머지 서브 화면들을 포함할 수 있다. 예를 들어, 전자 장치는 도 7a와 같이 미러링 영역(750) 주변에 나머지 서브 화면들(700, 710, 720, 740)과 대응하는 아이콘들(761, 763, 765, 769)을 표시할 수 있다. 여기서 미러링 영역(750)에는 선택된 하나의 서브 화면(730)이 디스플레이되는 상태이다. 상술한 아이콘들(761, 763, 765, 769)은 나머지 서브 화면들(700, 710, 720, 740)에 대한 각각의 화면 라벨 정보를 포함할 수 있다.
다른 예를 들어, 전자 장치는 현재 미러링 영역(750)에 디스플레이된 서브 화면(730)을 기준으로 상술한 아이콘들(761, 763, 765, 769)을 미러링 영역(750)의 상측, 하측, 좌측 또는 우측에 배치할 수 있다. 예를 들어, 선택된 서브 화면(730)의 상부에는 제1 서브 화면(700) 및 제2 서브 화면(710)이 위치하므로, 제1 서브 화면(700) 및 제2 서브 화면(710)과 대응하는 제1 아이콘(761) 및 제2 아이콘(763)은 미러링 영역(750)의 상측에 배치될 수 있다. 이러한 방식으로 제3 서브 화면(720)과 대응하는 제3 아이콘(765)은 미러링 영역(750)의 좌측에 배치되며, 제5 서브 화면(740)과 대응하는 제5 아이콘(769)은 미러링 영역(750)의 하측에 배치될 수 있다.
또 다른 예를 들어, 전자 장치는 상술한 아이콘들(761, 763, 765, 769)을 미리 정해진 위치에 배치할 수도 있다. 이러한 위치는 사용자에 의해 설정될 수 있으며 임의적으로 설정될 수도 있을 것이다.
이후, 전자 장치는 610과정에서 디스플레이된 아이콘을 선택한다. 예를 들어, 전자 장치는 도 7b와 같이 디스플레이된 아이콘들(761, 763, 765, 769) 중 하나의 아이콘(761)을 터치하여 선택할 수 있다. 이때, 선택된 아이콘(761)과 대응하는 서브 화면은 마킹될 수 있다.
이후, 전자 장치는 620과정에서 선택된 아이콘과 대응하는 서브 화면을 미러링 영역에 디스플레이한다. 예를 들어, 전자 장치는 도 7c와 같이 선택된 아이콘(도 7b의 761)과 대응하는 제1 서브 화면(700)을 미러링 영역(750)에 디스플레이할 수 있다. 이때, 미러링 영역(750) 주변에 배치되는 다수의 아이콘들은 재배치될 수 있다. 예를 들어, 미러링 영역(750)에 디스플레이되는 제1 서브 화면(700)을 기준으로 미러링 영역(750)에 디스플레이되지 않은 나머지 서브 화면들(710, 720, 730, 740)과 대응하는 아이콘(763, 765, 767, 769)들이 제1 서브 화면(700)의 상측, 하측, 좌측 또는 우측에 배치될 수 있다. 다른 예를 들어, 전자 장치는 상술한 아이콘들(763, 765, 767, 769)을 미리 정해진 위치에 재배치할 수도 있다. 이러한 위치는 사용자에 의해 설정될 수 있으며 임의적으로 설정될 수도 있을 것이다. 전자 장치는 미러링 영역(750)에서의 터치, 드래그, 스와이프(swipe), 호버링(hovering) 등 다양한 동작을 수행할 수 있다. 또한, 전자 장치는 미러링 영역(750)에 표시되는 아이콘들(751, 753)을 실행하거나 편집 등과 같은 다양한 기능을 수행할 수 있다.
본 실시 예에서는 어플리케이션을 선택하기 위한 화면에 대해서만 설명하였으나 이에 국한되지는 않는다. 예를 들어, 전자 장치는 전자 장치가 실행할 수 있는 모든 어플리케이션을 실행한 화면에서도 적용 가능하다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시하고 있다.
도 8을 참조하면, 전자 장치는 도 3의 320과정에서 선택한 하나의 서브 화면을 미러링 영역에 디스플레이한 이후, 800과정에서 미러링 영역 주변에서 기준 시간 동안의 터치를 확인할 수 있다. 예를 들어, 전자 장치는 화면의 가장자리 지점에 대한 터치가 일정 시간 동안 유지되었는지를 감지할 수 있다. 그러나 이에 국한되지는 않으며, 전자 장치는 미리 정해진 지점에 대한 터치를 감지할 수도 있다.
이후, 전자 장치는 810과정에서 확인된 터치 지점에 다수 개의 서브 화면과 대응하는 오브젝트를 디스플레이한다. 예를 들어, 전자 장치는 도 9a와 같이 터치 지점을 기준으로 다수 개의 서브 화면들(900, 910, 920, 930, 940)과 대응하는 오브젝트를(960)을 표시할 수 있다. 여기서 미러링 영역(950)에는 선택된 하나의 서브 화면(900)이 디스플레이되는 상태이다. 상술한 오브젝트(960)는 다수 개의 서브 화면들(900, 910, 920, 930, 940)에 대한 각각의 화면 라벨 정보(961, 963, 965, 967, 969)를 포함할 수 있다. 이러한 각각의 화면 라벨 정보들(961, 963, 965, 967, 969)은 일정 간격 또는 특정 영역에 배치될 수 있다. 또한, 오브젝트(960)는 부채꼴의 형태가 될 수 있으나 이에 국한되지는 않으며 다양한 형태 및 크기를 가질 수 있다.
이후, 전자 장치는 820과정에서 디스플레이된 오브젝트를 선택한다. 예를 들어, 전자 장치는 도 9a와 같이 디스플레이된 오브젝트(960)에 포함되는 다수의 화면 라벨 정보(961, 963, 965, 967, 969) 중 하나의 화면 라벨 정보(967)를 터치하여 선택할 수 있다. 이때, 선택된 화면 라벨 정보(967)와 대응하는 서브 화면은 마킹될 있다.
이후, 전자 장치는 830과정에서 선택된 오브젝트와 대응하는 서브 화면을 미러링 영역에 디스플레이한다. 예를 들어, 전자 장치는 도 9b와 같이 선택된 오브젝트(도 9a의 960)의 화면 라벨 정보(도 9a의 967)와 대응하는 제4 서브 화면(930)을 미러링 영역(950)에 디스플레이할 수 있다. 전자 장치는 미러링 영역(950)에서의 터치, 드래그, 스와이프(swipe), 호버링(hovering) 등 다양한 동작을 수행할 수 있다. 또한, 전자 장치는 미러링 영역(950)에 표시되는 아이콘들(951, 953, 955, 957)을 실행하거나 편집 등과 같은 다양한 기능을 수행할 수 있다.
본 실시 예에서는 어플리케이션을 선택하기 위한 화면에 대해서만 설명하였으나 이에 국한되지는 않는다. 예를 들어, 전자 장치는 전자 장치가 실행할 수 있는 모든 어플리케이션을 실행한 화면에서도 적용 가능하다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시하고 있다.
도 10을 참조하면, 전자 장치는 도 3의 320과정에서 선택한 하나의 서브 화면을 미러링 영역에 디스플레이한 이후, 1000과정에서 미러링 영역의 일정 영역에서 수직 방향으로의 드래그를 확인한다. 예를 들어, 전자 장치는 도 11a와 같이 미러링 영역(1130)의 일정 영역(1140)에서 수직 방향으로의 드래그를 감지할 수 있다. 이러한 일정 영역(1140)은 미러링 영역(1130)의 우측 가장자리 영역이 될 수 있으나 이에 국한되지는 않는다. 여기서 미러링 영역(1130)에는 선택된 하나의 서브 화면(1100)이 디스플레이되는 상태이다.
이후, 전자 장치는 1010과정에서 드래그의 이동거리에 따라 대응되는 서브 화면을 미러링 영역에 디스플레이한다. 이때, 전자 장치는 확인된 드래그의 이동거리를 검출할 수 있다. 예를 들어, 전자 장치는 확인된 드래그의 이동거리가 기준 거리보다 작다고 판단한 경우, 도 11b와 같이 제2 서브 화면(1110)을 미러링 영역(1130)에 디스플레이할 수 있다. 다른 예를 들어, 전자 장치는 확인된 드래그의 이동거리가 기준 거리보다 크다고 판단한 경우, 도 11c와 같이 제3 서브 화면 또는 제4 서브 화면(1120)을 미러링 영역(1130)에 디스플레이할 수 있다. 이러한 방식으로 전자 장치는 드래그의 이동거리를 기반으로 미러링 영역에 디스플레이할 서브 화면을 결정할 수 있을 것이다.
본 실시 예에서는 어플리케이션을 선택하기 위한 화면에 대해서만 설명하였으나 이에 국한되지는 않는다. 예를 들어, 전자 장치는 전자 장치가 실행할 수 있는 모든 어플리케이션을 실행한 화면에서도 적용 가능하다.
도 12는 본 발명의 일 실시 예에 따른 전자 장치에서 화면을 제어하기 위한 절차를 도시하고 있다.
도 12를 참조하면, 전자 장치는 도 3의 320과정에서 선택한 하나의 서브 화면을 미러링 영역에 디스플레이한 이후, 1200과정에서 디스플레이될 팝업 화면을 감지하였는지 판단한다. 예를 들어, 팝업 화면은 메시지 알림 화면이 될 수 있으나 이에 국한되지는 않으며, 화면에 디스플레이되는 모든 컨텐츠 정보를 포함할 수 있다.
이후, 전자 장치는 1210과정에서 팝업 화면을 미러링 영역에 디스플레이한다. 예를 들어, 전자 장치는 도 13과 같이 미러링 영역(1300)에 팝업 화면(1310)을 디스플레이할 수 있다. 팝업 화면(1310)은 미러링 영역(1300)의 소정 위치에 표시될 수 있으며, 표시될 위치를 사용자가 설정할 수도 있다.
본 실시 예에서는 어플리케이션을 선택하기 위한 화면에 대해서만 설명하였으나 이에 국한되지는 않는다. 예를 들어, 전자 장치는 전자 장치가 실행할 수 있는 모든 어플리케이션을 실행한 화면에서도 적용 가능하다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 전자 장치의 동작 순서가 변경 또는 병합되거나 재사용 가능하며 생략 등과 같이 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치의 화면 제어 방법에 있어서,
    화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하는 과정,
    여기에서 상기 다수 개의 서브 화면은 이웃하는 서브 화면과 일정한 넓이의 겹침 영역을 가지며;
    상기 다수 개의 서브 화면 중 하나의 서브 화면을 선택하는 과정;
    선택한 상기 하나의 서브 화면을 미러링(mirroring) 영역에 디스플레이하는 과정; 및
    상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면으로부터 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신하면, 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 상기 드래그에 따라 상기 미러링 영역에 디스플레이되는 과정을 포함하는 방법.
  2. 제 1항에 있어서,
    상기 미러링 영역에 표시되지 않는 나머지 서브 화면과 대응하는 아이콘을 상기 미러링 영역 주변에 디스플레이하는 과정;
    상기 디스플레이된 아이콘을 선택하는 과정; 및
    상기 선택된 아이콘과 대응하는 서브 화면을 상기 미러링 영역에 디스플레이하는 과정을 추가로 포함하는 방법.
  3. 제 2항에 있어서,
    상기 아이콘은 상기 나머지 서브 화면의 라벨 정보를 포함하는 방법.
  4. 제 2항에 있어서,
    상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면의 위치에 기반하여 상기 아이콘을 상기 미러링 영역의 상측, 하측, 좌측 및 우측 중 하나에 배치하는 방법.
  5. 제 1항에 있어서,
    상기 미러링 영역 주변에서 기준 시간 동안의 터치를 확인하는 과정;
    상기 확인된 터치 지점에 상기 다수 개의 서브 화면과 대응하는 오브젝트를 디스플레이하는 과정;
    상기 디스플레이된 오브젝트를 선택하는 과정; 및
    상기 선택된 오브젝트와 대응하는 서브 화면을 상기 미러링 영역에 디스플레이하는 과정을 추가로 포함하는 방법.
  6. 제 1항에 있어서,
    상기 미러링 영역의 일정 영역에서 수직 방향으로의 드래그를 확인하는 과정; 및
    상기 드래그의 이동거리에 따라 대응되는 서브 화면을 상기 미러링 영역에 디스플레이하는 과정을 추가로 포함하는 방법.
  7. 제 1항에 있어서,
    디스플레이될 팝업 화면을 감지하는 과정; 및
    상기 팝업 화면을 상기 미러링 영역에 디스플레이하는 과정을 추가로 포함하는 방법.
  8. 제 1항에 있어서,
    상기 다수 개의 서브 화면 중 하나의 서브 화면을 선택하는 과정은,
    상기 화면의 일정 영역에 상기 미러링 영역을 디스플레이하는 과정; 및
    상기 미러링 영역을 통하여 상기 하나의 서브 화면의 라벨 정보를 입력하는 과정을 포함하는 방법.
  9. 제 1항에 있어서,
    상기 화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하는 과정은,
    상기 화면의 일정 영역에서 입력 패턴을 확인하는 과정; 및
    상기 입력 패턴에 따라 상기 다수 개의 서브 화면의 크기를 결정하는 과정을 포함하는 방법.
  10. 제 1항에 있어서,
    상기 다수 개의 서브 화면은 미리 정해진 기준으로 결정되는 것을 특징으로 하는 방법.
  11. 전자 장치에 있어서,
    터치 스크린;
    메모리; 및
    화면을 다수 개로 분할한 다수 개의 서브 화면을 디스플레이하고, 여기에서 상기 다수 개의 서브 화면은 이웃하는 서브 화면과 일정한 넓이의 겹침 영역을 가지며,
    상기 다수 개의 서브 화면 중 하나의 서브 화면을 선택하고,
    선택한 상기 하나의 서브 화면을 미러링(mirroring) 영역에 디스플레이하며,
    상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면으로부터 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면으로의 사용자 드래그를 수신하면, 상기 하나의 서브 화면과 겹침 영역을 가지는 이웃화면이 상기 드래그에 따라 상기 미러링 영역에 디스플레이되도록 제어하는 프로세서를 포함하는 장치.
  12. 제 11항에 있어서,
    상기 프로세서는,
    상기 미러링 영역에 표시되지 않는 나머지 서브 화면과 대응하는 아이콘을 상기 미러링 영역 주변에 디스플레이하고,
    상기 디스플레이된 아이콘을 선택하며,
    상기 선택된 아이콘과 대응하는 서브 화면을 상기 미러링 영역에 디스플레이하는 장치.
  13. 제 12항에 있어서,
    상기 아이콘은 상기 나머지 서브 화면의 라벨 정보를 포함하는 장치.
  14. 제 12항에 있어서,
    상기 프로세서는 상기 미러링 영역에 디스플레이된 상기 하나의 서브 화면의 위치에 기반하여 상기 아이콘을 상기 미러링 영역의 상측, 하측, 좌측 및 우측 중 하나에 배치하는 장치.
  15. 제 11항에 있어서,
    상기 프로세서는,
    상기 미러링 영역 주변에서 기준 시간 동안의 터치를 확인하고,
    상기 확인된 터치 지점에 상기 다수 개의 서브 화면과 대응하는 오브젝트를 디스플레이하며,
    상기 디스플레이된 오브젝트를 선택하고,
    상기 선택된 오브젝트와 대응하는 서브 화면을 상기 미러링 영역에 디스플레이하는 장치.
  16. 제 11항에 있어서,
    상기 프로세서는,
    상기 미러링 영역의 일정 영역에서 수직 방향으로의 드래그를 확인하고,
    상기 드래그의 이동거리에 따라 대응되는 서브 화면을 상기 미러링 영역에 디스플레이하는 장치.
  17. 제 11항에 있어서,
    상기 프로세서는,
    디스플레이될 팝업 화면을 감지하고,
    상기 팝업 화면을 상기 미러링 영역에 디스플레이하는 장치.
  18. 제 11항에 있어서,
    상기 프로세서는,
    상기 화면의 일정 영역에 상기 미러링 영역을 디스플레이하고,
    상기 미러링 영역을 통하여 상기 하나의 서브 화면의 라벨 정보를 입력하여 상기 하나의 서브 화면을 선택하는 장치.
  19. 제 11항에 있어서,
    상기 프로세서는,
    상기 화면의 일정 영역에서 입력 패턴을 확인하고,
    상기 입력 패턴에 따라 상기 다수 개의 서브 화면의 크기를 결정하는 장치.
  20. 제 11항에 있어서,
    상기 프로세서는 상기 다수 개의 서브 화면을 미리 정해진 기준으로 결정하는 장치.
KR1020130156364A 2013-12-16 2013-12-16 화면 제어 방법 및 그 전자 장치 KR20150069801A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130156364A KR20150069801A (ko) 2013-12-16 2013-12-16 화면 제어 방법 및 그 전자 장치
US14/565,991 US9626102B2 (en) 2013-12-16 2014-12-10 Method for controlling screen and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130156364A KR20150069801A (ko) 2013-12-16 2013-12-16 화면 제어 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20150069801A true KR20150069801A (ko) 2015-06-24

Family

ID=53368428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130156364A KR20150069801A (ko) 2013-12-16 2013-12-16 화면 제어 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US9626102B2 (ko)
KR (1) KR20150069801A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108611A (ko) * 2016-03-18 2017-09-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150208032A1 (en) * 2014-01-17 2015-07-23 James Albert Gavney, Jr. Content data capture, display and manipulation system
US11669293B2 (en) 2014-07-10 2023-06-06 Intelligent Platforms, Llc Apparatus and method for electronic labeling of electronic equipment
US10671275B2 (en) * 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
CN105528169A (zh) * 2014-10-23 2016-04-27 中兴通讯股份有限公司 一种触摸屏设备和对触摸屏设备进行操作的方法
CN105117056B (zh) * 2015-08-17 2019-02-01 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
KR102471230B1 (ko) * 2016-01-28 2022-11-28 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US11079915B2 (en) 2016-05-03 2021-08-03 Intelligent Platforms, Llc System and method of using multiple touch inputs for controller interaction in industrial control systems
US10845987B2 (en) * 2016-05-03 2020-11-24 Intelligent Platforms, Llc System and method of using touch interaction based on location of touch on a touch screen
CN106973084A (zh) * 2017-03-08 2017-07-21 佛山市小鲜互联电器科技有限公司 一种图片设置为冰箱显示屏壁纸的方法
KR20190050485A (ko) * 2017-11-03 2019-05-13 현대자동차주식회사 Ui 관리 서버 및 ui 관리 서버의 제어 방법
EP3814881A1 (en) * 2018-07-26 2021-05-05 Patmos, Unipessoal Lda Enhanced touch sensitive selection
JP7409770B2 (ja) * 2018-12-28 2024-01-09 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及び端末装置
CN110830645B (zh) * 2019-09-24 2021-05-18 华为技术有限公司 一种操作方法和电子设备及计算机存储介质
JP2021117766A (ja) * 2020-01-27 2021-08-10 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
CN113448479B (zh) * 2020-03-25 2024-03-12 Oppo广东移动通信有限公司 单手操作模式开启方法、终端及计算机存储介质
CN111427505A (zh) * 2020-04-09 2020-07-17 Oppo广东移动通信有限公司 页面操作方法、装置、终端及存储介质
CN112218113A (zh) * 2020-10-16 2021-01-12 广州博冠信息科技有限公司 视频播放方法、装置、计算机可读存储介质和电子装置
CN113232029A (zh) * 2021-05-07 2021-08-10 张伟杰 手机点击机器人

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028264B2 (en) * 1999-10-29 2006-04-11 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US7327349B2 (en) * 2004-03-02 2008-02-05 Microsoft Corporation Advanced navigation techniques for portable devices
JP4619882B2 (ja) * 2005-07-12 2011-01-26 株式会社東芝 携帯電話およびその遠隔操作方法
JP4412737B2 (ja) * 2007-09-06 2010-02-10 シャープ株式会社 情報表示装置
JP4389090B2 (ja) * 2007-10-03 2009-12-24 シャープ株式会社 情報表示装置
JP5556398B2 (ja) * 2010-06-08 2014-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101361214B1 (ko) 2010-08-17 2014-02-10 주식회사 팬택 터치스크린의 제어영역을 설정하는 인터페이스 장치 및 방법
US8522158B2 (en) * 2010-10-19 2013-08-27 Apple Inc. Systems, methods, and computer-readable media for providing a dynamic loupe for displayed information
KR101972924B1 (ko) 2011-11-11 2019-08-23 삼성전자주식회사 휴대용 기기에서 부분 영역의 터치를 이용한 전체 영역 지정을 위한 방법 및 장치
KR101654553B1 (ko) * 2011-12-16 2016-09-07 삼성전자주식회사 휴대 단말기의 터치 입력 방법 및 장치
KR101496512B1 (ko) 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108611A (ko) * 2016-03-18 2017-09-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법

Also Published As

Publication number Publication date
US9626102B2 (en) 2017-04-18
US20150169141A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
US9626102B2 (en) Method for controlling screen and electronic device thereof
US11054988B2 (en) Graphical user interface display method and electronic device
US9823762B2 (en) Method and apparatus for controlling electronic device using touch input
KR102571369B1 (ko) 디스플레이 제어 방법, 저장 매체 및 전자 장치
KR102213212B1 (ko) 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치
US10353661B2 (en) Method for sharing screen between devices and device using the same
KR102171082B1 (ko) 지문 처리 방법 및 그 전자 장치
TWI522894B (zh) 用於電子元件中的方法、電腦程式產品以及非暫時性電腦可讀記錄媒體
KR102219861B1 (ko) 화면 공유 방법 및 그 전자 장치
EP3989050A1 (en) Method of performing one or more operations based on a gesture
US10732793B2 (en) Apparatus and method for providing information via portion of display
US20150067555A1 (en) Method for configuring screen and electronic device thereof
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
KR102221034B1 (ko) 컨텐츠 표시 제어 방법 및 그 전자 장치
US20160004425A1 (en) Method of displaying graphic user interface and electronic device implementing same
CN103677711A (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
KR102206053B1 (ko) 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US10055119B2 (en) User input method and apparatus in electronic device
US10037135B2 (en) Method and electronic device for user interface
US20150177957A1 (en) Method and apparatus for processing object provided through display
KR102213897B1 (ko) 사용자 입력에 따라 하나 이상의 아이템들을 선택하는 방법 및 이를 위한 전자 장치
KR20150051278A (ko) 오브젝트 이동 방법 및 이를 구현하는 전자 장치
KR20150086976A (ko) 객체 표시 제어 방법 및 그 전자 장치
US20130239069A1 (en) Control method for mobile device using setting pattern and mobile device
US20160019602A1 (en) Advertisement method of electronic device and electronic device thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application