KR20180046609A - 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법 - Google Patents

홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법 Download PDF

Info

Publication number
KR20180046609A
KR20180046609A KR1020160141964A KR20160141964A KR20180046609A KR 20180046609 A KR20180046609 A KR 20180046609A KR 1020160141964 A KR1020160141964 A KR 1020160141964A KR 20160141964 A KR20160141964 A KR 20160141964A KR 20180046609 A KR20180046609 A KR 20180046609A
Authority
KR
South Korea
Prior art keywords
area
hole
extended
display
electronic device
Prior art date
Application number
KR1020160141964A
Other languages
English (en)
Inventor
이종무
최승민
김대현
김소영
김민식
김건수
안진완
이지우
최현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160141964A priority Critical patent/KR20180046609A/ko
Priority to US15/794,234 priority patent/US10671258B2/en
Priority to EP21188569.4A priority patent/EP3923129A1/en
Priority to CN201711039001.7A priority patent/CN108024009B/zh
Priority to CN202111068354.6A priority patent/CN113778177A/zh
Priority to EP17199254.8A priority patent/EP3316113A1/en
Priority to EP20175629.3A priority patent/EP3734435A1/en
Publication of KR20180046609A publication Critical patent/KR20180046609A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법이 제공된다. 보다 상세하게는 홀 영역을 가지는 전자 장치에서 분석을 통해 표시되는 이미지 또는 어플리케이션 화면을 확장 가능한 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법이 개시된다. 개시되는 실시예 중 일부는 이미지의 에지(또는, 어플리케이션 화면의 에지)를 분석하여 전체 영역 및 메인 영역 중 하나에 표시 가능한 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법을 제공한다. 이외에도 다양한 다른 실시예들이 가능하다.

Description

홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법{ELECTRONIC APPARATUS HAVING A HOLE AREA WITHIN SCREEN AND CONTROL METHOD THEREOF}
아래 실시예들은 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법에 관한 것이다.
기술의 발전으로 전자 장치는 통화, 데이터 전송뿐만 아니라 멀티 태스킹(multitasking), 또는 다양한 어플리케이션을 통해 다양한 서비스 및 기능들을 제공할 수 있다.
전면에 화면을 가지는 전자 장치는 화면의 크기가 점진적으로 커지고 있으며, 사용자에게 큰 화면을 통해 다양한 서비스를 제공할 수 있다. 전면 상단에 위치하는 카메라, 리시버, 센서 또는 전면 하단에 위치하는 홈 버튼 등에 의해 화면 크기의 증가가 제한되고 있다.
본 발명의 다양한 실시예에 따르면, 메인 영역 및 확장 영역을 가지는 디스플레이를 통해 콘텐트를 확대 가능한 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법이 제공될 수 있다.
한 실시예에 따른 전자 장치의 홀 영역 제어방법은, 디스플레이에 적어도 하나의 홀 영역을 가지는 전자 장치에서, 표시되는 콘텐트를 선택하는 동작, 상기 콘텐트의 에지 분석을 통해 간섭 확대 및 비 간섭 확대 중 하나를 결정하는 동작, 및 상기 콘텐트를 상기 간섭 확대 및 상기 비 간섭 확대 중 하나로 확대하는 동작을 포함하고, 상기 홀 영역은 카메라, 리시버, 광학 센서 및 홈 버튼 중 하나에 의해 형성한다.
한 실시예에 따른 전자 장치는 메인 영역 및 확장 영역을 가지는 디스플레이, 상기 확장 영역에 위치하는 홀 영역, 및 상기 디스플레이를 제어하는 프로세서를 포함하고, 상기 프로세서는 선택된 콘텐트의 에지 영역을 분석하고, 분석 결과에 따라 상기 콘텐트를 간섭 확대 및 비 간섭 확대 중 하나에 의해 확대하여 상기 디스플레이 영역에 표시하도록 제어한다.
본 발명의 다양한 실시예에 따르면, 메인 영역 및 확장 영역을 가지는 디스플레이를 통해 콘텐트를 확대 가능한 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법을 제공하여 사용자에게 자연스러운 화면 사용성을 제공할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한 도면이다.
도 2는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4는 다양한 실시예에 따른 전자 장치의 전면도이다.
도 5는 다양한 실시예에 따른 전자 장치의 후면도이다.
도 6은 한 실시예에 따른 전자 장치의 사시도 및 육면도이다.
도 7은 한 실시예에 따른 전자 장치의 전면도이다.
도 8은 한 실시예에 따른 전자 장치의 제어방법을 나타내는 순서도이다.
도 9a 내지 도 9h는 한 실시예에 따른 전자 장치의 제어방법의 예를 나타내는 도면이다.
도 10은 다른 실시예에 따른 전자 장치의 제어방법을 나타내는 순서도이다.
도 11a 내지 도 11f는 다른 실시예에 따른 전자 장치의 제어방법의 예를 나타내는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1" "제2" "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을 순서 또는 중요도에 상관없이 수식할 수 있고, 하나의 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예를 들어, 제1) 구성 요소가 다른(예를 들어, 제2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예를 들어, 제3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는, "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예를 들어, 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예를 들어, CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다.
웨어러블 장치는 액세서리형(예를 들어, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예를 들어, 전자 의복), 신체 부착형(예를 들어, 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예를 들어, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예를 들어, XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는 각종 의료기기(예를 들어, 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예를 들어, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치(예를 들어, 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예를 들어, 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예를 들어, 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예에서의 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는 구성 요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다. 버스(110)는 구성 요소들(110-170)을 서로 연결하고, 구성 요소들 간의 통신(예를 들어, 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성 요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다.
프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는 운영 시스템으로 지칭될 수 있다.
커널(141)은 예를 들면, 다른 프로그램들(예를 들어, 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예를 들어, 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성 요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예를 들어, 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다.
API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예를 들어, 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성 요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성 요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는 예를 들면, 사용자에게 각종 콘텐츠(예를 들어, 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는 예를 들면, 전자 장치(101)와 외부 장치(예를 들어, 제1 외부 전자 장치(102), 제2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예를 들어, 제2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다.
유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예를 들어, LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예를 들어, 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다.
한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예를 들어, 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예를 들어, 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예를 들어, AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성 요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다.
프로세서(210)는 도 2에 도시된 구성 요소들 중 적어도 일부(예를 들어, 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210)는 다른 구성 요소들(예를 들어, 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예를 들어, 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다.
한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예를 들어, SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221) WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예를 들어, 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(229)은 예를 들면, 통신 신호(예를 들어, RF 신호)를 송수신할 수 있다. RF 모듈(229)은 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(224)은 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예를 들어, ICCID(integrated circuit card identifier)) 또는 가입자 정보(예를 들어, IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예를 들어, 메모리(130))는 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예를 들어, DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예를 들어, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다.
센서 모듈(240)은 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예를 들어, RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다.
센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다.
터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털)펜 센서(254)는 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다.
키(256)는 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다.
초음파 입력 장치(258)는 마이크(예를 들어, 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예를 들어, 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다.
패널(262)은 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다.
홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다.
프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다.
인터페이스(270)는 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성 요소는 예를 들면, 도 1에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 리시버(284)는 스피커(282)를 포함할 수 있다.
카메라 모듈(291)은 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예를 들어, 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예를 들어, LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(295)은 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예를 들어, 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다.
모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예를 들어, GPU)를 포함할 수 있다.
본 문서에서 기술된 구성 요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예를 들어, 전자 장치(201))는 일부 구성 요소가 생략되거나, 추가적인 구성 요소를 더 포함하거나, 또는, 구성 요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예를 들어, 프로그램(140))은 전자 장치(예를 들어, 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예를 들어, 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예를 들어, 커널(141)), 미들웨어(330)(예를 들어, 미들웨어(143)), API(360)(예를 들어, API(145)), 및/또는 어플리케이션(370)(예를 들어, 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예를 들어, 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다.
시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다.
디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어(330)는 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 시큐리티 매니저(352), 또는 확장 스크린 매니저(353) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다.
어플리케이션 매니저(341)는 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다.
윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다.
멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다.
리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다.
파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다.
데이터베이스 매니저(346)는 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다.
패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는 예를 들면, 무선 연결을 관리할 수 있다.
노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다.
로케이션 매니저(350)는 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다.
그래픽 매니저(351)는 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
보안 매니저(352)는 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다.
확장 스크린 매니저(353)는 예를 들면, 그래픽이 표시될 디스플레이의 영역을 결정할 수 있다. 한 실시예에 따르면, 확장 스크린 매니저(353)는 그래픽이 표시되도록 결정된 디스플레이의 영역을 통하여 제공될 정보, 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성 요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성 요소를 일부 삭제하거나 새로운 구성 요소들을 추가할 수 있다.
API(360)는 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예를 들어, 운동량 또는 혈당 등을 측정), 또는 환경 정보(예를 들어, 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다.
한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다.
정보 교환 어플리케이션은 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예를 들어, 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다.
한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예를 들어, 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다.
프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예를 들어, 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예를 들어, 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예를 들어, 모듈들 또는 그 기능들) 또는 방법(예를 들어, 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예를 들어, 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예를 들어, 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예를 들어, 자기테이프), 광기록 매체(예를 들어, CD-ROM, DVD, 자기-광 매체 (예를 들어, 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성 요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성 요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 4를 참조하여, 다양한 실시예에서의, 전자 장치(401)의 전면이 기재된다. 전자 장치(401)는 디스플레이(410), 하우징(420), 광학 센서(430), 리시버(440), 카메라(450) 및 지문 센서(460)를 포함할 수 있다. 한 실시예에 따르면, 디스플레이(410)는 전자 장치(401)의 전면의 전체에 형성될 수 있다. 이에 따라, 하우징(420)은 전자 장치(401)의 전면에 형성되지 않을 수 있다.
디스플레이(410)는 예를 들면, 전자 장치(401)의 측면으로 연장되어 형성될 수 있다. 또한, 한 실시예에 따르면, 디스플레이(410)는 전자 장치(401)의 전면의 일부에 형성될 수 있다. 이에 따라, 하우징(420)은 전자 장치(401)의 전면의 나머지 일부에 형성될 수 있다.
디스플레이(410)는 커버 글라스(620, 도 6 참조)에 의해 보호될 수 있다. 한 실시예에 따르면, 커버 글라스(620)는 다수의 홀(또는, 개구)을 가질 수 있다. 예를 들어, 커버 글라스(620)는 광학 센서 홀(430a), 리시버 홀(440a), 카메라 홀(450a) 및 지문 센서 홀(또는, 홈 버튼 홀, 460a)를 포함할 수 있다. 커버 글라스(620)는 LED 홀(735, 도 7 참조)를 더 포함할 수 있다. 또한, 커버 글라스(620)는 절개부(631, 도 6 참조)를 더 포함할 수도 있다.
본 발명의 다양한 실시예에 따르면, 광학 센서(430), 리시버(440), 카메라(450) 및 지문 센서(460)는 예를 들면, 하우징(420) 또는 디스플레이(410)의 하단에 위치될 수 있다. 본 발명의 다양한 실시예에 따르면, 광학 센서(430), 리시버(440), 카메라(450) 및 지문 센서(460)는 예를 들면, 디스플레이(410)에 포함될 수 있다. 광학 센서(430)은 예를 들면, 근접 센서, 조도 센서, 홍채 센서, 또는 UV 센서를 포함할 수 있다.
한 실시예에 따르면, 광학 센서(430), 리시버(440), 카메라(450) 및 지문 센서(460)의 위치는 도 4에 도시된 위치에 한정되지 않는다. 예를 들면, 광학 센서(430)는 전자 장치(401)의 하단에 위치될 수 있다.
도 5를 참조하여, 본 발명의 다양한 실시예에서, 전자 장치(501)의 후면 및 측면이 기재된다. 전자 장치(501)는 하우징(510), 생체 센서(520), 카메라(530), 인터페이스(540), 및 스피커(550)를 포함할 수 있다.
한 실시예에 따르면, 하우징(510)은 전자 장치(501)의 후면 및 측면에 형성될 수 있다. 한 실시예에 따르면, 생체 센서(520), 카메라(530)는 전자 장치(501)의 후면에 위치될 수 있다. 한 실시예에 따르면, 인터페이스(540) 및 스피커(550)는 전자 장치(501)의 측면에 위치될 수 있다. 한 실시예에 따르면, 생체 센서(520), 카메라(530), 인터페이스(540) 및 스피커(550)의 위치는 도 5에 도시된 위치에 한정되지 않는다.
도 6은 한 실시예에 따른 전자 장치의 사시도 및 육면도이다. 도 6을 참조하면, 한 실시예에 따른 전자 장치(600)는 하우징(610), 커버 글래스(620), 디스플레이 패널(630), 리시버 홀(640), 카메라 모듈(650) 및 홈 버튼(660)을 포함할 수 있다.
하우징(610)은 제1 방향(전면)을 향하는 제1 면(611), 제1 방향과 반대인 제2 방향(후면)을 향하는 제2 면(612), 및 제1 면(611) 및 제2 면(612) 사이의 공간을 둘러싸는 측면(613)을 포함할 수 있다.
커버 글래스(620)는 전자 장치(600)의 디스플레이 패널(630) 등과 같은 구성을 보호할 수 있다. 커버 글래스(620)는 적어도 전자 장치(600)의 전면에 해당할 수 있다. 예를 들어, 커버 글래스(620)는 전면의 전부를 점유할 수 있다. 커버 글래스(620)는 전면 및 측면의 일부를 점유할 수도 있다. 커버 글래스(620)는 평면으로 이루어질 수도 있고, 상단, 하단, 좌측 단 및/또는 우측 단이 휘어진 곡면으로 이루어질 수도 있다. 커버 글래스(620)는 투명한 재료로 이루어질 수 있다. 커버 글래스(120)는, 예를 들어, 강화 유리, 플라스틱(예를 들어, PET) 또는 산화알루미늄 등과 같은 재료로 이루어질 수 있다.
디스플레이 패널(630)은 커버 글래스(620) 아래에 배치될 수 있다. 디스플레이 패널(630)은 좌측 단, 우측 단, 상단 및/또는 하단이 곡면을 이루도록 휘어져서 하우징(610) 내부에 배치될 수 있다.
디스플레이 패널(630)은 전자 장치의 전면의 대부분을 점유하는 풀 프런트 디스플레이(full front display)일 수 있다. 디스플레이 패널(630)의 확장에 의해 다른 구성들의 배치가 변경될 수 있다. 예를 들어, 카메라 모듈(640) 및 리시버(미도시) 등과 같은 구성들은 전자 장치(600)의 최대한 외곽에 배치될 수 있다.
디스플레이 패널(630)은 액티브(active) 영역(632), 인액티브(inactive) 영역(633)을 포함할 수 있다. 액티브 영역(632)은 커버 글래스(620)의 투명한 영역을 통해 노출될 수 있다. 액티브 영역(632)은 스캔 라인 및 데이터 라인을 통해 공급되는 전기적 신호에 따라 빛을 출력할 수 있다. 액티브 영역(632)의 종횡비(aspect ratio)는 예를 들어, 18.5:9 일 수 있다. 또한, 액티브 영역(632)의 종횡비는 4:3, 3:2, 8:5, 16:10, 5:3, 또는, 21:9를 포함할 수 있다.
한 실시예에 따르면, 액티브 영역(632)은 전면 및 측면의 적어도 일부를 점유할 수 있다. 예를 들어, 액티브 영역(632)은 전면 및 측면을 감싸는 형태로 배치될 수 있다. 한 실시예에 따른 전자 장치(600)의 액티브 영역(632)은 통상적인 액티브 영역에 비해 측면에 더 근접할 수 있다.
액티브 영역(632)의 측면 부분은 볼륨을 조절할 수 있는 소프트 키의 기능을 수행할 수도 있다. 소프트 키의 위치는 사용자의 그립 상태 또는 사용 이력 등에 기초하여 변경될 수도 있다. 액티브 영역(632)은 전면의 대부분(예를 들어, 전면 면적의 약 90% 이상)을 점유할 수도 있다.
인액티브 영역(633)은 액티브 영역(632)을 둘러싸는 영역일 수 있다. 한 실시예에 따른 전자 장치(600)의 인액티브 영역(633)은 통상적인 전자 장치(600)의 인액티브 영역(633)에 비해 좁게 형성될 수 있다. 인액티브 영역(633)의 적어도 일부는 커버 글래스(620)를 통해 노출될 수도 있다.
인액티브 영역(633)은 예를 들어, 디스플레이 패널(630)의 주변부로서 불투명한 마스킹 레이어에 의해 가려진 영역일 수 있다. 불투명한 마스킹 레이어는 커버 글래스(620)에 레이어를 인쇄함으로써 형성될 수 있다. 가로 방향의 인액티브 영역(633)과 세로 방향의 인액티브 영역(633)의 두께의 비는, 예를 들어, 1:1, 2:1 또는 3:1일 수 있다. 다른 예를 들면, 상단의 인액티브 영역(633), 측단의 인액티브 영역(633) 및 하단의 인액티브 영역(633)의 두께의 비는, 예를 들어, 2:1:4 일 수 있다.
디스플레이 패널(630)은 하나 이상의 개구부(또는, 오프닝(opening)) 또는 하나 이상의 절개부를 포함할 수 있다. 예를 들어, 디스플레이 패널(630)은 액티브 영역(632)의 상단에 형성되는 적어도 하나의 개구부(631)를 포함할 수 있다. 디스플레이 패널(630)은 개구부(631)가 모서리에 위치하도록 휘어져서 하우징(610) 내부에 배치될 수 있다.
도 6에 도시된 바와 같이, 전자 장치(600)의 전면에서 바라보았을 때 개구부(631)는 U-형상의 공간을 형성할 수 있다. 개구부(631)에 의해 형성되는 공간을 통해 전자 장치(600)의 다양한 모듈들이 노출될 수 있다.
본 명세서에서 터치 스크린 디스플레이는 디스플레이 패널(130)과 함께 터치 스크린, 커버 글래스 및/또는 편광판 등의 구성을 포함하는 모듈을 의미할 수 있다.
카메라 모듈(640)은 하나 이상의 개구부 또는 하나 이상의 절개부에 해당하는 위치에 배치될 수 있다. 예를 들어, 카메라 모듈(640)은 하나 이상의 개구부 또는 하나 이상의 절개부에 의해 형성되는 공간에 배치될 수 있다. 예를 들어, 카메라 모듈(640)은 액티브 영역(632)의 상단에 형성된 개구부(631)에 의해 형성된 공간에 배치될 수 있다. 카메라 모듈(640)은 커버 글래스(620)를 통해 외부에 노출될 수 있다. 예를 들어, 카메라 모듈(640)은 커버 글래스(620)의 아래에 배치된 상태에서 커버 글래스(620)를 통해 외부에 비쳐 보일 수 있다. 카메라 모듈(640)은 커버 글래스(620)를 통해 외부로부터 입사되는 빛을 감지함으로써 이미지를 획득할 수 있다.
한 실시예에 따르면, 카메라 모듈(640)은 커버 글래스(120)의 상단 중앙을 통해 노출되도록 배치될 수도 있다.
한 실시예에 따르면, 카메라 모듈(140)은 전면의 외곽에 최대한 인접하도록 배치될 수도 있다.
리시버 홀(650)은 하우징(610) 내부에 배치된 리시버에 의해 발생된 소리를 외부로 전달할 수 있다. 리시버 홀(650)은 하우징(610)의 전면(611) 상에 형성될 수 있다. 예를 들어, 리시버 홀(650)은 측면(613)의 메탈 프레임에 형성될 수 있다.
하우징의 전면(611)은 일정 곡률을 가지고 측면과 하나의 메탈 프레임으로 형성될 수도 있다. 도 4에 도시된 바와 같이, 전자 장치(600)는 복수의 리시버 홀(650)을 포함할 수도 있다. 리시버 홀(650)을 측면(613)에 형성함으로써, 전자 장치(100)의 전면(611)을 점유하는 디스플레이 패널(630)에 영향 없이 리시버에 의해 발생된 소리를 외부로 전달할 수 있다. 도 6에서는 리시버 홀(650)이 하우징(610)의 전면(611)에 형성된 것으로 도시되었으나, 이에 제한되지 않고, 리시버 홀은 하우징(610)의 측면(613)에 형성될 수도 있다.
홈 버튼(660)은 전자 장치(600)의 전면 하단에 배치될 수 있다. 홈 버튼(660)은 물리적인 키일 수도 있고, 소프트 키일 수도 있다. 홈 버튼(660)이 물리적인 키인 경우, 홈 버튼(660)의 배치를 위해 디스플레이 패널(630)은 액티브 영역(632)의 하단에 형성된 개구부(예를 들어, 상단의 개구부와 같은) 또는 절개부를 포함할 수 있다. 홈 버튼(660)은 개구부(631) 또는 절개부에 의해 형성된 공간 내에 배치될 수 있다.
홈 버튼(660)은 전자 장치(600)의 전면(611) 하단에 소프트 키로 구현될 수 있다. 홈 버튼(660)이 소프트 키인 경우, 디스플레이 패널(630) 중 홈 버튼(660) 영역 아래에 지문 센서가 배치될 수 있다. 커버 글래스(620)는 지문 센서가 배치된 위치 상에 형성된 오목부를 포함할 수도 있다.
상술한 바와 같이, 한 실시예에 따른 전자 장치(600)는 전자 장치(600)의 전면(611)을 통해 노출되는 디스플레이 패널(630) 및 디스플레이 패널(630) 내부에 위치하는 카메라 모듈(640)을 포함할 수 있다.
도 7은 한 실시예에 따른 전자 장치의 전면도이다.
도 7을 참조하면, 한 실시예에 따른 전자 장치(701)의 전면이 기재된다. 전자 장치(701)의 디스플레이(예를 들어, 풀 프런트 디스플레이, 750)에 콘텐트(예를 들어, 이미지, 750a)가 표시된다. 디스플레이(750)는 일 측면(또는 양 측면)으로 확장되는 에지 디스플레이를 포함할 수 있다. 예를 들어, 전자 장치(701)의 전면에서 디스플레이(750)의 상단 및/또는 하단에 하우징(610)이 노출될 수 있다. 전자 장치(701)의 전면에서 디스플레이(750)의 좌측 및/또는 우측에 하우징(610)이 노출될 수도 있다. 본 발명의 다양한 실시예에 따르면, 전자 장치(701)의 전면에서 디스플레이(750)의 좌측 및/또는 우측에 하우징(610)이 노출되지 않을 수 있다.
디스플레이(750)는 메인 영역(751) 및 확장 영역(752)을 포함한다. 확장 영역(752)은 메인 영역(751)의 상단에서 연장되는 제1 확장 영역(752a) 및 메인 영역(751)의 하단에서 연장되는 제2 확장 영역(752b)를 포함할 수 있다.
제1 확장 영역(752a)에 하나 또는 복수의 홀 영역(720, 725, 730, 735 중 적어도 하나)이 위치할 수 있다. 본 발명의 다양한 실시예에 따르면, 제2 확장 영역(752b)에 하나 또는 복수의 홀 영역(740)이 위치할 수 있다.
메인 영역(751)의 크기는 확장 영역(752)의 크기보다 클 수 있다. 제1 확장 영역(752a)의 크기는 제2 확장 영역(752b)의 크기와 동일하거나 다를 수 있다. 예를 들어, 제2 확장 영역(752b)의 크기가 제1 확장 영역(752a)의 크기보다 클 수 있다.
디스플레이(750)는 메인 영역(751) 및 제1 확장 영역(752a)을 포함할 수 있다. 디스플레이(750)는 메인 영역(751) 및 제2 확장 영역(752b)을 포함할 수 있다. 또한, 디스플레이(750)는 메인 영역(751), 제1 확장 영역(752a) 및 제2 확장 영역(752b)을 모두 포함할 수 있다.
메인 영역(751)은 메인 영역(751)의 상단에 위치하고 제1 확장 영역(752a)과 연결되는, 제1 영역(751a1)을 포함할 수 있다. 또한, 메인 영역(751)은 메인 영역(751)의 하단에 위치하고, 하단의 제2 확장 영역(752b)과 연결되는 제2 영역(751a2)을 포함할 수 있다. 제1 영역(751a1)의 크기는 제2 영역(751a2)의 크기와 동일하거나 다를 수 있다.
본 발명의 다양한 실시예에 따라, 제1 영역(751a1) 및/또는 제2 영역(751a2)는 메인 영역(751)의 에지(edge) 영역일 수 있다. 제1 영역(751a1) 및/또는 제2 영역(751a2)은 이미지(또는, 콘텐트)의 일 측의 에지 영역에 대응될 수 있다.
본 발명의 다양한 실시예에 따라, 디스플레이(750)에서 메인 영역(751)의 크기는 예를 들어, 1440 x 2560 픽셀(pixel)일 수 있다. 제1 확장 영역(752a)의 크기는 1440 x 216 픽셀일 수 있다. 제2 확장 영역(752b)의 크기는 1440 x 216 픽셀일 수 있다. 제1 영역(751a1)의 크기는 1440 x 10 픽셀일 수 있다. 또한, 제2 영역(751a2)의 크기는 1440 x 10 픽셀일 수 있다.
상술된 메인 영역(751)의 크기, 제1 확장 영역(752a)의 크기, 제2 확장 영역(752b)의 크기, 제1 영역(751a1)의 크기 및/또는 제2 영역(751a2)의 크기는 하나의 예이며, 디스플레이(750)의 종횡비에 대응하여 각각 변경될 수 있다는 것은 해당 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 수 있다.
제1 영역(751a1)의 분석 또는 제2 영역(751a2)의 분석은 이미지(또는, 콘텐트)의 일 측에 위치하는 에지 영역의 분석을 의미할 수 있다.
프로세서(210)는 제1 영역(751a1)을 분석하여 메인 영역(751)에 표시되는 콘텐트(750a)를 제1 확장 영역(752a)까지 확대하여 표시할 수 있다. 프로세서(210)는 제2 영역(751a2)을 분석하여 메인 영역(751)에 표시되는 콘텐트(750a)을 제2 확장 영역(752b)까지 확대하여 표시할 수 있다.
프로세서(210)는 제1 영역(751a1) 및/또는 제2 영역(751a2)을 분석하여 메인 영역(751)에 표시되는 콘텐트(750a)를 제1 확장 영역(752a) 및/또는 제2 확장 영역(752b)까지 각각 확대하여 표시할 수도 있다.
제1 확장 영역(752a)은 제11 확장 영역(752a1) 및 제12 확장 영역(752a2)으로 나눠질 수 있다. 제11 확장 영역(752a1)의 크기는 제12 확장 영역(752a2)의 크기와 다를 수 있다. 제11 확장 영역(752a1)의 크기는 카메라(또는, 카메라 홀, 730)의 위치에 의해 결정될 수 있다. 제1 확장 영역(752a)의 중심점(예를 들어, 제1 확장 영역의 세로에 대응되는 픽셀 중 가운데 픽셀 위치)보다 아래(예를 들어, 메인 영역에 근접하는)에 카메라(또는, 카메라 홀, 730)의 중심(또는, 광축)이 위치하는 경우, 제11 확장 영역(752a1)의 크기는 제12 확장 영역(752a2)의 크기와 다를 수 있다.
제2 확장 영역(752b)는 제21 확장 영역(752b1) 및 제22 확장 영역(752b2)으로 나눠질 수 있다. 제21 확장 영역(752b1)의 크기는 제22 확장 영역(752b2)의 크기와 다를 수 있다. 제21 확장 영역(752b1)의 크기는 지문 센서(또는, 홈 버튼, 740)의 위치에 의해 결정될 수 있다. 제2 확장 영역(752b)의 중심점(예를 들어, 제2 확장 영역의 세로에 대응되는 픽셀 중 가운데 픽셀 위치)보다 위(예를 들어, 메인 영역에 근접하는)에 지문 센서(740)가 위치하는 경우, 제21 확장 영역(752b1)의 크기는 제22 확장 영역(752b2)의 크기와 다를 수 있다.
프로세서(210)는 제1 영역(751a1)을 분석하여 메인 영역(751)에 표시되는 콘텐트(750a)를 제12 확장 영역(752a2)까지 확대하여 표시할 수 있다. 또한, 프로세서(210)는 제2 영역(751a2)을 분석하여 메인 영역(751)에 표시되는 콘텐트(750a)을 제22 확장 영역(752b2)까지 확대하여 표시할 수 있다.
콘텐트(750a)는 프로세서(210)에 의해 디스플레이(750)의 메인 영역(751)에 표시될 수 있다. 메인 영역(751)에 표시되는 콘텐트(750a)는 프로세서(210)에 의해 디스플레이(750)의 메인 영역(751) 및 제1 확장 영역(752a)까지 확대될 수 있다. 메인 영역(751)에 표시되는 콘텐트(750a)는 프로세서(210)에 의해 디스플레이(750)의 메인 영역(751) 및 제2 확장 영역(752b)까지 확대될 수 있다. 메인 영역(751)에 표시되는 콘텐트(750a)는 프로세서(210)에 의해 디스플레이(750)의 메인 영역(751), 제1 확장 영역(752a) 및 제2 확장 영역(752b)으로 확대될 수 있다.
메인 영역(751)에 표시되는 콘텐트(750a)는 프로세서(210)에 의해 디스플레이(750)의 메인 영역(751), 제1 확장 영역(752a) 및 제22 확장 영역(752b2)까지 확대될 수 있다. 또한, 메인 영역(751)에 표시되는 콘텐트(750a)는 프로세서(210)에 의해 디스플레이(750)의 메인 영역(751), 제12 확장 영역(752a2) 및 제22 확장 영역(752b2)까지 확대될 수 있다.
한 실시예에서, 전면의 홀, 개구 또는 절개부를 홀 영역이라고 칭할 수 있다. 한 실시예에서, 측면(예를 들어, 볼륨 버튼 또는, 전원 버튼 등)의 홀, 개구 또는 절개부를 홀 영역이라고 칭할 수 있다. 한 실시예에서, 후면(예를 들어, 카메라, 플래시 등)의 홀, 개구 또는 절개부를 홀 영역이라고 칭할 수 있다.
본 발명의 실시예에 따른 전자 장치는, 전자장치에 있어서, 제1 방향을 향하는 제1 면 및 제1 방향과 대향된 제2 방향을 향하는 제2 면을 포함하는 하우징, 제1 면과 제2 면 사이에 배치되고, 제1 면을 통하여 노출되고, 메인 영역 및 확장 영역을 가지는 터치스크린 디스플레이, 상기 확장 영역에 위치하는 홀 영역, 상기 디스플레이와 전기적으로 연결된 적어도 하나의 프로세서, 상기 프로세서와 전기적으로 연결되는 메모리; 를 포함하고, 상기 메모리는 기능 실행 시 상기 프로세서에 의해 실행되는 적어도 하나의 명령어를 저장하며, 상기 프로세서는 선택된 콘텐트의 에지 영역을 분석하고, 분석 결과에 따라 상기 콘텐트를 간섭 확대 및/또는 비 간섭 확대 중 하나에 의해 확대하여 상기 디스플레이 영역에 표시하도록 제어한다.
한 실시예에서, 간섭 확대인 경우, 상기 프로세서는 상기 콘텐트를 상기 메인 영역 및 상기 확장 영역에 표시하도록 제어하고, 상기 콘텐트는 상기 홀 영역에 의해 확대를 제한하도록 제어할 수 있다.
한 실시예에서, 비 간섭 확대인 경우, 상기 프로세서는 상기 콘텐트를 상기 메인 영역 및 상기 확장 영역의 일부 영역에 표시하도록 제어할 수 있다.
한 실시예에서, 상기 홀 영역은 홀, 개구 및 절개부 중 하나를 포함할 수 있다.
도 8은 한 실시예에 따른 전자 장치의 제어방법을 나타내는 순서도이다.
도 9a 내지 도 9h는 한 실시예에 따른 전자 장치의 제어방법의 예를 나타내는 도면이다.
도 8의 810에서, 전자장치는 사용자 입력에 의해 표시된 이미지를 선택할 수 있다.
도 9a를 참조하면, 전자 장치(901)의 디스플레이(950)에 이미지(또는 이미지에 대응되는 썸네일(thumbnail), 951)가 표시된다. 전자 장치(901)의 디스플레이(950)에 이미지(또는 이미지에 대응되는 단축 아이콘(shortcut), 도시되지 아니함)가 표시된다. 본 발명의 다양한 실시예에 따라, 전자 장치(901)의 디스플레이(950)에 어플리케이션(예를 들어, 포토 어플리케이션)을 통해 하나 또는 복수의 이미지(또는 이미지에 대응되는 썸네일, 951-1 내지 951-19)가 표시될 수 있다.
상술된 어플리케이션(예를 들어, 포토 어플리케이션)은 하나의 예이며, 이미지를 표시 가능한 어플리케이션(예를 들어, 웹 브라우저 등)이면 충분하다. 상술된 어플리케이션은 이미지 또는 비디오를 표시하는 비디오 플레이어를 포함할 수 있다.
한 실시예에 따른 전자장치(901)의 디스플레이(950)는 이미지(또는 비디오)를 포함하는 어플리케이션 화면, 홈 화면 또는 잠금 화면을 표시할 수 있다.
도 9b를 참조하면, 하나의 이미지(951-10)에서 제1 사용자 입력(예를 들어, 터치 또는 호버링, 990)이 수신된다.
프로세서(210)는 패널(262)을 이용하여 제1 사용자 입력(990)을 검출할 수 있다. 프로세서(210)는 패널(262)에서부터 수신되는 전기 신호를 이용하여 제1 사용자 입력(990)에 대응되는 제1 사용자 입력 위치(예를 들어, X1 좌표와 Y1 좌표, 990a)를 산출할 수 있다.
다양한 실시예에 따라, 프로세서(210)는 제1 사용자 입력 위치(990a), 검출된 터치의 터치 검출 시간(예를 들어, 오전 11시 15분) 및 터치에 대응되는 터치 정보를 메모리(230)에 저장할 수 있다.
한 실시예에 따라 다른 이미지(951-7)에서 제2 사용자 입력(예를 들어, 터치 또는 호버링, 991)이 수신될 수 있다.
프로세서(210)는 패널(262)을 이용하여 제2 사용자 입력(991)을 검출할 수 있다. 프로세서(210)는 패널(262)에서부터 수신되는 전기 신호를 이용하여 제2 사용자 입력(991)에 대응되는 제2 사용자 입력 위치(예를 들어, X1 좌표와 Y1 좌표, 991a)를 산출할 수 있다.
프로세서(210)는 제2 사용자 입력 위치(991a), 검출된 터치의 터치 검출 시간(예를 들어, 오전 11시 15분) 및 터치에 대응되는 터치 정보를 메모리(230)에 저장할 수 있다.
디스플레이(950)에 접촉되는 제1 사용자 입력(990) 및/또는 제2 사용자 입력(991)은 엄지를 포함하는 손가락들 중 하나, 또는 터치 가능한 입력 펜(또는, 스타일러스(stylus), 도시되지 아니함)에 의해 발생할 수 있다.
프로세서(210)는 제2 사용자 입력(990)에 대응되는 이미지(951-7)를 분석하여 디스플레이(950)에 표시할 수 있다. 한 실시예에서 이미지는 이미지(951-10, 951-7)를 포함하는 의미일 수 있다. 한 실시예에서 이미지는 이미지(951-1 내지 951-20)를 포함하는 의미일 수 있다. 또한, 한 실시예에서 이미지는 이미지(전자 장치에 기 저장되거나 또는 다운로드 가능한)를 포함하는 의미일 수 있다.
도 8의 820에서, 이미지가 분석된다.
도 9b를 참조하면, 프로세서(210)는 선택된 썸네일에 대응되는 이미지(951-10, 또는 951-7)를 분석한다. 프로세서(210)는 선택된 썸네일에 대응되는 이미지의 제1 영역(751a1)을 분석할 수 있다. 프로세서(210)는 제1 영역(751a1)에 포함되는 픽셀(예를 들어, 1440 x 10 픽셀)을 분석할 수 있다. 또한, 프로세서(210)는 제1 영역(751a1)에 포함되는 픽셀(예를 들어, 1440 x 10 픽셀) 중 일 부분(예를 들어, 10 픽셀 중 1, 3, 5, 7, 9 픽셀, 2, 5, 8 픽셀 또는 랜덤 픽셀 등)을 분석할 수 있다.
프로세서(210)는 인접하는 각 픽셀의 색상(color)을 분석할 수 있다. 프로세서(210)는 인접하는 각 픽셀의 채도(chroma)를 분석할 수 있다. 본 발명의 다양한 실시예에 따라, 프로세서(210)는 인접하는 각 픽셀의 질감(texture)을 분석할 수 있다. 프로세서(210)는 각 픽셀의 색상, 채도 또는 질감의 값을 분석할 수 있다. 상술된 픽셀 분석에 대응되는 알고리즘은 공지 기술이므로 중복되는 설명은 생략될 수 있다.
각 픽셀의 색상, 채도 또는 질감의 차이가 임계치(예를 들어, 30 %, 변경 가능) 이하인 경우, 프로세서(210)는 이미지의 제1 확장 영역(752a)으로의 확대를 결정할 수 있다. 또한, 각 픽셀의 색상, 채도 또는 질감의 차이가 임계치(예를 들어, 30 %, 변경 가능) 초과인 경우, 프로세서(210)는 이미지의 제1 확장 영역(752a)으로의 확대 불가를 결정할 수 있다.
프로세서(210)는 제1 영역(751a1)의 분석을 통해 이미지의 제1 확장 영역(752a)의 확대(예를 들어, 배경 색상의 확장)를 결정할 수 있다.
프로세서(210)는 선택된 썸네일에 대응되는 이미지의 제2 영역(751a2)을 분석할 수 있다. 프로세서(210)는 제2 영역(751a2)에 포함되는 픽셀(예를 들어, 1440 x 10 픽셀)을 분석할 수 있다.
프로세서(210)를 통한 제2 영역(751a2)의 분석은 프로세서(210)를 통한 제1 영역(751a1)의 분석과 실질적으로 유사하므로 중복되는 설명은 생략된다.
프로세서(210)는 제2 영역(751a2)에 포함되는 각 픽셀의 색상, 채도 또는 질감의 값을 분석할 수 있다. 각 픽셀의 색상, 채도 또는 질감의 차이가 임계치(예를 들어, 30 %, 변경 가능) 이하인 경우, 프로세서(210)는 이미지의 제2 확장 영역(752b)으로의 확대를 결정할 수 있다. 또한, 각 픽셀의 색상, 채도 또는 질감의 차이가 임계치(예를 들어, 30 %, 변경 가능) 초과인 경우, 프로세서(210)는 이미지의 제2 확장 영역(752b)으로의 확대 불가를 결정할 수 있다.
프로세서(210)는 제2 영역(751a2)의 분석(예를 들어, 임계치 초과)을 통해 이미지의 제2 확장 영역(752b)의 확대 불가를 결정할 수 있다. 이런 경우, 프로세서(210)은 추가로 이미지의 제22 영역(752b2) 확대를 결정할 수 있다. 예를 들어, 제2 영역(751a2)의 각 픽셀의 색상, 채도 또는 질감의 차이가 50% 이하인 경우, 프로세서(210)은 이미지의 제22 영역(752b2)으로의 확대를 결정할 수 있다.
프로세서(210)는 제1 영역(751a1)의 분석 및 제2 영역(751a2)의 분석을 순차적으로 하거나 또는, 역순으로 할 수도 있다.
도 8의 830에서, 이미지 간섭 확대를 결정한다.
프로세서(210)는 이미지의 간섭 확대(interference enlargement) 여부를 결정할 수 있다. 프로세서(210)는 분석 결과(예를 들어, 임계치 이하)에 따라 이미지의 제1 확장 영역(752a) 및 제2 확장 영역(752b) 중 적어도 하나의 영역으로 확대 여부를 결정할 수 있다.
한 실시예에서, 이미지의 확대는 이미지 간섭 확대 및 이미지 비 간섭 확대(non-interference enlargement)를 포함할 수 있다. 이미지 간섭 확대는 이미지의 제1 영역(751a1)의 분석(예를 들어, 임계치 이하) 또는 제2 영역(751a2)의 분석(예를 들어, 임계치 이하)을 통해 제1 확장 영역(752a) 및 제2 확장 영역(752b) 중 적어도 하나의 영역으로 확대를 의미할 수 있다. 이미지의 확대는 이미지의 확장을 포함하는 의미일 수 있다.
이미지 간섭 확대는 전면의 홀, 개구 또는 절개부에 의한 이미지 확대의 간섭(예를 들어, 일부 영역(또는, 홀 영역)에서 이미지 확대 제한(또는, 일부 영역(또는, 홀 영역)에서 이미지 표시 제한))을 의미할 수 있다. 또한, 이미지 간섭 확대는 전면의 홀, 개구 또는 절개부에 대응되는 구성 요소(예를 들어, 센서, 리시버, 카메라, 홈 버튼, 또는 지문 센서 등)에 의한 이미지 확대의 간섭(예를 들어, 일부 영역에서 이미지 확대 제한(또는, 이미지 표시 제한))을 의미할 수 있다.
이미지 비 간섭 확대는 전면의 홀, 개구 또는 절개부에 의한 이미지 확대의 비 간섭(예를 들어, 전면의 홀, 개구 또는 절개부 인근까지 확대)을 의미할 수 있다. 또한, 이미지 간섭 확대는 전면의 홀, 개구 또는 절개부에 대응되는 구성 요소(예를 들어, 센서, 리시버, 카메라, 홈 버튼, 또는 지문 센서 등)에 의한 이미지 확대의 비 간섭)을 의미할 수 있다.
이미지 비 간섭 확대는 이미지의 제1 영역(751a1)의 분석(예를 들어, 임계치 초과) 또는 제2 영역(751a2)의 분석(예를 들어, 임계치 초과)을 통해 제12 영역(752a2) 및 제22 확장 영역(752b2) 중 적어도 하나의 영역으로 확대를 의미할 수 있다.
분석 결과에 따라 제1 영역(751a1) 및 제2 영역(751a2) 모두 임계치 이하인 경우, 프로세서(210)는 이미지 간섭 확대를 결정할 수 있다. 분석 결과에 따라 제1 영역(751a1) 및 제2 영역(751a2) 중 하나가 임계치 이하인 경우, 프로세서(210)는 이미지 간섭 확대를 결정할 수 있다. 또한, 분석 결과에 따라 제1 영역(751a1) 및 제2 영역(751a2) 모두 임계치 초과인 경우, 프로세서(210)는 이미지 비 간섭 확대를 결정할 수 있다.
이미지 간섭 확대의 결정에 따라, 프로세서(210)는 이미지를 메인 영역(751) 및 제1 확장 영역(752a) 확대, 메인 영역(751) 및 제2 확장 영역(752b) 확대, 및 메인 영역(751), 제1 확장 영역(752a) 확대, 메인 영역(751) 및 제2 확장 영역(752b) 확대 중 하나로 확대할 수 있다.
도 8의 830에서, 이미지 간섭 확대인 경우, 도 8의 840로 진행한다. 도 8의 830에서, 이미지 간섭 확대가 아닌 경우(예를 들어, 이미지 비 간섭 확대), 도 8의 870로 진행한다.
도 8의 840에서, 이미지 전체 확대가 결정된다.
이미지 간섭 확대가 결정되는 경우, 프로세서(210)는 이미지 전체 확대 및 이미지 부분 확대 중 하나를 결정할 수 있다. 이미지 간섭 확대가 결정되는 경우, 프로세서(210)는 분석 결과에 따라 이미지 전체 확대 및 이미지 일부(또는, 부분) 확대 중 하나를 결정할 수 있다.
이미지 전체 확대는 이미지를 디스플레이의 전체 영역(메인 영역(751), 제1 확장 영역(752a) 및 제2 확장 영역(752b)을 포함)에 확대를 의미할 수 있다. 또한, 디스플레이의 전체 영역을 디스플레이의 간섭 영역이라고 칭할 수 있다.
이미지 일부 확대는 이미지를 디스플레이의 일부 영역(메인 영역(751) 및 제1 확장 영역(752a) 또는, 제1 확장 영역(752a) 및 제2 확장 영역(752b))에 확대를 의미할 수 있다. 또한, 디스플레이의 일부 영역을 디스플레이의 비 간섭 영역이라고 칭할 수 있다.
도 8의 840에서, 이미지 전체 확대인 경우, 도 8의 850로 진행한다. 도 8의 840에서, 이미지 전체 확대가 아닌 경우(예를 들어, 이미지 일부(또는, 부분) 확대), 도 8의 860로 진행한다.
도 8의 850에서, 전체 화면에 확대된 이미지가 표시된다.
도 9c를 참조하면, 프로세서(210)는 이미지(예를 들어, 951-7)를 확대하여 전체 화면에 표시할 수 있다. 프로세서(210)는 분석 결과에 따라 이미지(951-7)를 전체 화면에 확대하여 표시할 수 있다. 전체 화면은 메인 영역(751), 제1 확장 영역(752a) 및 제2 확장 영역(752b)을 포함하는 영역이다. 전체 화면의 크기는 1440 x 2992 픽셀일 수 있다.
전체 화면의 크기는 전자 장치(701)의 화면 크기 및/또는 종횡비에 따라 변경될 수 있다.
한 실시예에서, 전체 화면에 이미지뿐만 아니라 어플리케이션의 화면이 표시될 수 있다.
도 9f를 참조하면, 어플리케이션 화면(예를 들어, 통화 어플리케이션 화면(953))이 전체 화면(751, 752a, 752b)에 표시될 수 있다.
제1 영역 및 제2 영역을 분석하기 전, 프로세서(210)는 통화 어플리케이션 화면(953)을 메인 영역(751)에 표시할 수 있다. 설정(예를 들어, 간섭 확대 및 비 간섭 확대 중 하나)이 없는 경우, 프로세서(210)는 통화 어플리케이션 화면(953)을 메인 영역(751)에 표시할 수 있다.
프로세서(210)는 통화 어플리케이션 화면(953)의 제1 영역 및 제2 영역을 분석하여 통화 어플리케이션 화면(953)에 대하여 간섭 확대 및 비 간섭 확대 중 하나를 결정할 수 있다. 분석 결과(예를 들어, 임계치 이하)에 따라, 프로세서(210)는 통화 어플리케이션 화면(953)을 간섭 확대할 수 있다. 분석 결과(예를 들어, 임계치 이하)에 따라, 프로세서(210)는 통화 어플리케이션 화면(953)을 전체 화면에 확대하여 표시할 수 있다.
상술된 어플리케이션(예를 들어, 통화 어플리케이션)은 하나의 예이며, 이에 한정되지 않고, 전자 장치(201)에 기 설치된 어플리케이션(예를 들어, 음악 어플리케이션, 동영상 어플리케이션 등) 또는, 다운로드(download)되어 인스톨 가능한 어플리케이션일 수 있다.
상술된 어플리케이션(예를 들어, 통화 어플리케이션)은 하나의 예이며, 이에 한정되지 않고, 전자 장치(201)에 기 설치된 어플리케이션(예를 들어, 음악 어플리케이션, 동영상 어플리케이션 등) 또는, 다운로드(download)되어 인스톨 가능한 어플리케이션일 수 있다.
도 9j 및 도 9k를 참조하면, 전체 화면에 확대된 이미지의 예가 도시된다.
도 9i는 예를 들어, 잠금 화면(lock screen)일 수 있다. 잠금 화면에서, 이미지(957a)는 전체 화면(951, 952a, 및 952b)에 확대되어 표시될 수 있다. 프로세서(210)는 분석 결과(예를 들어, 임계치 이하)에 따라 이미지(957a)를 전체 화면(951, 952a, 및 952b)에 확대하여 표시할 수 있다.
도 9k는 예를 들어, 홈 화면(home screen)일 수 있다. 홈 화면에서, 이미지(957b)는 전체 화면(951, 952a, 및 952b)에 확대되어 표시될 수 있다. 프로세서(210)는 분석 결과(예를 들어, 임계치 이하)에 따라 이미지(957b)를 전체 화면(951, 952a, 및 952b)에 확대하여 표시할 수 있다. 프로세서(210)는 홈 화면에서 단축 아이콘(shortcut) 및 단축 아이콘 뒤에 표시되는 트레이(tray, 957t)를 전면의 홀, 개구 또는 절개부에서부터 비 간섭되게 위치토록 할 수 있다.
트레이(957t)는 투명도(예를 들어, 60 ~ 80%, 설정에 의해 변경 가능, transparency)를 가질 수 있다. 또한, 트레이(987t)는 단축 아이콘 및 확대된 이미지(957b)와 구별되는 색상으로 표시될 수도 있다.
도 8의 850에서, 전체 화면에 확대된 이미지가 표시되는 경우, 전자 장치의 홀 영역 제어방법이 종료된다.
도 8의 840로 되돌아가서, 이미지 전체 확대가 아닌 경우(예를 들어, 이미지 부분 확대), 도 8의 860로 진행한다.
도 8의 860에서, 전체 화면에 일부 확대된 이미지가 표시된다.
도 9d를 참조하면, 프로세서(210)는 이미지(예를 들어, 951-10)를 확대하여 전체 화면의 일부 영역에 표시할 수 있다. 프로세서(210)는 분석 결과에 따라 이미지(951-10)를 전체 화면의 일부 영역에 확대하여 표시할 수 있다. 전체 화면의 일부 영역은 메인 영역(751) 및 제1 확장 영역(752a) 또는, 메인 영역(751) 및 제2 확장 영역(752b)을 의미할 수 있다. 전체 화면의 일부 영역의 크기는 1440 x 2776 픽셀일 수 있다.
한 실시예에 있어서, 추가된 전체 화면의 일부 영역은 제12 확장 영역(752a2) 및 제22 확장 영역(725b2) 중 하나를 더 포함할 수 있다. 프로세서(210)는 이미지(예를 들어, 951-10)를 확대하여 추가된 전체 화면의 일부 영역에 표시할 수 있다.
추가된 전체 화면의 일부 영역은 메인 영역(751), 제1 확장 영역(752a) 및 제22 확장 영역(752b2)를 포함할 수 있다. 또한, 추가된 전체 화면의 일부 영역은 메인 영역(751), 제2 확장 영역(752b) 및 제12 확장 영역(752a2)를 포함할 수 있다. 한 실시예에 따른 전체 화면의 일부 영역의 크기는 1440 x 2856 픽셀일 수 있다.
전체 화면의 일부 영역의 크기는 전자 장치(701)의 화면 크기 및/또는 종횡비에 따라 변경될 수 있다. 또한, 추가된 전체 화면의 일부 영역의 크기는 전자 장치(701)의 화면 크기 및/또는 종횡비에 따라 변경될 수 있다.
도 8의 860)에서, 전체 화면의 일부 영역(또는, 추가된 전체 화면의 일부 영역)에 확대된 이미지가 표시되는 경우, 전자 장치의 홀 영역 제어방법이 종료된다.
도 8의 830로 되돌아가서, 이미지 간섭 확대가 아닌 경우(예를 들어, 이미지 비 간섭 확대), 도 8의 870로 진행한다.
도 8의 870에서, 이미지 비 간섭 확대를 결정한다.
프로세서(210)는 이미지의 비 간섭 확대 여부를 결정할 수 있다. 이미지 비 간섭 확대는 이미지(예를 들어, 951-13)의 제1 영역(751a1)의 분석(예를 들어, 임계치 초과) 또는 제2 영역(751a2)의 분석(예를 들어, 임계치 초과)을 통해 제12 영역(752a2) 및 제22 확장 영역(752b2)까지 확대를 의미할 수 있다.
분석 결과에 따라 이미지(예를 들어, 951-13)의 제1 영역(751a1) 및 제2 영역(751a2) 모두 임계치 초과인 경우, 프로세서(210)는 이미지 비 간섭 확대를 결정할 수 있다.
이미지 비 간섭 확대의 결정에 따라, 프로세서(210)는 이미지(예를 들어, 951-13)를 메인 영역(751), 제12 영역(752a2) 및 제22 확장 영역(752b2)까지 확대할 수 있다.
도 8의 870에서, 이미지 비 간섭 확대인 경우, 도 8의 880로 진행한다. 도 8의 830에서, 이미지 비 간섭 확대가 아닌 경우, 도 8의 890로 진행한다.
도 8의 880에서, 전체 화면에 비 간섭 확대된 이미지가 표시된다.
도 9e를 참조하면, 프로세서(210)는 이미지(예를 들어, 951-13)를 확대하여 전체 화면의 일부 영역(예를 들어, 비 간섭 영역(951, 952a2, 952b2))에 표시할 수 있다. 프로세서(210)는 분석 결과에 따라 이미지(951-13)를 전체 화면의 비 간섭 영역(951, 952a2, 952b2)에 확대하여 표시할 수 있다. 전체 화면의 비 간섭 영역은 메인 영역(751) 및 제1 확장 영역(752a) 또는, 메인 영역(751) 및 제2 확장 영역(752b)을 의미할 수 있다. 전체 화면의 비 간섭 영역의 크기는 1440 x 2710 픽셀일 수 있다. 비 간섭 영역의 크기는 전체 화면의 크기의 90.6% 일 수 있다.
전체 화면의 비 간섭 영역의 크기는 전자 장치(701)의 화면 크기 및/또는 종횡비에 따라 변경될 수 있다. 또한, 전체 화면의 비 간섭 영역의 크기는 전자 장치(701) 화면의 홀, 개구 또는 절개부 위치 및/또는 크기에 따라 변경될 수 있다.
도 8의 880에서, 전체 화면의 비 간섭 영역에 확대된 이미지가 표시되는 경우, 전자 장치의 홀 영역 제어방법이 종료된다.
도 8의 870로 되돌아가서, 이미지 비 간섭 확대가 아닌 경우, 도 8의 890)로 진행한다.
도 8의 890에서, 메인 영역에 이미지가 표시된다.
이미지에 대해 간섭 확대 및 비 간섭 확대가 적용되지 않는(또는, 간섭 확대 및 비 간섭 확대가 설정되지 않은) 경우, 프로세서(210)는 이미지(예를 들어, 951-17)를 메인 영역(751)에 표시할 수 있다. 전체 화면의 메인 영역의 크기는 1440 x 2560 픽셀일 수 있다. 메인 영역의 크기는 전체 화면의 크기의 85.6% 일 수 있다.
한 실시예에서, 실행중인 동영상 어플리케이션의 경우, 자막(954s)이 확장 영역(752a, 752b)에 표시될 수 있다. 또한, 메인 영역(751)에 표시되는 어플리케이션 화면의 일 측(예를 들어, 확장 영역((752a, 752b))에 텍스트(또는, 자막)이 표시될 수 있다.
도 9g를 참조하면, 동영상 어플리케이션 화면(954)이 전체 화면(951, 952a, 952b)에 표시될 수 있다. 또한, 동영상 어플리케이션 화면(954)이 메인 영역(751)에 표시될 수 있다.
제1 영역 및 제2 영역을 분석하기 전, 프로세서(210)는 동영상 어플리케이션 화면(954)을 메인 영역(751)에 표시할 수 있다. 설정(예를 들어, 간섭 확대 및 비 간섭 확대 중 하나)이 없는 경우, 프로세서(210)는 동영상 어플리케이션 화면(954)을 메인 영역(751)에 표시할 수 있다.
프로세서(210)는 동영상 어플리케이션 화면(954)의 제1 영역 및 제2 영역을 분석하여 동영상 어플리케이션 화면(954)에 대하여 간섭 확대 및 비 간섭 확대 중 하나를 결정할 수 있다. 분석 결과(예를 들어, 임계치 이하)에 따라, 프로세서(210)는 동영상 어플리케이션 화면(954)을 간섭 확대할 수 있다. 분석 결과(예를 들어, 임계치 이하)에 따라, 프로세서(210)는 동영상 어플리케이션 화면(954)을 전체 화면에 확대하여 표시할 수 있다.
분석 결과(예를 들어, 임계치 초과)에 따라, 프로세서(210)는 동영상 어플리케이션 화면(954)을 메인 영역(751)에 표시할 수 있다. 또한, 분석 결과(예를 들어, 임계치 초과)에 따라, 프로세서(210)는 동영상 어플리케이션 화면(954)을 메인 영역(751) 및 제22 확장 영역(752b2)에 표시할 수 있다.
동영상 어플리케이션 화면(954)는 동영상 표시 영역(954a) 및 텍스트 제공 영역(또는, 자막 영역, 954b)을 포함할 수 있다. 동영상 표시 영역(954a)은 메인 영역(751)일 수 있다. 동영상 표시 영역(954a)은 메인 영역(751) 및 제1 확장 영역(752a)의 일부를 포함할 수 있다. 동영상 표시 영역(954a)은 메인 영역(751) 및 제2 확장 영역(752b)의 일부를 포함할 수 있다. 또한, 동영상 표시 영역(954a)은 메인 영역(751), 제1 확장 영역(752a)의 일부 및 제2 확장 영역(752b)의 일부를 포함할 수 있다.
텍스트 제공 영역(954b)은 하나 또는 복수일 수도 있다. 텍스트 제공 영역(954b)는 제1 확장 영역(752a)의 일부 또는 전부를 포함할 수 있다. 텍스트 제공 영역(954b)는 제2 확장 영역(752b)의 일부 또는 전부를 포함할 수 있다. 또한, 텍스트 제공 영역(954b)는 제1 확장 영역(752a)의 일부 및 제2 확장 영역(752b)의 일부 또는 전부를 포함할 수 있다.
한 실시예에서, 프로세서(210)는 동영상 표시 영역(또는, 메인 영역, 954a)에 동영상을 표시하고, 텍스트 제공 영역(또는, 확장 영역의 일부, 954b)에 자막(954s)을 각각 표시할 수 있다.
텍스트 제공 영역(954b)에서 자막(954s)의 배경은 블랙, 화이트 또는 회색일 수 있다. 또한, 텍스트 제공 영역(954b)에서 자막(954s)의 배경은 단일 컬러 배경 또는 복수 컬러 배경일 수 있다. 텍스트 제공 영역(954b)에서 자막(954s)의 색상은 배경과 구별되면 충분할 수 있다.
전자 장치(901)의 방향에 대응하여 자막(954s)의 방향(또는, 흐르기)이 결정될 수 있다. 예를 들어, 전자 장치(901)의 방향이 가로 방향(landscape)인 경우, 자막(954s)의 방향은 세로 방향(portrait)일 수 있다. 또한, 전자 장치(901)의 방향이 세로 방향(portrait)인 경우, 자막(954s)의 방향은 가로 방향(landscape)일 수 있다.
텍스트 제공 영역(954b)에서 자막(954s)은 일부 영역(예를 들어, 홀, 개구 또는 절개부에 의해 간섭 받지 않는 제12 확장 영역(752b2) 등)에 표시될 수 있다. 텍스트 제공 영역(954b)에서 자막(954s)은 일부 영역(예를 들어, 제12 확장 영역(752a2) 또는 제22 확장 영역(752b2))에 표시될 수 있다.
한 실시예에서, 메인 영역(751)에 표시되는 어플리케이션 화면의 일 측(예를 들어, 확장 영역((752a, 752b))에 텍스트(예를 들어, 알람 또는, 알림(notification)등, 955t)이 표시될 수 있다.
도 9h를 참조하면, 실행된 어플리케이션 화면(예를 들어, 웹 브라우저 등, 955)이 메인 영역(751)에 표시될 수 있다.
프로세서(210)는 어플리케이션 화면(955)의 제1 영역 및 제2 영역을 분석하여 어플리케이션 화면(955)에 대하여 간섭 확대 및 비 간섭 확대 중 하나를 결정할 수 있다.
분석 결과(예를 들어, 임계치 초과)에 따라, 프로세서(210)는 어플리케이션 화면(955)을 메인 영역(751)에 표시할 수 있다.
어플리케이션 화면과 별개로 확장 영역(752a 또는 752b)에 알람(또는, 알림)에 대응되는 텍스트(955t)가 표시될 수 있다. 프로세서(210)는 알람(또는, 알림)에 대응되는 텍스트(955t)를 확장 영역(752a 또는 752b)에 표시되게 할 수 있다.
프로세서(210)는 확장 영역(752a 또는 752b)에 표시는 알람(또는, 알림)에 대응되는 텍스트(955t)를 점진적으로 이동(예를 들어, 화살표(955a)의 방향)할 수 있다. 프로세서(210)는 확장 영역(752a 또는 752b)에 표시는 알람(또는, 알림)에 대응되는 텍스트(955t)를 홀, 개구 또는 절개부 위치를 피해(예를 들어, 비 간섭) 표시되게 할 수 있다. 또한, 프로세서(210)는 확장 영역(752a 또는 752b)에 표시는 알람(또는, 알림)에 대응되는 텍스트(955t)를 홀, 개구 또는 절개부 위치를 피해(예를 들어, 비 간섭) 점진적으로 이동(예를 들어, 화살표(955a)의 방향)할 수 있다.
한 실시예에서, 메인 영역(751)에 표시되는 어플리케이션 화면의 일 측(예를 들어, 확장 영역((752a, 752b))에 이미지(또는, 심볼(symbol), 아이콘 등, 956i)이 표시될 수 있다.
도 9i를 참조하면, 실행된 어플리케이션 화면(예를 들어, 웹 브라우저 등, 955)이 메인 영역(751)에 표시될 수 있다. 프로세서(210)는 어플리케이션 화면(956)의 제1 영역 및 제2 영역을 분석하여 어플리케이션 화면(956)에 대하여 간섭 확대 및 비 간섭 확대 중 하나를 결정할 수 있다. 분석 결과(예를 들어, 임계치 초과)에 따라, 프로세서(210)는 어플리케이션 화면(956)을 메인 영역(751)에 표시할 수 있다.
어플리케이션 화면과 별개로 확장 영역(752a 또는 752b)의 홀, 개구 또는 절개부 위치에 마스킹(masking)에 대응되는 이미지(956i)가 표시될 수 있다. 프로세서(210)는 개구 또는 절개부 위치에 마스킹(masking)에 대응되는 이미지(956i)를 제1 확장 영역(752a) 및 제2 확장 영역(752b) 중 적어도 하나에 표시되게 할 수 있다. 상술된 이미지(956i)는 카메라(또는, 카메라 홀, 730)에 대응되는 이미지의 예이다. 이미지(956i)의 크기는 카메라(또는, 카메라 홀, 730)의 크기보다 클 수 있다. 또한, 이미지(956i)의 크기는 카메라(또는, 카메라 홀, 730)의 크기를 가릴 수 있으면 충분하다.
상술된 이미지뿐만 아니라 도 7에서 도시된 홀, 개구 또는 절개부 위치(720 내지 740, 또는, 631 등)에 대응되는 다양한 이미지가 있다는 것은 해당 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 수 있다.
도 8의 890에서, 전체 화면의 메인 영역에 이미지가 표시되는 경우, 전자 장치의 홀 영역 제어방법이 종료된다.
도 10은 한 실시예에 따른 전자 장치의 제어방법을 나타내는 순서도이다.
도 11a 내지 도 11f는 한 실시예에 따른 전자 장치의 제어방법의 예를 나타내는 도면이다.
도 10의 1010에서, 화면에서 터치가 검출된다.
도 11a 및 도 11e를 참조하면, 전자 장치(901)의 디스플레이(950)에서 제11 사용자 입력(예를 들어, 터치 또는 호버링, 992)이 수신된다. 전자 장치(901)의 디스플레이(950)의 제1 확장 영역(952a)에서 제11 사용자 입력(예를 들어, 터치 또는 호버링, 992)이 수신된다. 또한, 어플리케이션(예를 들어, 포토 어플리케이션 등)이 표시되는 메인 영역(751)에 연속되는 제1 확장 영역(952a)에서 제11 사용자 입력(예를 들어, 터치 또는 호버링, 992)이 수신된다.
도 11e를 참조하면, 제11 사용자 입력(992)는 제 1홀(카메라, 또는 카메라 홀, 725)의 외곽 영역(726)에서 수신될 수 있다. 상술된 제1 홀(725)은, 개구 또는 절개부(720 내지 740, 또는, 631 등)에 대응될 수 있다. 예를 들어, 제1 홀이 카메라(또는 카메라 홀)인 경우, 제2 홀은 광학 센서에 대응될 수 있다.
도 11a에서, 외곽 영역(726)과 제 1홀(카메라, 또는 카메라 홀, 725)사이의 간격(d1)은 2.5 ㎜ 일 수 있다. 또한, 외곽 영역(726)과 제 1홀(카메라, 또는 카메라 홀, 725)사이의 간격(d1)은 1 ㎜ ≤ d1 ≤ 18 ㎜ 일 수 있다. 상술된 간격(d1)는 하나의 실시예이며, 변경될 수도 있다.
도 11b에서, 제1 외곽 영역(726)과 제 1홀(카메라, 또는 카메라 홀, 725)사이의 간격(d2)은 2.5 ㎜ 일 수 있다. 제1 외곽 영역(726)과 제2 외곽 영역(727)사이의 간격(d3)은 2.0 ㎜ 일 수 있다. 제1 외곽 영역(726)과 제 1홀(카메라, 또는 카메라 홀, 725)사이의 간격(d2)은 1 ㎜ ≤ d1 ≤ 10 ㎜ 일 수 있다. 또한, 제1 외곽 영역(726)과 제2 외곽 영역(727)사이의 간격(d3)은 1 ㎜ ≤ d1 ≤ 8 ㎜ 일 수 있다. 제1 외곽 영역(726)과 제2 외곽 영역(727)에 의해 정밀하게 사용한 입력을 검출할 수도 있다. 상술된 간격(d2, d3)는 하나의 실시예이며, 변경될 수도 있다.
상술된 어플리케이션(예를 들어, 포토 어플리케이션)은 하나의 예이며, 전자 장치(901)에서 실행 가능하거나 또는 인스톨 가능한 어플리케이션(예를 들어, 웹 브라우저 등)이면 충분하다.
프로세서(210)는 패널(262)을 이용하여 제11 사용자 입력(992)을 검출할 수 있다. 프로세서(210)는 패널(262)에서부터 수신되는 전기 신호를 이용하여 제11 사용자 입력(992)에 대응되는 제11 사용자 입력 위치(예를 들어, X11 좌표와 Y11 좌표, 992a)를 산출할 수 있다.
프로세서(210)는 제11 사용자 입력 위치(990a), 검출된 터치의 터치 검출 시간(예를 들어, 오전 11시 16분) 및 터치에 대응되는 터치 정보를 메모리(230)에 저장할 수 있다.
도 10의 1020에서, 터치의 연속적인 움직임의 방향이 검출된다.
도 11b를 참조하면, 전자 장치(901)의 디스플레이(950)에서 제11 사용자 입력(예를 들어, 터치 또는 호버링, 992)의 연속적인 움직임이 수신된다.
프로세서(210)는 패널(262)을 이용하여 제11 사용자 입력(992)의 연속적인 움직임(예를 들어, 연속적인 터치에 대응되는 복수의 X 좌표와 Y 좌표)을 검출할 수 있다. 프로세서(210)는 패널(262)에서부터 수신되는 전기 신호를 이용하여 제11 사용자 입력(992)에 대응되는 제11 사용자 입력의 연속적인 움직임 위치(예를 들어, 복수의 X 좌표와 복수의 Y 좌표, 992a 내지 992b)를 산출할 수 있다.
제1 외곽 영역(726)에서 제11 사용자 입력(992)의 연속적인 움직임(예를 들어, 최초 위치(992a)에서부터 최후 위치(992b)까지 이동)은 디스플레이(750)에 입력되는 터치 제스처(touch gesture)를 의미할 수 있다. 제1 외곽 영역(726)에서 제11 사용자 입력(992)의 연속적인 움직임(예를 들어, 최초 위치(992a)에서부터 카메라(또는 카메라 홀, 725)까지의 이동)은 디스플레이(750)에 입력되는 터치 제스처를 의미할 수 있다. 제1 외곽 영역(726)에서 제11 사용자 입력(992)의 연속적인 움직임(예를 들어, 최초 위치(992a)에서부터 카메라(또는 카메라 홀, 725)을 통과하여 외곽 영역(726)까지의 이동)은 디스플레이(750)에 입력되는 터치 제스처를 의미할 수 있다. 또한, 제1 외곽 영역(726)에서 제11 사용자 입력(992)의 연속적인 움직임(예를 들어, 최초 위치(992a)에서부터 카메라(또는 카메라 홀, 725)을 통과하여 제1 외곽 영역(726)까지의 이동)은 디스플레이(750)에 입력되는 터치 제스처를 의미할 수 있다.
디스플레이(750)의 터치 제스처는 제11 사용자 입력(992)의 위치(992a)를 최초 위치로 하는 스와이프(swipe), 드래그(drag), 또는, 플릭(flick)을 포함할 수 있다.
프로세서(210)는 저장되는 제11 사용자 입력의 연속적인 움직임 위치를 이용하여 제11 사용자 입력의 연속적인 움직임의 방향을 결정할 수 있다. 도 11b에서, 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 방향을 제1 홀(725) 방향으로 결정할 수 있다.
도 10의 1030에서, 터치의 연속적인 움직임이 제1 홀에 도착한다.
도 11b를 참조하면, 제11 사용자 입력의 연속적인 움직임이 제1 홀(725)에 도착한다. 또한, 제11 사용자 입력의 연속적인 움직임이 제1 홀(725)을 통과할 수 있다. 프로세서(210)는 저장되는 제11 사용자 입력의 연속적인 움직임 위치를 이용하여 제11 사용자 입력의 연속적인 움직임의 제1 홀(725)의 도착을 결정할 수 있다.
도 10의 1040에서, 제1 홀 도착에 대응되는 기능이 수행된다.
도 11c를 참조하면, 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제1 홀(725) 도착에 대응하여 퀵 패널(quick panel)을 호출할 수 있다. 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제1 홀(750)의 도착에 대응되는 기능(예를 들어, 퀵 패널(960) 호출)을 수행할 수 있다. 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제1 홀(750)의 도착에 대응되는 기능(예를 들어, 설정 패널(도시되지 아니함)만 호출)을 수행할 수도 있다. 퀵 패널(960)의 호출은 설정 패널(도시되지 아니함)의 호출을 포함할 수 있다.
프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제n 홀의 도착에 대응되는 기능을 수행할 수 있다. 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제n 홀의 도착에 대응하여 제n 홀에 기 설정된 기능을 수행할 수 있다.
예를 들어, 제2 홀(730)이 카메라 또는 카메라 홀인 경우, 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제2 홀(730)의 도착에 대응하여 카메라의 기능 중 하나인 스크린샷(screenshot) 기능을 수행할 수 있다. 제3 홀(725)이 리시버 또는 리시버 홀인 경우, 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제3 홀(725)의 도착에 대응하여 음성 녹음, S보이스 접근성(accessibility) 중 하나의 기능을 수행할 수 있다. 또한, 제4 홀(740)이 지문 센서(또는, 홈 버튼) 홀인 경우, 프로세서(210)는 제11 사용자 입력의 연속적인 움직임의 제4 홀(740)의 도착에 대응하여 지문 인식 및 삼성페이(Samsung pay) 중 하나의 기능을 수행할 수 있다.
한 실시예에서, 상술된 제n 홀에 대응되는 기능의 수행은 제11 사용자 입력의 연속적인 움직임의 제n 홀의 도착뿐만 아니라 제n 홀에서의 제11 사용자 입력의 수신으로도 구현될 수 있다.
도 11e의 (a) 또는 (b)처럼 구현되는 제n 홀의 외곽 영역(726), 제1 외곽 영역(726) 및 제2 외곽 영역(727)에서 제11 사용자 입력이 검출되는 경우, 프로세서(210)는 제n 홀에 대응되는 기능을 수행할 수 있다.
한 실시예에서, 어플리케이션 화면(예를 들어, 웹 브라우저 등)이 전체 화면(751, 752a, 752b)에 표시된다.
도 11d를 참조하면, 화면의 상단(예를 들어, 제1 확장 영역(752a)의 일부 포함)에 헤드업 알림(head-up notification, 961)이 표시될 수 있다. 또한, 화면의 메인 영역에 헤드업 알림(961)이 표시될 수도 있다.
프로세서(210)는 제12 사용자 입력의 연속적인 움직임의 제11 홀의 도착에 대응되는 기능을 수행될 수 있다. 제11 홀은 예를 들어, 리시버 홀(725), 카메라 홀(730), 지문 센서 홀(740)일 수 있다. 제11 홀은 광학 센서 홀(720)을 더 포함할 수 있다. 또한, 제11 홀은 전자 장치(901)의 전면 홀 또는 후면 홀(예를 들어, 후면 카메라 홀, led 홀 등)을 포함할 수 있다.
헤드업 알림(961)에 사용자에 의해 제12 사용자 입력(993)이 수신된다. 사용자는 제12 사용자 입력(993)의 최초 위치(993a)에서부터 최종 위치(예를 들어, 993b, 993c, 또는, 993d)로 연속적인 움직임을 입력할 수 있다.
프로세서(210)는 검출되는 제12 사용자 입력(993)의 연속적인 움직임(예를 들어, 최초 위치(993a)에서부터 최종 위치(예를 들어, 993b, 993c, 또는, 993d))의 도착에 대응하는 기능을 수행할 수 있다.
제12 사용자 입력의 연속적인 움직임의 제11 홀 도착은 제11 사용자 입력의 연속적인 움직임의 제1 홀 도착과 실질적으로 유사(예를 들어, 사용자 입력의 차이)하므로 중복되는 설명을 생략한다.
헤드업 알림(961)에서 제12 사용자 입력의 연속적인 움직임의 제11 홀 도착에 대응되는 기능은 헤드업 알림 유지(최초 위치(993a)에서부터 최종 위치(993b)), 헤드업 알림 삭제(최초 위치(993a)에서부터 최종 위치(993c)), 또는, 헤드업 알림 저장(최초 위치(993a)에서부터 최종 위치(993d))을 포함할 수 있다. 상술된 기능은 하나의 예이며, 전자 장치(901)에서 제공하는 기능이면 충분하다.
한 실시예에서, 사용자 입력의 연속적인 움직임(또는, 사용자 입력)에 대응되는 시각 피드백(995a 내지 995f)을 제공한다.
도 11f의 (a) 내지 (c)를 참조하면, 프로세서(210)는 수신되는 사용자 입력의 연속적인 움직임에 대응되는 시각 피드백(995a 내지 995c)을 제공할 수 있다.
시각 피드백(995a 내지 995c)은 사용자 입력의 연속적인 움직임의 방향, 또는 궤적에 대응되게 표시될 수 있다. 시각 피드백(995a 내지 995c)은 수신된 사용자 입력의 최초 위치에 대응되는 홀의 형상(예를 들어, 원형, 타원형 등)을 이용하여 표시될 수 있다. 또한, 시각 피드백(995a 내지 995c)은 수신된 사용자 입력의 최초 위치에 대응되는 홀의 형상(예를 들어, 원형, 타원형 등)에 추가되는 색상 및 명도를 이용하여 사용자 입력의 연속적인 움직임의 방향, 또는 궤적에 대응되게 표시될 수 있다.
도 11f의 (d) 내지 (f)를 참조하면, 프로세서(210)는 수신되는 사용자 입력에 대응되는 시각 피드백(995e 내지 995f)을 제공할 수 있다.
시각 피드백(995e 내지 995f)은 수신되는 사용자 입력의 위치에 대응되게 표시될 수 있다. 시각 피드백(995e 내지 995f)은 수신된 사용자 입력의 위치에 대응되는 홀의 형상(예를 들어, 원형, 타원형 등)을 이용하여 표시될 수 있다. 또한, 시각 피드백(995e 내지 995f)은 수신된 사용자 입력의 최초 위치에 대응되는 홀의 형상(예를 들어, 원형, 타원형 등)에 추가되는 색상 및 명도를 이용하여 점진적으로 확대되도록 표시될 수 있다.
도 10의 1040에서, 제1 홀 도착에 대응되는 기능이 수행되는 경우, 전자 장치의 홀 영역 제어방법이 종료된다.
본 발명의 실시예에 따른 전자 장치는, 디스플레이에 적어도 하나의 홀 영역을 가지는 전자 장치에서, 표시되는 콘텐트를 선택하는 동작, 상기 콘텐트의 에지 분석을 통해 간섭 확대 및 비 간섭 확대 중 하나를 결정하는 동작, 및 상기 콘텐트를 상기 간섭 확대 및 상기 비 간섭 확대 중 하나로 확대하는 동작을 포함하고, 상기 홀 영역은 카메라, 리시버, 광학 센서 및 홈 버튼 중 하나에 의해 형성된다.
한 실시예에서, 상기 디스플레이는 메인 영역 및 확장 영역을 포함하고, 상기 홀 영역은 상기 확장 영역에 위치할 수 있다.
한 실시예에서, 상기 확장 영역은 상기 메인 영역의 상단에 위치하는 제1 확장 영역 및 상기 메인 영역의 하단에 위치하는 제2 확장 영역으로 구별될 수 있다.
한 실시예에서, 상기 제1 확장 영역은 상기 홀 영역 중 하나의 홀 영역이 위치하는 제11 확장 영역 및 상기 제11 확장 영역의 하단에 위치하는 제12 확장 영역으로 구별될 수 있다.
한 실시예에서, 상기 제2 확장 영역은 상기 홀 영역 중 다른 하나의 홀 영역이 위치하는 제21 확장 영역 및 상기 제21 확장 영역의 상단에 위치하는 제22 확장 영역으로 구별될 수 있다.
한 실시예에서, 상기 메인 영역은 제1 확장 영역과 연결되는 제1 영역 및 상기 제2 확장 영역과 연결되는 제2 영역으로 구별되고, 상기 콘텐트의 에지 분석은 상기 제1 영역에 대응되는 상기 콘텐트의 에지 분석 및 상기 제2 영역에 대응되는 상기 콘텐트의 에지 분석을 포함할 수 있다.
한 실시예에서, 상기 간섭 확대는 상기 홀 영역에 의해 상기 콘텐트의 확대를 제한하는 확대이고, 상기 비 간섭 확대는 상기 홀 영역에 의해 상기 콘텐트의 확대를 제한하지 않는 확대일 수 있다.
한 실시예에서, 상기 간섭 확대는 상기 디스플레이의 간섭 영역에서 상기 콘텐트를 확대 하여 표시하고, 상기 디스플레이의 간섭 영역은 상기 메인 영역 및 상기 확장 영역을 포함할 수 있다.
한 실시예에서, 상기 간섭 확대는 상기 홀 영역에 의해 확대되는 상기 콘텐트의 일부 영역의 표시를 제한할 수 있다.
한 실시예에서, 상기 비 간섭 확대는 상기 디스플레이의 비 간섭 영역에서 상기 콘텐트를 확대하여 표시하고, 상기 디스플레이의 비 간섭 영역은 상기 메인 영역 및 상기 확장 영역의 일부 영역을 포함할 수 있다.
한 실시예에서, 상기 제1 확장 영역의 면적과 상기 제2 확장 영역의 면적이 다를 수 있다.
한 실시예에서, 상기 제11 확장 영역의 면적과 상기 제12 확장 영역의 면적이 다를 수 있다.
한 실시예에서, 상기 제21 확장 영역의 면적과 상기 제22 확장 영역의 면적이 다를 수 있다.
한 실시예에서, 상기 확장 영역의 면적은 상기 제1 영역 및 상기 제2 영역 중 하나의 영역의 면적보다 넓을 수 있다.
한 실시예에서, 상기 홀 영역은 상기 카메라에 대응되어 상기 제1 확장 영역에 하나만 위치할 수 있다.
한 실시예에서, 상기 홀 영역은 홀, 개구 및 절개부 중 하나를 포함할 수 있다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다.
휴대 장치 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 상술된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101,901: 전자 장치 120, 210: 프로세서
751: 메인 영역 752, 752a, 752b: 확장 영역
954b: 텍스트 제공 영역

Claims (20)

  1. 전자장치에 있어서,
    제1 방향을 향하는 제1 면 및 제1 방향과 대향된 제2 방향을 향하는 제2 면을 포함하는 하우징;
    제1 면과 제2 면 사이에 배치되고, 제1 면을 통하여 노출되고, 메인 영역 및 확장 영역을 가지는 터치스크린 디스플레이;
    상기 확장 영역에 위치하는 홀 영역;
    상기 디스플레이와 전기적으로 연결된 적어도 하나의 프로세서;
    상기 프로세서와 전기적으로 연결되는 메모리; 를 포함하고,
    상기 메모리는 기능 실행 시 상기 프로세서에 의해 실행되는 적어도 하나의 명령어를 저장하며,
    상기 프로세서는
    선택된 콘텐트의 에지 영역을 분석하고, 분석 결과에 따라 상기 콘텐트를 간섭 확대 및/또는 비 간섭 확대 중 하나에 의해 확대하여 상기 디스플레이 영역에 표시하도록 제어하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서,
    간섭 확대인 경우, 상기 프로세서는 상기 콘텐트를 상기 메인 영역 및 상기 확장 영역에 표시하도록 제어하고,
    상기 콘텐트는 상기 홀 영역에 의해 확대를 제한하는 전자 장치.
  3. 제1항에 있어서,
    비 간섭 확대인 경우, 상기 프로세서는 상기 콘텐트를 상기 메인 영역 및 상기 확장 영역의 일부 영역에 표시하도록 제어하는 전자 장치.
  4. 제1항에 있어서,
    상기 홀 영역은 홀, 개구 및 절개부 중 하나를 포함하는 전자 장치.
  5. 디스플레이에 적어도 하나의 홀 영역을 가지는 전자 장치에서, 표시되는 콘텐트를 선택하는 동작;
    상기 콘텐트의 에지 분석을 통해 간섭 확대 및 비 간섭 확대 중 하나를 결정하는 동작; 및
    상기 콘텐트를 상기 간섭 확대 및 상기 비 간섭 확대 중 하나로 확대하는 동작을 포함하고,
    상기 홀 영역은 카메라, 리시버, 광학 센서 및 홈 버튼 중 하나에 의해 형성되는 전자 장치의 홀 영역 제어방법.
  6. 제5항에 있어서,
    상기 디스플레이는 메인 영역 및 확장 영역을 포함하고,
    상기 홀 영역은 상기 확장 영역에 위치하는 전자 장치의 홀 영역 제어방법.
  7. 제6항에 있어서,
    상기 확장 영역은 상기 메인 영역의 상단에 위치하는 제1 확장 영역 및 상기 메인 영역의 하단에 위치하는 제2 확장 영역으로 구별되는 전자 장치의 홀 영역 제어방법.
  8. 제7항에 있어서,
    상기 제1 확장 영역은 상기 홀 영역 중 하나의 홀 영역이 위치하는 제11 확장 영역 및 상기 제11 확장 영역의 하단에 위치하는 제12 확장 영역으로 구별되는 전자 장치의 홀 영역 제어방법.
  9. 제7항에 있어서,
    상기 제2 확장 영역은 상기 홀 영역 중 다른 하나의 홀 영역이 위치하는 제21 확장 영역 및 상기 제21 확장 영역의 상단에 위치하는 제22 확장 영역으로 구별되는 전자 장치의 홀 영역 제어방법.
  10. 제7항에 있어서,
    상기 메인 영역은 제1 확장 영역과 연결되는 제1 영역 및 상기 제2 확장 영역과 연결되는 제2 영역으로 구별되고,
    상기 콘텐트의 에지 분석은 상기 제1 영역에 대응되는 상기 콘텐트의 에지 분석 및 상기 제2 영역에 대응되는 상기 콘텐트의 에지 분석을 포함하는 전자 장치의 홀 영역 제어방법.
  11. 제7항에 있어서,
    상기 간섭 확대는 상기 홀 영역에 의해 상기 콘텐트의 확대를 제한하는 확대이고, 상기 비 간섭 확대는 상기 홀 영역에 의해 상기 콘텐트의 확대를 제한하지 않는 확대인 전자 장치의 홀 영역 제어방법.
  12. 제7항에 있어서,
    상기 간섭 확대는 상기 디스플레이의 간섭 영역에서 상기 콘텐트를 확대 하여 표시하고, 상기 디스플레이의 간섭 영역은 상기 메인 영역 및 상기 확장 영역을 포함하는 전자 장치의 홀 영역 제어방법.
  13. 제7항에 있어서,
    상기 간섭 확대는 상기 홀 영역에 의해 확대되는 상기 콘텐트의 일부 영역의 표시를 제한하는 전자 장치의 홀 영역 제어방법.
  14. 제7항에 있어서,
    상기 비 간섭 확대는 상기 디스플레이의 비 간섭 영역에서 상기 콘텐트를 확대하여 표시하고, 상기 디스플레이의 비 간섭 영역은 상기 메인 영역 및 상기 확장 영역의 일부 영역을 포함하는 전자 장치의 홀 영역 제어방법.
  15. 제7항에 있어서,
    상기 제1 확장 영역의 면적과 상기 제2 확장 영역의 면적이 다른 전자 장치의 홀 영역 제어방법.
  16. 제8항에 있어서,
    상기 제11 확장 영역의 면적과 상기 제12 확장 영역의 면적이 다른 전자 장치의 홀 영역 제어방법.
  17. 제9항에 있어서,
    상기 제21 확장 영역의 면적과 상기 제22 확장 영역의 면적이 다른 전자 장치의 홀 영역 제어방법.
  18. 제10항에 있어서,
    상기 확장 영역의 면적은 상기 제1 영역 및 상기 제2 영역 중 하나의 영역의 면적보다 넓은 전자 장치의 홀 영역 제어방법.
  19. 제7항에 있어서,
    상기 홀 영역은 상기 카메라에 대응되어 상기 제1 확장 영역에 하나만 위치하는 전자 장치의 홀 영역 제어방법.
  20. 제14항에 있어서,
    상기 홀 영역은 홀, 개구 및 절개부 중 하나를 포함하는 전자 장치의 홀 영역 제어방법.
KR1020160141964A 2016-10-28 2016-10-28 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법 KR20180046609A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020160141964A KR20180046609A (ko) 2016-10-28 2016-10-28 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법
US15/794,234 US10671258B2 (en) 2016-10-28 2017-10-26 Electronic device having hole area and method of controlling hole area thereof
EP21188569.4A EP3923129A1 (en) 2016-10-28 2017-10-30 Electronic device having hole area and method of controlling hole area thereof
CN201711039001.7A CN108024009B (zh) 2016-10-28 2017-10-30 一种电子设备及其方法
CN202111068354.6A CN113778177A (zh) 2016-10-28 2017-10-30 具有孔区域的电子设备及控制其孔区域的方法
EP17199254.8A EP3316113A1 (en) 2016-10-28 2017-10-30 Electronic device having hole area and method of controlling hole area thereof
EP20175629.3A EP3734435A1 (en) 2016-10-28 2017-10-30 Electronic device having hole area and method of controlling hole area thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160141964A KR20180046609A (ko) 2016-10-28 2016-10-28 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법

Publications (1)

Publication Number Publication Date
KR20180046609A true KR20180046609A (ko) 2018-05-09

Family

ID=60320625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160141964A KR20180046609A (ko) 2016-10-28 2016-10-28 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법

Country Status (4)

Country Link
US (1) US10671258B2 (ko)
EP (3) EP3316113A1 (ko)
KR (1) KR20180046609A (ko)
CN (2) CN113778177A (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI614695B (zh) * 2017-07-03 2018-02-11 敦泰電子有限公司 具指紋辨識之高屏佔比顯示裝置
US11115518B2 (en) * 2017-08-18 2021-09-07 Huawei Technologies Co., Ltd. Display method and terminal
CN108519848A (zh) * 2018-03-30 2018-09-11 联想(北京)有限公司 一种显示控制方法及电子设备
CN109032481A (zh) * 2018-06-29 2018-12-18 维沃移动通信有限公司 一种显示控制方法及移动终端
KR102581242B1 (ko) * 2018-08-01 2023-09-22 삼성디스플레이 주식회사 표시장치
CN109327604B (zh) * 2018-08-29 2020-11-10 努比亚技术有限公司 一种状态栏信息显示方法、设备及计算机可读存储介质
KR102594652B1 (ko) 2018-12-07 2023-10-27 삼성전자 주식회사 전자 장치의 시각 효과 제공 방법 및 이를 사용하는 전자 장치
CN109919845A (zh) * 2019-03-08 2019-06-21 武汉华星光电技术有限公司 具有屏幕内孔显示器影像处理方法
DE102019002407B4 (de) 2019-04-02 2023-03-09 Mercedes-Benz Group AG Anzeigevorrichtung eines Kraftfahrzeugs
US11250617B1 (en) * 2019-09-25 2022-02-15 Amazon Technologies, Inc. Virtual camera controlled by a camera control device
CN111124224B (zh) * 2019-12-12 2021-08-10 维沃移动通信有限公司 一种应用程序的控制方法及电子设备

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118427A (en) * 1996-04-18 2000-09-12 Silicon Graphics, Inc. Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US20050044500A1 (en) * 2003-07-18 2005-02-24 Katsunori Orimoto Agent display device and agent display method
JP2006166146A (ja) 2004-12-08 2006-06-22 Fuji Photo Film Co Ltd 画像選択画面出力装置及び画像選択画面出力プログラム
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US9607408B2 (en) * 2007-06-08 2017-03-28 Apple Inc. Rendering semi-transparent user interface elements
KR101422280B1 (ko) 2007-10-02 2014-07-22 주식회사 케이티 이동통신단말기의 배경 이미지 여백부 색상 결정 방법
KR101544475B1 (ko) 2008-11-28 2015-08-13 엘지전자 주식회사 터치를 통한 입출력 제어
US8776550B2 (en) * 2011-11-23 2014-07-15 Corning Incorporated Method and system for making glass articles
KR101908501B1 (ko) * 2011-12-07 2018-10-17 엘지디스플레이 주식회사 터치 스크린 일체형 유기 발광 표시 장치 및 이의 제조 방법
US20130215071A1 (en) * 2012-02-17 2013-08-22 Research In Motion Limited Electronic device and method of controlling same
US20130271447A1 (en) * 2012-04-11 2013-10-17 Nokia Corporation Apparatus and method for providing a digital bezel
US9720586B2 (en) * 2012-08-21 2017-08-01 Nokia Technologies Oy Apparatus and method for providing for interaction with content within a digital bezel
US20140059478A1 (en) * 2012-08-21 2014-02-27 Nokia Corporation Apparatus and method for providing a digital bezel without occluding interactive content
US9397844B2 (en) * 2012-09-11 2016-07-19 Apple Inc. Automated graphical user-interface layout
US9390473B2 (en) * 2012-09-21 2016-07-12 Google Inc. Displaying applications on a fixed orientation display
US9756282B2 (en) * 2012-11-20 2017-09-05 Sony Corporation Method and apparatus for processing a video signal for display
US9035905B2 (en) * 2012-12-19 2015-05-19 Nokia Technologies Oy Apparatus and associated methods
US9395917B2 (en) * 2013-03-24 2016-07-19 Sergey Mavrody Electronic display with a virtual bezel
US20140355179A1 (en) * 2013-06-04 2014-12-04 Spire Corporation Method of preventing cracking in glass display screens
EP2814234A1 (en) * 2013-06-11 2014-12-17 Nokia Corporation Apparatus for controlling camera modes and associated methods
EP3050317A4 (en) * 2013-09-29 2017-04-26 Nokia Technologies Oy Apparatus for enabling control input modes and associated methods
TWI502474B (zh) * 2013-11-28 2015-10-01 Acer Inc 使用者介面的操作方法與電子裝置
US9558713B2 (en) * 2013-12-18 2017-01-31 Google Inc. Dynamic transparency adjustment of user interface element
KR102220447B1 (ko) * 2014-01-15 2021-02-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
ES2648823T3 (es) * 2014-03-28 2018-01-08 Huawei Device (Dongguan) Co., Ltd. Procedimiento y aparato para determinar el color de un control de interfaz, y dispositivo terminal
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
KR20160020738A (ko) 2014-08-14 2016-02-24 삼성전자주식회사 전자 장치 및 전자 장치의 사용자 인터페이스 제공 방법
US20160077793A1 (en) 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
KR20160046633A (ko) * 2014-10-21 2016-04-29 삼성전자주식회사 입력 지원 방법 및 이를 지원하는 전자 장치
US9933868B2 (en) * 2014-12-16 2018-04-03 Microsoft Technology Licensing, Llc Flexible touch sensor
US20160202865A1 (en) * 2015-01-08 2016-07-14 Apple Inc. Coordination of static backgrounds and rubberbanding
CN104598111B (zh) 2015-01-15 2018-10-02 小米科技有限责任公司 切换显示模式的方法及装置
KR102285188B1 (ko) * 2015-02-13 2021-08-05 삼성전자주식회사 시인성 개선을 위한 이미지 처리 방법 및 이를 지원하는 전자 장치
KR20160105121A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치의 동작 방법, 전자 장치 및 저장 매체
KR102377277B1 (ko) * 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
US20160259544A1 (en) * 2015-03-04 2016-09-08 Artem Polikarpov Systems And Methods For Virtual Periphery Interaction
CN104765518B (zh) * 2015-04-20 2017-11-07 合肥鑫晟光电科技有限公司 一种触摸基板及其制造方法、显示装置
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
CN105224126B (zh) * 2015-09-17 2017-02-01 京东方科技集团股份有限公司 触摸屏及其压力触控检测方法
WO2017061749A1 (ko) * 2015-10-05 2017-04-13 주식회사 아모그린텍 터치 압력 감지 장치
CN105791561A (zh) * 2016-02-26 2016-07-20 努比亚技术有限公司 一种实现移动终端的控制方法和装置
CN106201535B (zh) * 2016-07-14 2019-08-23 广州神马移动信息科技有限公司 工具栏背景颜色随着图片的主颜色而变换的方法和装置
US10228783B2 (en) * 2016-08-04 2019-03-12 Dell Products L.P. System and method for ESD protection in a touch screen display
US10140675B2 (en) * 2016-11-28 2018-11-27 Google Llc Image grid with selectively prominent images

Also Published As

Publication number Publication date
EP3316113A1 (en) 2018-05-02
US20180121067A1 (en) 2018-05-03
EP3923129A1 (en) 2021-12-15
CN113778177A (zh) 2021-12-10
CN108024009B (zh) 2022-04-01
EP3734435A1 (en) 2020-11-04
CN108024009A (zh) 2018-05-11
US10671258B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
KR101927438B1 (ko) 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법
CN108024009B (zh) 一种电子设备及其方法
KR20180044129A (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
KR102459031B1 (ko) 전자 장치 및 그 어플리케이션 표시 방법
KR20180095409A (ko) 전자 장치 및 전자 장치의 화면 표시 방법
KR20180062654A (ko) 병용(combined) 버튼을 가지는 전자 장치 및 전자 장치의 병용 버튼 제어방법
KR20180128178A (ko) 콘텐츠를 표시하기 위한 방법 및 그 전자 장치
KR20170040643A (ko) 복수의 디스플레이를 구비한 전자장치 및 그 제어 방법
KR20180004427A (ko) 유저 인터페이스 제공 방법 및 이를 지원하는 전자 장치
KR20180079904A (ko) 전자 장치 및 그의 표시 방법
EP3107087B1 (en) Device for controlling multiple areas of display independently and method thereof
KR20180089133A (ko) 디스플레이 제어 방법 및 전자 장치
KR20180098080A (ko) 멀티태스킹을 위한 인터페이스 제공 방법 및 이를 구현하는 전자 장치
KR102587138B1 (ko) 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
KR20180083764A (ko) 전자 장치의 사용 환경에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
KR102553558B1 (ko) 전자 장치 및 전자 장치의 터치 이벤트 처리 방법
KR20180089810A (ko) 전자 장치 및 전자 장치의 터치 좌표 판단 방법
KR20170137404A (ko) 어플리케이션을 전환하기 위한 방법 및 그 전자 장치
KR20180094290A (ko) 전자 장치 및 전자 장치의 수중 촬영 판단 방법
KR20180081232A (ko) 화면을 표시하기 위한 방법 및 그 전자 장치
KR102536148B1 (ko) 전자 장치의 동작 방법 및 장치
KR20170114515A (ko) 화면을 표시하는 전자 장치 및 그 제어 방법
KR20180043098A (ko) 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR20180019907A (ko) 전자 장치 및 그의 운용 제공 방법
KR20180009147A (ko) 압력 입력을 이용한 사용자 인터페이스 제공 방법 및 이를 구현한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal