KR20240033613A - 플렉서블 디스플레이를 갖는 전자 장치 및 그의 파지 상태에 기반한 제어 객체 제공 방법 - Google Patents
플렉서블 디스플레이를 갖는 전자 장치 및 그의 파지 상태에 기반한 제어 객체 제공 방법 Download PDFInfo
- Publication number
- KR20240033613A KR20240033613A KR1020220133910A KR20220133910A KR20240033613A KR 20240033613 A KR20240033613 A KR 20240033613A KR 1020220133910 A KR1020220133910 A KR 1020220133910A KR 20220133910 A KR20220133910 A KR 20220133910A KR 20240033613 A KR20240033613 A KR 20240033613A
- Authority
- KR
- South Korea
- Prior art keywords
- control object
- electronic device
- area
- display
- state
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000005457 optimization Methods 0.000 claims abstract description 142
- 238000007667 floating Methods 0.000 claims description 143
- 230000009471 action Effects 0.000 claims description 136
- 230000006870 function Effects 0.000 claims description 64
- 230000000007 visual effect Effects 0.000 claims description 59
- 238000005192 partition Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 154
- 238000010586 diagram Methods 0.000 description 72
- 238000004891 communication Methods 0.000 description 49
- 210000003811 finger Anatomy 0.000 description 45
- 238000001514 detection method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 230000001276 controlling effect Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 12
- 210000003813 thumb Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 210000004247 hand Anatomy 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000011017 operating method Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000012790 adhesive layer Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 개시의 실시예들은 플렉서블 디스플레이를 갖는 전자 장치 및 전자 장치에서 사용자의 파지 상태에 기반하여 제어 객체를 제공하는 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치는, 디스플레이, 센서 모듈, 메모리, 및 프로세서를 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서는 전자 장치의 지정된 상태에서 어플리케이션의 실행 화면을 표시하도록 상기 디스플레이를 제어할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 실행 화면에서 제어 객체를 검출하도록 동작할 수 있다. 일 실시예에 따르면, 상기 프로세서는 사용자의 파지 상태를 판단하도록 동작할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하도록 동작할 수 있다. 일 실시예에 따르면, 상기 프로세서는 상기 타겟 제어 객체로 식별된 제어 개체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하도록 동작할 수 있다. 다양한 실시예들이 가능하다.
Description
본 개시의 다양한 실시예들은 플렉서블 디스플레이(flexible display)(또는 폴더블 디스플레이(foldable display))를 갖는 전자 장치 및 전자 장치에서 사용자의 파지 상태에 기반하여 제어 객체(control object)를 제공하는 방법을 제공한다.
디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰(smart phone), 태블릿 PC(personal computer), 및/또는 랩탑(laptop) PC와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 개량되고 있다.
전자 장치는, 휴대성을 위해 제한된 크기를 가질 수 있으며, 이로 인하여 디스플레이의 크기도 제약되고 있다. 이에, 최근에는 멀티 디스플레이(multi display)에 의해 전자 장치에서 보다 확장된 화면을 제공하는 다양한 형태의 전자 장치가 개발되고 있다. 예를 들면, 전자 장치는 복수 개의 디스플레이를 구비하여 멀티 디스플레이에 의한 확장된 화면을 제공하고 있다. 예를 들면, 전자 장치는 한정된 크기를 가지는 디스플레이에서 화면의 크기가 점진적으로 커지고 있으며, 사용자에게 큰 화면을 통해 다양한 서비스(또는 기능)를 제공하도록 설계되고 있다.
최근 전자 장치는 멀티 디스플레이(예: 듀얼 디스플레이(dual display)) 장치(예: 폴더블 장치(foldable device))와 같은 새로운 폼 팩터(form factor)를 가질 수 있다. 폴더블 장치는 접히는(또는 휘어지는) 디스플레이(예: 플렉서블 디스플레이(flexible display) 또는 폴더블 디스플레이(foldable display))를 탑재하고, 접어서 사용하거나 펼쳐서 사용할 수 있다. 전자 장치는 멀티 디스플레이 구현과 같은 새로운 폼 팩터에 따라, 멀티 디스플레이에 대응하는 사용자 인터페이스(UI, user interface) 및 그의 운영에 관한 개발의 필요성이 증대되고 있다.
전자 장치는 사용자의 파지 상태에 관계없이 고정된 사용자 인터페이스를 제공할 수 있다. 예를 들어, 전자 장치는 펼쳐진 상태 또는 접힌 상태에서 사용자의 파지 상태와 관계없이 동일하게 구성된 사용자 인터페이스를 제공할 수 있다. 하지만, 대화면을 갖는 전자 장치의 경우 사용자 인터페이스에 대한 사용자 접근성이 저하될 수 있다. 예를 들어, 대화면의 전자 장치에서 사용자의 손가락이 닿지 않는 영역에 제공된 제어 객체를 사용자가 선택(또는 터치)하는 것이 어려운 상황이 발생될 수 있다.
본 개시의 일 실시예에서는, 전자 장치에서 실행 중인 어플리케이션에 관련된 제어 객체(control object)(또는 컨트롤러(controller))를, 사용자가 전자 장치를 파지한 상태에 따른 최적화 영역에 중복 제공할 수 있는 방법 및 이를 지원하는 전자 장치를 제공한다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따른 전자 장치는, 디스플레이; 메모리; 및 상기 디스플레이 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 일 실시예에 따른 상기 프로세서는 전자 장치의 지정된 상태에서 어플리케이션의 실행 화면을 표시하도록 상기 디스플레이를 제어할 수 있다. 일 실시예에 따른 상기 프로세서는 상기 실행 화면에서 제어 객체를 검출하도록 동작할 수 있다. 일 실시예에 따른 상기 프로세서는 사용자의 파지 상태를 판단하도록 동작할 수 있다. 일 실시예에 따른 상기 프로세서는 상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하도록 동작할 수 있다. 일 실시예에 따른 상기 프로세서는 상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하도록 동작할 수 있다.
본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, 전자 장치의 지정된 상태에서 어플리케이션의 실행 화면을 표시하는 동작 수행을 포함할 수 있다. 동작 방법은, 상기 실행 화면에서 제어 객체를 검출하는 동작 수행을 포함할 수 있다. 동작 방법은, 사용자의 파지 상태를 판단하는 동작 수행을 포함할 수 있다. 동작 방법은, 상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하는 동작 수행을 포함할 수 있다. 동작 방법은, 상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하는 동작 수행을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 개시의 다양한 실시예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
일 실시예에 따르면, 하나 이상의 프로그램들을 저장하는 비 일실적(non-transitory) 컴퓨터 판독 가능 저장 매체(또는 컴퓨터 프로그램 프로덕트(product))가 기술된다. 일 실시예에 따르면, 하나 이상의 프로그램들은, 전자 장치의 프로세서에 의해 실행될 시, 상기 전자 장치의 지정된 상태에서 어플리케이션의 실행 화면을 표시하는 동작, 상기 실행 화면에서 제어 객체를 검출하는 동작, 사용자의 파지 상태를 판단하는 동작, 상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하는 동작, 및 상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하는 동작을 수행하는 명령어를 포함할 수 있다.
본 개시의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 개시의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 개시의 바람직한 실시예와 같은 특정 실시예는 단지 예시로 주어진 것으로 이해되어야 한다.
본 개시의 일 실시예에 따른 전자 장치, 그 동작 방법 및 기록 매체에 따르면, 전자 장치에서 실행 중인 어플리케이션에 관련된 제어 객체(control object)(또는 컨트롤러(controller))를, 사용자가 전자 장치를 파지한 상태에 따른 최적화 영역에 중복 제공하여 사용자의 손가락 이동 거리를 최소화 할 수 있다. 본 개시의 일 실시예에 따른 전자 장치, 그 동작 방법 및 기록 매체에 따르면, 현재 파지 상태에서 가장 접근이 어려운 영역의 제어 객체를 가장 최적화된 영역에서 중복 제공하여, 사용자의 손가락이 닿지 않는 영역에 제공된 제어 객체에 대한 사용자 접근성을 향상할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도면 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 모듈의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면들이다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치의 펼쳐진 상태를 도시하는 도면이다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치의 접힌 상태를 도시하는 도면이다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치의 부분적으로 접힌 상태 또는 중간 상태를 도시하는 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 지정된 상태의 일 예를 도시하는 도면이다.
도 12는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 전자 장치에서 디스플레이의 영역을 가상 분할하는 일 예를 도시하는 도면이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치에서 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 15a는 본 개시의 일 실시예에 따른 제어 객체 및 그가 제공되는 일 예를 설명하기 위한 도면이다.
도 15b는 본 개시의 일 실시예에 따른 제어 객체 및 그가 제공되는 일 예를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 18은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 19a는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
도 19b는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
도 20은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 21은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 22는 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 23은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 24는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
도 25는 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 26은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 27a는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 27b는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 28은 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 29는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 30은 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 중복 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 31은 본 개시의 일 실시예에 따른 전자 장치에서 중복 제어 객체가 제공되는 일 예를 도시하는 도면이다.
도 32는 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 33은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 34는 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 35는 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 36은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 37은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 모듈의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면들이다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치의 펼쳐진 상태를 도시하는 도면이다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치의 접힌 상태를 도시하는 도면이다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치의 부분적으로 접힌 상태 또는 중간 상태를 도시하는 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 지정된 상태의 일 예를 도시하는 도면이다.
도 12는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 전자 장치에서 디스플레이의 영역을 가상 분할하는 일 예를 도시하는 도면이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치에서 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 15a는 본 개시의 일 실시예에 따른 제어 객체 및 그가 제공되는 일 예를 설명하기 위한 도면이다.
도 15b는 본 개시의 일 실시예에 따른 제어 객체 및 그가 제공되는 일 예를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 18은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 19a는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
도 19b는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
도 20은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 21은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 22는 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 23은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 24는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
도 25는 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 26은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
도 27a는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 27b는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 28은 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 29는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
도 30은 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 중복 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 31은 본 개시의 일 실시예에 따른 전자 장치에서 중복 제어 객체가 제공되는 일 예를 도시하는 도면이다.
도 32는 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 33은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 34는 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 35는 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 36은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 37은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면이다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC, massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예들에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 모듈의 블록도(200)이다.
도 2를 참조하면, 디스플레이 모듈(160)은 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI, display driver IC)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 매핑 모듈(237)을 포함할 수 있다.
DDI(230)는, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(231)을 통해 전자 장치(101)의 다른 구성 요소로부터 수신할 수 있다. 예를 들면, 영상 정보는 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123)(예: 그래픽 처리 장치))로부터 수신될 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176)과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션 할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다.
이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리(pre-processing) 또는 후처리(post-processing)(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다.
매핑 모듈(237)은 이미지 처리 모듈(235)을 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일 실시 예에 따르면, 전압 값 또는 전류 값의 생성은, 예를 들면, 디스플레이(210)의 픽셀(pixel)들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)를 통해 표시될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는, 예를 들면, 디스플레이(210)의 특정 위치에 대한 터치 입력 또는 호버링(hovering) 입력을 감지하기 위해 터치 센서(251)를 제어할 수 있다. 예를 들면, 터치 센서 IC(253)는 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(253)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120)에 제공할 수 있다. 일 실시 예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 DDI(230), 또는 디스플레이(210)의 일부로, 또는 디스플레이 모듈(160)의 외부에 배치된 다른 구성 요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 디스플레이 모듈(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드될 수 있다. 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일 실시 예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어(pixel layer)의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
도 3, 도 4, 도 5, 및 도 6은 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면들이다.
일 실시예에 따르면, 도 3, 도 4, 도 5, 또는 도 6은 일 실시예에 따른 전자 장치(101)에서 디스플레이 종류에 따라 디스플레이 형태(또는 전자 장치의 상태)를 변경하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 3, 도 4, 도 5, 또는 도 6에서는 접히는(또는 휘어지는) 디스플레이(예: 폴더블 디스플레이(foldable display) 또는 플렉서블 디스플레이(flexible display))를 포함하는 전자 장치(101)에서 디스플레이(예: 도 2의 디스플레이(210)) 형태를 변경하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 3, 도 4, 도 5, 또는 도 6에 도시된 예시와 같이, 전자 장치(101)는 다양한 형태로 구현될 수 있고, 전자 장치(101)의 구현 형태에 따라 디스플레이가 다양한 방식으로 폴딩(folding) 및 언폴딩(unfolding) 될 수 있다.
도 3 및 도 4에 도시된 전자 장치(101)의 예시는, 전자 장치(101)가 각각 하나의 폴딩 축을 가지는 예를 나타낼 수 있다. 예를 들면, 도 3 및 도 4에서는 2개의 디스플레이 면(예: 제1 디스플레이 면 및 제2 디스플레이 면)을 포함하는 전자 장치(101)에서 디스플레이(예: 도 2의 디스플레이(210)) 형태를 변경하는 예를 나타낼 수 있다. 도 5 및 도 6에 도시된 전자 장치(101)의 예시는, 전자 장치(101)가 두 개의 폴딩 축을 가지는 예를 나타낼 수 있다. 예를 들면, 도 5 및 도 6에서는 3개의 디스플레이 면(예: 제1 디스플레이 면, 제2 디스플레이 면, 및 제3 디스플레이 면)을 포함하는 전자 장치(101)에서 디스플레이(210) 형태를 변경하는 예를 나타낼 수 있다. 다양한 실시예들이 이에 한정되는 것은 아니며, 이는 예시적인 것으로, 전자 장치(101)가 가질 수 있는 폴딩 축들의 수는 제한하지 않는다.
일 실시예에 따르면, 전자 장치(101)는 접었다 펼칠 수 있는 폴더블이 가능한 폴더블 장치(foldable device))를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 접히는(또는 휘어지는) 디스플레이(예: 폴더블 디스플레이 또는 플렉서블 디스플레이)를 탑재하고, 접어서 사용하거나 펼쳐서 사용할 수 있다.
일 실시예에 따르면, 인-폴딩(in folding) 방식의 전자 장치(101)는 접었을 때(예: 도 3 또는 도 5의 형태에 기반한 접힌 상태(또는 닫힌 상태)(folded state)) 폴딩되는 지점(예: 폴딩 축 또는 힌지 축)을 기준으로 디스플레이(210)의 제1 디스플레이 면(또는 제1 영역)과 제2 디스플레이 면(또는 제2 영역)의 적어도 일부가 서로 맞닿아 닫힌 상태일 수 있다.
일 실시예에 따르면, 아웃-폴딩(out folding) 방식의 전자 장치(101)는 접었을 때(예: 도 4의 형태에 기반한 접힌 상태) 폴딩되는 지점(예: 폴딩 축 또는 힌지 축)을 기준으로 하우징(housing)(예: 커버)의 제1 부분과 제2 부분의 적어도 일부가 서로 맞닿아 닫힌 상태일 수 있다.
일 실시예에 따르면, 인/아웃-폴딩 방식의 전자 장치(101)는 접었을 때(예: 도 6의 형태에 기반한 접힌 상태) 폴딩되는 제1 지점(예: 제1 폴딩 축)을 기준으로 하우징(예: 커버)의 제1 부분과 제2 부분의 적어도 일부가 서로 맞닿고, 폴딩되는 제2 지점(예: 제2 폴딩 축)을 기준으로 디스플레이(210)의 제2 디스플레이 면(또는 제2 영역)과 제3 디스플레이 면(또는 제3 영역)의 적어도 일부가 서로 맞닿아 닫힌 상태일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 펼쳤을 때(예: 펼쳐진 상태(또는 열린 상태))는 디스플레이(210)의 모든 디스플레이 면(또는 영역)을 한 면(또는 전체 면)으로 제공하여 상대적으로 큰 크기로 디스플레이를 이용할 수 있다. 일 실시예에 따라, 도 3, 도 4, 도 5, 또는 도 6은 전자 장치(101)의 디스플레이가 폴딩 축(또는 힌지 축)을 기준으로 일정 각도(예: 약 180도) 이하로 접힌 상태(예: 부분적으로 닫힌 상태)를 나타낼 수 있다.
일 실시예에 따르면, 도 3, 도 4, 도 5, 또는 도 6의 예시와 같은 전자 장치(101)는, 프로세서(예: 도 1의 프로세서(120)) 및 디스플레이(210)와 작동적으로 또는 전기적으로 연결된 하나의 디스플레이 드라이버 IC(DDI, display driver IC)(예: 도 2의 DDI(230))를 포함할 수 있다. 예를 들면, 제1 디스플레이 면과 제2 디스플레이 면은 하나의 DDI와 연결될 수 있다.
본 개시의 실시예들이 이에 제한되지 않으며, 전자 장치(101)는 제1 디스플레이 면과 작동적으로 또는 전기적으로 연결된 제1 DDI, 및 제2 디스플레이 면과 작동적으로 또는 전기적으로 연결된 제2 DDI를 포함할 수 있다. 일 실시예에 따르면, 제1 디스플레이 면 및 제2 디스플레이 면은 서로 작동적으로 또는 전기적으로 연결될 수 있고, 하나의 디스플레이(210)(예: 폴더블 디스플레이 또는 플렉서블 디스플레이)에 의하여 형성될 수 있다.
본 개시의 실시예들에 따르면, 전자 장치(101)는 구현 형태에 따라 디스플레이(210)가 다양한 방식(예: 인-폴딩, 아웃-폴딩, 또는 인/아웃 폴딩)으로 폴딩 또는 언폴딩 될 수 있다.
도 3을 참조하면, 전자 장치(101)는 제1 디스플레이 면(310)(또는 제1 영역) 및 제2 디스플레이 면(320)(또는 제2 영역)을 포함하는 디스플레이(210)를 고정하는 하우징(350)을 포함할 수 있다. 일 실시예에 따르면, 하우징(350)은 폴더블(foldable) 구조(예: 힌지(hinge) 구조)를 포함할 수 있고, 제1 부분(301) 및 제2 부분(303)은 접힌 상태(또는 닫힌 상태)에서, 서로 반대 방향으로 향하고(facing away from each other), 펼쳐진 상태(또는 열린 상태)에서, 서로 동일한 방향으로 향하도록 형성될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 중심(예: 디스플레이(210)의 중심, 또는 제1 디스플레이 면(310)과 제2 디스플레이 면(320)의 사이)을 지나는 수직 방향의 폴딩 축(390)을 포함할 수 있다. 전자 장치(101)는 폴딩 축(390)을 기준으로 접히거나, 펼쳐지거나, 또는 구부러질 수 있다. 일 실시예에 따라, 도 3은 전자 장치(101)의 디스플레이(210)(예: 제1 디스플레이 면(310), 제2 디스플레이 면(320))가 외부로 노출되지 않도록 안쪽으로 접히는 형태를 나타낼 수 있다.
도 3에 예시된 전자 장치(101)의 형태에서, 전자 장치(101)가 완전히 접혔다는 것은(예: 폴디드 상태), 전자 장치(101)에서 디스플레이(210)에 포함된 어느 두 부분들(예: 제1 디스플레이 면(310)과 제2 디스플레이 면(320))이 서로 마주 봄으로써(또는 대면되어), 두 부분이 완전히 평행 또는 거의 평행해진 것을 의미할 수 있다. 예를 들면, 전자 장치(101)가 완전히 접혔다는 것은 전자 장치(101)의 두 부분이 반드시 접촉할 필요는 없지만, 거의 근접하게 배치된 것을 의미할 수 있다.
도 3에 예시된 전자 장치(101)의 형태에서, 전자 장치(101)가 완전히 펼쳐졌다는 것은(예: 언폴디드 상태), 전자 장치(101)의 디스플레이(210)의 제1 디스플레이 면(310)과 디스플레이(210)의 제2 디스플레이 면(320)이 외부로 시각적으로 노출되어 하나의 디스플레이(210)와 같이 평면을 이루는 상태로, 디스플레이(210)가 외부로 노출되는 면적이 가장 크거나, 또는 가장 큰 면적에 근접할 때를 나타낼 수 있다.
도 4를 참조하면, 전자 장치(101)는 제1 디스플레이 면(410)(또는 제1 영역) 및 제2 디스플레이 면(420)(또는 제2 영역)을 포함하는 디스플레이(210)를 고정하는 하우징(450)을 포함할 수 있다. 일 실시예에 따르면, 하우징(450)은 폴더블 구조(예: 힌지 구조)를 포함할 수 있고, 제1 부분(401) 및 제2 부분(403)은 접힌 상태에서, 서로 반대 방향으로 향하고, 펼쳐진 상태에서, 서로 동일한 방향으로 향하도록 형성될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 중심을 지나는 수직 방향의 폴딩 축(490)을 포함할 수 있다. 전자 장치(101)는 폴딩 축(490)을 기준으로 접히거나, 펼쳐지거나, 또는 구부러질 수 있다. 일 실시예에 따라, 도 4는 전자 장치(101)의 디스플레이(210)(예: 제1 디스플레이 면(410), 제2 디스플레이 면(420))가 전자 장치(101)의 외부로 시각적으로 노출되도록 바깥쪽으로 접히는 형태를 나타낼 수 있다.
도 4에 예시된 전자 장치(101)의 형태에서, 전자 장치(101)가 완전히 접혔다는 것은 전자 장치(101)의 일 면(예: 배면)에 포함된 두 부분(예: 하우징)이 대면되어, 두 부분이 완전히 평행 또는 거의 평행해진 것을 나타낼 수 있다. 예를 들면, 전자 장치(101)가 완전히 접혔다는 것은 전자 장치(101)의 일 면에 포함된 두 부분이 반드시 접촉할 필요는 없지만, 거의 근접하게 배치된 것을 의미할 수 있다.
도 4에 예시된 전자 장치(101)의 형태에서, 전자 장치(101)가 완전히 펼쳐졌다는 것은, 전자 장치(101)의 디스플레이(210)의 제1 디스플레이 면(410)과 디스플레이(210)의 제2 디스플레이 면(420)이 외부로 노출되어 하나의 디스플레이(210)와 같이 평면을 이루는 상태로, 디스플레이(210)가 외부로 노출되는 면적이 가장 크거나, 또는 가장 큰 면적에 근접할 때를 나타낼 수 있다.
도 3 및 도 4에 도시된 예시에서, 폴딩 축(390, 490)은 전자 장치(101)의 중심을 지나도록 도시되었으나, 폴딩 축(390, 490)은 전자 장치(101)에서 임의의 위치에 존재할 수 있다. 예를 들면, 전자 장치(101)는 폴딩 축(390, 490)을 기준으로 비 대칭적으로 접히거나, 구부러질 수 있고, 전자 장치(101)가 접힌 상태에서 폴딩 축(390, 490)에 의해 나뉘어지는 두 디스플레이 면(또는 두 영역)이 마주보는 크기(또는 접힌 후 구분되는 각각의 디스플레이 면의 크기)가 상이할 수 있다. 또한, 전자 장치(101)의 접힘 정도에 따라, 전자 장치(101)의 형태는 완전히 접히거나, 완전히 펼쳐진 형태의 중간 형태일 수 있다.
일 실시예에 따라, 전자 장치(101)는 전자 장치(101)의 접힌 상태 또는 접힌 정도를 감지할 수 있다. 일 실시예에 따라, 전자 장치(101)는 접힌 상태 또는 접힌 정도를 감지하여 디스플레이(210)의 일부 디스플레이 면(또는 일부 영역)을 활성화 또는 비활성화 할 수 있다.
일 실시예에 따라, 도 3의 예시된 바와 같은 방식에서, 전자 장치(101)는 전자 장치(101)의 접힌 상태를 감지하면, 디스플레이(210)의 모든 디스플레이 면(예: 제1 디스플레이 면(310) 및 제2 디스플레이 면(320))을 모두 비활성화 할 수 있다. 일 실시예에 따라, 도 4에 예시된 바와 같은 방식에서, 전자 장치(101)는 전자 장치(101)의 접힘 상태를 감지하면, 전자 장치(101)가 사용되는 디스플레이 면(예: 제1 디스플레이 면(410)(예: 전면(front surface)) 또는 제2 디스플레이 면(420)(예: 후면(rear surface)))을 판단하고, 판단하는 결과에 기반하여 사용되는 디스플레이(210)의 일 면은 활성화 하고, 사용되지 않는 디스플레이(210)의 타 면은 비활성화 할 수 있다.
도 5를 참조하면, 전자 장치(101)는 제1 디스플레이 면(510)(또는 제1 영역), 제2 디스플레이 면(520)(또는 제2 영역), 및 제3 디스플레이 면(530)(또는 제3 영역)을 포함하는 디스플레이(210)를 고정하는 하우징(550)을 포함할 수 있다. 일 실시예에 따르면, 하우징(550)은 폴더블 구조(예: 힌지 구조)를 포함할 수 있다. 전자 장치(101)가 접힌 상태에서 제1 부분(501) 및 제3 부분(505)은 제2 부분(503)과 서로 반대 방향으로 향하고, 제1 부분(501) 및 제3 부분(505)은 서로 동일한 방향을 향할 수 있다. 전자 장치(101)가 펼쳐진 상태에서, 제1 부분(501), 제2 부분(503), 및 제3 부분(505)은 서로 동일한 방향을 향하도록 형성될 수 있다.
일 실시예에 따르면, 도 5는 두 개의 폴딩 축들(590, 595)을 포함하는 전자 장치(101)의 예를 나타낼 수 있다. 도 5에서, 두 개의 폴딩 축(590, 595)은 각각 전자 장치(101)를 삼등분 하도록 수직 방향으로 채용되는 예시를 나타낼 수 있다. 전자 장치(101)는 폴딩 축(590, 595)을 기준으로 접히거나, 펼쳐지거나, 또는 구부러질 수 있다. 예를 들면, 도 5에 예시된 전자 장치(101)는 G 폴드 타입의 예를 나타낼 수 있고, 전자 장치(101)의 정면에서 바라본 부분적으로 접힌 상태(또는 부분적으로 펼쳐진 상태)와 전자 장치(101)의 배면(또는 아래)에서 바라본 접힌 상태를 나타낼 수 있다.
도 5에 예시된 바와 같은 전자 장치(101)는 각각의 폴딩 축(590, 595)을 기준으로 접히거나 구부러지는 방향이 상이할 수 있다. 이는 예시적인 것이고, 전자 장치(101)는 각각의 폴딩 축(590, 595)을 기준으로 접히거나 구부러지는 방향이 동일할 수도 있다. 일 실시예에 따르면, 전자 장치(101)는 디스플레이(210)의 제1 디스플레이 면(510)과 제2 디스플레이 면(520)이 대면하여 접히고, 제2 디스플레이 면(520)과 제3 디스플레이 면(530)이 대면하여 접힐 수 있다. 이에 한정하지 않으며, 도 5에 예시된 전자 장치(101)가 아웃-폴딩 방식으로 접히는 형태인 경우, 제1 디스플레이 면(510), 제2 디스플레이 면(520), 및 제3 디스플레이 면(530)이 외부에 노출되고, 제1 디스플레이 면(510)의 배면과 제2 디스플레이 면(520)의 배면이 대면하여 접히고, 제2 디스플레이 면(520)의 배면과 제3 디스플레이 면(530)의 배면이 대면하여 접힐 수 있다.
일 실시예에 따르면, 두 개의 폴딩 축(590, 595)이 전자 장치(101) 상에서 채용되는 위치에 따라, 전자 장치(101)는 각각의 폴딩 축(590, 595)을 기준으로 비 대칭적으로 접히거나, 구부러질 수 있고, 전자 장치(101)가 폴딩 축(590, 595)을 기준으로 완전히 접힌 경우에도 폴딩 축(590, 595)들에 의해 구분되는 전자 장치(101)의 각 디스플레이 면(또는 각 영역)이 완전히 겹쳐지지 않을 수 있다. 일 실시예에 따르면, 도 5에 예시된 바와 같은 전자 장치(101)에 폴딩 축(590, 595)이 구비된 경우에도 전자 장치(101)의 전면 및/또는 후면에 디스플레이(210)가 채용될 수 있고, 전술한 도 3 및 도 4를 참조한 설명 부분에서 설명한 바와 같은, 유사한 방식으로 디스플레이(210)를 활성화하거나 비활성화 할 수 있다.
도 6을 참조하면, 전자 장치(101)는 제1 디스플레이 면(610)(또는 제1 영역), 제2 디스플레이 면(620)(또는 제2 영역), 및 제3 디스플레이 면(630)(또는 제3 영역)을 포함하는 디스플레이(210)를 고정하는 하우징(650)을 포함할 수 있다. 일 실시예에 따르면, 하우징(650)은 폴더블 구조(예: 힌지 구조)를 포함할 수 있다. 전자 장치(101)가 접힌 상태에서 제1 부분(601) 및 제3 부분(605)은 제2 부분(603)과 서로 반대 방향으로 향하고, 제1 부분(601) 및 제3 부분은(605)은 서로 동일한 방향을 향할 수 있다. 전자 장치(101)가 펼쳐진 상태에서, 제1 부분(601), 제2 부분(603), 및 제3 부분(605)은 서로 동일한 방향을 향하도록 형성될 수 있다.
일 실시예에 따르면, 도 6은 두 개의 폴딩 축들(690, 695)을 포함하는 전자 장치(101)의 예를 나타낼 수 있다. 도 6에서, 두 개의 폴딩 축(690, 695)은 각각 전자 장치(101)를 삼등분 하도록 수직 방향으로 채용되는 예시를 나타낼 수 있다. 전자 장치(101)는 폴딩 축(690, 695)을 기준으로 접히거나, 펼쳐지거나, 또는 구부러질 수 있다. 예를 들면, 도 6에 예시된 전자 장치(101)는 S 폴드 타입의 예를 나타낼 수 있고, 전자 장치(101)의 정면에서 바라본 부분적으로 접힌 상태(또는 부분적으로 펼쳐진 상태)와 전자 장치(101)의 배면에서 바라본 접힌 상태를 나타낼 수 있다.
도 6에 예시된 바와 같은 전자 장치(101)는 각각의 폴딩 축(690, 695)을 기준으로 접히거나 구부러지는 방향이 상이할 수 있다. 이는 예시적인 것이고, 전자 장치(101)는 각각의 폴딩 축(690, 695)을 기준으로 접히거나 구부러지는 방향이 동일할 수도 있다. 일 실시예에 따르면, 전자 장치(101)는 디스플레이(210)의 제1 디스플레이 면(610)이 외부로 노출되고, 제1 디스플레이 면(610)의 배면과 제2 디스플레이 면(620)의 배면이 대면하여 접히고, 디스플레이(210)의 제2 디스플레이 면(620)과 제3 디스플레이 면(630)이 대면하여 접힐 수 있다.
일 실시예에 따르면, 두 개의 폴딩 축(690, 695)이 전자 장치(101) 상에서 채용되는 위치에 따라, 전자 장치(101)는 각각의 폴딩 축(690, 695)을 기준으로 비 대칭적으로 접히거나, 구부러질 수 있고, 전자 장치(101)가 폴딩 축(690, 695)을 기준으로 완전히 접힌 경우에도 폴딩 축(690, 695)들에 의해 구분되는 전자 장치(101)의 각 디스플레이 면(또는 각 영역)이 완전히 겹쳐지지 않을 수 있다. 일 실시예에 따르면, 도 6에 예시된 바와 같은 전자 장치(101)에 폴딩 축(690, 695)이 구비된 경우에도 전자 장치(101)의 전면 및/또는 후면에 디스플레이(210)가 채용될 수 있고, 전술한 도 3 및 도 4를 참조한 설명 부분에서 설명한 바와 같은, 유사한 방식으로 디스플레이(210)를 활성화하거나 비활성화 할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 다양한 방식에 기반하여 디스플레이(210)의 형태 변화(예: 폴딩 또는 언폴딩)를 감지할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 적어도 하나의 센서(예: 도 1의 센서 모듈(176))에 기반한 상태 감지 센서를 포함할 수 있다. 일 실시예에 따르면, 상태 감지 센서는, 예를 들면, 근접 센서, 조도 센서, 마그네틱 센서, 홀 센서, 제스처 센서, 벤딩 센서, 적외선 센서, 터치 센서, 압력 센서, 또는 적외선 카메라 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 일 실시예에 따르면, 상태 감지 센서는 전자 장치(101)의 어느 일 측(예: 폴딩 축, 하우징 끝단, 디스플레이(210) 하단(예: 패널 아래(under panel), 및/또는 디스플레이(210)의 베젤)에 위치하여 전자 장치(101)의 펼침(또는 접힘) 각도를 측정할 수 있다. 펼침 각도는 전자 장치(101)가 폴딩 축에 의해 나뉘어진 두 디스플레이 면이 폴딩 축과 이루는 각도를 나타낼 수 있다. 일 실시예에 따라, 전자 장치(101)는 펼침 각도를 측정하여 전자 장치(101)가 완전히 접힌 상태인지, 완전히 펼쳐진 상태인지, 또는 일정 각도로 펼쳐진(또는 접힌) 상태인지 여부를 판단할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)가 측정한 펼침 각도(또는 접힘 각도)가 약 180도이거나 또는 이에 근접한 각도인 경우, 전자 장치(101)의 디스플레이(210)가 완전히 펼쳐진 것(예: 펼쳐진 상태)으로 판단할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 전자 장치(201)가 측정한 펼침 각도가 약 0도이거나 또는 이에 근접한 각도인 경우, 전자 장치(201)의 디스플레이(210)가 완전히 접힌 것(예: 접힌 상태)으로 판단할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)가 측정한 펼침 각도가 제1 지정된 각도(예: 부분적으로 접힌 상태에서 사용자의 시야가 보장되는 각도(예: 약 90도)) 이상이고 제2 지정된 각도(예: 약 180도) 미만인 경우(이하, ‘부분적으로 접힌 상태’라 한다), 전자 장치(101)의 디스플레이(210)가 부분적으로 접힌(또는 부분적으로 펼쳐진)(예: 부분적으로 접힌) 상태인 것으로 판단할 수 있다. 예를 들면, 전자 장치(101)는 상태 감지 센서의 적어도 하나의 센서로부터 획득된 데이터에 기반하여, 측정한 펼침 각도(또는 접힘 각도)가 미리 결정된 각도 범위(예: 제1 지정된 각도(예: 약 90도) ≤ 각도 < 제2 지정된 각도(예: 약 180도)) 이내인 경우, 전자 장치(101)의 디스플레이(210)가 미리 결정된 정도로 접히거나, 구부러지거나, 펼쳐진 것으로 판단할 수 있다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른 전자 장치의 일 예를 도시하는 도면들이다.
도 7a 및 도 7b에 예시한 바와 같이, 도 7a 및 도 7b는 롤-업(roll-up) 방식의 디스플레이(예: 롤러블 디스플레이(rollable display)))를 포함하는 전자 장치(101)(예: 롤러블 장치)의 예를 나타낼 수 있다.
일 실시예에 따라, 전자 장치(101)가 도 7a의 롤러블 장치의 형태로 구현된 경우, 사용자가 디스플레이(210)를 펼치는 정도에 따라, 디스플레이(210)가 외부로 시각적으로 노출되는 면적이 상대적으로 좁거나(예: 예시 <701>), 외부로 시각적으로 노출되는 면적이 상대적으로 넓을 수 있다(예: 예시 <703>). 예를 들어, 전자 장치(101)는 디스플레이(210)가 예시 <701>과 같이 외부로 노출되는 면적이 상대적으로 좁은 경우(예: 설정된 제1 범위 내까지 펼쳐진 경우), 제1 형태(예: 접힌 상태)(또는 바 타입 형태)로 사용될 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(210)가 예시 <703>과 같이 외부로 노출되는 면적이 상대적으로 넓은 경우(예: 설정된 제2 범위까지 펼쳐진 경우), 제2 형태(예: 펼쳐진 상태)(또는 태블릿 타입 또는 확장 디스플레이 타입)로 사용될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이(210)가 펼쳐지는 펼침 곡률(curvature) 정도(예: 곡률 반경(radius of curvature))에 기반하여, 디스플레이(210)가 외부로 노출되는 영역의 크기에 관련된 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는 상태 감지 센서에 기반하여, 디스플레이(210)(또는 전자 장치(101))가 펼쳐지는 펼침 곡률을 측정할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 펼침 곡률 정도를 측정하기 위해 임계 곡률(threshold curvature)이 미리 결정될 수 있으며, 이에 따라, 전자 장치(101)는 임계 곡률보다 큰 곡률로 펼쳐진 디스플레이(210)의 영역의 크기를 획득할 수 있다. 전자 장치(101)는 획득된 크기에 관련된 정보에 기반하여, 전자 장치(101)가 예시 <701>과 같이 제1 형태(예: 접힌 상태)로 사용되는지, 예시 <703>과 같이 제2 형태(예: 펼쳐진 상태)로 사용되는지 여부를 판단할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이(210)에 가상의 임계 선(threshold line)(790)을 두어, 전자 장치(101)의 디스플레이(210)가 외부로 노출되는 영역의 크기에 관련된 정보를 획득할 수 있다. 예를 들어, 전자 장치(101)는 상태 감지 센서에 기반하여, 디스플레이(210)에서 임계 선(790)을 기준으로 반대 방향에 위치하는 인접한 두 부분의 곡률 차이에 관한 정보를 획득할 수 있고, 곡률 차이가 미리 결정된 값보다 큰 경우, 디스플레이(210)가 임계 선(790)을 넘어서는 면적만큼 외부로 노출되었다고 판단할 수 있다. 전자 장치(101)는 획득된 크기에 관련된 정보에 기반하여, 전자 장치(101)가 예시 <701>과 같이 제1 형태로 사용되는지, 예시 <703>과 같이 제2 형태로 사용되는지 여부를 판단할 수 있다.
일 실시예에 따라, 전자 장치(101)가 도 7b의 롤러블 장치의 형태로 구현된 경우, 사용자가 디스플레이(210)(예: 제1 디스플레이(740) 및 제2 디스플레이(750))를 펼치는 정도에 따라, 디스플레이(210)가 외부로 노출되는 면적이 상대적으로 좁거나, 외부로 노출되는 면적이 상대적으로 넓을 수 있다.
일 실시예에 따르면, 전자 장치(101)의 롤러부(730)는 대략적인 원통 모양일 수 있고, 이에 한정되지 않는다. 일 실시예에 따라, 롤러부(730)는 롤러(720)를 포함할 수 있고, 롤러(720)를 감싸는 롤러 하우징(미도시)을 포함할 수 있다. 일 실시예에 따르면, 롤러(720)는 롤러부(730) 내부에서 도시하지 않은 베어링에 의해 회전 가능하게 장착될 수 있다. 일 실시예에 따르면, 디스플레이(210)의 제2 디스플레이(750)는 그 일부가 롤러부(730) 내부로 인입되어 롤러(720)와 접촉될 수 있다. 일 실시예에 따르면, 롤러(720)는 점착 기능이 있는 점착층(미도시)으로 코팅되어 제2 디스플레이(750)와 밀착될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이(210)(예: 제2 디스플레이(750))의 슬라이드 이동에 기반하여, 디스플레이(210)의 표시 화면이 적어도 부분적으로 확장 또는 축소될 수 있다. 예를 들어, 전자 장치(101)는 제1 디스플레이(740)의 일측의 폭이 부분적으로 가변되도록 슬라이딩 방식으로 동작될 수 있다. 예를 들어, 전자 장치(101)는 제1 디스플레이(740)의 타측의 폭이 부분적으로 가변되도록 슬라이딩 방식으로 동작될 수 있다. 일 실시예에 따라, 전자 장치(101)는, 닫힌 상태에서, 제1 디스플레이(740)가 제1 거리(D1)(또는 제1 폭(W1))를 가지도록 동작될 수 있다. 일 실시예에 따라, 전자 장치(101)는, 펼쳐진 상태에서, 제2 디스플레이(750)가 제2 거리(D2)(또는 제2 폭(W2))를 갖도록 이동됨으로써, 디스플레이(210)의 표시 화면은 제1 거리(D1)보다 큰(예: 제2 거리(D2)만큼 증가된) 제3 거리(D3)(예: 제3 폭(W3))를 가지도록 동작될 수 있다.
일 실시예에 따르면, 디스플레이(210)는 항상 외부로부터 보여지는 제1 디스플레이(740), 제1 디스플레이(740)의 일 부분으로부터 부분적으로 연장되고, 접힌 상태에서 외부로부터 보이지 않도록 전자 장치(101)의 내부 공간으로 적어도 부분적으로 인입 가능한 제2 디스플레이(750)를 포함할 수 있다. 일 실시예에 따르면, 디스플레이(210)의 제1 디스플레이(740)는, 전자 장치(101)가 접힌 상태(예: 제2 디스플레이(750)의 인입 상태(slide-in state)), 및 전자 장치(101)가 펼쳐진 상태(예: 제2 디스플레이(750)의 인출 상태(slide-out state))에서, 외부로 상시 노출될 수 있다. 일 실시예에 따르면, 디스플레이(210)의 제2 디스플레이(750)는, 전자 장치(101)가 접힌 상태(또는 인입 상태)에서, 전자 장치(101)의 내부 공간에서 외부로 노출되지 않도록 배치될 수 있으며, 전자 장치(101)가 펼쳐진 상태(또는 인출 상태)에서, 제1 디스플레이(740)의 일 부분으로부터 연장되도록 외부로 노출될 수 있다. 따라서, 전자 장치(101)는 제2 디스플레이(750)의 개방 동작(예: 슬라이드 이동)에 따라, 디스플레이(210)의 표시 화면이 부분적으로 확장될 수 있다.
일 실시예에 따르면, 디스플레이(210)는, 접힌 상태에서, 제1 폭(W1)과 대응하는 표시 면적을 가질 수 있다. 일 실시예에 따르면, 디스플레이(210)는, 부분적으로 펼쳐진 상태(예: 제2 디스플레이(750) 인출 상태)에서, 디스플레이(240)의 일 부분이 제1 폭(W1)보다 확장된 표시 면적을 가질 수 있다.
이상에서 도 3 내지 도 7b를 참조하여 살펴본 바와 같이, 본 개시의 일 실시예에 따른 전자 장치(101)는 접히거나, 구부러지거나, 말리거나, 또는 펼쳐질 수 있는 폴더블(또는 플렉서블, 롤러블) 디스플레이(210)를 포함할 수 있다. 예를 들면, 전자 장치(101)는 도 3, 도 4, 도 5, 또는 도 6의 예시와 같이 하나 또는 그 이상의 폴딩 축에 기반하여 접히거나, 구부러지거나, 펼쳐질 수 있고, 도 7a 또는 도 7b의 예시와 같이 롤러(720) 기반하여 말리거나 펼쳐질 수 있다. 전자 장치(101)가 접히거나, 구부러지거나, 말리거나, 펼쳐지거나, 또는 그 정도에 따라, 전자 장치(101)가 가질 수 있는 형태는 다양할 수 있다. 일 실시예에서는, 세로축 폴더블 디스플레이를 예로 설명하지만, 이에 제한하지 않으며, 가로축 폴더블 디스플레이의 형태에서도 적용될 수 있으며, 전자 장치(101)가 가질 수 있는 디스플레이(210)의 형태는 다양할 수 있다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치의 펼쳐진 상태를 도시하는 도면이다.
일 실시예에 따라, 도 8a는 전자 장치(101)의 펼쳐진 상태에서 전자 장치(101)의 전면(800) 및 전자 장치(101)의 후면(850)을 나타낸 도면이다.
도 8a를 참조하면, 본 개시의 일 실시예에 따른 전자 장치(101)는 제1 면(811) 및 제3 면(813)을 포함하는 제1 하우징(housing)(810) 및 제2 면(821) 및 제4 면(823)을 포함하는 제2 하우징(820)을 포함할 수 있다. 제1 하우징(810)의 제1 면(811) 및 제2 하우징(820)의 제2 면(821)은 전자 장치(101)의 전면(800)을 나타내고, 제1 하우징(810)의 제3 면(813) 및 제2 하우징(820)의 제4 면(823)은 전자 장치(101)의 후면(850)을 나타낼 수 있다.
일 실시예에 따라, 제1 하우징(810)과 제2 하우징(820)은 폴딩 축(예: A축)을 중심으로 양측에 배치되고, 폴딩 축에 대하여 전체적으로 대칭인 형상을 포함할 수 있다. 예를 들어, 전자 장치(101)의 전면(800)에서, 제1 하우징(810)은 폴딩 축을 기준으로 전자 장치(101)의 왼쪽에 배치되고, 제2 하우징(820)은 전자 장치(101)의 오른쪽에 배치될 수 있다. 제1 하우징(810)과 제2 하우징(820)은 서로에 대하여 접히도록 설계될 수 있다. 제1 하우징(810)과 제2 하우징(820) 사이에는 힌지 구조(860)가 형성되어, 전자 장치(101)의 전면(800)이 접힐 수 있다.
일 실시예에 따르면, 제1 하우징(810) 및 제2 하우징(820)은 전자 장치(101)의 상태가 펼쳐진(또는 열린) 상태, 접힌(또는 닫힌) 상태 또는 중간 상태인지 여부에 따라 서로 이루는 각도나 거리가 달라질 수 있다.
일 실시예에서, 펼쳐진 상태(unfolded state)는 열린 상태, 오픈 상태(open state), 또는 플랫(또는 평평한) 상태(flat state)를 의미할 수 있다(예: 도 8a). 일 실시예에서, 펼쳐진 상태는 제1 하우징(810)과 제2 하우징(820)이 나란히 배치된 상태로서, 전자 장치(101)가 완전히 펼쳐진 상태를 의미할 수 있다. 일 실시예에서, 펼쳐진 상태는 제1 하우징(810)과 제2 하우징(820) 간의 각도가 약 180도를 이루는 것으로, 제1 하우징(810)의 제1 면(811)과 제2 하우징(820)의 제2 면(821)이 동일한 방향(예: 제1 방향)을 향하도록 배치될 수 있다. 도 8a는 전자 장치(101)가 펼쳐진 상태에서 전자 장치(101)의 전면(800) 및 전자 장치(101)의 후면(850)을 나타낸 도면이다.
일 실시예에서, 접힌 상태(folded state)는 닫힌 상태 또는 클로즈 상태(close state)를 의미할 수 있다(예: 도 8b). 일 실시예에서, 접힌 상태는 제1 하우징(810)과 제2 하우징(820)이 서로 마주보게 배치된 상태로서, 전자 장치(101)가 완전히 접혀진 상태를 의미할 수 있다. 일 실시예에서, 접힌 상태는 제1 하우징(810)과 제2 하우징(820) 간의 각도가 좁은 각도(예: 약 0도 ~ 약 5도)를 이루는 것으로, 제1 하우징(810)의 제1 면(811)과 제2 하우징(820)의 제2 면(821)이 서로 마주볼 수 있다. 이하에서는, 폴딩 방식이 인 폴딩(in-folding) 방식으로 구현된 전자 장치(101)에 대하여 설명하고 있지만, 아웃 폴딩(out-folding) 방식으로 구현된 전자 장치(101)에 대해서도 동일 또는 유사하게 구현될 수 있다.
일 실시예에서, 중간 상태(intermediate state)는 제1 하우징(810)과 제2 하우징(820)이 일정 각도로 배치된 상태로서, 전자 장치(101)가 펼쳐진 상태 또는 접힌 상태가 아닐 수 있다. 일 실시예에서, 중간 상태는 제1 하우징(810)의 제1 면(811)과 제2 하우징(820)의 제2 면(821)이 일정 각도(예: 약 6 도 ~ 약 179도)를 이루는 상태를 의미할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 전면(800)인 제1 면(811) 및 제2 면(821)에 제1 디스플레이(830)(예: 메인 디스플레이)(예: 도 1 및/또는 도 2의 디스플레이 모듈(160))를 형성할 수 있다. 제1 디스플레이(830)는 전면(800)(예: 전자 장치(101)의 제1 방향)에 전체적으로 형성될 수 있다. 제1 디스플레이(830)는 적어도 일부 영역이 평면 또는 곡면으로 변형될 수 있는 플렉서블 디스플레이를 포함할 수 있다. 제1 디스플레이(830)는 폴딩 축(예: A축)을 기준으로 좌, 우로 접혀질 수 있다. 제1 디스플레이(830)는 제1 면(811)에 대응하여 제1 표시 영역 또는 제2 면(821)에 대응하여 제2 표시 영역을 포함할 수 있다. 또한, 전자 장치(101)는 제2 면(821)에 제1 카메라(814)를 배치할 수 있다. 도면에서는 제1 카메라(814)가 하나인 것으로 도시하고 있지만, 제1 카메라(814)는 복수 개로 형성될 수도 있다. 도면에서는 제1 카메라(814)가 제2 면(821)에 배치되는 것으로 도시하고 있지만, 제1 카메라(814)는 제1 면(811)에 형성될 수도 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 후면(850)의 일부에 제2 디스플레이(840)(예: 커버 디스플레이 또는 서브 디스플레이)(예: 도 1 및/또는 도 2의 디스플레이 모듈(160))를 형성할 수 있다. 제2 디스플레이(840)는 전자 장치(101)의 제3 면(813)의 적어도 일부에 형성될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 후면(850)에 복수의 카메라들(예: 815, 817, 819, 825)을 포함할 수 있다. 예를 들어, 전자 장치(101)는 제4 면(823)에 제2 카메라(815), 제3 카메라(817) 및 제4 카메라(819)를 배치하고, 제3 면(813)에 제5 카메라(825)를 배치할 수 있다.
일 실시예에 따르면, 제2 카메라(815), 제3 카메라(817), 제4 카메라(819), 및 제5 카메라(825)는 성능(예: 화각, 해상도)이 동일하거나, 상이할 수 있다. 예를 들어, 제2 카메라(815)는 화각이 약 125도 초과(예: 울트라 와이드(ultra wide))이고, 제3 카메라(817)는 화각이 약 90도 ~ 약 125도(예: 와이드), 제4 카메라(819)는 화각이 약 90도이고, 2배 줌(예: 텔레(tele))이며, 제5 카메라(825)는 화각이 약 90도, 일반 배율일 수 있다. 일 실시예에 따라, 전자 장치(101)는 제4 면(823)에 센서 영역(841)을 더 포함할 수 있다. 센서 영역(841)에는 도 1의 센서 모듈(176)과 유사하게, 적외선 센서, 지문 센서, 또는 조도 센서가 배치될 수 있다.
일 실시예에 따르면, 전자 장치(101)가 펼쳐진 상태(예: 도 2a)에서는 제1 디스플레이(830)는 온(on)(또는 활성화)되고, 제2 디스플레이(840)는 오프(off)(또는 비활성화)될 수 있다. 제1 디스플레이(830)가 온된 상태에서 일정한 시간(예: 약 5초, 약 10초, 약 1분) 동안 사용자 입력(예: 터치, 버튼 선택)이 검출되지 않는 경우, 전자 장치(101)는 제1 디스플레이(830)를 오프시킬 수 있다. 일 실시예에 따르면, 제2 디스플레이(840)가 오프된 상태에서 제2 디스플레이(840)에서 사용자 입력(예: 터치, 버튼 선택)이 검출되는 경우, 전자 장치(101)는 제2 디스플레이(840)를 온시킬 수 있다. 일 실시예에 따르면, 제2 디스플레이(840)가 온되면, 제1 디스플레이(830)는 오프될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제2 디스플레이(840)가 온되더라도, 일정한 시간 동안 제1 디스플레이(830)를 온 상태로 유지한 후, 일정한 시간이 경과한 후에도 제1 디스플레이(830) 상에 사용자 입력이 검출되지 않는 경우, 제1 디스플레이(830)를 오프시킬 수 있다.
일 실시예에 따르면, 전자 장치(101)는 센서 모듈(예: 도 1의 센서 모듈(176))을 더 포함할 수 있다. 예를 들어, 전자 장치(101)는 제1 하우징(810) 또는 제2 하우징(820) 중 적어도 하나에 센서 모듈(176)을 포함할 수 있다. 센서 모듈(176)은 가속도 센서, 자이로스코프 센서, 지자기 센서, 근접 센서, 조도 센서, 제스처 센서, 또는 홀 센서 중 적어도 하나를 포함할 수 있다.
가속도 센서는 속도를 검출하는 센서이고, 자이로스코프 센서는 물체의 회전 속도인 각속도를 검출할 수 있다. 지자기 센서는 지자기를 검출하는 센서로서, 나침반과 같이 동, 서, 남, 북과 같은 지자기의 방향(예: 방위각)을 검출할 수 있다. 근접 센서는 물체가 가까이 있는지 여부를 검출하는 것이고, 조도 센서는 주변 빛의 양(예: 조도)을 실시간으로 또는 주기적으로 측정할 수 있다. 제스처 센서는 적외선을 감지할 수 있다. 홀 센서는 자력(또는 자기력(magnetic force))을 가진 물체의 근접이나 멀어짐에 기반해 전기적 신호의 변화를 감지할 수 있다. 홀 센서가 전자 장치(101)의 폴딩 상태 감지를 위해 활용되는 경우, 전자 장치(101)는 홀 센서에 대응하는 자석을 더 포함할 수 있다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치의 접힌 상태를 도시하는 도면이다.
도 8b를 참조하면, 전자 장치(101)는 폴딩 축(예: A축)을 중심으로 힌지 구조(860)가 형성되어, 전자 장치(101)의 전면(800)이 접힌 상태일 수 있다. 도 8b는 전자 장치(101)가 접힌 상태에서 제1 하우징(810)의 제3 면(813) 및 제2 하우징(820)의 제4 면(823)을 나타낸 도면이다.
일 실시예에 따르면, 전자 장치(101)가 접힌 상태에서는 제1 디스플레이(830)는 오프되고, 제2 디스플레이(840)는 온될 수 있다. 제2 디스플레이(840)가 온된 상태에서 일정한 시간 동안 사용자 입력이 검출되지 않는 경우, 전자 장치(101)는 제2 디스플레이(840)를 오프시킬 수 있다. 전자 장치(101)가 폴딩 상태이고, 제2 디스플레이(840)가 오프된 경우, 전자 장치(101)에 형성된(또는 장착된) 버튼이 선택되는 경우, 전자 장치(101)는 제2 디스플레이(840)를 온시킬 수 있다. 또는, 전자 장치(101)가 폴딩 상태이고, 제2 디스플레이(840)가 오프된 후, 제2 디스플레이(840) 상에 사용자 입력이 검출되는 경우, 전자 장치(101)는 제2 디스플레이(840)를 온시킬 수 있다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치의 부분적으로 접힌 상태 또는 중간 상태를 도시한 도면이다.
도 8c를 참조하면, 전자 장치(101)는 폴딩 축(예: A축)을 중심으로 힌지 구조(860)가 형성되어, 제1 하우징(810)과 제2 하우징(820)이 일정한 각도를 이루는 중간 상태(801)일 수 있다. 예를 들어, 중간 상태(801)에서는 제1 하우징(810) 또는 제2 하우징(820)의 일면이 바닥에 놓이고, 바닥에 놓인 제2 하우징(820)과 바닥에 놓이지 않은 제1 하우징(810)이 일정한 각도를 이룰 수 있다. 도면에서는 제2 하우징(820)의 제4 면(823)이 바닥에 놓이고, 제1 하우징(810)의 제1 면(811)과 제2 하우징(820)의 제2 면(821)이 일정한 각도를 이루는 상태를 도시한 것이다.
일 실시예에 따르면, 중간 상태(801)에서는 제1 디스플레이(830)가 활성화되어, 제1 디스플레이(830)를 통해 사용자 인터페이스가 표시될 수 있다. 상기 사용자 인터페이스는 제1 디스플레이(830)의 전체 화면을 통해 표시되거나, Split screen과 같이 두 부분(또는 영역)으로 나누어 표시될 수도 있다. 또는, 중간 상태에서는 제1 하우징(810)의 제1 면(811)을 통해 출력부(예: 어플리케이션의 실행 화면)가 표시되고, 제2 하우징(820)의 제2 면(821)을 통해 입력부(예: 키패드)가 표시될 수도 있다.
본 개시의 일 실시예에서는, 설명의 편의를 위해, 전자 장치(101)가 전면과 후면의 비대칭형 디스플레이(예: 전면의 제1 디스플레이 및 후면(또는 커버면)의 제2 디스플레이)를 갖는 장치인 것을 예로 설명하지만, 본 개시에 따른 다양한 실시예들은 이에 제한하지 않는다. 예를 들어, 이하에서는 일 실시예에 따른 전자 장치(101)가 하나의 폴딩 축을 갖는 폴더블 장치인 예를 설명하지만, 본 개시의 실시예들이 이에 제한하는 것은 아니다. 예를 들어, 이하에서 설명되는 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 구성 요소를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서, 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
본 개시의 일 실시예에 따른 전자 장치(101)는 사용자의 한 손 또는 양 손으로 파지한 상태에서 사용 가능한 다양한 장치를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 전술한 도 3 내지 도 7을 참조한 설명 부분에서 설명한 바와 같은 폴더블 장치 또는 롤러블 장치를 포함할 수 있다.
도 9를 참조하면, 본 개시의 일 실시예에 따른 전자 장치(101)는 디스플레이(210), 메모리(130), 카메라 모듈(180), 센서 모듈(176), 및/또는 프로세서(120)를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 적어도 하나의 구성 요소(예: 카메라 모듈(180))를 포함하지 않을 수 있다. 일 실시예에 따르면, 전자 장치(101)는 하나 이상의 다른 구성 요소(예: 도 1의 통신 모듈(190), 전력 관리 모듈(188), 및/또는 배터리(189))를 포함할 수 있다. 예를 들어, 전자 장치(101)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 전자 장치(101)의 구성 요소의 전부 또는 적어도 일부를 포함할 수 있다.
일 실시예에 따르면, 디스플레이(210)는 도 1 및/또는 도 2를 참조한 설명 부분에서 설명한 바와 같은 디스플레이 모듈(160) 또는 디스플레이(210)에 대응할 수 있다. 일 실시예에 따라, 디스플레이(210)는 전자 장치(101)의 외부(예: 사용자)로 다양한 정보를 시각적으로 제공할 수 있다. 일 실시예에 따르면, 디스플레이(210)는 프로세서(120)의 제어 하에, 어플리케이션과 관련된 다양한 정보를 시각적으로 제공할 수 있다.
일 실시예에 따라, 디스플레이(210)는 전면의 제1 디스플레이(예: 메인 디스플레이)와 후면의 제2 디스플레이(예: 커버 디스플레이)를 포함할 수 있다. 일 실시예에 따라, 디스플레이(210)는 터치 센서, 터치의 세기를 측정할 수 있는 압력 센서(pressure sensor) 및/또는 자기장 방식의 스타일러스 펜을 검출하는 터치 패널(예: 디지타이저)을 포함할 수 있다. 일 실시예에 따르면, 디스플레이(210)는 터치 센서, 압력 센서 및/또는 터치 패널에 기반하여 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 전자기 신호 및/또는 전하량)의 변화를 측정함으로써 터치 입력 및/또는 호버링 입력(또는 근접 입력)을 감지할 수 있다. 일 실시예에 따르면, 디스플레이(210)는 액정 표시 장치(LCD, liquid crystal display), OLED(organic light emitted diode), AMOLED(active matrix organic light emitted diode)를 포함할 수 있다. 일 실시예에 따르면, 디스플레이(210)는 플렉서블 디스플레이(flexible display)를 포함할 수 있다.
일 실시예에 따르면, 메모리(130)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 메모리(130)에 대응할 수 있다. 일 실시예에 따르면, 메모리(130)는 전자 장치(101)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 일 실시예에서, 데이터는, 예를 들어, 어플리케이션(예: 도 1의 프로그램(140)), 및 어플리케이션과 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
일 실시예에서, 데이터는, 센서 모듈(176)로부터 획득하는 다양한 센서 데이터(예: 가속도 센서 데이터, 자이로 센서 데이터, 또는 기압 센서 데이터)를 포함할 수 있다. 일 실시예에서, 데이터는, 디스플레이(210)의 터치 센서로부터 획득하는 센서 데이터(예: 터치 센서 데이터)를 포함할 수 있다. 일 실시예에서, 데이터는, 전자 장치(101)의 지정된 상태(예: 제1 지정된 상태(예: 펼쳐진 상태), 제2 지정된 상태(예: 부분적으로 접힌 상태), 및 제3 지정된 상태(예: 접힌 상태))를 식별하기 위해 메모리(130)에 설정되는 다양한 기준 데이터를 포함할 수 있다. 일 실시예에서, 데이터는, 사용자의 파지 상태를 식별하기 위해 메모리(130)에 설정되는 다양한 스키마(schema)(또는 알고리즘)를 포함할 수 있다. 일 실시예에서, 데이터는, 사용자의 파지 지점과 어플리케이션의 실행 화면 상의 어플리케이션과 관련된 기능 제어를 위한 적어도 하나의 객체(예: 제어 객체(control object) 또는 기능 컨트롤러(function controller)) 사이의 거리를 측정하기 위해 메모리(130)에 설정되는 다양한 스키마(또는 알고리즘)를 포함할 수 있다.
일 실시예에 따라, 메모리(130)는, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 예를 들어, 어플리케이션은 메모리(130) 상에 소프트웨어(예: 도 1의 프로그램(140))로서 저장될 수 있고, 프로세서(120)에 의해 실행 가능할 수 있다. 일 실시예에 따라, 어플리케이션은 전자 장치(101)에서 다양한 서비스(예: 파지 상태에 따른 사용성의 최적화를 위한 서비스(또는 기능)(이하, ‘최적화 서비스’라 한다)를 제공할 수 있는 다양한 어플리케이션일 수 있다.
일 실시예에서, 최적화 서비스는, 사용자가 전자 장치(101)를 파지한 상태에서 가장 접근이 어려운 영역의 제어 객체(또는 컨트롤러)를 가장 최적화된 영역에서 중복 제공할 수 있도록 지원하는 서비스를 나타낼 수 있다. 예를 들어, 최적화 서비스는, 전자 장치(101)에서 실행 중인 어플리케이션에 관련된 기능 제어를 위한 적어도 하나의 제어 객체를, 사용자가 전자 장치(101)를 파지한 상태에 따라 최적화된 영역에서 중복 제공하여 사용자의 손가락 이동 거리를 최소화 하도록 지원하는 서비스를 나타낼 수 있다.
일 실시예에 따라, 제어 객체는 포어그라운드(foreground) 실행 중인 어플리케이션에 관련된 기능 제어를 위한 하나 또는 그 이상의 제어 객체를 포함할 수 있다. 일 실시예에 따라, 제어 객체는 어플리케이션에 관련된 다양한 제어 객체 중 디스플레이(210)를 통해 현재 표시되는 실행 화면 상에 제공된 제어 객체를 나타낼 수 있다. 일 실시예에 따라, 제어 객체는 사용자의 파지 위치(예: 터치된 지점)로부터 가장 먼 거리의 제어 객체가 최적화 서비스를 위한 중복 객체의 대상(예: 타겟 제어 객체)으로 선택될 수 있다. 일 실시예에서, 파지 위치(또는 지점)는, 예를 들어, 전면의 디스플레이(210)의 사용자의 손가락이 터치된 지점을 포함할 수 있다.
일 실시예에 따르면, 센서 모듈(176)은 도 1을 참조한 설명 부분에서 설명한 바와 같은 센서 모듈(176)에 대응할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은 상태 감지 센서를 포함할 수 있다. 일 실시예에 따르면, 상태 감지 센서는, 예를 들면, 근접 센서, 조도 센서, 마그네틱 센서, 홀 센서, 제스처 센서, 벤딩 센서, 적외선 센서, 터치 센서, 압력 센서, 또는 적외선 카메라 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 상태 감지 센서는 전자 장치(101)의 어느 일 측(예: 폴딩 축, 하우징 끝단, 디스플레이(210) 하단(예: 패널 아래(under panel), 및/또는 디스플레이(210)의 베젤)에 위치하여 전자 장치(101)의 접힘(또는 펼침) 각도를 측정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 센서 모듈(176)의 상태 감지 센서를 이용한 센서 데이터(예: 접힘 각도)에 기반하여 전자 장치(101)의 지정된 상태를 판단할 수 있다.
일 실시예에 따르면, 카메라 모듈(180)은 전자 장치(101)의 제1 면(예: 전면의 제1 디스플레이 면 또는 제2 디스플레이 면)에 배치된 제1 카메라 모듈, 및/또는 제2 면(예: 후면의 하우징)에 배치된 제2 카메라 모듈을 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서(ISP, image signal processor)를 포함할 수 있다. 일 실시예에 따르면, 2개 이상의 렌즈들(예: 광각 및 망원 렌즈) 및 이미지 센서들이 전자 장치(101)의 한 면에 배치될 수 있다.
일 실시예에 따라, 카메라 모듈(180)은 사용자의 파지 상태를 식별하는 동작에 이용될 수 있다. 예를 들면, 카메라 모듈(180)(예: 후면의 하우징에 배치된 카메라 모듈)은 프로세서(120)의 제어 하에 사용자의 파지 상태를 식별하는 동작 시에 활성화 될 수 있다. 예를 들면, 카메라 모듈(180)은 활성화 시에 피사체 촬영을 통해 관련 결과(예: 촬영 이미지)를 프로세서(120)에 전달할 수 있다. 일 실시예에 따르면, 프로세서(120)는 카메라 모듈(180)의 관련 결과(예: 촬영 이미지)로부터 객체 인식을 통해 사용자의 손가락에 대응하는 객체의 유무를 판단하도록 동작할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 전자 장치(101)의 사용자에 의해 요구되는 응용 계층 처리 기능을 할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 다양한 블록들을 위한 기능의 제어 및 명령을 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 예를 들어, 프로세서(120)는 도 1의 프로세서(120)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다. 프로세서(120)는, 예를 들어, 전자 장치(101)의 구성 요소들과 작동적으로 연결될 수 있다. 프로세서(120)는 전자 장치(101)의 다른 구성 요소로부터 수신된 명령 또는 데이터를 메모리(130)에 로드(load)하고, 메모리(130)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
일 실시예에 따르면, 프로세서(120)는 처리 회로(processing circuitry) 및/또는 실행 가능한 프로그램 요소(executable program elements)를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 처리 회로 및/또는 실행 가능한 프로그램 요소에 기반하여, 최적화 서비스를 제공하는 것과 관련된 동작을 제어(또는 처리)할 수 있다. 일 실시예에 따르면, 프로세서(120)는 처리 회로 및/또는 실행 가능한 프로그램 요소에 기반하여, 전자 장치(101)의 지정된 상태에서 어플리케이션에 관련된 기능 제어를 위한 적어도 하나의 제어 객체를, 사용자의 전자 장치(101)에 대한 파지 상태에 대응하는 최적화된 영역에 제공하는 것과 관련된 동작을 제어(또는 처리)할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 지정된 상태(예: 제1 지정된 상태 또는 제2 지정된 상태)에서 어플리케이션의 실행 화면을 표시하도록 디스플레이(210)를 제어할 수 있다. 일 실시예에 따르면, 프로세서(120)는 실행 화면에서 제어 객체를 검출할 수 있다. 일 실시예에 따르면, 프로세서(120)는 사용자의 파지 상태를 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 지정된 상태 및 파지 상태에 기반하여 제어 객체로부터 적어도 하나의 타겟 제어 객체를 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 타겟 제어 객체에 대응하는 제어 객체에 기반하여 중복 제어 객체를 생성할 수 있다. 일 실시예에 따르면, 프로세서(120)는 파지 상태에 대응하는 최적화 영역에 중복 제어 객체를 플로팅 하여 중복 제공할 수 있다.
일 실시예에 따르면, 프로세서(120)는 포어그라운드에서 실행 중인 어플리케이션에 관련된 기능 제어를 위한 하나 또는 그 이상의 제어 객체를 검출할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이(210)를 통해 현재 표시되는 실행 화면으로부터 제어 객체를 검출할 수 있다.
일 실시예에 따르면, 프로세서(120)는 파지 상태에 기반하여 최적화 영역을 위한 파지 위치를 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 파지 위치와 제어 객체 간의 거리에 기반하여 타겟 제어 객체를 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 지정된 상태(예: 제1 지정된 상태 또는 제2 지정된 상태)에서 파지 위치로부터 가장 먼 거리에 위치된 제어 객체를 타겟 제어 객체로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체로 결정된 제어 객체에 대응하는 중복 제어 객체를 파지 위치에 제공할 수 있다.
일 실시예에 따르면, 프로세서(120)는 백그라운드에서 디스플레이(210)를 지정된 분할 정보에 기반하여 복수개의 가상 분할 영역으로 구분할 수 있다. 일 실시예에 따르면, 프로세서(120)는 파지 위치의 분할 영역과 가장 먼 거리에 위치된 분할 영역의 제어 객체에 기반하여 타겟 제어 객체를 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제1 지정된 상태에서 파지 위치와 제어 객체 간의 직선 거리를 계산하여 가장 먼 거리의 제어 객체를 타겟 제어 객체로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제2 지정된 상태에서 파지 위치와 제어 객체 간의 3차원 거리 계산에 기반하여 가장 먼 힌지 영역의 제어 객체를 타겟 제어 객체로 결정할 수 있다.
일 실시예에 따라, 전자 장치(101)의 프로세서(120)의 상세 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
일 실시예에 따르면, 프로세서(120)에서 수행하는 동작들은, 기록 매체(또는 컴퓨터 프로그램 프로덕트(product))로 구현될 수 있다. 예를 들어, 기록 매체는 프로세서(120)에서 수행하는 다양한 동작을 실행시키기 위한 프로그램을 기록한 비 일시적(non-transitory) 컴퓨터(computer)로 판독 가능한 기록 매체를 포함할 수 있다.
본 개시에서 설명되는 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 일 실시예에서 설명되는 동작들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 및/또는 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일 실시예에서, 기록 매체(또는 컴퓨터 프로그램 프로덕트)는, 전자 장치(101)의 지정된 상태(예: 제1 지정된 상태 또는 제2 지정된 상태)에서 어플리케이션의 실행 화면을 표시하는 동작, 실행 화면에서 제어 객체(또는 컨트롤러)를 검출하는 동작, 사용자의 파지 상태를 판단하는 동작, 지정된 상태 및 파지 상태에 기반하여 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하는 동작, 및 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)는, 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 2 또는 도 9의 디스플레이(210)), 메모리(예: 도 1 또는 도 9의 메모리(130)), 및 상기 디스플레이 및 상기 메모리와 작동적으로 연결된 프로세서(예: 도 1 또는 도 9의 프로세서(120))를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 전자 장치(101)의 지정된 상태에서 어플리케이션의 실행 화면을 표시하도록 상기 디스플레이를 제어하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 실행 화면에서 제어 객체를 검출하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 사용자의 파지 상태를 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 제1 지정된 상태는 상기 전자 장치가 완전히 펼쳐진 상태를 포함할 수 있다. 일 실시예에 따르면, 상기 제2 지정된 상태는 상기 전자 장치가 부분적으로 접힌 상태를 포함할 수 있다.
일 실시예에 따르면, 상기 제어 객체는 포어그라운드에서 실행 중인 어플리케이션에 관련된 기능 제어를 위한 하나 또는 그 이상의 제어 객체를 포함할 수 있다. 일 실시예에 따르면, 상기 제어 객체는 상기 디스플레이를 통해 현재 표시되는 실행 화면으로부터 검출될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 파지 상태에 기반하여 상기 최적화 영역을 위한 파지 위치를 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 파지 위치와 상기 제어 객체 간의 거리에 기반하여 상기 타겟 제어 객체를 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 지정된 상태에서 상기 파지 위치로부터 가장 먼 거리에 위치된 제어 객체를 상기 타겟 제어 객체로 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 타겟 제어 객체로 결정된 제어 객체에 기반하여 중복 제어 객체를 생성하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 중복 제어 객체를 상기 파지 위치에 제공하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 백그라운드에서 상기 디스플레이를 지정된 분할 정보에 기반하여 복수개의 가상 분할 영역으로 구분하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 파지 위치의 분할 영역과 가장 먼 거리에 위치된 분할 영역의 제어 객체에 기반하여 타겟 제어 객체를 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 전자 장치(101)의 제1 지정된 상태에서 상기 파지 위치와 제어 객체 간의 직선 거리를 계산하여 가장 먼 거리의 제어 객체를 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 전자 장치(101)의 제2 지정된 상태에서 상기 파지 위치와 제어 객체 간의 3차원 거리 계산에 기반하여 가장 먼 힌지 영역의 제어 객체를 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 타겟 제어 객체를 결정할 때, 거리와 함께 지정된 조건을 고려하여, 가산점을 기반으로 타겟 제어 객체를 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 파지 위치 또는 파지 위치를 기준으로 주변 영역에 기반하여 상기 최적화 영역을 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 최적화 영역은 상기 파지 위치에 대응하는 영역이거나, 또는 파지 위치를 기준으로 다른 객체와 중첩되지 않는 영역을 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 타겟 제어 객체는 원래의 위치 상에 유지하면서, 대응하는 기능을 갖는 중복 제어 객체를 최적화 영역에 플로팅(floating) 하여 중복 제공하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 파지 위치에 기반하여 플로팅 액션 버튼(floating action button)을 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 플로팅 액션 버튼은 타겟 제어 객체로 지정된 제어 객체에 대응하는 중복 제어 객체를 호출하기 위한 호출 객체를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 플로팅 액션 버튼을 상기 파지 위치에 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 플로팅 액션 버튼에 기반한 사용자 입력에 응답하여, 제어 객체에 대응하는 상기 중복 제어 객체를 상기 파지 위치에 제공하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 타겟 제어 객체로 결정되는 제어 객체에 기반하여 시각적인 효과가 적용된 비주얼 큐(visual cue)를 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 비주얼 큐는 플로팅 액션 버튼 또는 중복 제어 객체가 제공되는 동안 유지될 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 타겟 제어 객체로 지정된 제어 객체와 대응하는 기능을 갖는 중복 제어 객체를 구성하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 중복 제어 객체가 제공될 위치를 플로팅 액션 버튼의 위치와 매핑하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 전자 장치(101)의 지정된 상태를 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 제1 지정된 상태에서 파지 위치와 제어 객체 간의 제1 지정된 조건에 기반하여 타겟 제어 객체를 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 제2 지정된 상태에서 파지 위치와 제어 객체 간의 제2 지정된 조건에 기반하여 타겟 제어 객체를 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 제어 객체는 단일 제어 객체 형식 및/또는 묶음 제어 객체 형식을 포함할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 타겟 제어 객체가 단일 제어 객체 형식인 경우, 해당 제어 객체에 대응하는 단일 제어 객체 형식으로 중복 제어 객체를 생성하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 타겟 제어 객체가 묶음 제어 객체 형식인 경우, 해당 제어 객체에 대응하는 묶음 제어 객체 형식으로 중복 제어 객체를 생성하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 중복 제어 객체 및 파지 위치에 대응하는 영역의 지정된 조건에 기반하여, 파지 위치에 대응하는 영역에 중복 제어 객체를 위한 공간 확보가 가능한지 여부를 판단하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 중복 제어 객체를 위한 공간 확보의 가능 여부에 기반하여, 상기 중복 제어 객체가 제공될 최적화 영역을 결정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 상기 공간 확보가 가능한 경우, 상기 파지 위치의 영역을 상기 최적화 영역으로 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 공간 확보가 가능하지 않는 경우, 파지 위치의 주변 영역을 상기 최적화 영역으로 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 상기 프로세서(120)는 상기 최적화 영역 결정 시에, 결정된 최적화 영역에서 겹치는 다른 객체의 유무에 기반하여 최적화 영역을 보정하는 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는 플로팅 액션 버튼 또는 중복 제어 객체에 기반한 사용자와 상호작용에 기반하여, 플로팅 액션 버튼 또는 중복 제어 객체의 이동, 제거 또는 타겟 제어 객체를 전환하는 동작을 수행할 수 있다.
이하에서는 다양한 실시예들의 전자 장치(101)의 동작 방법에 대해서 상세하게 설명한다. 다양한 실시예들에 따른 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 다양한 프로세싱 회로(various processing circuitry) 및/또는 실행 가능한 프로그램 요소(executable program elements)를 포함하는 프로세서(120)에 의해 실행될 수 있다. 일 실시예에 따라, 전자 장치(101)에서 수행하는 동작들은, 메모리(130)에 저장되고, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들(instructions)에 의해 실행될 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 지정된 상태의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 10은 일 실시예에 따른 전자 장치(101)에서 사용자가 전자 장치(101)를 파지한 상태에서 가장 접근이 어려운 영역의 제어 객체를 가장 최적화된 영역에서 중복 제공할 수 있는 최적화 서비스를 지원하는 예를 나타낼 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)에서, 최적화 서비스를 지원하는 방법은, 예를 들어, 도 10에 도시된 흐름도에 따라 수행될 수 있다. 도 10에 도시된 흐름도는 전자 장치(101)의 최적화 서비스 방법의 일 실시예에 따른 흐름도에 불과하며, 적어도 일부 동작의 순서는 변경되거나 병렬적으로 수행되거나, 독립적인 동작으로 수행되거나, 또는 적어도 일부 다른 동작이 적어도 일부 동작에 보완적으로 수행될 수 있다. 본 개시의 일 실시예에 따르면, 동작 1001 내지 동작 1009는 전자 장치(101)의 적어도 하나의 프로세서(120)에서 수행될 수 있다.
도 10에 도시한 바와 같이, 일 실시예에 따른 전자 장치(101)가 수행하는 동작 방법(예: 사용자의 전자 장치(101) 파지 상태에 따른 사용성 최적화를 위한 동작 방법)은, 지정된 상태에서 동작하는 동작(1001), 어플리케이션의 실행 화면에서 제어 객체를 검출하는 동작(1003), 사용자의 파지 상태를 판단하는 동작(1005), 지정된 상태 및 파지 상태에 기반하여 타겟 제어 객체를 식별하는 동작(1007), 및 타겟 제어 객체를 파지 상태에 기반하여 최적화 영역에 제공하는 동작(1009)을 포함할 수 있다.
도 10을 참조하면, 동작 1001에서, 전자 장치(101)의 프로세서(120)는 전자 장치(101)의 지정된 상태에서 동작을 수행할 수 있다. 일 실시예에서, 지정된 상태는 전자 장치(101)가 사용자에 의해 사용되고 있는 장치 상태(device state)와 관련된 다양한 상태 정보를 의미할 수 있다. 예를 들어, 지정된 상태는 전자 장치(101)의 펼침 여부, 펼침(또는 접힘) 각도, 동작 모드(예: 플렉스 모드, 펼침 모드, 접힘 모드), 및/또는 실행 어플리케이션에 관한 다양한 상태 정보에 기반하여 결정되는 상태를 포괄하는 의미로 사용될 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 지정된 상태(예: 제1 지정된 상태 또는 제2 지정된 상태)에서 어플리케이션의 실행 화면을 표시하도록 디스플레이(210)를 제어할 수 있다. 일 실시예에 따르면, 사용자는 전자 장치(101)를 제1 지정된 상태(예: 완전히 펼쳐진 상태) 또는 제2 지정된 상태(예: 부분적으로 접힌 상태)에서 전자 장치(101)를 사용할 수 있다. 이의 예가 도 11에 도시된다.
도 11에 예시한 바와 같이, 제1 지정된 상태는 예시 1101과 같이, 전자 장치(101)가 완전히 펼쳐진 상태를 나타낼 수 있다. 예를 들어, 제1 지정된 상태는 전자 장치(101)의 디스플레이(210)의 제1 디스플레이 면(1110)과 디스플레이(210)의 제2 디스플레이 면(1120)이 외부로 노출되어 하나의 디스플레이(210)와 같이 평면을 이루는 상태(예: 펼침 각도(또는 접힘 각도)가 약 180도인 상태)를 포함할 수 있다. 도 11에 예시한 바와 같이, 제2 지정된 상태는 예시 1103과 같이, 전자 장치(101)가 부분적으로 접힌 상태를 나타낼 수 있다. 예를 들어, 제2 지정된 상태는 전자 장치(101)의 디스플레이(210)의 제1 디스플레이 면(1110)과 디스플레이(210)의 제2 디스플레이 면(1120)이 일정 각도를 이루는 상태(예: 펼침 각도(또는 접힘 각도)가 지정된 각도 범위 내인 상태)를 포함할 수 있다. 예를 들어, 제2 지정된 상태는 제1 디스플레이 면(1110)과 제2 디스플레이 면(1120) 사이의 펼침 각도(또는 접힘 각도)가 제1 지정된 각도(예: 부분적으로 접힌 상태에서 사용자의 시야가 보장되는 각도(예: 약 90도)) 이상이고 제2 지정된 각도(예: 약 180도) 미만의 일정 각도를 이루는 상태를 포함할 수 있다.
동작 1003에서, 프로세서(120)는 어플리케이션의 실행 화면에서 제어 객체를 검출하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이(210)를 통해 표시 중인 어플리케이션의 실행 화면에서, 어플리케이션에서 지원 가능한 기능 제어와 관련된 하나 또는 그 이상의 제어 객체를 검출할 수 있다. 일 실시예에 따라, 제어 객체는 포어그라운드(foreground) 실행 중인 어플리케이션에 관련된 기능 제어를 위해, 사용자가 선택 가능한 다양한 객체를 포함할 수 있다. 예를 들어, 프로세서(120)는 인터넷 브라우저 화면에서 어플리케이션(예: 브라우저)의 기능과 관련된 제어 객체(예: 이전 페이지 가기, 다음 페이지 가기, 홈 가기, 새로 고침, 즐겨 찾기, 앱 아이콘, 로그인, 및/또는 카테고리 선택에 관련된 객체)를 검출할 수 있다. 예를 들어, 프로세서(120)는 미디어(예: 이미지 또는 동영상) 재생 화면에서, 어플리케이션(예: 플레이어)의 기능과 관련된 제어 객체(예: 일시중지/재생, 이전/다음 컨텐츠 선택, 가로/세로 모드 전환, 소리 조절, 밝기 조절, 및/또는 재생 속도 선택에 관련된 객체)를 검출할 수 있다. 이에 제한하지 않으며, 프로세서(120)는 갤러리 화면에서 어플리케이션(예: 갤러리)의 기능과 관련된 제어 객체, 캘린더 화면에서 어플리케이션(예: 캘린더)의 기능과 관련된 제어 객체, 및/또는 메시지 또는 메신저 화면에서 어플리케이션(예: 메시지 또는 메신저)의 기능과 관련된 제어 객체와 같이, 전자 장치(101)에서 실행 가능하고 디스플레이(210)를 통해 현재 표시되는 실행 화면으로부터 다양한 제어 객체를 검출할 수 있다.
동작 1005에서, 프로세서(120)는 사용자의 파지 상태를 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이(210) 상에 터치된 지점에 기반하여, 디스플레이(210) 상에서 파지 위치를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 센서 모듈(176)(예: 베젤 영역의 그립 센서), 후면의 카메라 모듈(180), 및/또는 후면의 디스플레이(예: 커버 디스플레이의 터치 센서)로부터 획득되는 획득 데이터(예: 센서 데이터 및/또는 촬영 이미지)에 적어도 기반하여, 사용자의 파지 상태(예: 왼손 파지, 오른손 파지 또는 양손 파지 및 사용자의 손이 디스플레이(210) 상에 위치된 영역)를 식별하고, 파지 상태에 기반하여 파지 위치를 식별할 수 있다. 예를 들어, 프로세서(120)는 센서 모듈(176) 및/또는 커버 디스플레이의 터치 센서로부터 센서 데이터(예: 위치 값)을 수신하고, 센서 데이터에 기반하여 파지 상태를 판단할 수 있다. 예를 들어, 프로세서(120)는 후면의 카메라 모듈(180)로부터 촬영 이미지(예: 사용자 손가락의 유무 식별을 위한 이미지)를 획득하고, 촬영 이미지에 기반한 객체의 유무를 판단하여 파지 상태를 판단할 수도 있다. 일 실시예에 따라, 사용자의 파지 상태를 판단하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
일 실시예에 따르면, 동작 1003 및 동작 1005는 도시된 순서에 제한하지 않으며, 병렬적으로, 순차적으로, 역순차적으로, 또는 휴리스틱(heuristic)하게 수행될 수 있다.
동작 1007에서, 프로세서(120)는 지정된 상태 및 파지 상태에 기반하여 타겟 제어 객체를 식별하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 파지 위치와 제어 객체 간의 거리에 기반하여 복수의 제어 객체 중 적어도 하나의 타겟 제어 객체를 결정할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)의 지정된 상태(예: 제1 지정된 상태 또는 제2 지정된 상태)에서 파지 위치로부터 가장 먼 거리에 위치된 제어 객체를 타겟 제어 객체로 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 백그라운드에서 디스플레이(210)를 지정된 분할 정보(예: 화면 분할 개수)에 기반하여 복수개의 가상 분할 영역으로 구분하고, 파지 위치의 분할 영역과 제어 객체가 위치된 분할 영역 간의 거리에 기반하여 타겟 제어 객체를 결정할 수 있다. 예를 들어, 프로세서(120)는 파지 위치의 분할 영역을 기준으로 가장 먼 거리에 위치된 분할 영역의 제어 객체에 기반하여 타겟 제어 객체를 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제1 지정된 상태에서 파지 위치와 제어 객체 간의 거리를 화면 상의 직선 거리 계산에 기반하여 가장 먼 거리의 제어 객체를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제2 지정된 상태에서 파지 위치와 제어 객체 간의 거리를 3차원(3D) 거리 계산에 기반하여 가장 먼 거리의 제어 객체를 식별할 수 있다.
일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 결정할 때, 거리와 함께 지정된 조건(예: 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수)을 고려하여, 타겟 제어 객체를 결정할 수도 있다. 일 실시예에 따르면, 프로세서(120)는 제2 지정된 상태에서 폴딩 축에 위치된 제어 객체에 가산점을 부여할 수도 있다. 일 실시예에 따라, 타겟 제어 객체를 결정하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
동작 1009에서, 프로세서(120)는 타겟 제어 객체를 파지 상태에 기반하여 최적화 영역에 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 파지 위치 또는 파지 위치를 기준으로 주변 영역에 기반하여 최적화 영역을 결정하고, 결정된 최적화 영역에 타겟 제어 객체를 제공할 수 있다.
일 실시예에서, 최적화 영역은 파지 위치에 대응하는 영역이거나, 또는 파지 위치를 기준으로 다른 객체와 중첩되지 않는 영역일 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 제공할 때, 타겟 제어 객체는 원래의 위치 상에 유지하면서, 대응하는 기능을 갖는 제어 객체를 중복 제공할 수 있다. 일 실시예에 따르면, 타겟 제어 객체와 동일한 제어 객체(예: 중복 제어 객체)를 구성(예: 복사)하고, 중복 제어 객체를 최적화 영역에 플로팅(floating) 하여 제공할 수 있다.
일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 제공할 때, 파지 위치에 타겟 제어 객체에 대응하는 중복 제어 객체를 바로 제공하거나, 플로팅 액션 버튼(FAB, floating action button)을 이용한 사용자 입력과 연관지어 제공할 수 있다. 일 실시예에 따라, 타겟 제어 객체를 제공하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
도 12는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 전자 장치에서 디스플레이의 영역을 가상 분할하는 일 예를 도시하는 도면이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치에서 제어 객체를 중복 제공하는 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 12는 일 실시예에 따른 전자 장치(101)에서 사용자가 전자 장치(101)를 파지한 상태에서 가장 접근이 어려운 영역의 제어 객체를 가장 최적화된 영역에서 중복 제공할 수 있는 최적화 서비스를 지원하는 예를 나타낼 수 있다. 일 실시예에 따르면, 도 11에서 설명되는 동작은, 예를 들어, 도 10에서 설명된 동작들에 결합하여 휴리스틱(heuristic)하게 수행되거나, 설명된 동작들의 적어 일부 동작의 상세 동작으로 휴리스틱하게 수행될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)에서, 최적화 서비스를 지원하는 방법은, 예를 들어, 도 12에 도시된 흐름도에 따라 수행될 수 있다. 도 12에 도시된 흐름도는 전자 장치(101)의 파지 상태에 따른 사용성 최적화 방법의 일 실시예에 따른 흐름도에 불과하며, 적어도 일부 동작의 순서는 변경되거나 병렬적으로 수행되거나, 독립적인 동작으로 수행되거나, 또는 적어도 일부 다른 동작이 적어도 일부 동작에 보완적으로 수행될 수 있다. 본 개시의 일 실시예에 따르면, 동작 1201 내지 동작 1213은 전자 장치(101)의 적어도 하나의 프로세서(120)에서 수행될 수 있다.
도 12에 도시한 바와 같이, 일 실시예에 따른 전자 장치(101)가 수행하는 동작 방법(예: 사용자의 전자 장치(101) 파지 상태에 따른 사용성 최적화를 위한 동작 방법)은, 디스플레이 영역을 가상 분할하는 동작(1201), 파지 상태에 기반하여 대응하는 분할 영역에 플로팅 액션 버튼을 제공하는 동작(1203), 분할 영역에 기반하여 어플리케이션과 연관된 제어 객체를 추출하는 동작(1205), 타겟 제어 객체를 식별하는 동작(1207), 비주얼 큐(visual cue)를 제공하는 동작(1209), 플로팅 액션 버튼과 타겟 제어 객체를 매핑하는 동작(1211), 및 플로팅 액션 버튼에 대응하는 영역에 타겟 제어 객체에 대응하는 중복 제어 객체를 제공하는 동작(1213)을 포함할 수 있다.
도 12를 참조하면, 동작 1201에서, 전자 장치(101)의 프로세서(120)는 디스플레이 영역을 가상 분할할 수 있다. 일 실시예에 따르면, 프로세서(120)는 백그라운드에서(또는 내부적으로) 디스플레이(210)를 지정된 분할 정보(예: 화면 분할 개수)에 기반하여 복수개의 가상 분할 영역으로 구분할 수 있다. 이의 예가 도 13에 도시된다.
도 13을 참조하면, 도 13에서 참조 부호 1300은 가상의 분할 선을 나타낼 수 있다. 일 실시예에 따라, 가상의 분할 선(1300)은 설명의 편의를 위해 도시한 것으로, 실질적으로 전자 장치(101)의 디스플레이(210) 상에서는 표시되지 않을 수 있다. 예를 들어, 프로세서(120)는 백그라운드에서 디스플레이의 영역을 지정된 분할 정보에 대응하여 가상의 분할 영역으로 구분할 수 있다. 일 실시예에 따르면, 가상의 분할 선(1300)은 분할 영역에 대해 사용자가 직관적으로 인지할 수 있도록, 전자 장치(101)의 설정에 기반하여 디스플레이(210) 상에 시각적인 정보로서 제공할 수도 있다.
일 실시예에 따라, 예시 <1301>은 디스플레이(210)의 영역을 가상으로 6분할(예: 제1 분할 영역, 제2 분할 영역, 제3 분할 영역, ..., 및 제6 분할 영역)하는 예를 나타낼 수 있다. 예를 들어, 지정된 분할 정보는 “3x2 그리드(grid)”일 수 있다. 예를 들어, 프로세서(120)는 디스플레이(210)의 전체 영역을 3x2 그리드로 6개의 가상 영역으로 분할할 수 있다.
일 실시예에 따라, 예시 <1303>의 디스플레이(210)의 영역을 가상으로 18분할(예: 제1 분할 영역, 제2 분할 영역, 제3 분할 영역, ..., 및 제18 분할 영역)하는 예를 나타낼 수 있다. 예를 들어, 지정된 분할 정보는 “9x2 그리드”일 수 있다. 예를 들어, 프로세서(120)는 디스플레이(210)의 전제 영역을 9x2 그리드로 18개의 가상 영역으로 분할할 수 있다.
일 실시예에 따르면, 가상의 분할 영역은 예시 <1301>의 6분할(예: 3x2 그리드) 또는 예시 <1303>의 18분할(예: 9x2 그리드)에 제한하지 않으며, 다양하게 설정될 수 있다. 예를 들어, 6분할 또는 9분할의 경우에도 2x3 그리드 또는 1x9 그리드와 같이 각각 분할하거나, 9분할(예: 3x3 그리드), 8분할(예: 4x2 그리드), 10분할(예: 5x2 그리드), 12분할(예: 4x3 그리드 또는 3x4 그리드), 또는 27분할(예: 9x3 그리드 또는 3x9 그리드)과 같이 다양하게 설정될 수 있다. 일 실시예에 따르면, 가상의 분할 영역은 분할 방식에 따라 크기 및 형태가 다를 수 있다. 일 실시예에 따르면, 가상의 분할 영역은 전자 장치(101)가 접히는 위치에 기반하여 설정될 수도 있다. 예를 들어, 가상의 분할 영역은 전자 장치(101)의 가로 모드 또는 세로 모드에 따른 폴딩 축의 가로 또는 세로 방향으로 좌/우 또는 상/하의 2개의 영역으로 설정될 수도 있다.
일 실시예에 따르면, 디스플레이(210)의 영역 분할은 프로세서(120)에 의해 백그라운드에서 수행될 수 있다. 일 실시예에 따르면, 디스플레이(210)의 분할 영역은 사용자의 파지 위치 및/또는 제어 객체의 위치를 구별하기 위해 가상적으로 구획될 수 있다. 일 실시예에 따르면, 디스플레이(210)의 영역을 가상 분할하는 동작은, 사용자의 파지 위치 및/또는 제어 객체의 위치 구별의 정확성을 위한 것으로, 본 개시의 실시예가 이에 제한하는 것은 아니다. 일 실시예에 따르면, 프로세서(120)는 디스플레이(210)의 영역 분할 없이 동작할 수도 있다. 예를 들어, 프로세서(120)는 파지 위치를 식별하고, 파지 위치와 각 제어 객체 간의 거리를 직접적으로 계산하는 방식으로 동작할 수도 있다.
동작 1203에서, 프로세서(120)는 파지 상태에 기반하여 대응하는 분할 영역에 플로팅 액션 버튼을 제공하는 동작을 수행할 수 있다. 일 실시예에서, 플로팅 액션 버튼은, 예를 들어, 타겟 제어 객체에 대응하는 중복 제어 객체를 호출하기 위한 호출 객체(예: 아이콘 및/또는 텍스트)를 나타낼 수 있다. 이의 예가 도 14에 도시된다.
도 14를 참조하면, 도 14의 예시에서 참조 부호 1400은 플로팅 액션 버튼의 예를 나타내고, 참조부호 1405는 최적화 영역을 나타낼 수 있다. 도 14의 예시에서 참조 부호 1410은 제1 제어 객체(예: 묶음(또는 꾸러미) 제어 객체)를 나타내고, 참조부호 1420은 제2 제어 객체(예: URL 입력 객체)를 나타내고, 참조부호 1430은 제3 제어 객체(예: 화면 이동 객체)를 나타낼 수 있다. 도 14의 예시에서 제1 제어 객체(1410)는 어플리케이션과 연관된 복수의 제어 객체(예: 제1 제어 객체(1410), 제2 제어 객체(1420), 및 제3 제어 객체(1430)) 중 최적화 영역(1405)에 제공될 타겟 제어 객체를 나타낼 수 있다. 도 14의 예시에서 참조부호 1440은 제1 제어 객체(1410)가 타겟 제어 객체로 지정됨을 지시하는 시각적인 효과를 위한 비주얼 큐(visual cue)의 예를 나타낼 수 있다. 도 14의 예시에서 참조 부호 1450은 타겟 제어 객체로 지정되는 제1 제어 객체(1410)에 대응하는 중복 제어 객체의 예를 나타낼 수 있다.
도 14에 예시한 바와 같이, 사용자의 파지 상태에 따른 파지 위치(예: 디스플레이(210) 상에서 사용자의 손가락이 터치된 지점)에 대응하여 플로팅 액션 버튼(1400)이 제공(예: 표시)될 수 있다. 일 실시예에 따르면, 플로팅 액션 버튼(1400)은 디스플레이(210) 상에서 파지 위치에 대응하는 영역에 플로팅 방식으로 제공될 수 있다. 일 실시예에 따르면, 플로팅 액션 버튼(1400)은 최적화 영역(1405)에서 다른 터치 영역과 겹치지 않도록 배치될 수 있다. 일 실시예에 따르면, 프로세서(120)는 플로팅 액션 버튼에 기반한 동작은 생략하고, 중복 제어 객체를 제공하는 동작을 바로 수행할 수도 있다. 예를 들어, 프로세서(120)는 동작 1203은 수행하지 않을 수 있다. 예를 들어, 프로세서(120)는 플로팅 액션 버튼(1400)을 표시하지 않고, 도 14의 참조 부호 1450에 예시한 바와 같은 중복 제어 객체(1450)를 바로 제공하도록 동작할 수 있다.
일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체(1410)를 제공할 때, 파지 위치에 타겟 제어 객체에 대응하는 중복 제어 객체(1450)를 바로 제공하거나, 도 12 및 도 14에 예시한 바와 같이 플로팅 액션 버튼(1400)을 이용한 사용자 입력과 연관지어 제공할 수 있다.
동작 1205에서, 프로세서(120)는 어플리케이션과 연관된 제어 객체(예: 제1 제어 객체(1410), 제2 제어 객체(1420), 및 제3 제어 객체(1430))를 추출하는 동작을 수행할 수 있다. 일 실시예에 따라, 제어 객체는 포어그라운드에서 실행 중인 어플리케이션에 관련된 기능 제어를 위한 하나 또는 그 이상의 제어 객체를 포함할 수 있다. 일 실시예에 따라, 제어 객체는 어플리케이션에 관련된 다양한 제어 객체 중 디스플레이(210)를 통해 현재 표시되는 실행 화면 상에 제공된 제어 객체(예: 제1 제어 객체(1410), 제2 제어 객체(1420), 및 제3 제어 객체(1430))를 나타낼 수 있다. 일 실시예에 따르면, 프로세서(120)는 분할 영역에 기반하여 어플리케이션과 연관된 제어 객체를 추출할 수 있다.
일 실시예에 따르면, 프로세서(120)는 어플리케이션에 관련된 제어 객체 중, 디스플레이(210)를 통해 표시되는 실행 화면 상에서 표시된 적어도 하나의 제어 객체(예: 제1 제어 객체(1410), 제2 제어 객체(1420), 및 제3 제어 객체(1430))를 추출할 수 있다. 일 실시예에 따르면, 도 12에 예시한 바와 같이, 디스플레이(210)의 영역을 가상 분할하여 분할 영역을 이용하여 동작하는 경우, 프로세서(120)는 분할 영역에 기반하여 파지 위치의 분할 영역과 상대적으로 먼 거리의 분할 영역을 식별하고, 식별된 분할 영역 내의 제어 객체를 추출하도록 동작할 수 있다.
동작 1207에서, 프로세서(120)는 타겟 제어 객체를 식별하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 추출된 제어 객체 중 지정된 조건에 대응하는 제어 객체(예: 제1 제어 객체(1410))를 타겟 제어 객체로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 파지 위치와 제어 객체(예: 제1 제어 객체(1410), 제2 제어 객체(1420), 및 제3 제어 객체(1430)) 간의 거리에 기반하여 타겟 제어 객체(예: 제1 제어 객체(1410))를 결정할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)의 지정된 상태(예: 제1 지정된 상태 또는 제2 지정된 상태)에서 파지 위치로부터 가장 먼 거리에 위치된 제어 객체(예: 제1 제어 객체(1410))를 타겟 제어 객체로 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 파지 위치의 분할 영역을 기준으로 가장 먼 거리에 위치된 분할 영역의 제어 객체에 기반하여 타겟 제어 객체를 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제1 지정된 상태에서 파지 위치와 제어 객체 간의 거리를 화면 상의 직선 거리 계산에 기반하여 가장 먼 거리의 제어 객체를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제2 지정된 상태에서 파지 위치와 제어 객체 간의 거리를 3차원(3D) 거리 계산에 기반하여 가장 먼 거리의 제어 객체를 식별할 수 있다. 이의 예가 도 14에 도시된다.
도 14를 참조하면, 참조 부호 1410의 제어 객체(예: 제1 제어 객체(1410))가 사용자의 파지 위치(예: 도 14에서 플로팅 액션 버튼(1400)이 제공된 위치에 대응)로부터 가장 먼 거리에 위치하는 제어 객체일 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 제어 객체(1410)를 타겟 제어 객체로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 결정할 때, 거리와 함께 지정된 조건(예: 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수)을 고려하여, 가산점을 기반으로 타겟 제어 객체를 결정할 수도 있다. 일 실시예에 따르면, 프로세서(120)는 제2 지정된 상태에서 폴딩 축에 위치된 제어 객체에 가산점을 부여할 수도 있다. 일 실시예에 따라, 타겟 제어 객체를 결정하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
동작 1209에서, 프로세서(120)는 비주얼 큐(visual cue)(1440)를 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 사용자가 타겟 제어 객체(1410)를 직관적으로 인지할 수 있도록 타겟 제어 객체(1410)에 지정된 비주얼 큐(1440)를 제공할 수 있다. 이의 예가 도 14에 도시된다.
도 14를 참조하면, 디스플레이(210) 상에 표시된 제어 객체(예: 제1 제어 객체(1410), 제2 제어 객체(1420), 및 제3 제어 객체(1430)) 중 타겟 제어 객체로 결정된 제1 제어 객체(1410)에 대해 시각적인 효과를 적용한 비주얼 큐(1440)를 제공할 수 있다. 일 실시예에 따르면, 비주얼 큐(1440)는 하이라이팅(highlighting), 애니메이션(animation), 컬러(color) 변경 및/또는 지시 객체(예: 화살표 이미지 또는 아이콘) 표시와 같은 시각적 효과를 포함할 수 있다. 예를 들어, 비주얼 큐(1440)는 사용자의 이목을 타겟 제어 객체에 집중시킬 수 있는 다양한 요소로 제공될 수 있다.
동작 1211에서, 프로세서(120)는 플로팅 액션 버튼(1400)과 타겟 제어 객체로 지정된 제1 제어 객체(1410)를 매핑하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체와 동일한(예: 대응하는 기능을 갖는) 중복 제어 객체(1450)를 구성(예: 복사)(또는 생성)하고, 중복 제어 객체(1450)가 제공될 위치(예: 최적화 영역(1405))를 플로팅 액션 버튼(1400)의 위치와 매핑할 수 있다. 예를 들어, 프로세서(120)는 중복 제어 객체(1450)를 제공하기 위한 최적화 영역(1405)을 결정할 수 있다.
일 실시예에 따르면, 플로팅 액션 버튼(1400)을 이용하지 않고 중복 제어 객체(1450)를 바로 제공하는 동작의 경우, 프로세서(120)는 플로팅 액션 버튼(1400)이 아닌, 사용자의 파지 위치(예: 터치된 지점)에 기반하여 중복 제어 객체(1450)가 제공될 위치를 매핑하도록 동작할 수 있다.
동작 1213에서, 프로세서(120)는 플로팅 액션 버튼(1400)에 대응하는 영역(예: 최적화 영역(1405))에 타겟 제어 객체(예: 제1 제어 객체(1410))에 대응하는 중복 제어 객체(1450)를 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 제공할 때, 타겟 제어 객체로 지정된 제1 제어 객체(1410))는 원래의 위치 상에 유지하면서, 대응하는 기능을 갖는 중복 제어 객체(1450)를 플로팅 액션 버튼(1400)(또는 사용자의 파지 위치) 상에 중복 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체로 지정된 제1 제어 객체(1410)와 동일한 중복 제어 객체(1450)를 최적화 영역(1405)에 플로팅(floating) 하여 제공할 수 있다. 이의 예가 도 14에 도시된다.
도 14를 참조하면, 디스플레이(210) 상에 타겟 제어 객체(예: 제1 제어 객체(1410)) 및 그에 관련된 비주얼 큐(1440)는 유지될 수 있다. 일 실시예에 따르면, 중복 제어 객체(1450)가 사용자의 파지 위치에 대응하는 위치(또는 최적화 영역(1405))에 표시될 수 있다. 일 실시예에 따르면, 중복 제어 객체(1450)는 최적화 영역(1405)에서 다른 터치 영역과 겹치지 않도록 배치될 수 있다. 일 실시예에 따라, 플로팅 액션 버튼(1400)을 이용하는 방식의 경우, 예를 들어, 플로팅 액션 버튼(1400)의 위치에 중복 제어 객체(1450)가 대체되어 표시될 수 있다.
도 15a 및 도 15b는 본 개시의 일 실시예에 따른 제어 객체 및 그가 제공되는 일 예를 설명하기 위한 도면들이다.
도 15a를 참조하면, 도 15a는 단일 제어 객체(1510) 또는 묶음(또는 꾸러미) 제어 객체(1520)의 일 예를 나타낼 수 있다. 도 15a에 예시한 바와 같이, 어플리케이션에서 제공하는 제어 객체는, 하나의 제어 객체 또는 복수의 제어 객체의 묶음 형태로 제공될 수 있다. 일 실시예에 따르면, 단일 제어 객체(1510)는 지정된 범위의 터치 영역(1515)을 갖는 아이콘 및/또는 텍스트로 제공될 수 있다. 일 실시예에 따르면, 묶음 제어 객체(1520)는 복수의 터치 영역(1521, 1523, 1525, 1527)을 기준으로 사이에 공간이 없이 이어서 배치된 복수의 아이콘(예: Home, Bookmarks, Tabs, Tools) 및/또는 텍스트로 제공될 수 있다. 일 실시예에 따라, 묶음 제어 객체(1520)를 이루는 각 제어 객체는 서로 다른 기능을 지원하는 제어 객체일 수 있다. 일 실시예에 따르면, 타겟 제어 객체 결정 시에 묶음 제어 객체(1520)는 하나의 제어 객체로 인식하도록 동작할 수 있다.
도 15b를 참조하면, 도 15b는 중복 제어 객체(1500)를 제공하기 위한 기준 위치(1400)(예: 플로팅 액션 버튼 또는 파지 위치(또는 터치된 지점))에 중복 제어 객체(1500)를 매핑하는 일 예를 나타낼 수 있다. 도 15b에 예시한 바와 같이, 중복 제어 객체(1500)는 기준 위치(1400)의 중앙점(C1)과 중복 제어 객체(1500)의 중앙점(C2)을 기준으로 생성되어 제공될 수 있다. 예를 들어, 기준 위치(1400)의 중앙점(C1)에 중복 제어 객체(1500)의 중앙점(C2)이 겹칠 수 있다. 일 실시예에 따르면, 기준 위치(1400)의 중앙점(C1)과 중복 제어 객체(1500)의 중앙점(C2)을 기준으로 할 때, 파지 위치에 따라 중복 제어 객체(1500)가 표시될 공간이 없는 경우(예: 어느 에지 영역에 치우친 경우), 예를 들어, 에지 영역에 대향하여 화면 내측에 있는 경계점(edge point)(E1 또는 E2)을 기준 위치(1400)의 중앙점(C1)과 매핑할 수도 있다.
도 16은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
일 실시예에 따라, 도 16은 일 실시예에 따른 전자 장치(101)에서 사용자가 전자 장치(101)를 파지한 상태에서 가장 접근이 어려운 영역의 제어 객체를 가장 최적화된 영역에서 중복 제공할 수 있는 최적화 서비스를 지원하는 예를 나타낼 수 있다. 일 실시예에 따르면, 도 16에서 설명되는 동작은, 예를 들어, 도 10 및/또는 도 12에서 설명된 동작들에 결합하여 휴리스틱하게 수행되거나, 설명된 동작들의 적어 일부 동작의 상세 동작으로 휴리스틱하게 수행될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)에서, 최적화 서비스를 지원하는 방법은, 예를 들어, 도 16에 도시된 흐름도에 따라 수행될 수 있다. 도 16에 도시된 흐름도는 전자 장치(101)의 파지 상태에 따른 사용성 최적화 방법의 일 실시예에 따른 흐름도에 불과하며, 적어도 일부 동작의 순서는 변경되거나 병렬적으로 수행되거나, 독립적인 동작으로 수행되거나, 또는 적어도 일부 다른 동작이 적어도 일부 동작에 보완적으로 수행될 수 있다. 본 개시의 일 실시예에 따르면, 동작 1601 내지 동작 1625는 전자 장치(101)의 적어도 하나의 프로세서(120)에서 수행될 수 있다.
도 16에 도시한 바와 같이, 일 실시예에 따른 전자 장치(101)가 수행하는 동작 방법(예: 사용자의 전자 장치(101) 파지 상태에 따른 사용성 최적화를 위한 동작 방법)은, 제어 객체를 검출하는 동작(1601), 사용자의 파지 상태를 판단하는 동작(1603), 전자 장치(101)의 지정된 상태를 판단하는 동작(1605), 전자 장치(101)가 제1 지정된 상태로 동작하는 경우 제1 지정된 조건에 기반하여 타겟 제어 객체를 결정하는 동작(1607), 전자 장치(101)가 제2 지정된 상태로 동작하는 경우 제2 지정된 조건에 기반하여 타겟 제어 객체를 결정하는 동작(1609), 제1 지정된 조건 또는 제2 지정된 조건에 기반하여 결정된 타겟 제어 객체에 대응하는 중복 제어 객체를 생성하는 동작(1611), 중복 제어 객체에 기반하여 파지 위치에 대응하는 영역의 조건을 판단하는 동작(1613), 파지 위치에 대응하는 영역에 중복 제어 객체를 위한 공간 확보가 가능한지 판단하는 동작(1615), 파지 위치에 대응하는 영역에서 공간 확보가 가능한 경우, 파지 위치의 영역을 최적화 영역(예: 제1 최적화 영역)으로 결정하는 동작(1617), 파지 위치의 영역(예: 최적화 영역)에 기반하여 중복 제어 객체를 제공하는 동작(1619), 파지 위치에 대응하는 영역에서 공간 확보가 가능하지 않은 경우(또는 공간이 미 확보되는 경우), 파지 위치의 주변 영역을 최적화 영역(예: 제2 최적화 영역)으로 결정하는 동작(1621), 파지 위치의 주변 영역(예: 최적화 영역)에 기반하여 중복 제어 객체를 제공하는 동작(1623), 및 중복 제어 객체에 기반한 사용자 입력에 기반하여 해당 동작을 수행하는 동작(1625)을 포함할 수 있다.
도 16을 참조하면, 동작 1601에서, 전자 장치(101)의 프로세서(120)는 제어 객체를 검출하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이(210)를 통해 표시 중인 어플리케이션의 실행 화면에서, 어플리케이션에서 지원 가능한 기능 제어와 관련된 하나 또는 그 이상의 제어 객체를 검출할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)에서 실행 가능하고 디스플레이(210)를 통해 현재 표시되는 실행 화면으로부터 다양한 제어 객체를 검출할 수 있다.
동작 1603에서, 프로세서(120)는 사용자의 파지 상태를 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이(210) 상에 터치된 지점에 기반하여, 디스플레이(210) 상에서 파지 위치를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 센서 모듈(176) (예: 베젤 영역의 그립 센서), 후면의 카메라 모듈(180), 및/또는 후면의 디스플레이(예: 커버 디스플레이의 터치 센서)에 적어도 기반하여, 사용자의 파지 상태(예: 왼손 파지, 오른손 파지 또는 양손 파지 및 사용자의 손이 디스플레이(210) 상에 위치된 영역)를 식별하고, 파지 상태에 기반하여 파지 위치를 식별할 수 있다. 일 실시예에 따라, 사용자의 파지 상태를 판단하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
일 실시예에 따르면, 동작 1601 및 동작 1603은 도시된 순서에 제한하지 않으며, 병렬적으로, 순차적으로, 역순차적으로, 또는 휴리스틱하게 수행될 수 있다.
동작 1605에서, 프로세서(120)는 전자 장치(101)의 지정된 상태를 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 사용자는 도 11에 예시한 바와 같이, 전자 장치(101)를 제1 지정된 상태(예: 완전히 펼쳐진 상태)에서 사용하거나, 또는 제2 지정된 상태(예: 부분적으로 접힌 상태)에서 사용할 수 있다. 일 실시예에 따르면, 프로세서(120)는 상태 감지 센서의 센서 데이터에 기반하여 전자 장치(101)의 펼침(또는 접힘) 각도를 측정할 수 있다. 일 실시예에서, 펼침 각도는 전자 장치(101)가 폴딩 축에 의해 나뉘어진 두 디스플레이 면(예: 제1 디스플레이 면 및 제2 디스플레이 면)이 폴딩 축과 이루는 각도를 나타낼 수 있다.
일 실시예에 따라, 프로세서(120)는 전자 장치(101)의 펼침 각도에 기반하여 전자 장치(101)가 완전히 펼쳐진 상태(예: 제1 지정된 상태)인지, 또는 일정 각도로 접힌 상태(예: 제2 지정된 상태)인지 여부를 판단할 수 있다.
일 실시예에 따르면, 프로세서(120)는 상태 감지 센서에 의해 측정된 펼침 각도(또는 접힘 각도)가 약 180도이거나 또는 이에 근접한 각도인 경우, 전자 장치(101)의 디스플레이(210)가 완전히 펼쳐진 상태(예: 제1 지정된 상태)로 판단할 수 있다.
일 실시예에 따르면, 프로세서(120)는 상태 감지 센서에 의해 측정된 펼침 각도가 제1 지정된 각도(예: 부분적으로 접힌 상태에서 사용자의 시야가 보장되는 각도(예: 약 90도)) 이상이고 제2 지정된 각도(예: 약 180도) 미만인 경우 부분적으로 접힌 상태(예: 제2 지정된 상태)로 판단할 수 있다. 예를 들면, 프로세서(120)는 상태 감지 센서의 적어도 하나의 센서로부터 획득된 데이터에 기반하여, 측정한 펼침 각도(또는 접힘 각도)가 미리 결정된 각도 범위(예: 제1 지정된 각도(예: 약 90도) ≤ 각도 < 제2 지정된 각도(예: 약 180도)) 이내인 경우, 전자 장치(101)의 디스플레이(210)가 미리 결정된 정도로 접히거나, 또는 펼쳐진 것으로 판단할 수 있다.
동작 1605에서, 프로세서(120)는 전자 장치(101)가 제1 지정된 상태로 동작하는 경우(예: 동작 1605의 “제1 지정된 상태”로 진행), 동작 1607에서, 제1 지정된 조건에 기반하여 타겟 제어 객체를 결정하는 동작을 수행할 수 있다. 일 실시예에 따라, 프로세서(120)는 제1 지정된 상태에서 검출된 제어 객체 중 파지 위치로부터 가장 먼 거리에 위치된 제어 객체를 타겟 제어 객체로 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 제1 지정된 상태에서 파지 위치와 제어 객체 간의 거리를 화면 상의 직선 거리 계산에 기반하여 가장 먼 거리의 제어 객체를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 결정할 때, 거리와 함께 지정된 조건(예: 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수)을 고려하여, 가산점을 기반으로 타겟 제어 객체를 결정할 수도 있다. 일 실시예에 따라, 제1 지정된 조건 및 제1 지정된 상태에서 제1 지정된 조건에 따라 타겟 제어 객체를 결정하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
동작 1605에서, 프로세서(120)는 전자 장치(101)가 제2 지정된 상태로 동작하는 경우(예: 동작 1605의 “제2 지정된 상태”로 진행), 동작 1609에서, 제2 지정된 조건에 기반하여 타겟 제어 객체를 결정하는 동작을 수행할 수 있다. 일 실시예에 따라, 프로세서(120)는 제2 지정된 상태에서 검출된 제어 객체 중 폴딩 축에 위치된 제어 객체 및/또는 파지 위치와 제어 객체 간의 거리를 3차원(3D) 거리 계산에 기반하여 가장 먼 거리에 위치된 제어 객체를 타겟 제어 객체로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체를 결정할 때, 거리와 함께 지정된 조건(예: 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수)을 고려하여, 가산점 기반으로 타겟 제어 객체를 결정할 수도 있다. 일 실시예에 따르면, 프로세서(120)는 제2 지정된 상태에서 폴딩 축에 위치된 제어 객체에 가산점을 부여할 수도 있다. 일 실시예에 따라, 제2 지정된 조건 및 제2 지정된 상태에서 제2 지정된 조건에 따라 타겟 제어 객체를 결정하는 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
동작 1611에서, 프로세서(120)는 타겟 제어 객체에 대응하는 중복 제어 객체를 생성하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 지정된 조건(예: 동작 1607의 제1 지정된 조건 또는 동작 1609의 제2 지정된 조건)에 따라 결정된 타겟 제어 객체에 대응하는 중복 제어 객체를 생성할 수 있다. 일 실시예에 따라, 제어 객체는 단일 제어 객체 형식(예: 도 15a의 제어 객체(1510)) 및/또는 묶음(또는 꾸러미) 제어 객체 형식(예: 도 15a의 제어 객체(1520))을 포함할 수 있다. 일 실시예에 따라, 프로세서(120)는 묶음 제어 객체를 하나의 제어 객체로 인식하도록 동작할 수 있다.
일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체가 단일 제어 객체 형식인 경우, 해당 제어 객체에 대응하는 단일 제어 객체 형식으로 중복 제어 객체를 생성할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체가 묶음 제어 객체 형식인 경우, 해당 제어 객체에 대응하는 묶음 제어 객체 형식으로 중복 제어 객체를 생성할 수 있다. 일 실시예에 따르면, 타겟 제어 객체는 하나의 제어 객체를 포함하거나, 또는 복수의 다른 제어 객체를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체는 원래의 위치 상에서 지정된 비주얼 큐를 통해 표시하면서, 대응하는 타겟 제어 객체의 기능을 갖는(또는 타겟 제어 객체와 동일한) 제어 객체(예: 중복 제어 객체)를 구성(예: 복사)할 수 있다.
동작 1613에서, 프로세서(120)는 중복 제어 객체에 기반하여 파지 위치에 대응하는 영역의 조건을 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 중복 제어 객체의 크기(또는 면적) 및/또는 파지 위치에 대응하는 영역에서 다른 객체(예: 어플리케이션과 관련된 탭, 이미지, 텍스트, 및/또는 툴바(toolbar))와의 겹침(또는 중첩) 여부와 같은 지정된 조건을 판단할 수 있다.
동작 1615에서, 프로세서(120)는 파지 위치에 대응하는 영역에 중복 제어 객체를 위한 공간 확보가 가능한지 여부를 판단하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 지정된 조건에 기반하여 사용자의 파지 위치(예: 디스플레이(210) 상에 터치된 지점(예: 전면 핑거(finger) 터치 지점))에 대응하는 영역(또는 그 범위)에서 중복 제어 객체를 위한 공간 확보가 가능한 지 여부를 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 파지 위치에 대응하는 영역이 중복 제어 객체를 표시 가능한 크기(또는 면적)를 가질 수 있는지 및/또는 대응하는 영역에서 겹치는 다른 객체의 유무에 기반하여 공간 확보 가능 여부를 판단할 수 있다.
일 실시예에 따르면, 프로세서(120)는 파지 위치에 대응하는 영역에서 중복 제어 객체를 위한(또는 중복 제어 객체의 제공이 가능한) 공간의 확보가 가능한 지 여부에 기반하여 디스플레이(210) 상에서 사용자의 터치 지점에 기반한 최적화 영역(예: 제1 최적화 영역) 또는 터치 지점의 주변 영역에 기반한 최적화 영역(예: 제2 최적화 영역)을 결정할 수 있다.
동작 1615에서, 프로세서(120)는 파지 위치(예: 터치된 지점)에 대응하는 영역에서 공간 확보가 가능한 경우(예: 동작 1615의 “예”), 동작 1617에서, 파지 위치의 영역을 최적화 영역(예: 제1 최적화 영역)으로 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 최적화 영역 결정 시에, 대응하는 영역에서 다른 객체(예: 어플리케이션과 관련된 탭, 이미지, 텍스트, 및/또는 툴바(toolbar)와 겹치지 않게 제공할 수 있다. 예를 들어, 프로세서(120)는 결정된 최적화 영역에서 겹치는(또는 중첩되는) 다른 객체의 유무에 기반하여 최적화 영역을 보정할 수도 있다.
동작 1619에서, 프로세서(120)는 파지 위치의 영역(예: 최적화 영역)에 기반하여 중복 제어 객체를 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 최적화 영역에 타겟 제어 객체에 대응하는 기능을 갖는 중복 제어 객체를 플로팅 하여 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체는 원래의 위치 상에서 지정된 비주얼 큐를 통해 표시하면서, 대응하는 타겟 제어 객체의 기능을 갖는(또는 타겟 제어 객체와 동일한) 제어 객체(예: 중복 제어 객체)를 최적화 영역에 중복 제공할 수 있다.
동작 1615에서, 프로세서(120)는 파지 위치(예: 터치된 지점)에 대응하는 영역에서 공간 확보가 가능하지 않는 경우(예: 공간이 미확보 되는 경우)(예: 동작 1615의 “아니오”), 동작 1621에서, 파지 위치의 주변 영역을 최적화 영역(예: 제2 최적화 영역)으로 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 최적화 영역 결정 시에, 대응하는 영역에서 다른 객체(예: 어플리케이션과 관련된 탭, 이미지, 텍스트, 및/또는 툴바(toolbar)와 겹치지 않게 제공할 수 있다. 예를 들어, 프로세서(120)는 결정된 최적화 영역에서 겹치는(또는 중첩되는) 다른 객체의 유무에 기반하여 최적화 영역을 보정할 수도 있다.
동작 1623에서, 프로세서(120)는 파지 위치의 주변 영역(예: 최적화 영역)에 기반하여 중복 제어 객체를 제공하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 최적화 영역(예: 제2 최적화 영역)에 타겟 제어 객체에 대응하는 기능을 갖는 중복 제어 객체를 플로팅 하여 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 타겟 제어 객체는 원래의 위치 상에서 지정된 비주얼 큐를 통해 표시하면서, 대응하는 타겟 제어 객체의 기능을 갖는(또는 타겟 제어 객체와 동일한) 제어 객체(예: 중복 제어 객체)를 최적화 영역에 중복 제공할 수 있다.
동작 1625에서, 프로세서(120)는 중복 제어 객체에 기반한 사용자 입력에 기반하여 해당 동작을 수행하도록 동작할 수 있다. 일 실시예에 따르면, 프로세서(120)는 사용자와 상호작용(interaction)에 기반하여 다양한 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 사용자 입력에 따라 중복 제어 객체를 이동(예: 위치 변경), 제거 또는 대체(예: 다른 중복 제어 객체 생성 및 표시)하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 사용자 입력에 따라 중복 제어 객체에 관련된 기능으로 어플리케이션의 동작을 제어할 수 있다. 일 실시예에 따라, 사용자와 상호작용에 기반하여 수행하는 다양한 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
일 실시예에 따르면, 도 16에서는 도시하지 않았으나, 도 16에 예시한 바와 같은 동작에서, 전술한 도 12를 참조한 설명 부분에서 설명한 바와 같이, 플로팅 액션 버튼을 이용한 동작이 병행될 수도 있다. 예를 들어, 도 16의 중복 제어 객체를 제공하는 것과 관련하여, 플로팅 액션 버튼을 선 제공하고, 플로팅 액션 버튼을 이용한 사용자와의 상호작용에 기반하여, 플로팅 액션 버튼의 이동, 제거, 변경(예: 타겟 제어 객체 변경) 및/또는 대체(예: 플로팅 액션 버튼의 위치에서 중복 제어 객체 대체 제공)하는 동작을 병행할 수도 있다. 일 실시예에 따라, 플로팅 액션 버튼을 이용한 사용자와 상호작용에 기반하여 수행하는 다양한 동작에 관하여 후술하는 도면들을 참조하여 설명된다.
도 17은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 17을 참조하면, 도 17은 전자 장치(101)의 제1 지정된 상태(예: 완전히 펼쳐진 상태)의 세로 모드에서 사용자의 파지 상태 별로 타겟 제어 객체를 선정하는 동작 예를 나타낼 수 있다. 일 실시예에 따라, 도 17에서는 실행 화면 상에 표시되는 다양한 제어 객체 중 사용자의 조작이 가장 어려운 위치(예: 제1 지정된 상태에서 파지 위치(또는 영역)와 가장 먼 거리에 위치)의 제어 객체(또는 가장 먼 거리에 위치된 영역의 제어 객체)를 타겟 제어 객체로서 최적화 영역에 제공하는 예를 나타낼 수 있다. 예를 들어, 사용자의 손가락이 터치된 지점(또는 영역)과 물리적으로 가장 먼 영역(예: 대각선 방향의 영역)에 위치한 제어 객체가 중복 제어 객체를 위한 타겟 제어 객체가 될 수 있다.
일 실시예에서, 최적화 영역은 사용자가 현재 파지 상태를 유지한 상태에서 손가락(예: 엄지 손가락)이 닿을 수 있는 최대 범위 내에서 가장 적절한 영역을 나타낼 수 있다. 일 실시예에 따르면, 최적화 영역에 타겟 제어 객체에 대응하는 중복 제어 객체가 배치될 수 있다.
일 실시예에 따라, 예시 <1701>은 사용자가 전자 장치(101)의 왼쪽 하단(예: 4번 영역)을 왼손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 왼손 파지 위치(예: 4번 영역)에서 가장 먼 영역의 제어 객체는, 왼손 파지 위치(예: 4번 영역)로부터 대각 방향의 위치(예: 3번 영역)에 있는 제어 객체(1710)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(1710) 간의 거리 및/또는 방향을 기준으로 가장 먼 곳에 위치된(예: 왼손 파지 상태에서 사용자의 손가락(예: 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(1710)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 왼손으로 전자 장치(101)의 하단을 파지하는 상태에서 터치 가능한 최적화 영역은 4번 영역일 수 있고, 가장 먼 영역은 3번 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(1710)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 4번 영역)에 제어 객체(1710)를 중복 배치할 수 있다.
일 실시예에 따라, 예시 <1703>은 사용자가 전자 장치(101)의 왼쪽 상단(예: 1번 영역)을 왼손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 왼손 파지 위치(예: 1번 영역)에서 가장 먼 영역의 제어 객체는, 왼손 파지 위치(예: 1번 영역)로부터 대각 방향의 위치(예: 6번 영역)에 있는 제어 객체(1720)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(1720) 간의 거리 및/또는 방향을 기준으로 가장 먼 곳에 위치된(예: 왼손 파지 상태에서 사용자의 손가락(예: 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(1720)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 왼손으로 전자 장치(101)의 상단을 파지하는 상태에서 터치 가능한 최적화 영역은 1번 영역일 수 있고, 가장 먼 영역은 6번 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(1710)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 1번 영역)에 제어 객체(1720)를 중복 배치할 수 있다.
일 실시예에 따라, 예시 <1705>는 사용자가 전자 장치(101)의 오른쪽 상단(예: 3번 영역)을 오른손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 오른손 파지 위치(예: 3번 영역)에서 가장 먼 영역의 제어 객체는, 오른손 파지 위치(예: 3번 영역)로부터 대각 방향의 위치(예: 4번 영역)에 있는 제어 객체(1730)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(1730) 간의 거리 및/또는 방향을 기준으로 가장 먼 곳에 위치된(예: 오른손 파지 상태에서 사용자의 손가락(예: 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(1730)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 오른손으로 전자 장치(101)의 상단을 파지하는 상태에서 터치 가능한 최적화 영역은 3번 영역일 수 있고, 가장 먼 영역은 4번 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(1730)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 3번 영역)에 제어 객체(1730)를 중복 배치할 수 있다.
일 실시예에 따라, 예시 <1707>은 사용자가 전자 장치(101)의 오른쪽 하단(예: 6번 영역)을 오른손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 오른손 파지 위치(예: 4번 영역)에서 가장 먼 영역의 제어 객체는, 오른손 파지 위치(예: 6번 영역)로부터 대각 방향의 위치(예: 1번 영역)에 있는 제어 객체(1740)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(1740) 간의 거리 및/또는 방향을 기준으로 가장 먼 곳에 위치된(예: 오른손 파지 상태에서 사용자의 손가락(예: 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(1740)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 오른손으로 전자 장치(101)의 하단을 파지하는 상태에서 터치 가능한 최적화 영역은 6번 영역일 수 있고, 가장 먼 영역은 1번 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(1740)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 6번 영역)에 제어 객체(1710)를 중복 배치할 수 있다.
일 실시예에 따라, 예시 <1709>는 사용자가 전자 장치(101)의 양쪽 하단(예: 4번 영역 및 6번 영역)을 양손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 양손 파지 위치(예: 4번 영역 및 6번 영역)에서 가장 먼 영역의 제어 객체는, 양손 파지 위치(예: 4번 영역 및 6번 영역)로부터 대각 방향의 위치(예: 2번 영역)에 있는 제어 객체(1750)일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(1750) 간의 거리 및/또는 방향을 기준으로 가장 먼 곳에 위치된(예: 양손 파지 상태에서 사용자의 손가락(예: 각 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(1750)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 양손으로 전자 장치(101)의 하단을 파지하는 상태에서 터치 가능한 최적화 영역은 4번 영역 및/또는 6번 영역일 수 있고, 가장 먼 영역은 2번 영역일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제어 객체(1750)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 4번 영역 및/또는 6번 영역)에 제어 객체(1750)를 중복 배치할 수 있다. 일 실시예에 따라, 양손 파지의 경우, 최적화 영역(예: 4번 영역 및 6번 영역) 중 어느 하나의 영역에 제어 객체(1750)를 제공하거나, 또는 양손 파지에 대응하는 최적화 영역 각각에 제어 객체(1750)를 각각 제공할 수도 있다.
일 실시예에 따라, 양손 파지의 경우, 양손 파지의 위치를 기준으로 수렴되는 대각 방향의 위치(예: 2번 영역)을 가장 먼 영역으로 결정할 수 있다. 이에 제한하지 않으며, 양손 파지의 경우, 왼손 파지 위치를 기준으로 대각 방향의 위치(예: 3번 영역)와 오른손 파지 위치를 기준으로 대각 방향의 위치(예: 1번 영역)를 각각 가장 먼 영역으로 결정할 수도 있다. 각각의 파지 위치를 기준으로 하는 경우, 대응하는 영역(예: 1번 영역 및 3번 영역)의 제어 객체에 각각 대응하는 서로 다른 중복 제어 객체가 각각 대응하는 최적화 영역(예: 4번 영역 및 6번 영역)에 배치될 수 있다.
일 실시예에 따라, 예시 <1711>은 사용자가 전자 장치(101)의 양쪽 상단(예: 1번 영역 및 3번 영역)을 양손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 양손 파지 위치(예: 1번 영역 및 3번 영역)에서 가장 먼 영역의 제어 객체는, 양손 파지 위치(예: 1번 영역 및 3번 영역)로부터 대각 방향의 위치(예: 5번 영역)에 있는 제어 객체(1760)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(1760) 간의 거리 및/또는 방향을 기준으로 가장 먼 곳에 위치된(예: 양손 파지 상태에서 사용자의 손가락(예: 각 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(1760)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 양손으로 전자 장치(101)의 상단을 파지하는 상태에서 터치 가능한 최적화 영역은 1번 영역 및/또는 3번 영역일 수 있고, 가장 먼 영역은 5번 영역일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제어 객체(1760)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 1번 영역 및/또는 3번 영역)에 제어 객체(1760)를 중복 배치할 수 있다. 일 실시예에 따라, 양손 파지의 경우, 최적화 영역(예: 1번 영역 및 3번 영역) 중 어느 하나의 영역에 제어 객체(1760)를 제공하거나, 또는 양손 파지에 대응하는 최적화 영역 각각에 제어 객체(1760)를 각각 제공할 수도 있다.
일 실시예에 따라, 양손 파지의 경우, 양손 파지의 위치를 기준으로 수렴되는 대각 방향의 위치(예: 5번 영역)을 가장 먼 영역으로 결정할 수 있다. 이에 제한하지 않으며, 양손 파지의 경우, 왼손 파지 위치를 기준으로 대각 방향의 위치(예: 6번 영역)와 오른손 파지 위치를 기준으로 대각 방향의 위치(예: 1번 영역)를 각각 가장 먼 영역으로 결정할 수도 있다. 각각의 파지 위치를 기준으로 하는 경우, 대응하는 영역(예: 4번 영역 및 6번 영역)의 제어 객체에 각각 대응하는 서로 다른 중복 제어 객체가 각각 대응하는 최적화 영역(예: 1번 영역 및 3번 영역)에 배치될 수 있다.
도 18은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면이다.
도 18을 참조하면, 도 18은 전자 장치(101)의 가로 모드에서 사용자의 파지 상태 별로 타겟 제어 객체를 선정하는 동작 예를 나타낼 수 있다. 일 실시예에 따라, 도 18에서는 실행 화면 상에 표시되는 다양한 제어 객체 중 사용자의 파지 위치(또는 영역)와 가장 먼 거리에 위치된 제어 객체(1810)(또는 가장 먼 거리에 위치된 영역의 제어 객체(1810))를 타겟 제어 객체로서 최적화 영역에 제공하는 예를 나타낼 수 있다. 예를 들어, 사용자의 손가락이 터치된 지점(또는 영역)과 물리적으로 가장 먼 영역(예: 대각선 방향의 영역)에 위치한 제어 객체(1810)가 중복 제어 객체를 위한 타겟 제어 객체가 될 수 있다.
일 실시예에서, 최적화 영역은 사용자가 현재 파지 상태를 유지한 상태에서 손가락(예: 엄지 손가락)이 닿을 수 있는 최대 범위 내에서 가장 적절한 영역을 나타낼 수 있다. 일 실시예에 따르면, 최적화 영역에 타겟 제어 객체에 대응하는 중복 제어 객체가 배치될 수 있다.
일 실시예에 따라, 도 18에서는 사용자가 전자 장치(101)의 왼쪽 하단(예: 4번 영역)을 왼손 파지하는 예를 도시하지만, 이에 제한하는 것은 아니다. 예를 들어, 가로 모드에서 사용자의 파지 상태 별로 타겟 제어 객체를 제공하는 동작은, 전술한 도 17을 참조한 설명 부분에서 설명한 바와 같은 세로 모드에서 사용자의 다양한 파지 상태 별로 타겟 제어 객체를 제공하는 동작에 대응하는 다양한 동작을 포함할 수 있다.
도 19a 및 도 19b는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면들이다.
일 실시예에 따르면, 도 19a 및 도 19b는 전자 장치(101)의 제1 지정된 상태에서 실행 화면 상에 표시 중인 복수의 제어 객체 중 사용자의 파지 위치(1900)와 제어 객체(1910 ~ 1960) 간의 거리 및 가산점에 기반하여 타겟 제어 객체를 선정하는 일 예를 나타낼 수 있다.
도 19a를 참조하면, 도 19a는 전자 장치(101)의 제1 지정된 상태에서 사용자가 전자 장치(101)의 왼쪽 하단을 왼손 파지하는 상태에서, 파지 위치(1900)와 제어 객체(1910, 1920, 1930) 간의 거리에 기반하여 타겟 제어 객체를 결정하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 19a는 현재 표시 중인 실행 화면 상에서 동일한 영역(예: 3번 영역)에 제1 제어 객체(1910)(예: A 객체, B 객체 및 C 객체의 묶음 제어 객체), 제2 제어 객체(1920)(예: D 객체), 및 제3 제어 객체(1930)(예: E 객체)와 같이 복수의 제어 객체(1910, 1920, 1930)가 존재하는 경우의 예를 나타낼 수 있다.
도 19a에 예시한 바와 같이, 왼손 파지 상태에서, 파지 위치(1900)로부터 가장 먼 영역(예: 3번 영역)에서 묶음 제어 객체(1910) 및 단일 제어 객체(1920, 1930)의 복수의 제어 객체가 존재하는 경우, 전자 장치(101)는 사용자의 파지 위치(1900)와 물리적인 거리가 먼 제어 객체에 우선 순위를 부여할 수 있다. 예를 들어, 전자 장치(101)는 최적화 영역의 중앙 기준(예: 파지 위치(1900))으로 각 제어 객체(1910, 1920, 1930)까지의 거리(1915, 1925, 1935)를 계산하고, 가장 긴 거리(예: 거리(1915))를 갖는 제1 제어 객체(1910)를 타겟 제어 객체로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 타겟 제어 객체를 결정 시에, 파지 위치(1900)의 최적화 영역으로부터 가장 먼 영역(예: 3번 영역) 내의 각 제어 객체(1910, 1920, 1930)의 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수와 같은 제어 객체에 대한 사용자의 사용 조건을 식별할 수 있다. 예를 들어, 전자 장치(101)는 타겟 제어 객체의 선정 기준으로, 거리 가산점 및 사용 조건(예: 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수)을 이용할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(1910, 1920, 1930) 중 사용 조건에 기반하여, 사용 조건이 높은 제어 객체를 기준으로 우선 순위를 부여할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제어 객체(1910, 1920, 1930) 간의 사용 조건(예: 사용 빈도, 사용 시간, 지정 우선 순위, 및/또는 기능 객체의 묶음 개수)이 동일한 경우, 각 제어 객체(1910, 1920, 1930)의 대표(예: 최대, 최소, 중간, 최빈, 또는 평균) 값을 기준으로 우선 순위를 높게 설정할 수 있다. 일 실시예에 따라, 제1 제어 객체(1910) 내의 각 제어 객체(예: A 객체, B 객체 및 C 객체)의 사용 빈도가 각각 A 객체=10, B 객체=5 및 C 객체=5이고, 제2 제어 객체(1920)(예: D 객체)의 사용 빈도가 D 객체=15이고, 제3 제어 객체(1930)(예: E 객체)의 사용 빈도가 E 객체=0인 것을 가정할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제1 제어 객체(1910) 간의 제1 거리(1915), 파지 위치(1900)와 제2 제어 객체(1920) 간의 제2 거리(1925) 및 파지 위치(1900)와 제3 제어 객체(1930) 간의 제3 거리(1935) 간에 제1 거리(1915)가 가진 긴 거리(예: 제1 거리(1915) > 제2 거리(1925) > 제3 거리(1935))인 경우, 전자 장치(101)는 제1 제어 객체(1910)를 타겟 제어 객체로 선정하고, 제1 제어 객체(1910)를 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제1 제어 객체(1910) 간의 제1 거리(1915)와 파지 위치(1900)와 제2 제어 객체(1920) 간의 제2 거리(1925)가 동일(예: 제1 거리(1915) = 제2 거리(1925))인 경우, 전자 장치(101)는 사용 조건(예: 사용 빈도)가 높은 제2 제어 객체(1920)를 타겟 제어 객체로 선정하고, 제2 제어 객체(1920)를 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제1 제어 객체(1910) 간의 제1 거리(1915)가 파지 위치(1900)와 제2 제어 객체(1920) 간의 제2 거리(1925)보다 큰(예: 제1 거리(1915) > 제2 거리(1925)) 경우, 제1 거리(1915)와 제2 거리(1925) 간의 차이만큼 가산점(예: N점)을 제공할 수 있다. 예를 들어, 가산점이 5점인 경우를 가정하면, 제1 제어 객체(1910)(예: A 객체)의 사용 조건(예: 사용 빈도 A 객체=10)에 가산점(예: N=5)을 더하여, 제1 제어 객체(1910)를 타겟 제어 객체로 선정하고, 제1 제어 객체(1910)를 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제1 제어 객체(1910) 간의 제1 거리(1915), 파지 위치(1900)와 제2 제어 객체(1920) 간의 제2 거리(1925) 및 파지 위치(1900)와 제3 제어 객체(1930) 간의 제3 거리(1935)에 대해, 각각 거리 가산점이 제1 거리(1915)=가산점 7, 제2 거리(1925)=가산점 5 및 제3 거리(1935)=가산점 0인 경우를 가정하고, 제3 제어 객체(1930)(예: E 객체)의 사용 조건(예: 사용 빈도)가 가장 높은 경우를 가정할 수 있다.
일 실시예에 따라, 제1 제어 객체(1910)의 점수는 사용 빈도 10(예: A 객체의 사용 빈도)+제1 거리(1915)의 가산점 7의 합에 의해 총 17점일 수 있다. 일 실시예에 따라, 제2 제어 객체(1920)의 점수는 사용 빈도 15(예: D 객체의 사용 빈도)+제2 거리(1925)의 가산점 5의 합에 의해 총 20점일 수 있다. 일 실시예에 따라, 제3 제어 객체(1930)의 점수는 사용 빈도 약 20 초과(예; E 객체의 사용 빈도)+제3 거리(1935)의 가산점 0의 합에 의해 총 약 20점 초과일 수 있다. 이러한 경우, 전자 장치(101)는 제3 제어 객체(1930)를 타겟 제어 객체로 선정하고, 제3 제어 객체(1930)를 최적화 영역에 중복 제공할 수 있다.
도 19b를 참조하면, 도 19b는 전자 장치(101)의 제1 지정된 상태에서 사용자가 전자 장치(101)의 왼쪽 하단을 왼손 파지하는 상태에서, 파지 위치(1900)와 제어 객체(1940, 1950, 1960, 1970) 간의 거리에 기반하여 타겟 제어 객체를 결정하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 19b는 현재 표시 중인 실행 화면 상에서 서로 다른 영역(예: 1번 영역, 2번 영역, 3번 영역, 및 6번 영역) 각각에 제4 제어 객체(1940)(예: A 객체, B 객체 및 C 객체의 묶음 제어 객체), 제5 제어 객체(1950)(예: D 객체), 제6 제어 객체(1960)(예: E 객체), 및 제7 제어 객체(1970)(예: F 객체)와 같이 복수의 제어 객체(1940, 1950, 1960, 1970)가 존재하는 경우의 예를 나타낼 수 있다.
도 19b에 예시한 바와 같이, 왼손 파지 상태에서, 파지 위치(1900)로부터 가장 먼 영역(예: 3번 영역)에서 하나의 제어 객체(예: 제5 제어 객체(1950))가 존재하는 경우, 전자 장치(101)는 사용자의 파지 위치(1900)와 물리적인 거리가 먼 제5 제어 객체(1950)에 우선 순위를 부여할 수 있다. 예를 들어, 전자 장치(101)는 최적화 영역의 중앙 기준(예: 파지 위치(1900))으로 각 제어 객체(1940, 1950, 1960, 1970)까지의 거리(1945, 1955, 1965, 1975)를 계산하고, 가장 긴 거리(예: 거리(1955))를 갖는 제5 제어 객체(1950)를 타겟 제어 객체로 결정할 수 있다.
일 실시예에 따라, 도 19b에 예시한 바와 같이, 왼손 파지 상태에서, 파지 위치(1900)로부터 가장 먼 영역(예: 3번 영역)에 제공 중인 제어 객체가 없거나, 또는 해당 제어 객체(예: 제5 제어 객체(1950))의 사용 조건(예: 사용 빈도)가 다른 영역의 제어 객체에 비해 낮을 수 있다. 이러한 경우, 전자 장치(101)는 가장 먼 영역의 제어 객체(예: 제5 제어 객체(1950))가 아닌 다른 영역의 제어 객체를 타겟 제어 객체의 대상으로 결정할 수 있다. 예를 들어, 전자 장치(101)는 타겟 제어 객체의 선정 기준으로, 거리 가산점 및 사용 조건(예: 사용 빈도 및/또는 사용 시간)을 이용할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제4 제어 객체(1940) 간의 제4 거리(1945), 파지 위치(1900)와 제5 제어 객체(1950) 간의 제5 거리(1955), 파지 위치(1900)와 제6 제어 객체(1960) 간의 제6 거리(1965), 및 파지 위치(1900)와 제7 제어 객체(1970) 간의 제7 거리(1975)에 대해, 각각 거리 가산점이 제4 거리(1945)=가산점 10, 제5 거리(1955)=가산점 15, 제6 거리(1965)=가산점 0, 및 제7 거리(1975)=가산점 6인 경우를 가정하고, 제4 제어 객체(1940) 내지 제7 제어 객체(1970)의 사용 조건(예: 사용 빈도)이 제4 제어 객체(1940)=10, 제5 제어 객체(1950)=1, 제6 제어 객체(1960)=10, 및 제7 제어 객체(1970)=10인 경우를 가정할 수 있다.
일 실시예에 따라, 제4 제어 객체(1940)의 점수는 제4 거리(1945)의 가산점 10+사용 빈도 10의 합에 의해 총 20점일 수 있다. 일 실시예에 따라, 제5 제어 객체(1950)의 점수는 제5 거리(1955)의 가산점 15+사용 빈도 1의 합에 의해 총 16점일 수 있다. 일 실시예에 따라, 제6 제어 객체(1960)의 점수는 제6 거리(1965)의 가산점 0+사용 빈도 10의 합에 의해 총 10점일 수 있다. 일 실시예에 따라, 제7 제어 객체(1970)의 점수는 제7 거리(1975)의 가산점 6+사용 빈도 10의 합에 의해 총 16점일 수 있다. 이러한 경우, 전자 장치(101)는 제4 제어 객체(1940)를 타겟 제어 객체로 선정하고, 제4 제어 객체(1940)를 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제4 제어 객체(1940) 간의 제4 거리(1945), 파지 위치(1900)와 제5 제어 객체(1950) 간의 제5 거리(1955), 파지 위치(1900)와 제6 제어 객체(1960) 간의 제6 거리(1965), 및 파지 위치(1900)와 제7 제어 객체(1970) 간의 제7 거리(1975)에 대해, 각각 거리 가산점이 제4 거리(1945)=가산점 10, 제5 거리(1955)=가산점 15, 제6 거리(1965)=가산점 0, 및 제7 거리(1975)=가산점 6인 경우를 가정하고, 제4 제어 객체(1940) 내지 제7 제어 객체(1970)의 사용 조건(예: 사용 빈도)이 제4 제어 객체(1940)=10, 제5 제어 객체(1950)=1, 제6 제어 객체(1960)=30, 및 제7 제어 객체(1970)=10인 경우를 가정할 수 있다.
일 실시예에 따라, 제4 제어 객체(1940)의 점수는 제4 거리(1945)의 가산점 10+사용 빈도 10의 합에 의해 총 20점일 수 있다. 일 실시예에 따라, 제5 제어 객체(1950)의 점수는 제5 거리(1955)의 가산점 15+사용 빈도 1의 합에 의해 총 16점일 수 있다. 일 실시예에 따라, 제6 제어 객체(1960)의 점수는 제6 거리(1965)의 가산점 0+사용 빈도 30의 합에 의해 총 30점일 수 있다. 일 실시예에 따라, 제7 제어 객체(1970)의 점수는 제7 거리(1975)의 가산점 6+사용 빈도 10의 합에 의해 총 16점일 수 있다. 이러한 경우, 전자 장치(101)는 제6 제어 객체(1960)를 타겟 제어 객체로 선정하고, 제6 제어 객체(1960)를 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따라, 파지 위치(1900)와 제4 제어 객체(1940) 간의 제4 거리(1945), 파지 위치(1900)와 제5 제어 객체(1950) 간의 제5 거리(1955), 파지 위치(1900)와 제6 제어 객체(1960) 간의 제6 거리(1965), 및 파지 위치(1900)와 제7 제어 객체(1970) 간의 제7 거리(1975)에 대해, 각각 거리 가산점이 제4 거리(1945)=가산점 10, 제5 거리(1955)=가산점 15, 제6 거리(1965)=가산점 0, 및 제7 거리(1975)=가산점 6인 경우를 가정하고, 제4 제어 객체(1940) 내지 제7 제어 객체(1970)의 사용 조건(예: 사용 빈도)이 제4 제어 객체(1940)=10, 제5 제어 객체(1950)=1, 제6 제어 객체(1960)=10, 및 제7 제어 객체(1970)=14인 경우를 가정할 수 있다.
일 실시예에 따라, 제4 제어 객체(1940)의 점수는 제4 거리(1945)의 가산점 10+사용 빈도 10의 합에 의해 총 20점일 수 있다. 일 실시예에 따라, 제5 제어 객체(1950)의 점수는 제5 거리(1955)의 가산점 15+사용 빈도 1의 합에 의해 총 16점일 수 있다. 일 실시예에 따라, 제6 제어 객체(1960)의 점수는 제6 거리(1965)의 가산점 0+사용 빈도 10의 합에 의해 총 10점일 수 있다. 일 실시예에 따라, 제7 제어 객체(1970)의 점수는 제7 거리(1975)의 가산점 6+사용 빈도 14의 합에 의해 총 20점일 수 있다. 이와 같이, 제4 제어 객체(1940)의 점수(=10)과 제7 제어 객체(1970)의 점수(=10)가 동일할 수 있다. 예를 들어, 거리 가산점 + 사용 빈도가 동일한 경우, 전자 장치(101)는 영역 별 우선 순위를 적용할 수 있다.
일 실시예에 따르면, 영역 별 우선 순위는 사용자의 파지 위치 기준으로 결정될 수 있다. 예를 들어, 도 19b의 예시와 같이, 왼손 하단 파지 기준으로, 3번 영역 > 6번 영역 > 2번 영역> 5번 영역 > 1번 영역과 같이 정의될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 형태를 구분(예: 왼손 파지, 오른손 파지 또는 양손 파지)하고, 전자 장치(101)에서 파지되는 위치(예: 전자 장치(101)의 상단 또는 하단)를 구분하여, 영역 별 우선 순위를 결정할 수 있다. 예를 들어, 전자 장치(101)는 영역 별 우선 순위가 높은 3번 영역의 제4 제어 객체(1940)를 타겟 제어 객체로 선정하고, 제4 제어 객체(1940)를 최적화 영역에 중복 제공할 수 있다.
도 20 및 도 21은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면들이다.
일 실시예에 따라, 도 20은 메시지(또는 메신저) 어플리케이션에서 화면 분할에 기반하여 서로 다른 뎁스(depth)(또는 계층(layer))(예: 상위 뎁스 및 그의 하위 뎁스)의 실행 화면을 표시하는 상태의 일 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 실행 화면의 뎁스(또는 계층)에 상관없이 사용자의 파지 위치에 기반하여 제어 객체를 중복 제공할 수 있다.
일 실시예에 따르면, 도 20에서 타겟 제어 객체(2020)는 하위 뎁스의 기능을 동작하기 위한(또는 하위 뎁스의 기능 제어에 매핑된) 제어 객체일 수 있다. 일 실시예에 따르면, 도 20에서 중복 제어 객체(2030)는 상위 뎁스에 위치할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 중복 제어 객체(2030)가 위치되는 뎁스에 관계없이, 중복 제어 객체(2030)에 대응하는 타겟 제어 객체(2020)가 매핑된 뎁스의 기능을 동작하도록 할 수 있다. 예를 들어, 상위 뎁스에 위치된 중복 제어 객체(2030)에 의한 기능 실행 시, 타겟 제어 객체(2020)가 매핑된 하위 뎁스의 기능이 동작될 수 있다.
도 20에 예시한 바와 같이, 사용자의 왼손 하단 파지에 따라, 최적화 영역 내의 파지 위치(2000)에 기반하여 플로팅 액션 버튼(2010)이 제공될 수 있다. 도 20의 예시에서, 실행 화면의 다양한 제어 객체 중 파지 위치(2000)로부터 가장 먼 거리의 제어 객체(2020)가 타겟 제어 객체일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 플로팅 액션 버튼(2010)에 기반한 사용자 입력(예: 플로팅 액션 버튼(2010) 탭(tap) 또는 터치)에 기반하여, 플로팅 액션 버튼(2010)의 위치(예: 사용자의 파지 위치(2000))에 기반하여 최적화 영역을 결정하고, 최적화 영역에 제어 객체(2020)에 대응하는 중복 제어 객체(2030)를 플로팅 하여 중복 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 중복 제어 객체(2030)를 제공할 때, 제어 객체(2020)는 원래의 위치에 유지하면서 지정된 비주얼 큐를 통해 중복 제어 객체(2030)가 지시하는 제어 객체(2020)를 사용자가 인지하도록 강조 제공할 수 있다.
일 실시예에 따라, 도 21은 갤러리 어플리케이션에서 화면 분할 없이 하나의 전체 화면에 기반하여 실행 화면을 표시하는 상태의 일 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 실행 화면의 뎁스(또는 계층)에 상관없이 사용자의 파지 위치에 기반하여 제어 객체를 중복 제공할 수 있다.
도 21에 예시한 바와 같이, 사용자의 왼손 하단 파지에 따라, 최적화 영역 내의 파지 위치(2100)에 기반하여 플로팅 액션 버튼(2110)이 제공될 수 있다. 도 21의 예시에서, 실행 화면의 다양한 제어 객체 중 파지 위치(2100)로부터 가장 먼 거리의 제어 객체(2120)가 타겟 제어 객체일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 플로팅 액션 버튼(2110)에 대한 사용자 입력(예: 플로팅 액션 버튼(2110) 탭 또는 터치) 및/또는 플로팅 액션 버튼(2110)의 위치(예: 사용자의 파지 위치(2100))에 기반하여 최적화 영역을 결정하고, 최적화 영역에 제어 객체(2120)에 대응하는 중복 제어 객체(2130)를 플로팅 하여 중복 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 중복 제어 객체(2130)를 제공할 때, 제어 객체(2120)는 원래의 위치를 유지하면서 지정된 비주얼 큐를 통해 중복 제어 객체(2130)가 지시하는 제어 객체(2120)를 사용자가 인지하도록 강조 제공할 수 있다.
일 실시예에 따라, 도 20 및 도 21에 예시한 바와 같이, 전자 장치(101)는 중복 제어 객체(2030, 2130)를 제공할 때, 중복 제어 객체(2030, 2130)가 제공될 영역에서 중첩되는 다른 객체가 존재하는 경우, 중복 제어 객체(2030, 2130)의 위치를 이동(예: 최적화 영역 보정)하여, 다른 객체와 겹치지 않게 제공할 수 있다.
일 실시예에 따라, 도 20 및 도 21에서는 제1 지정된 상태에서 동작 시에 사용자의 파지 위치(2000, 2100)에 플로팅 액션 버튼(2010, 2110)을 제공하고, 플로팅 액션 버튼(2010, 2110)에 의한 사용자 입력에 기반하여 중복 제어 객체(2030, 2130)를 플로팅 하여 중복 제공하는 예를 나타낼 수 있다. 본 개시의 실시예들이 이에 제한하는 것은 아니며, 전술한 바와 같이, 사용자의 파지 위치(2000, 2100)에 기반하여 중복 제어 객체(2030, 2130)를 바로 제공할 수도 있다.
도 22 및 도 23은 본 개시의 일 실시예에 따른 전자 장치에서 파지 위치에 기반하여 타겟 제어 객체를 제공하는 일 예를 도시하는 도면들이다.
도 22 및 도 23을 참조하면, 도 22 및 도 23은 전자 장치(101)의 제2 지정된 상태(예: 부분적으로 접힌 상태)의 세로 모드에서 사용자의 파지 상태 별로 타겟 제어 객체를 선정하는 동작 예를 나타낼 수 있다. 일 실시예에 따라, 도 22 및 도 23에서는 디스플레이(210)의 영역을 세로 방향으로 폴딩 축의 힌지 영역(예: 5번 영역)의 크기(예: 폭)에 비례하여 9개의 영역(예: 1 영역 내지 9 영역)으로 구분하고, 가로 방향으로 2개의 영역(예: A 영역 및 B 영역)으로 구분하는 9x2 그리드와 같이 분할한 예를 나타낼 수 있다.
일 실시예에 따라, 도 22 및 도 23에서는 실행 화면 상에 표시되는 다양한 제어 객체 중 사용자의 조작이 가장 어려운 위치(예: 제2 지정된 상태에서 파지 위치(또는 영역)로부터 먼 거리의 폴딩 축의 위치(또는 힌지 영역))의 제어 객체를 타겟 제어 객체로서 최적화 영역에 제공하는 예를 나타낼 수 있다. 예를 들어, 사용자의 손가락이 터치된 지점(또는 영역)으로부터 물리적으로 사용자 조작이 가장 어려운 영역(예: 파지 위치로부터 가장 먼 힌지 영역)에 위치한 제어 객체가 중복 제어 객체를 위한 타겟 제어 객체가 될 수 있다.
일 실시예에서, 최적화 영역은 사용자가 현재 파지 상태를 유지한 상태에서 손가락(예: 엄지 손가락)이 닿을 수 있는 최대 범위 내에서 가장 적절한 영역을 나타낼 수 있다. 일 실시예에 따르면, 최적화 영역에 타겟 제어 객체에 대응하는 중복 제어 객체가 배치될 수 있다.
일 실시예에 따라, 도 22는 사용자가 전자 장치(101)를 제2 지정된 상태(예: 부분적으로 접힌 상태, 예를 들어, 일정 각도(예: 약 100도) 이하 인-폴딩(in-folding) 상태를 N초(예: 약 0.5초) 이상 유지하는 상태)에서, 전자 장치(101)의 왼쪽 하단을 왼손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 왼손 파지 위치에서 가장 먼 힌지 영역(예: 5-A 영역)의 제어 객체는, 왼손 파지 위치로부터 대각 방향의 위치(예: 5-A 영역)에 있는 제어 객체(2210)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(2210) 간의 거리 및/또는 방향을 기준으로 가장 먼 힌지 영역(예: 5-A 영역)에 위치된(예: 왼손 파지 상태에서 사용자의 손가락(예: 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(2210)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 왼손으로 전자 장치(101)의 하단을 파지하는 상태에서 터치 가능한 최적화 영역은 왼쪽 하단 영역(예: 1-B 영역, 2-B 영역, 3-B 영역)일 수 있고, 제2 지정된 상태에서 사용자의 조작이 가장 먼 힌지 영역은 5-A 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(2210)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 1-B 영역, 2-B 영역, 3-B 영역)에 제어 객체(2210)를 중복 배치할 수 있다.
일 실시예에 따라, 도 23은 사용자가 전자 장치(101)를 제2 지정된 상태(예: 부분적으로 접힌 상태, 예를 들어, 일정 각도(예: 약 100도) 이하 인-폴딩 상태를 N초(예: 약 0.5초) 이상 유지하는 상태)에서, 전자 장치(101)의 왼쪽 상단을 왼손 파지하는 예를 나타낼 수 있다. 일 실시예에 따라, 왼손 파지 위치에서 가장 먼 힌지 영역(예: 5-B 영역)의 제어 객체는, 왼손 파지 위치로부터 대각 방향의 위치(예: 5-B 영역)에 있는 제어 객체(2310)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치와 제어 객체(2310) 간의 거리 및/또는 방향을 기준으로 가장 먼 힌지 영역(예: 5-B 영역)에 위치된(예: 왼손 파지 상태에서 사용자의 손가락(예: 엄지 손가락)으로 터치가 불가능한 영역) 제어 객체(2310)를 타겟 제어 객체로 선정할 수 있다. 예를 들어, 사용자가 왼손으로 전자 장치(101)의 상단을 파지하는 상태에서 터치 가능한 최적화 영역은 왼쪽 상단 영역(예: 1-A 영역, 2-A 영역, 3-A 영역)일 수 있고, 제2 지정된 상태에서 사용자의 조작이 가장 먼 힌지 영역은 5-B 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(2310)에 대응하는 중복 제어 객체를 통해, 사용자의 파지 위치에 대응하는 최적화 영역(예: 1-A 영역, 2-A 영역, 3-A 영역)에 제어 객체(2310)를 중복 배치할 수 있다.
일 실시예에 따르면, 전자 장치(101)가 제2 지정된 상태에서 왼손 하단 파지, 오른손 하단 파지 또는 양손 하단 파지에 따라 동작하는 경우, 사용자의 파지 위치(예: 왼쪽 하단 영역, 오른쪽 하단 영역 또는 양쪽 하단 영역) 기준으로 가장 먼 힌지 영역은 5-A 영역 > 5-B 영역과 같이 우선 순위를 가질 수 있다. 일 실시예에 따르면, 전자 장치(101)가 제2 지정된 상태에서 왼손 상단 파지, 오른손 상단 파지 또는 양손 상단 파지에 따라 동작하는 경우, 사용자의 파지 위치(예: 왼쪽 상단 영역, 오른쪽 상단 영역 또는 양쪽 상단 영역) 기준으로 가장 먼 힌지 영역은 5-B 영역 > 5-A 영역과 같이 우선 순위를 가질 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치를 기준으로 가장 먼 힌지 영역의 제어 객체를 타겟 제어 객체로 선정하여, 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)가 제2 지정된 상태에서 동작하는 경우, 제1 지정된 상태에서의 동작과 같이 플로팅 액션 객체를 먼저 제공한 후 타겟 제어 객체를 제공하도록 동작하거나, 플로팅 액션 객체를 제공하지 않고 가장 먼 힌지 영역의 타겟 제어 객체를 바로 제공하도록 동작할 수 있다. 일 실시예에 따라, 제2 지정된 상태에서도, 제1 지정된 상태에서 동작과 같이, 타겟 제어 객체에 대응하는 제어 객체에 기반한 비주얼 큐 제공, 플로팅 액션 버튼 또는 중복 제어 객체를 사용자와 상호작용에 따라 이동 또는 삭제하는 동작을 포함할 수 있다.
일 실시예에 따라, 도 22 및 도 23에서는 사용자가 전자 장치(101)의 왼쪽 하단 또는 왼쪽 상단을 왼손 파지하는 예를 도시하지만, 이에 제한하는 것은 아니다. 예를 들어, 제2 지정된 상태에서 사용자의 파지 상태 별로 타겟 제어 객체를 제공하는 동작은, 전술한 도 17 및 도 18을 참조한 설명 부분에서 설명한 바와 같은 세로 모드 또는 가로 모드에서 사용자의 다양한 파지 상태(예: 오른손 하단 파지, 오른손 상단 파지, 양손 하단 파지, 및 양손 상단 파지) 별로 타겟 제어 객체를 제공하는 동작에 대응하는 다양한 동작을 포함할 수 있다.
도 24는 본 개시의 일 실시예에 따른 전자 장치에서 타겟 제어 객체를 결정하는 예를 도시하는 도면이다.
일 실시예에 따르면, 도 24는 전자 장치(101)의 제2 지정된 상태에서 실행 화면 상에 표시 중인 복수의 제어 객체 중 사용자의 파지 위치(2400)와 제어 객체(2410, 2420) 간의 거리를 3차원 거리 계산에 기반하여 타겟 제어 객체를 선정하는 일 예를 나타낼 수 있다.
도 24를 참조하면, 도 24는 전자 장치(101)의 제2 지정된 상태에서 사용자가 전자 장치(101)의 왼쪽 하단을 왼손 파지하는 상태에서, 파지 위치(2400)와 제어 객체(2410, 2420) 간의 거리에 기반하여 타겟 제어 객체를 결정하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 24는 현재 표시 중인 실행 화면 상에서 서로 다른 영역에 제1 제어 객체(2410)(예: 힌지 영역의 A 객체) 및 제2 제어 객체(2420)(예: 평면 영역의 B 객체)와 같이 복수의 제어 객체(2410, 2420)가 존재하는 경우의 예를 나타낼 수 있다.
일 실시예에 따라, 사용자의 파지 위치(2400)와 제1 제어 객체(2410) 간의 거리는 화면 상에서의 거리(2415)와 동일할 수 있다. 일 실시예에 따라, 사용자의 파지 위치(2400)와 제2 제어 객체(2420) 간의 거리는 화면 상에서의 제1 거리(예: B1) 및 제2 거리(예: B2)에 대응하는 거리(예: B1+B2)일 수 있지만, 제2 지정된 상태에서, 파지 위치(2400)와 제2 제어 객체(2420) 간의 실질적인 거리는 공간 상의 직선 거리(2425)일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제2 지정된 상태에서는 파지 위치(2400)에 대응하는 디스플레이 면(예: 제1 디스플레이 면)과 대향하는 디스플레이 면(예: 제2 디스플레이 면)에 제어 객체가 존재하는 경우, 대응하는 제어 객체와의 거리를 화면 상의 거리가 아닌 공간 상의 직선 거리를 계산할 수 있다. 일 실시예에 따라, 공간 상의 직선 거리는 다양한 3차원 거리 계산 방식을 이용할 수 있다.
도 24에 예시한 바와 같이, 전자 장치(101)는 제2 지정된 상태에서 사용자의 파지 위치(2400)와 거리가 먼 제어 객체에 우선 순위를 부여할 수 있다. 예를 들어, 전자 장치(101)는 최적화 영역의 중앙 기준(예: 파지 위치(2400))으로 각 제어 객체(2410, 2420)까지의 거리(2415, 2425)를 계산하고, 가장 긴 거리(예: 거리(2415))를 갖는 제1 제어 객체(2410)를 타겟 제어 객체로 선정하고, 제1 제어 객체(2410)를 최적화 영역에 중복 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 타겟 제어 객체를 결정 시에, 타겟 제어 객체의 선정 기준으로, 거리 가산점 및 사용 조건(예: 사용 빈도 및/또는 사용 시간)을 병행하여 이용할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(2410, 2420) 중 사용 조건에 기반하여, 사용 조건이 높은 제어 객체를 기준으로 우선 순위를 부여할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제어 객체(2410, 2420) 간의 사용 조건(예: 사용 빈도 및/또는 사용 시간)이 동일한 경우, 각 제어 객체(2410, 2420)의 대표(예: 최대, 최소, 중간, 최빈, 또는 평균) 값을 기준으로 우선 순위를 높게 설정할 수도 있다.
도 25 및 도 26은 본 개시의 일 실시예에 따른 전자 장치에서 실행 화면 상에 제어 객체를 중복 제공하는 일 예를 도시하는 도면들이다.
일 실시예에 따라, 도 25 및 도 26에서는 전자 장치(101)가 제2 지정된 상태에서 화면 분할 없이 하나의 전체 화면에 기반하여 적어도 하나의 제어 객체를 포함하는 실행 화면을 표시하는 상태의 일 예를 나타낼 수 있다.
도 25에 예시한 바와 같이, 도 25는 플레이어 어플리케이션에서 서로 다른 영역에 복수의 제어 객체를 포함하는 실행 화면(예: 영상 플레이 화면)을 표시하는 상태의 일 예를 나타낼 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자의 왼손 하단 파지에 따라, 최적화 영역 내의 파지 위치(2500)에 기반하여 중복 제어 객체(2520)를 제공할 수 있다. 도 25의 예시에서, 실행 화면의 다양한 제어 객체 중 파지 위치(2500)로부터 가장 먼 거리의 제어 객체(2510)가 타겟 제어 객체일 수 있다. 일 실시예에 따라, 도 25의 예시에서, 파지 위치(2500)로부터 가장 먼 영역(또는 힌지 영역)은 5-A 영역인 반면, 5-A 영역에 제어 객체가 존재하지 않을 수 있다. 일 실시예에 따라, 전자 장치(101)는 실행 화면의 다양한 제어 객체와 파지 위치(2500) 간의 거리를 기준으로 가장 먼 힌지 영역(예: 5-B 영역)의 제어 객체(2510)를 타겟 제어 객체로 선정할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치(2500)에 기반하여 최적화 영역을 결정하고, 최적화 영역에 제어 객체(2510)에 대응하는 중복 제어 객체(2520)를 플로팅 하여 중복 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 중복 제어 객체(2520)를 제공할 때, 제어 객체(2510)는 원래의 위치에 유지하면서 지정된 비주얼 큐를 통해 중복 제어 객체(2520)가 지시하는 제어 객체(2510)를 사용자가 인지하도록 강조 제공할 수 있다.
도 26에 예시한 바와 같이, 도 26은 퀵 패널(quick panel)을 포어그라운드로 실행하고, 퀵 패널에서 서로 다른 영역에 복수의 제어 객체를 포함하는 실행 화면(예: 퀵 패널 화면)을 표시하는 상태의 일 예를 나타낼 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자의 왼손 하단 파지에 따라, 최적화 영역 내의 파지 위치(2600)에 기반하여 중복 제어 객체(2620)를 제공할 수 있다. 도 26의 예시에서, 실행 화면의 다양한 제어 객체 중 파지 위치(2600)로부터 가장 먼 거리의 제어 객체(2610)가 타겟 제어 객체일 수 있다. 일 실시예에 따라, 도 26의 예시에서, 파지 위치(2600)로부터 가장 먼 영역(또는 힌지 영역)은 5-A 영역일 수 있다. 일 실시예에 따라, 전자 장치(101)는 실행 화면의 다양한 제어 객체와 파지 위치(2600) 간의 거리를 기준으로 가장 먼 힌지 영역(예: 5-A 영역)의 제어 객체(2610)를 타겟 제어 객체로 선정할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 위치(2600)에 기반하여 최적화 영역을 결정하고, 최적화 영역에 제어 객체(2610)에 대응하는 중복 제어 객체(2620)를 플로팅 하여 중복 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 중복 제어 객체(2620)를 제공할 때, 제어 객체(2510)는 원래의 위치에 유지하면서 지정된 비주얼 큐를 통해 중복 제어 객체(2620)가 지시하는 제어 객체(2610)를 사용자가 인지하도록 강조 제공할 수 있다.
일 실시예에 따라, 도 25에 예시된 바와 같이 제1 어플리케이션(예: 플레이 어플리케이션)이 포어그라운드로 동작 중에, 도 26에 예시된 바와 같이 제2 어플리케이션(예: 퀵 패널)이 포어그라운드로 전환되어 동작될 수 있다. 이러한 경우, 도 25에 예시된 중복 제어 객체(2520)는 제거될 수 있고, 도 26에 예시된 중복 제어 객체(2620)가 사용자의 파지 위치에 대응하는 최적화 영역에 플로팅 되어 제공될 수 있다.
일 실시예에 따라, 도 25 및 도 26에 예시한 바와 같이, 전자 장치(101)는 중복 제어 객체(2520, 2620)를 제공할 때, 중복 제어 객체(2520, 2620)가 제공될 영역에서 중첩되는 다른 객체가 존재하는 경우, 중복 제어 객체(2520, 2620)의 위치를 이동(예: 최적화 영역 보정)하여, 다른 객체와 겹치지 않게 제공할 수 있다.
일 실시예에 따라, 도 25 및 도 26에서는 제2 지정된 상태에서 동작 시에 사용자의 파지 위치(2500, 2600)에 중복 제어 객체(2520, 2620)를 바로 제공하는 예를 나타낼 수 있다. 본 개시의 실시예들이 이에 제한하는 것은 아니며, 전술한 바와 같이, 사용자의 파지 위치(2500, 2600)에 플로팅 액션 버튼을 제공하고, 플로팅 액션 버튼에 의한 사용자 입력에 기반하여 중복 제어 객체(2520, 2620)를 플로팅 하여 중복 제공할 수도 있다.
도 27a 및 도 27b는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면들이다.
일 실시예에 따라, 도 27a 및 도 27b는 실행 화면 상에 복수의 제어 객체(2710, 2720, 2730, 2740, 2750)가 존재하는 경우, 플로팅 액션 버튼(2700)을 이용한 사용자 입력에 기반하여, 복수의 제어 객체(2710, 2720, 2730, 2740, 2750) 간에 전환을 통해 사용자 지정의 타겟 제어 객체를 선정하는 일 예를 나타낼 수 있다.
도 27a 및 도 27b에 예시한 바와 같이, 타겟 제어 객체로서 제3 제어 객체(예: E 객체)(2730)가 선택된 예를 나타낼 수 있다. 예를 들어, 제3 제어 객체(2730)에 기반하여 비주얼 큐가 표시되는 상태일 수 있다. 일 실시예에 따라, 전자 장치(101)는 제3 제어 객체(2730)가 선택된 상태에서, 사용자 입력에 따라 동일 영역 또는 다른 영역에 있는 다른 제어 객체로 전환하여 타겟 제어 객체로 지정할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제어 객체 간의 전환에 기반하여 비주얼 큐를 대응하는 제어 객체를 통해 제공할 수 있다.
도 27a를 참조하면, 사용자는 제3 제어 객체(2730)가 선택된 상태에서, 플로팅 액션 버튼(2700)을 제1 방향(① 방향)(예: 아래 방향), 제2 방향(② 방향)(예: 좌상 대각 방향), 또는 제3 방향(③ 방향)(예: 우측 방향)으로, 선택적으로 또는 순차적으로 이동(예: 드래그)하는 입력을 수행할 수 있다. 일 실시예에 따라, 전자 장치(101)는 지정된 방향을 지시하는 사용자 입력(예: 대응하는 방향으로 드래그)에 각각 대응하여, 선택적으로 또는 순차적으로 제3 제어 객체(2730)에서 제5 제어 객체(2750), 제1 제어 객체(2710) 또는 제2 제어 객체(2720)로 전환할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 현재 타겟 제어 객체(예: 제3 제어 객체(2730))를 중심으로 사용자 입력에 따른 방향에 대응하는 객체로 이동할 수 있다. 예를 들어, 도 27a에 예시한 바와 같이, 현재 타겟 제어 객체가 제3 제어 객체(2730)(예: E객체)인 경우, 제3 제어 객체(2730)의 왼쪽은 제2 제어 객체(2720)(예: B, C, D 묶음 제어 객체)이고, 오른쪽은 제4 제어 객체(2740))(예: F 객체)이고, 아래는 제5 제어 객체(2750)(예: G 객체)가 위치할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제1 사용자 입력(예: 지정된 방향의 스와이프 입력)인 경우, 현재 타겟 제어 객체(예: 제3 제어 객체(2730)를 중심으로 지정된 방향으로 객체를 하나씩 이동하여 선택할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제1 사용자 입력과 다른 제2 사용자 입력(예: 지정된 방향으로 드래그 후 롱프레스(예: 드래그앤홀드)인 경우, 제2 사용자 입력의 해제 시까지 현재 타겟 제어 객체(예: 제3 제어 객체(2730))를 중심으로 지정된 방향으로 객체 간 이동을 계속할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자 입력에 기반하여 타겟 제어 객체를 선택하기 위한 이동 시에, 제2 제어 객체(2720)과 같은 묶음 제어 객체는 하나의 객체(예: 그룹 또는 묶음)으로 선택할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자 입력에 기반하여 타겟 제어 객체를 선택하기 위한 이동 시에, 사용 조건(예: 사용 빈도)이 낮은 제어 객체는 스킵(skip)하고 다음 객체로 바로 이동(예: 점프)할 수 있다.
일 실시예에 따라, 전자 장치(101)는 제어 객체 간의 전환에 따라 선택되는 제어 객체에 기반하여 비주얼 큐를 전환하여, 대응하는 제어 객체를 강조할 수 있다.
도 27b를 참조하면, 사용자는 제3 제어 객체(2730)가 선택된 상태에서, 플로팅 액션 버튼(2700)을 동일한 제4 방향(D1, D2, D3)(예: 우측 방향)으로 연속적으로 또는 반복적으로 이동(예: 드래그)하는 입력을 수행할 수 있다. 일 실시예에 따라, 전자 장치(101)는 지정된 방향을 지시하는 사용자 입력(예: 대응하는 방향으로 드래그)에 각각 대응하여, 연속적으로 제3 제어 객체(2730)에서 제4 제어 객체(2740), 제5 제어 객체(2750) 및 제1 제어 객체(2710)로 순차적으로 전환할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제어 객체 간의 전환에 따라 선택되는 제어 객체에 기반하여 비주얼 큐를 전환하여, 대응하는 제어 객체를 강조할 수 있다.
일 실시예에 따라, 도 27a 및 도 27b에서, 전자 장치(101)는 지정된 사용자 입력(또는 제스처)(예: 롱 프레스(long press) 또는 탭앤홀드(tap & hold))에 기반하여 제어 객체의 전환 모드로 진입하고, 전환 모드에서 사용자 입력에 대응하여 제어 객체 간의 전환을 지원하도록 동작할 수 있다. 예를 들어, 전자 장치(101)는 플로팅 액션 버튼을 조그 다이얼과 같이 동작하도록 할 수 있다.
도 28은는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 28은 묶음 제어 객체(2850)에 대해 플로팅 액션 버튼(2800)을 이용한 사용자 입력에 기반하여, 제어 객체의 묶음 개수 조절을 통해 사용자 지정의 타겟 제어 객체를 선정하는 일 예를 나타낼 수 있다.
도 28에 예시한 바와 같이, 예시 <2801>는 타겟 제어 객체로서 묶음 제어 객체(2850)(예: A 객체(2810), B 객체(2820), C 객체(2830))가 선택된 예를 나타낼 수 있다. 일 실시예에 따라, 전자 장치(101)는 묶음 제어 객체(2850)가 선택된 상태에서, 사용자 입력에 따라 묶음 제어 객체(2850)의 개수를 조절하여 타겟 제어 객체로 지정할 수 있다.
일 실시예에 따라, 사용자는 묶음 제어 객체(2850)가 선택된 상태에서, 플로팅 액션 버튼(2800)을 이용한 지정된 사용자 입력(또는 제스처)(예: 플로팅 액션 버튼(2800)을 터치 후 회전하는 제스처)에 기반하여 제어 객체의 개수 조절 모드로 전환할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제어 객체의 개수 조절 모드로 진입하고, 개수 조절 모드 진입에 대응하여 예시 <2803>의 예시와 같이 묶음 제어 객체(2850)에 지정된 비주얼 큐(2870)로 변경(예: 비주얼 큐를 깜빡이는 묶음 선으로 변경 또는 묶음 점선으로 변경)하여 제공할 수 있다.
일 실시예에 따라, 예시 <2803>에서, 사용자는 플로팅 액션 버튼(2800)을 제1 방향(① 방향)(예: 아래 방향)으로 이동(예: 드래그)하는 입력을 수행할 수 있다. 일 실시예에 따라, 전자 장치(101)는 지정된 방향을 지시하는 사용자 입력(예: 대응하는 방향으로 드래그)에 대응하여, 예시 <2805>와 같이, 묶음 제어 객체의 개수를 감소할 수 있다.
예를 들어, 개수 조절 모드에서 플로팅 액션 버튼(2800)을 이용한 지정된 제1 방향(① 방향)으로 이동하는 입력에 따라, 묶음 제어 객체(2850) 내의 제어 객체의 묶음(또는 선택) 개수가 순차적으로 감소할 수 있다. 예를 들어, 예시 <2805>에 예시한 바와 같이, 비주얼 큐(2870) 내에서 A 객체(2810)는 제외되고, B 객체(2820) 및 C 객체(2830)가 묶음 제어 객체로서 제공될 수 있다. 일 실시예에 따라, 예시 <2805>와 같은 상태에서 제1 방향(① 방향)으로 이동하는 입력이 추가 수행되는 경우, 비주얼 큐(2870)에서 A 객체(2810) 및 B 객체(2820)는 제외되고, C 객체(2830)가 묶음 제어 객체로서 제공될 수 있다.
일 실시예에 따라, 예시 <2805>에서, 사용자는 플로팅 액션 버튼(2800)을 제2 방향(② 방향)(예: 위 방향)으로 이동(예: 드래그)하는 입력을 수행할 수 있다. 일 실시예에 따라, 전자 장치(101)는 지정된 방향을 지시하는 사용자 입력(예: 대응하는 방향으로 드래그)에 대응하여, 예시 <2807>과 같이, 묶음 제어 객체의 개수를 증가(또는 추가)할 수 있다. 예를 들어, 개수 조절 모드에서 플로팅 액션 버튼(2800)을 이용한 지정된 제2 방향(② 방향)으로 이동하는 입력에 따라, 묶음 제어 객체(2850) 내의 제어 객체의 묶음(또는 선택) 개수가 순차적으로 증가(또는 추가)할 수 있다. 예를 들어, 예시 <2807>에 예시한 바와 같이, 비주얼 큐(2870) 내에서 B 객체(2820) 및 C 객체(2830)에, A 객체(2810)가 추가되어 묶음 제어 객체로서 제공될 수 있다.
일 실시예에 따라, 도 28에서, 전자 장치(101)는 지정된 사용자 입력에 기반하여 제어 객체의 개수 조절 모드로 진입하고, 개수 조절 모드에서 사용자 입력에 대응하여 제어 객체의 선택 개수를 조절하도록 지원하는 동작을 수행할 수 있다. 예를 들어, 전자 장치(101)는 제어 객체가 묶음으로 선택된 묶음 제어 객체에 대해, 묶음 제어 객체가 포함하고 있는 개별 제어 객체의 개수를 조절하도록 지원할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 예시 <2805>와 같이 묶음 제어 객체(2850)가 포함하고 있는 개별 제어 객체가 변경되는 경우, 변경된 묶음 제어 객체에 대해 기록(또는 설정 저장)할 수 있다. 예를 들어, 전자 장치(101)는 이후 동작에서 타겟 제어 객체 선정 시에, 기존 묶음 제어 객체(예: A 객체(2810), B 객체(2820), C 객체(2830))를 변경된 묶음 제어 객체(예: B 객체(2820), C 객체(2830))를 타겟 제어 객체로 선정하고, 변경된 묶음 제어 객체(예: B 객체(2820), C 객체(2830))에 대응하는 중복 제어 객체를 플로팅 하여 중복 제공할 수 있다.
도 29는 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 타겟 제어 객체를 선택하는 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 29는 실행 화면 상에 복수의 제어 객체(예: 제1 제어 객체(2910), 제2 제어 객체(2920), 제3 제어 객체(2930))가 존재하는 경우, 플로팅 액션 버튼(2900)을 이용한 사용자 입력에 기반하여, 복수의 제어 객체(2910, 2920, 2930) 간에 전환을 통해 사용자 지정의 타겟 제어 객체를 선정하는 일 예를 나타낼 수 있다.
일 실시예에 따라, 도 29에서는 복수의 제어 객체(2910, 2920, 2930) 간의 전환에 따른 타겟 제어 객체의 변경에 기반하여, 플로팅 액션 버튼(2900)을 변경되는 타겟 제어 객체에 대응하는 대표 객체로 변경하여 제공하는 일 예를 나타낼 수 있다.
도 29를 참조하면, 도 29의 예시에서 참조 부호 2900은 플로팅 액션 버튼의 예를 나타내고, 참조부호 2905는 최적화 영역을 나타낼 수 있다. 도 29의 예시에서 참조 부호 2910은 제1 제어 객체(예: 묶음(또는 꾸러미) 제어 객체)를 나타내고, 참조부호 2920은 제2 제어 객체(예: URL 입력 객체)를 나타내고, 참조부호 2930은 제3 제어 객체(예: 화면 이동 객체)를 나타낼 수 있다. 도 29의 예시에서 제1 제어 객체(2910)는 어플리케이션과 연관된 복수의 제어 객체(예: 제1 제어 객체(2910), 제2 제어 객체(2920), 및 제3 제어 객체(2930)) 중 최적화 영역(2905)에 제공될 타겟 제어 객체(예: 제1 타겟 제어 객체)를 나타낼 수 있다. 도 29의 예시에서 참조부호 2940은 제1 제어 객체(2910)가 타겟 제어 객체로 지정됨을 지시하는 시각적인 효과를 위한 비주얼 큐(예: 제1 비주얼 큐)의 예를 나타낼 수 있다. 도 29의 예시에서 참조부호 2950은 타겟 제어 객체가 제1 제어 객체(2910)에서 제3 제어 객체(2930)로 변경되는 것에 기반하여 제3 제어 객체(2930)가 타겟 제어 객체로 지정됨을 지시하는 시각적인 효과를 위한 비주얼 큐(예: 제2 비주얼 큐)의 예를 나타낼 수 있다. 도 14의 예시에서 참조 부호 2960은 타겟 제어 객체로 지정되는 제3 제어 객체(2930)에 대응하는 중복 제어 객체의 예를 나타낼 수 있다.
도 29에 예시한 바와 같이, 타겟 제어 객체로서 제1 제어 객체(2910)가 선택된 상태에서, 사용자 입력(예: 도 27a 내지 도 28에서 타겟 제어 객체 변경을 위한 사용자 입력에 대응)에 따라 타겟 제어 객체가 제1 제어 객체(2910)에서 제3 제어 객체(2930)로 변경되어 선택되는 예를 나타낼 수 있다.
도 29를 참조하면, 사용자의 파지 상태에 따른 파지 위치(예: 디스플레이(210) 상에서 사용자의 손가락이 터치된 지점)에 대응하여 플로팅 액션 버튼(2900)(예: 제1 플로팅 액션 버튼(2900A))이 제공(예: 표시)될 수 있다. 일 실시예에 따르면, 플로팅 액션 버튼(2900)은 디스플레이(210) 상에서 파지 위치에 대응하는 영역에 플로팅 방식으로 제공될 수 있다. 일 실시예에 따르면, 플로팅 액션 버튼(2900)은 최적화 영역(2905)에서 다른 터치 영역과 겹치지 않도록 배치될 수 있다.
일 실시예에 따라, 디스플레이(210) 상에 표시된 제어 객체(예: 제1 제어 객체(2910), 제2 제어 객체(2920), 제3 제어 객체(2930)) 중 타겟 제어 객체로 결정된 제1 제어 객체(2910)에 대해 시각적인 효과를 적용한 제1 비주얼 큐(2940)를 제공할 수 있다. 일 실시예에 따르면, 제1 비주얼 큐(2940)는 하이라이팅, 애니메이션, 컬러 변경 및/또는 지시 객체(예: 화살표 이미지 또는 아이콘) 표시와 같은 시각적 효과를 포함할 수 있다.
일 실시예에 따라, 사용자는 제1 제어 객체(2910)가 타겟 제어 객체로 선택된 상태에서, 플로팅 액션 버튼(2910)(예: 제1 플로팅 액션 버튼(2900A))을 어느 일 방향(예: 도 29에서 왼쪽 방향)으로 이동(예: 드래그)하는 순차적 입력을 통해, 타겟 제어 객체를 제1 제어 객체(2910)에서 제3 제어 객체(2930)로 전환할 수 있다. 예를 들어, 전자 장치(101)는 사용자 입력에 대응하여, 선택적으로 또는 순차적으로 제1 제어 객체(2910)에서 제2 제어 객체(2920) 또는 제3 제어 객체(2930)로 타겟 제어 객체를 전환할 수 있다.
일 실시예에 따라, 전자 장치(101)는 타겟 제어 객체의 전환에 따라 전환된 타겟 제어 객체로 지정된 제어 객체(예: 제3 제어 객체(2930))에 대해 시각적인 효과를 적용한 제2 비주얼 큐(2950)를 제공할 수 있다. 예를 들어, 전자 장치(101)는 제1 제어 객체(2910)에 대한 제1 비주얼 큐(2940)는 제거하고, 제3 제어 객체(2930)에 대한 제2 비주얼 큐(2950)를 제공할 수 있다.
일 실시예에 따라, 사용자는 타겟 제어 객체를 전환하는 동안 플로팅 액션 버튼(2900) 상의 사용자 입력을 유지할 수 있다.
일 실시예에 따라, 플로팅 액션 버튼(2900)은 현재 지정된 타겟 제어 객체에 대응하는 제어 객체(예: 도 29에서 제1 제어 객체(2910) 또는 제3 제어 객체(2930))를 지시하는 대표 객체(또는 대표 이미지)(예: 아이콘)로 제공될 수 있다. 예를 들어, 제1 제어 객체(2910)가 타겟 제어 객체로 지정되는 경우, 플로팅 액션 버튼(2900)은 제1 제어 객체(2910)를 지시하는 제1 대표 객체(예: 홈 아이콘)에 기반하여 제1 플로팅 액션 버튼(2900A)으로 제공될 수 있다. 예를 들어, 제3 제어 객체(2930)가 타겟 제어 객체로 지정되는 경우, 플로팅 액션 버튼(2900)은 제3 제어 객체(2930)를 지시하는 제2 대표 객체(예: 화면 이동 아이콘)에 기반하여 제2 플로팅 액션 버튼(2900B)으로 제공될 수 있다.
일 실시예에 따라, 플로팅 액션 버튼(2900)을 위한 대표 객체는 지정된 조건에 따라 결정될 수 있다. 예를 들어, 제1 제어 객체(2910) 또는 제3 제어 객체(2930)와 같이 묶음 제어 객체의 경우, 지정된 조건(예: 사용 빈도, 사용 시간, 및/또는 지정 우선 순위)에 기반하여 적어도 하나의 제어 객체(예: 묶음 제어 객체 중 가장 왼쪽 제어 객체)에 대응하는 대표 이미지가 제공될 수 있다.
일 실시예에 따르면, 플로팅 액션 버튼(2900)는 복수 개로 제공될 수도 있다. 예를 들어, 플로팅 액션 버튼(2900)은 전자 장치(101)의 설정(예: 플로팅 액션 버튼의 제공 방식에 관한 설정)에 기반하여, 하나 또는 복수 개로 제공될 수 있다.
일 실시예에 따르면, 플로팅 액션 버튼(2900)을 위한 제1 설정(예: 하나의 플로팅 액션 버튼 호출 설정)에 기반하여 지정된 제어 객체에 대응하는 하나의 플로팅 액션 버튼이 제공될 수 있다. 일 실시예에 따르면, 플로팅 액션 버튼(2900)을 위한 제2 설정(예: 복수 개의 플로팅 액션 버튼 호출 설정)에 기반하여 지정된 복수의 제어 객체에 대응하는 복수 개의 플로팅 액션 버튼이 제공될 수 있다. 예를 들어, 제1 제어 객체(2910) 또는 제3 제어 객체(2930)와 같이 묶음 제어 객체의 경우, 묶음 제어 객체에 포함된 제어 객체 별로(예: (예: 제어 객체의 수에 대응하여) 복수의 플로팅 액션 버튼이 제공될 수 있다.
일 실시예에 따라, 타겟 제어 객체를 전환하는 사용자 입력에 기반하여, 플로팅 액션 버튼(2900)은 제1 플로팅 액션 버튼(2900A)에서 제2 플로팅 액션 버튼(2900B)으로 변경될 수 있다. 예를 들어, 전자 장치(101)는 타겟 제어 객체가 제1 제어 객체(2910)에서 제3 제어 객체(2920)로 변경되는 것에 기반하여, 플로팅 액션 버튼(2900)을 제1 제어 객체(2910)에 대응하는 제1 대표 객체(예: 홈 아이콘)를 포함하는 제1 플로팅 액션 버튼(2900A)에서 제3 제어 객체(2930)에 대응하는 제2 대표 객체(예: 화면 이동 아이콘)를 포함하는 제2 플로팅 액션 버튼(2900B)로 변경하여 제공할 수 있다.
일 실시예에 따라, 전자 장치(101)는 플로팅 액션 버튼(2900)에 대응하는 영역(예: 최적화 영역(2905))에 타겟 제어 객체(예: 제3 제어 객체(2930))에 대응하는 중복 제어 객체(2960)를 제공할 수 있다. 예를 들어, 중복 제어 객체(2960)가 사용자의 파지 위치에 대응하는 위치(또는 최적화 영역(2905))에 표시될 수 있다.
일 실시예에 따르면, 사용자는 제3 제어 객체(2930)가 타겟 제어 객체로 선택된 상태에서 플로팅 액션 버튼(2900)(예: 제2 플로팅 액션 버튼(2900B)) 상의 사용자 입력(예: touch)을 해제(release)할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자 입력의 해제에 응답하여, 현재 타겟 제어 객체로 지정된 제어 객체(예: 제3 제어 객체(2930))에 대응하는 중복 제어 객체(2960)를 최적화 영역(2905)에 제공할 수 있다. 예를 들어, 전자 장치(101)는 타겟 제어 객체로 지정된 제3 제어 객체(2930)와 동일한 중복 제어 객체(2960)를 최적화 영역(2905)에 플로팅 하여 제공할 수 있다. 일 실시예에 따르면, 중복 제어 객체(2960)는 최적화 영역(2905)에서 다른 터치 영역과 겹치지 않도록 배치될 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치(101)는 실행 중인 어플리케이션에 관련된 제어 객체를, 사용자가 전자 장치(101)를 파지한 상태에 따른 최적화 영역에 중복 제공하는 것과 관련하여 다양한 설정을 지원할 수 있다. 예를 들어, 전자 장치(101)는 전자 장치(101)의 지정된 메뉴(예: 퀵 패널(quick panel) 또는 설정 메뉴)를 통해 중복 제어 객체를 제공하는 방식에 대한 다양한 설정을 지원할 수 있다. 예를 들어, 중복 제어 객체를 제공하는 방식에 대한 다양한 설정은, 퀵 패널 상에 중복 제어 객체의 실행 여부를 위한 온/오프 설정, 플로팅 액션 버튼의 사용 여부를 위한 온/오프 설정, 및/또는 플로팅 액션 버튼의 호출 방식(예: 복수 개의 플로팅 액션 버튼 호출 여부)에 대한 설정과 같은 다양한 설정을 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 기능의 온/오프 옵션 설정을 위한 스위치 객체(예: 온/오프 스위치)를 통해 대응하는 기능의 설정을 지원할 수 있다.
도 30은 본 개시의 일 실시예에 따른 전자 장치에서 사용자와 상호작용에 기반하여 중복 제어 객체를 제공하는 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 30은 플로팅 액션 버튼(3010) 및/또는 중복 제어 객체(3030)를 사용자와 상호작용에 기반하여 운영(예: 이동)하는 일 예를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(101)는 설정된 제1 방식에 따라 지정된 상태에서 사용자에 의한 파지 상태 검출에 대응하여 플로팅 액션 버튼(3010)을 선 제공하고, 이후 플로팅 액션 버튼(3010)에 기반한 사용자 입력에 따라 중복 제어 객체(3030)를 제공하도록 동작할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 설정된 제2 방식에 따라 지정된 상태에서 파지 상태 검출에 대응하여 플로팅 액션 버튼(3010)의 제공 없이, 중복 제어 객체(3030)를 바로 제공하도록 동작할 수 있다.
일 실시예에 따라, 파지 상태 검출은, 예를 들어, 커버 디스플레이에서 지정된 크기 이상의 면적의 터치(예: 팜(palm) 터치) 검출 및/또는 후면 카메라 모듈에 기반한 사용자 손에 대응하는 객체 검출, 및 디스플레이(210) 상에서 어느 일 지점의 터치(예: 핑거(finger) 터치) 검출에 기반하여 수행될 수 있다. 일 실시예에 따라, 파지 상태를 검출하는 동작과 관련하여 후술하는 도면을 참조하여 설명된다.
일 실시예에 따라, 도 30에서는 제1 방식에 기반하여 플로팅 액션 버튼(3010)을 제공하고, 플로팅 액션 버튼(3010)에 기반한 사용자와 상호작용으로 플로팅 액션 버튼(3010)의 이동 및 플로팅 액션 버튼(3010)에 대응하는 영역에 중복 제어 객체(3030)를 제공하는 일 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 파지 상태를 검출하고, 파지 상태에 대응하는 파지 위치에 기반하여 플로팅 액션 버튼(3010)을 제공할 수 있다. 일 실시예에 따라, 전자 장치(101)는 플로팅 액션 버튼(3010)을 제공 시에, 중복 제공할 제어 객체(3020)(예: 타겟 제어 객체)에 지정된 비주얼 큐를 적용하여 사용자에게 제공할 수 있다.
일 실시예에 따라, 사용자는 플로팅 액션 버튼(3010) 상에 지정된 사용자 입력(예: 탭)에 기반하여 플로팅 액션 버튼(3010)에 대응하는 영역에서 제어 객체(3020)에 대응하는 중복 제어 객체(3030)를 호출할 수 있다. 일 실시예에 따라, 전자 장치(101)는 지정된 사용자 입력에 기반하여 중복 제공 중인 제어 객체(3020)의 비주얼 큐는 유지하면서, 플로팅 액션 버튼(3010)의 영역에 중복 제어 객체(3030)를 생성하여 제공할 수 있다.
일 실시예에 따라, 사용자는 플로팅 액션 버튼(3010) 상에 지정된 사용자 입력(예: 롱 프레스한 상태에서 이동(예: 드래그))에 기반하여 플로팅 액션 버튼(3010)을 사용자 입력에 대응하여 이동하여 제공할 수 있다. 일 실시예에 따라, 사용자는 플로팅 액션 버튼(3010)을 이동한 후 사용자 입력을 해제할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자 입력의 해제가 검출되는 경우, 플로팅 액션 버튼(3010)이 이동된 영역에서 제어 객체(3020)에 대응하는 중복 제어 객체(3030)를 호출할 수 있다. 일 실시예에 따라, 전자 장치(101)는 중복 제어 객체(3030)가 제공되는 동안 제어 개체(3020)의 비주얼 큐는 유지할 수 있다.
일 실시예에 따라, 도 30의 예시에서는, 플로팅 액션 버튼(3010)을 사용자 입력에 따라 이동하는 예를 설명하지만, 이에 제한하지 않는다. 일 실시예에 따르면, 중복 제어 객체(3030)에 대한 사용자 입력에 따라 중복 제어 객체(3030)를 이동하여 제공할 수도 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 사용자 입력(예: 실행 화면 내에서 지정된 영역 이상으로 이동하는 드래그앤드롭)에 기반하여 플로팅 액션 버튼(3010) 또는 중복 제어 객체(3030)의 이동 모드로 진입하고, 이동 모드에서 사용자 입력에 대응하여 플로팅 액션 버튼(3010) 또는 중복 제어 객체(3030)의 위치 이동을 지원하도록 동작할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 사용자 입력(예: 실행 화면 바깥(또는 에지) 영역으로 이동하는 드래그앤드롭)에 기반하여 플로팅 액션 버튼(3010) 또는 중복 제어 객체(3030)의 제거 모드로 진입하고, 제거 모드에 따라 플로팅 액션 버튼(3010) 또는 중복 제어 객체(3030)를 화면 상에서 제거하도록 동작할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제거 모드에 따라 플로팅 액션 버튼(3010) 또는 중복 제어 객체(3030)를 제거할 시, 제어 객체(3020)에 의한 비주얼 큐의 표시를 중단하도록 동작할 수 있다.
도 31은 본 개시의 일 실시예에 따른 전자 장치에서 중복 제어 객체가 제공되는 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 31은 제공 중인 제어 객체(3110)에 대한 비주얼 큐 또는 중복 제어 객체(3120)를 사용자와 상호작용에 기반하여 운영(예: 제거)하는 일 예를 설명하기 위한 도면이다.
일 실시예에 따라, 도 31에서는 타겟 제어 객체로 선정된 제어 객체(3110)의 비주얼 큐 및 제어 객체(3110)에 대응하는 중복 제어 객체(3120)를 제공하는 상태에서, 지정된 조건에 따라, 제어 객체(3110)의 비주얼 큐 및 중복 제어 객체(3120)를 제거하는 일 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 실행 화면 상에서 제어 객체(3110)가 제거되는 경우 비주얼 큐 및 중복 제어 객체(3120)를 제거할 수 있다. 일 실시예에 따라, 도 31에 예시한 바와 같이, 사용자 입력(예: 화면 스크롤, 페이지 이동, 및/또는 실행 화면 전환(예: 홈 화면 이동, 포어그라운드 실행 화면 전환)에 따라, 제어 객체(3110)가 실행 화면에서 제거될 수 있다. 일 실시예에 따라, 전자 장치(101)는 실행 화면 상에서 표시 중인 타겟 제어 객체인 제어 객체(3110)가 제거되는 경우, 중복 제공 중인 중복 제어 객체(3120)를 함께 제거하여 표시하지 않을 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 지정된 상태가 변경(예: 전자 장치(101)의 기구적 상태 변화)되는 경우에도 중복 제공 중인 중복 제어 객체(3120)를 제거하여 표시하지 않을 수 있다. 예를 들어, 전자 장치(101)는 제1 지정된 상태에서 중복 제어 객체(3120)를 제공하는 중에, 전자 장치(101)가 제1 지정된 상태에서 제2 지정된 상태로 상태 변경될 수 있다. 예를 들어, 전자 장치(101)는 제2 지정된 상태에서 중복 제어 객체(3120)를 제공하는 중에, 전자 장치(101)가 제2 지정된 상태에서 제1 지정된 상태로 상태 변경될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 중복 제어 객체(3120)를 제공하는 동안 상태 변경을 감지하는 경우, 중복 제어 객체(3120) 및 그에 대응하는 제어 객체(3110)의 비주얼 큐를 제거할 수 있다.
도 32, 도 33, 도 34, 도 35, 도 36, 및 도 37은 본 개시의 일 실시예에 따른 전자 장치에서 파지 상태를 검출하는 일 예를 도시하는 도면들이다.
일 실시예에 따라, 도 32 및 도 36은 전자 장치(101)의 전면의 일 예를 도시하는 도면이다. 일 실시예에서, 도 32 및 도 36은 전자 장치(101)의 전면에서 바라본 투영도를 나타낼 수 있다.
일 실시예에 따라, 도 33 및 도 34는 사용자의 손이 후면의 커버 디스플레이에 접촉되는 면적을 그리드(grid)에 기반하여 검출하는 일 예를 나타낼 수 있다.
일 실시예에 따라, 도 35 및 도 37은 전자 장치(101)의 후면의 일 예를 도시하는 도면이다. 일 실시예에서, 도 35 및 도 37은 전자 장치(101)의 후면에서 바라볼 때 사용자에 의한 팜 터치 영역 및/또는 후면 카메라 모듈(3580)에 의해 획득 가능한 이미지의 일 예를 나타낼 수 있다.
일 실시예에 따라, 도 32, 도 33, 도 34, 도 35, 도 36, 및 도 37에서는 전자 장치(101)의 폼 팩터가 전면과 후면의 비대칭형 디스플레이를 갖는 폴더블 장치인 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 터치 회로(예: 터치 센서)를 포함하며, 제1 디스플레이(3210)(또는 메인 디스플레이 또는 전면 디스플레이))의 터치 회로를 통해 검출되는 적어도 하나의 터치 영역에 기반하여 사용자의 파지 상태를 식별할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제2 디스플레이(3220)(또는 커버 디스플레이 또는 후면 디스플레이)를 포함하며, 제2 디스플레이(3220)의 터치 회로를 통해 검출되는 적어도 하나의 터치 영역(예: 팜 터치 영역) 및 제1 디스플레이(3210)의 터치 회로를 통해 검출되는 터치 영역(예: 핑거 터치 영역)에 기반하여 사용자의 파지 상태를 식별할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 후면 카메라 모듈(3580)을 포함하며, 후면 카메라 모듈에 의해 획득되는 이미지에 기반하여 객체(예: 사용자의 손가락)의 존재 유무, 제2 디스플레이(3220)의 터치 회로를 통해 검출되는 적어도 하나의 터치 영역(예: 팜 터치 영역) 및 제1 디스플레이(3210)의 터치 회로를 통해 검출되는 터치 영역(예: 핑거 터치 영역)에 기반하여 사용자의 파지 상태를 식별할 수 있다.
일 실시예에 따라, 도 32 및 도 35는 사용자가 전자 장치(101)의 하단을 왼손 파지하는 경우, 전자 장치(101)가 사용자의 파지 상태(예: 왼손 하단 파지 상태)를 검출하는 일 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전면의 제1 디스플레이(3210)(예: 전면 디스플레이)에 대한 사용자의 핑거 터치(3200) 감지 시 후면의 제2 디스플레이(3220)(예: 후면의 커버 디스플레이)의 터치 회로를 활성화(예: 스크린은 오프(off) 상태에서 터치 회로를 구동)할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이(3210)의 핑거 터치에 기반하여 파지 위치(예: 터치 조작 가능한 화면 영역 내의 최적화 영역)를 결정하고, 팜 터치(3500)에 기반하여 파지 상태를 결정할 수 있다.
일 실시예에 따르면, 전면의 제1 디스플레이(3210)(예: 전면 디스플레이)와 후면의 제2 디스플레이(3220)(예: 커버 디스플레이)는 파지 상태를 결정하기 위한 지정된 멀티 구획으로 구분될 수 있다. 예를 들어, 제1 디스플레이(3210)는 제1 디스플레이(3210)의 복수의 픽셀의 블록(또는 그룹) 단위로 제1 구획으로 구분할 수 있다. 예를 들어, 제2 디스플레이(3220)는 제2 디스플레이(3220)의 복수의 픽셀의 블록(또는 그룹) 단위로 제2 구획으로 구분할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이(3210)의 제1 구획에 따른 구획 넘버와 제2 디스플레이(3220)의 제2 구획에 따른 구획 넘버를 조합하여, 파지 상태(예: 파지 자세, 파지 방향, 파지 타입, 및/또는 조작 가능 범위)를 판단할 수 있다. 이의 예가 도 33 및 도 34에 도시된다.
일 실시예에 따르면, 전자 장치(101)는 제2 디스플레이(3220)를 그리드로 구분하고, 제2 디스플레이(3220)에 터치되는 그리드 영역에 따라 파지의 형태를 식별할 수 있다. 예를 들어, 사용자가 도 32 및 도 35의 예시와 같이 전자 장치(101)를 파지하는 경우, 전자 장치(101)는 도 33의 예시 <3301>에서, 제2 디스플레이(3220)의 터치 회로를 통해 적어도 하나의 터치 영역(3300)(예: 팜 터치 영역(3300))을 검출하고, 도 33의 예시 <3303>에서, 제1 디스플레이(3210)의 터치 회로를 통해 터치 영역(3200)(예: 핑거 터치 영역(3200))을 검출할 수 있다.
일 실시예에서, 예시 <3301>의 팜 터치 영역(3300)에 대한 부분 확대 도면과 같이, 제2 디스플레이(3220)는 복수의 그리드(예: 픽셀 단위 또는 픽셀 집합의 블록 단위)로 구분될 수 있다. 일 실시예에 따르면, 팜 터치 영역(3300)은 접촉 면적이 상대적으로 넓은 제1 팜 터치 포인트(3310)(예: 완전 팜 터치 포인트)와 접촉 면적이 상대적으로 적은 제2 팜 터치 포인트(3320)(예: 불완전 팜 터치 포인트)를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 팜 터치 포인트(3310)와 제2 팜 터치 포인트(3320)에 기반하여 커버 디스플레이(3220)에서의 팜 터치 영역(3300)을 결정할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제2 디스플레이(3220)의 팜 터치 영역(3300)과 제1 디스플레이(3210)의 핑거 터치 영역(3200)의 형태(또는 터치 자세)(예: 파지 방향 및/또는 한손 크기)를 식별하여 파지 상태를 결정할 수 있다. 일 실시예에 따라, 파지 상태는 한손 파지 상태 및 양손 파지 상태를 포함할 수 있다. 일 실시예에서, 한손 파지 상태는 왼손 하단 파지, 왼손 중단 파지, 왼손 상단 파지, 왼손 최하단(예: 전자 장치(101)의 하부) 파지, 왼손 최상단(예: 전자 장치(101)의 상부) 파지, 오른손 하단 파지, 오른손 중단 파지, 오른손 상단 파지, 오른손 최하단 파지, 및 오른손 최상단 파지와 같은 상태를 포함할 수 있다. 일 실시예에서, 양손 파지 상태는 양손 하단 파지, 양손 중단 파지 및 양손 상단 파지와 같은 상태를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 파지 상태에 따라 최적화 영역(예: 조작 가능 영역)을 결정할 수 있다. 예를 들어, 도 34에 예시한 바와 같이, 사용자가 한손 파지(예: 왼손 파지) 상태인 경우, 제2 디스플레이(3220)의 팜 터치 영역(3300)과 제1 디스플레이(3210)의 핑거 터치 영역(3200)에 기반하여 파지 타입을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 결정된 파지 타입을 기반으로 제1 디스플레이(3210) 상에서의 최적화 영역을 결정할 수 있다. 예를 들어, 전자 장치(101)는 제1 디스플레이(3210)의 핑거 터치 영역(3200)을 포함하는 부채꼴 영역(3410, 3420, 3430)(예: 한손 조작 영역)을 기준으로 최적화 영역을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제2 디스플레이(3220)의 팜 터치 영역(3300)에 기반하여 터치 자체(예: 파지 방향 및/또는 한손 크기)를 예측하고, 제1 디스플레이(3210)의 핑거 터치 영역(3200)과 예측된 터치 자세에 매칭된 한손 조작 영역에 기반하여 최적화 영역을 결정할 수 있다.
도 34에 예시한 바와 같이, 예시 <3401>은 한손 파지의 제1 타입(예: 왼손 하단 파지)에 따라, 핑거 터치 영역(3200)을 포함하는 제1 디스플레이(3210)의 왼쪽 하단을 중심으로 최적화 영역(3410)(예: 한손 조작 영역)을 결정하는 예를 나타낼 수 있다. 일 실시예에 따라, 예시 <3403>은 한손 파지의 제2 타입(예: 왼손 중단 파지)에 따라, 핑거 터치 영역(3200)을 포함하는 제1 디스플레이(3210)의 왼쪽 중단을 중심으로 최적화 영역(3420)을 결정하는 예를 나타낼 수 있다. 일 실시예에 따라, 예시 <3405>는 한손 파지의 제3 타입(예: 왼손 최하단 파지(예: 전자 장치(101)의 하부 파지))에 따라, 핑거 터치 영역(3200)을 포함하는 제1 디스플레이(3210)의 하부 중간을 중심으로 최적화 영역(3430)을 결정하는 예를 나타낼 수 있다.
일 실시예에 따라, 파지 상태를 결정하는 방법은, 전면의 핑거 터치 및 후면의 팜 터치의 조합으로 결정하는 것에 제한하지 않는다. 일 실시예에 따르면, 파지 상태를 결정하는 방법은, 전면의 핑거 터치, 그립 센서의 센서 데이터, 후면의 팜 터치, 및/또는 카메라 모듈의 획득 이미지와 같은 추가 센싱 요소 결합을 통해 파지 상태 검출의 정확도를 개선할 수도 있다.
일 실시예에 따라, 도 36 및 도 37은 사용자가 전자 장치(101)의 상단을 오른손 파지하는 경우, 전자 장치(101)가 사용자의 파지 상태(예: 오른손 상단 파지 상태)를 검출하는 일 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 전면의 제1 디스플레이(3210)(예: 전면의 디스플레이)에 대한 사용자의 핑거 터치(3600) 감지 시 후면의 제2 디스플레이(3220)(예: 후면의 커버 디스플레이)의 터치 회로 및 후면의 카메라 모듈(3580)을 활성화할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이(3210)의 핑거 터치에 기반하여 파지 위치(예: 터치 조작 가능한 화면 영역 내의 최적화 영역)를 결정하고, 카메라 모듈(3580)을 통해 획득하는 이미지(3700) 및/또는 팜 터치에 기반하여 파지 상태를 결정할 수 있다.
일 실시예에 따르면, 전면의 제1 디스플레이(3210)와 후면의 제2 디스플레이(3220)는 파지 상태를 결정하기 위한 지정된 구획으로 구분될 수 있다. 예를 들어, 제1 디스플레이(3210)는 제1 디스플레이(3210)의 복수의 픽셀의 블록(또는 그룹) 단위로 제1 구획으로 구분할 수 있다. 예를 들어, 제2 디스플레이(3220)는 제2 디스플레이(3220)의 복수의 픽셀의 블록(또는 그룹) 단위로 제2 구획으로 구분할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이(3210)의 제1 구획에 따른 구획 넘버와 제2 디스플레이(3220)의 제2 구획에 따른 구획 넘버를 조합하여, 파지 상태(예: 파지 자세, 파지 방향, 파지 타입, 및/또는 조작 가능 범위)를 판단할 수 있다.
일 실시예에 따라, 파지 상태를 결정하는 방법은, 전면의 핑거 터치 및 후면의 팜 터치의 조합으로 결정하는 것에 제한하지 않는다. 일 실시예에 따르면, 파지 상태를 결정하는 방법은, 전면의 핑거 터치, 그립 센서의 센서 데이터, 후면의 팜 터치, 자이로 센서, 가속도 센서 및/또는 카메라 모듈의 획득 이미지와 같은 추가 센싱 요소 결합을 통해 파지 상태 검출의 정확도를 개선할 수도 있다.
본 개시의 실시예에 따른 전자 장치(101)에서 수행하는 동작 방법은, 전자 장치(101)의 지정된 상태에서 어플리케이션의 실행 화면을 표시하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 상기 실행 화면에서 제어 객체를 검출하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 사용자의 파지 상태를 판단하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하는 동작 수행을 포함할 수 있다.
일 실시예에 따른 동작 방법은 상기 파지 상태에 기반하여 상기 최적화 영역을 위한 파지 위치를 결정하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 상기 지정된 상태에서 상기 파지 위치와 상기 제어 객체 간의 거리에 기반하여, 가장 먼 거리에 위치된 제어 객체를 상기 타겟 제어 객체로 결정하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 상기 타겟 제어 객체에 대응하는 제어 객체에 기반하여 중복 제어 객체를 생성하는 동작 수행을 포함할 수 있다. 일 실시예에 따른 동작 방법은 상기 중복 제어 객체를 상기 파지 위치에 플로팅 하여 중복 제공하는 동작 수행을 포함할 수 있다.
일 실시예에 따르면, 상기 지정된 상태는 제1 지정된 상태 및 제2 지정된 상태를 포함할 수 있다. 일 실시예에 따르면, 상기 제1 지정된 상태는 상기 전자 장치가 완전히 펼쳐진 상태를 포함할 수 있다. 일 실시예에 따르면, 상기 제2 지정된 상태는 상기 전자 장치가 부분적으로 접힌 상태를 포함할 수 있다. 일 실시예에 따르면, 상기 제어 객체는 포어그라운드에서 실행 중인 어플리케이션에 관련된 기능 제어를 위한 하나 또는 그 이상의 제어 객체를 포함할 수 있다. 일 실시예에 따르면, 상기 제어 객체는 상기 디스플레이를 통해 현재 표시되는 실행 화면으로부터 검출될 수 있다.
본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
101: 전자 장치
120: 프로세서
130: 메모리
160, 210: 디스플레이
176: 센서 모듈
180: 카메라 모듈
120: 프로세서
130: 메모리
160, 210: 디스플레이
176: 센서 모듈
180: 카메라 모듈
Claims (20)
- 전자 장치에 있어서,
디스플레이;
메모리; 및
상기 디스플레이 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
전자 장치의 지정된 상태에서 어플리케이션의 실행 화면을 표시하도록 상기 디스플레이를 제어하고,
상기 실행 화면에서 제어 객체를 검출하고,
사용자의 파지 상태를 판단하고,
상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하고, 및
상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하도록 설정된 전자 장치.
- 제1항에 있어서,
상기 제1 지정된 상태는 상기 전자 장치가 완전히 펼쳐진 상태를 포함하고,
상기 제2 지정된 상태는 상기 전자 장치가 부분적으로 접힌 상태를 포함하는 전자 장치.
- 제1항에 있어서,
상기 제어 객체는 포어그라운드에서 실행 중인 어플리케이션에 관련된 기능 제어를 위한 하나 또는 그 이상의 제어 객체를 포함하고,
상기 디스플레이를 통해 현재 표시되는 실행 화면으로부터 검출되는 전자 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 파지 상태에 기반하여 상기 최적화 영역을 위한 파지 위치를 결정하고,
상기 파지 위치와 상기 제어 객체 간의 거리에 기반하여 상기 타겟 제어 객체를 결정하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 지정된 상태에서 상기 파지 위치로부터 가장 먼 거리에 위치된 제어 객체를 상기 타겟 제어 객체로 결정하고,
상기 타겟 제어 객체로 결정된 상기 제어 객체에 기반하여 중복 제어 객체를 생성하고,
상기 중복 제어 객체를 상기 파지 위치에 제공하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
백그라운드에서 상기 디스플레이를 지정된 분할 정보에 기반하여 복수개의 가상 분할 영역으로 구분하고,
상기 파지 위치의 분할 영역과 가장 먼 거리에 위치된 분할 영역의 제어 객체에 기반하여 타겟 제어 객체를 결정하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 전자 장치의 제1 지정된 상태에서 상기 파지 위치와 제어 객체 간의 직선 거리를 계산하여 가장 먼 거리의 제어 객체를 결정하고,
상기 전자 장치의 제2 지정된 상태에서 상기 파지 위치와 제어 객체 간의 3차원 거리 계산에 기반하여 가장 먼 힌지 영역의 제어 객체를 결정하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 타겟 제어 객체를 결정할 때, 거리와 함께 지정된 조건을 고려하여, 가산점을 기반으로 타겟 제어 객체를 결정하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 파지 위치 또는 파지 위치를 기준으로 주변 영역에 기반하여 상기 최적화 영역을 결정하도록 설정되고,
상기 최적화 영역은 상기 파지 위치에 대응하는 영역이거나, 또는 파지 위치를 기준으로 다른 객체와 중첩되지 않는 영역을 포함하는 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
타겟 제어 객체는 원래의 위치 상에 유지하면서, 대응하는 기능을 갖는 중복 제어 객체를 최적화 영역에 플로팅(floating) 하여 중복 제공하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 파지 위치에 기반하여 플로팅 액션 버튼(floating action button)을 제공하도록 설정되고,
상기 플로팅 액션 버튼은 타겟 제어 객체로 지정된 제어 객체에 대응하는 중복 제어 객체를 호출하기 위한 호출 객체를 포함하는 전자 장치.
- 제11항에 있어서, 상기 프로세서는,
상기 플로팅 액션 버튼을 상기 파지 위치에 제공하고,
상기 플로팅 액션 버튼에 기반한 사용자 입력에 응답하여, 제어 객체에 대응하는 상기 중복 제어 객체를 상기 파지 위치에 제공하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 타겟 제어 객체로 결정되는 제어 객체에 기반하여 시각적인 효과가 적용된 비주얼 큐(visual cue)를 제공하도록 설정되고,
상기 비주얼 큐는 플로팅 액션 버튼 또는 중복 제어 객체가 제공되는 동안 유지되는 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
타겟 제어 객체로 지정된 제어 객체와 대응하는 기능을 갖는 중복 제어 객체를 구성하고,
상기 중복 제어 객체가 제공될 위치를 플로팅 액션 버튼의 위치와 매핑하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
상기 전자 장치의 지정된 상태를 판단하고,
상기 제1 지정된 상태에서 파지 위치와 제어 객체 간의 제1 지정된 조건에 기반하여 타겟 제어 객체를 결정하고,
상기 제2 지정된 상태에서 파지 위치와 제어 객체 간의 제2 지정된 조건에 기반하여 타겟 제어 객체를 결정하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 제어 객체는 단일 제어 객체 형식 및/또는 묶음 제어 객체 형식을 포함하고,
상기 프로세서는,
타겟 제어 객체가 단일 제어 객체 형식인 경우, 해당 제어 객체에 대응하는 단일 제어 객체 형식으로 중복 제어 객체를 생성하고,
타겟 제어 객체가 묶음 제어 객체 형식인 경우, 해당 제어 객체에 대응하는 묶음 제어 객체 형식으로 중복 제어 객체를 생성하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
중복 제어 객체 및 파지 위치에 대응하는 영역의 지정된 조건에 기반하여, 파지 위치에 대응하는 영역에 중복 제어 객체를 위한 공간 확보가 가능한지 여부를 판단하고,
중복 제어 객체를 위한 공간 확보의 가능 여부에 기반하여, 상기 중복 제어 객체가 제공될 최적화 영역을 결정하도록 설정된 전자 장치.
- 제17항에 있어서, 상기 프로세서는,
상기 공간 확보가 가능한 경우, 상기 파지 위치의 영역을 상기 최적화 영역으로 결정하고,
상기 공간 확보가 가능하지 않는 경우, 파지 위치의 주변 영역을 상기 최적화 영역으로 결정하고,
상기 최적화 영역 결정 시에, 결정된 최적화 영역에서 겹치는 다른 객체의 유무에 기반하여 최적화 영역을 보정하도록 설정된 전자 장치.
- 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 프로세서는,
플로팅 액션 버튼 또는 중복 제어 객체에 기반한 사용자와 상호작용에 기반하여, 플로팅 액션 버튼 또는 중복 제어 객체의 이동, 제거 또는 타겟 제어 객체를 전환하는 동작을 수행하도록 설정된 전자 장치.
- 전자 장치의 동작 방법에 있어서,
전자 장치의 지정된 상태에서 어플리케이션의 실행 화면을 표시하는 동작;
상기 실행 화면에서 제어 객체를 검출하는 동작;
사용자의 파지 상태를 판단하는 동작;
상기 지정된 상태 및 상기 파지 상태에 기반하여 상기 제어 객체로부터 적어도 하나의 타겟 제어 객체를 식별하는 동작; 및
상기 타겟 제어 객체로 식별된 제어 객체에 대응하는 중복 제어 객체를 파지 상태에 대응하는 최적화 영역에 중복 제공하는 동작을 포함하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2023/013229 WO2024053988A1 (ko) | 2022-09-05 | 2023-09-05 | 플렉서블 디스플레이를 갖는 전자 장치 및 그의 파지 상태에 기반한 제어 객체 제공 방법 |
| US18/488,464 US20240077956A1 (en) | 2022-09-05 | 2023-10-17 | Electronic device having flexible display and method for providing control object based on gripping state thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220112182 | 2022-09-05 | ||
| KR1020220112182 | 2022-09-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240033613A true KR20240033613A (ko) | 2024-03-12 |
Family
ID=90299798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220133910A KR20240033613A (ko) | 2022-09-05 | 2022-10-18 | 플렉서블 디스플레이를 갖는 전자 장치 및 그의 파지 상태에 기반한 제어 객체 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240033613A (ko) |
-
2022
- 2022-10-18 KR KR1020220133910A patent/KR20240033613A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4321985A1 (en) | Electronic apparatus having expandable display, and screen display method therefor | |
| KR20220050020A (ko) | 플렉서블 디스플레이를 포함하는 전자 장치 및 전자 장치의 화면 운영 방법 | |
| KR102247663B1 (ko) | 디스플레이의 제어 방법 및 이를 지원하는 전자 장치 | |
| US11698705B2 (en) | Electronic device and screen control method thereof | |
| KR20230009222A (ko) | 복수의 터치스크린 디스플레이를 포함하는 전자 장치 및 화면 분할 방법 | |
| KR20220060991A (ko) | 디스플레이 영역이 확장 가능한 전자 장치 및 그의 화면을 제어하는 방법 | |
| KR20220015266A (ko) | 플렉서블한 디스플레이 모듈을 포함하는 전자 장치와 이의 동작 방법 | |
| KR20240033613A (ko) | 플렉서블 디스플레이를 갖는 전자 장치 및 그의 파지 상태에 기반한 제어 객체 제공 방법 | |
| US20240077956A1 (en) | Electronic device having flexible display and method for providing control object based on gripping state thereof | |
| KR20220014709A (ko) | 슬라이딩 가능한 전자 장치 및 이의 제어 방법 | |
| KR20220061797A (ko) | 전자 장치 및 그의 화면 제어 방법 | |
| KR20220078184A (ko) | 플렉서블 디스플레이의 확장에 따라 적어도 하나의 객체를 이동하여 디스플레이 하는 전자 장치 및 그 제어 방법 | |
| EP4358502A1 (en) | Foldable electronic device and utilization method of foldable electronic device | |
| US20230376322A1 (en) | Electronic device and operation method thereof | |
| KR20240034072A (ko) | 폴더블 전자 장치 및 폴더블 전자 장치의 활용 방법 | |
| EP4376396A1 (en) | Electronic device comprising flexible display, operation method thereof, and non-transitory storage medium | |
| KR20240050835A (ko) | 폴더블 전자 장치 및 폴더블 전자 장치의 사용자 입력 처리 방법 | |
| KR20230057874A (ko) | 확장 가능한 디스플레이를 포함하는 전자 장치 및 그 제어 방법 | |
| KR20240011580A (ko) | 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 동작 방법 | |
| KR20230087330A (ko) | 플렉서블 디스플레이를 가지는 전자 장치 | |
| KR20220159715A (ko) | 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법 | |
| KR20240056364A (ko) | 폴더블 디스플레이를 제어하는 전자 장치 및 방법 | |
| KR20230013439A (ko) | 플렉서블 전자 장치의 변화에 따라 사용자 인터페이스 제공 방법 및 플렉서블 전자 장치 | |
| KR20230019703A (ko) | 화면 제어 방법 및 장치 | |
| KR20230054116A (ko) | 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |