KR20200002686A - 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치 - Google Patents

플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20200002686A
KR20200002686A KR1020190077983A KR20190077983A KR20200002686A KR 20200002686 A KR20200002686 A KR 20200002686A KR 1020190077983 A KR1020190077983 A KR 1020190077983A KR 20190077983 A KR20190077983 A KR 20190077983A KR 20200002686 A KR20200002686 A KR 20200002686A
Authority
KR
South Korea
Prior art keywords
flexible display
fold
electronic device
user
area
Prior art date
Application number
KR1020190077983A
Other languages
English (en)
Inventor
아바두스 레카팔리 파니
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/456,731 priority Critical patent/US10983561B2/en
Priority to PCT/KR2019/007903 priority patent/WO2020005017A1/en
Publication of KR20200002686A publication Critical patent/KR20200002686A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Abstract

본 개시는 전자 장치의 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치에 관한 것으로, 상기 전자 장치의 동작 방법은, 상기 전자 장치의 플렉서블(flexible) 디스플레이를 폴드(fold)하기 위한 입력을 수신하는 과정과, 상기 전자 장치의 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태를 확인하는 과정과, 상기 확인된 전자 장치의 상태에 따라, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하는 과정과, 상기 플렉서블 디스플레이가 폴드될 수 있다고 식별되는 경우, 상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정을 포함할 수 있다.

Description

플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치 {METHOD FOR MANAGING FLEXIBLE DISPLAY AND ELECTRONIC DEVICE THEREOF}
본 개시(disclosure)는 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치에 관한 것이다. 보다 구체적으로, 본 개시는 사용자의 의도를 만족시키기 위해 플렉서블 디스플레이를 제어하기 위한 방법 및 그 전자 장치에 관한 것이다.
현재, 플렉서블 디스플레이(flexible display)를 갖는 장치들이 개발되고 있다. 일 예로, 플렉서블 디스플레이는 유기 발광 다이오드(organic light-emitting diode, OLED) 및 액정 디스플레이(liquid crystal display, LCD)의 액정을 에워싸는 유리 기판을 플라스틱 필름으로 대체하여 폴딩(folding) 및 언폴딩(unfolding)이 가능하도록 유연성을 부가함으로써 형성될 수 있다.
다양한 방식들에서, 플렉서블 디스플레이는 다양한 구성을 통해 컨텐츠를 디스플레이할 수 있는 동안 외부의 힘에 의해 구성, 크기, 및 길이가 변경되도록 폴딩 또는 변경될 수 있다. 이에 따라, 다양하게 변경될 수 있는 플렉서블 디스플레이 상에 컨텐츠를 표시하기 위한 다양한 기술들이 연구되고 있다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는, 플렉서블 디스플레이(flexible display)를 관리하기 위한 방법 및 그 전자 장치를 제공한다.
또한, 본 개시는, 전자 장치의 플렉서블 디스플레이를 관리하기 위한 폴드(fold) 상태 구성들을 결정하기 위한 방법 및 그 전자 장치를 제공한다.
또한, 본 개시는, 폴드 상태 구성들을 결정하기 위해 플렉서블 디스플레이에 디스플레이되는 컨텐츠, 또는 플렉서블 디스플레이에 디스플레이되기 위해 렌더링 및/또는 인출되는 컨텐츠에 대한 사용자 의도를 결정하기 위한 방법 및 그 전자 장치를 제공한다.
또한, 본 개시는, 폴드 상태 구성들에 따라 플렉서블 디스플레이에 디스플레이되는 컨텐츠, 또는 플렉서블 디스플레이에 디스플레이되기 위해 렌더링 및/또는 인출되는 컨텐츠를 변경하기 위한 방법 및 그 전자 장치를 제공한다.
본 개시(disclosure)의 다양한 실시 예들에 따르면, 전자 장치의 동작 방법은, 상기 전자 장치의 플렉서블(flexible) 디스플레이를 폴드(fold)하기 위한 입력을 수신하는 과정과, 상기 전자 장치의 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태를 확인하는 과정과, 상기 확인된 전자 장치의 상태에 따라, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하는 과정과, 상기 플렉서블 디스플레이가 폴드될 수 있다고 식별되는 경우, 상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정을 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는, 적어도 하나의 센서, 플렉서블(flexible) 디스플레이, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 플렉서블 디스플레이를 폴드(fold)하기 위한 입력을 수신하고, 상기 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태를 확인하고, 상기 확인된 전자 장치의 상태에 따라, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하고, 상기 플렉서블 디스플레이가 폴드될 수 있다고 식별되는 경우, 상기 플렉서블 디스플레이를 폴드하도록 제어하도록 구성될 수 있다.
본 개시의 다양한 실시 예들에 따른 방법 및 그 전자 장치는, 전자 장치에 대한 입력으로부터 식별된 사용자 의도에 기반하여 플렉서블(flexible) 디스플레이의 폴드(fold) 및 컨텐츠의 표시를 제어함으로써, 사용자의 의도에 따라 플렉서블 디스플레이를 제어할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시 예들은 첨부 도면들에 도시되고, 다양한 도면들에서 유사한 참조 부호들은 해당 부품들을 나타낸다. 본 개시의 다양한 실시 예들은 도면들을 참조하여 다음의 설명으로부터 더 잘 이해될 것이다.
도 1은 본 개시의 일 실시 예에 따른 플렉서블 디스플레이(flexible display)를 관리하기 위한 전자 장치를 도시한다.
도 2는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이를 관리하기 위해 폴드 상태 구성들(fold state configurations)을 결정하기 위한 처리 엔진의 블록도를 도시한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이를 관리하기 위한 흐름도를 도시한다.
도 4a, 4b, 4c, 4d, 4e는 본 개시의 다양한 실시 예들에 따른 전자 장치의 플렉서블 디스플레이의 예시적인 구조들을 도시한다.
도 4f는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이 상에 형성되는 폴딩을 도시한다.
도 4g는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이의 예시적인 폴딩을 도시한다.
도 5는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이를 폴딩하고 플렉서블 디스플레이에 표시되는 컨텐츠 또는 플렉서블 디스플레이에 표시되기 위해 렌더링/인출되는 컨텐츠를 변경하기 위한 예시적인 전자 장치를 도시한다.
도 6a는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이에 대한 폴드 상태 구성들을 결정하기 위한 처리 엔진의 유닛들을 도시한다.
도 6b는 본 개시의 일 실시 예에 따른 처리 엔진의 유닛들 간의 상호 연결을 도시한다.
도 7a는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이에 대한 폴드 상태 구성들을 결정하기 위한 흐름도의 일 예를 도시한다.
도 7b는 본 개시의 일 실시 예에 따른 폴드 상태 구성들에 기반하여 전자 장치의 플렉서블 디스플레이에 표시되는 컨텐츠 또는 플렉서블 디스플레이에 표시되기 위해 렌더링/인출되는 컨텐츠를 변경하기 위한 흐름도의 일 예를 도시한다.
도 7c는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이를 관리하기 위한 흐름도의 일 예를 도시한다.
도 8a는 본 개시의 일 실시 예에 따른 전자 장치의 상태에 기반하여 플렉서블 디스플레이에서 사용자 입력을 실행하기 위한 흐름도의 일 예를 도시한다.
도 8b는 본 개시의 일 실시 예에 따른 전자 장치의 상태에 기반하여 직관적인 뷰(intuitive view)를 생성하기 위한 흐름도를 도시한다.
도 8c는 본 개시의 일 실시 예에 따른 전자 장치의 상태에 기반하여 편안한 뷰(comfortable view)를 생성하기 위한 흐름도를 도시한다.
도 9a, 도 9b, 및 도 9c는 본 개시의 다양한 실시 예들에 따른 전자 장치의 플렉서블 디스플레이의 폴딩 및 플렉서블 디스플레이 상의 컨텐츠 표시의 예들을 도시한다.
도 10은 본 개시의 일 실시 예에 따른 플렉서블 디스플레이의 멀티 윈도우 디스플레이 모드의 일 예를 도시한다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 반자동 폴딩 모드에서 작동하는 플렉서블 디스플레이의 예시적인 폴딩을 도시한다.
도 12a, 12b, 12c, 12d, 12e, 12f, 12g, 12h, 12i, 12j, 및 12k는 본 개시의 다양한 실시 예들에 따른 전자 장치의 플렉서블 디스플레이의 폴딩, 및 플렉서블 디스플레이에 표시되는 컨텐츠 또는 플렉서블 디스플레이에 표시되기 위해 렌더링/인출되는 컨텐츠의 변경을 도시하는 예시적인 다이어그램들이다.
본 개시에서 사용되는 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 본 개시는 전자 장치의 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치에 관한 것이다. 도면들, 특히 도면들 전체에 걸쳐 일관되게 유사 참조 부호들이 해당 특징들을 나타내는 도 1 내지 도 12k를 참조하면, 예시적인 실시 예들이 도시되어 있다.
이하 설명에서 사용되는 객체(entity)들을 지칭하는 용어, 객체 내의 모듈들을 지칭하는 용어, 장치의 구성 요소들을 지칭하는 용어, 객체 또는 장치에 저장되는 데이터들을 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다.
다양한 방식들에서, 플렉서블 디스플레이는 다양한 구성을 통해 컨텐츠를 디스플레이할 수 있는 동안 외부의 힘에 의해 구성, 크기, 및 길이가 변경되도록 폴딩 또는 변경될 수 있다. 그러나, 컨텐츠에 존재하는 객체들의 위치는 플렉서블 디스플레이들을 폴딩하는 동안 변경될 수 없다. 사용자는 플렉서블 디스플레이의 폴딩된 영역들 상에 표시된 컨텐츠에 존재하는 객체들과 상호 작용하기 어려울 수 있다. 이에 따라, 폴딩된 디스플레이와 상호 작용하면서 컨텐츠가 표시되는 기술이 요구된다.
도 1은 본 개시의 일 실시 예에 따른 플렉서블 디스플레이(flexible display)를 관리하기 위한 전자 장치를 도시한다.
도 1을 참고하면, 전자 장치 100은 컨텐츠를 디스플레이하기 위해 적어도 하나의 플렉서블 디스플레이 102를 포함하는 장치를 나타낸다. 전자 장치 100의 예로는 휴대 전화, 스마트폰, 태블릿, 패블릿, 개인용 정보 단말기(personal digital assistant, PDA), 랩톱, 전자 판독기, 웨어러블 장치, 사물 인터넷(internet of things, IoT) 장치, 웨어러블 컴퓨팅 장치, 차량용 인포테인먼트 시스템, 의료 기기, 텔레비전(television, TV), 차량용 디스플레이, 게임용 기기, 키오스크 등이 포함될 수 있지만, 이에 국한되지는 않는다. 본 개시에 언급된 바와 같은 컨텐츠의 예로는 미디어(이미지, 비디오, 애니메이션 등), 텍스트, 리마인더, 어플리케이션(달력 어플리케이션, 날씨 어플리케이션, 스포츠 어플리케이션, 뉴스 어플리케이션 등), 아이콘(진행 중인 통화, 수신된 메시지들, 타이머 티킹 등), 티커(ticker), 위젯, 광고 중 적어도 하나일 수 있지만, 이에 국한되지는 않는다.
플렉서블 디스플레이 102는 기존의 평판 디스플레이 장치의 디스플레이 특성들을 가지면서 구부리거나 접거나 둥글게 말 수 있는 디스플레이를 나타낸다. 플렉서블 디스플레이 102는(도 4a에 도시된 바와 같이) 휨 센서들, 액추에이터들, 플렉서블 기판, 드라이버, 디스플레이 패널 및 보호 층을 포함할 수 있다. 일 실시 예에서, 휨 센서들 및 액추에이터들은 플렉서블 디스플레이 102의 폴딩/벤딩을 달성하기 위해 사용될 수 있다. 다른 실시 예에서, 플렉서블 디스플레이 102는 전자 종이로서 구현될 수 있다(잉크의 일반적인 특성들이 전자 종이에 적용될 수 있고, 전자 종이는 컨텐츠를 디스플레이하기 위해 반사된 광을 사용한다). 전자 종이는 트위스트 볼 또는 캡슐을 사용하는 전기 영동을 사용하여 컨텐츠를 변경할 수 있다.
또한, 전자 장치 100은 처리 엔진 104 및 메모리 106을 포함한다. 처리 엔진 104는 플렉서블 디스플레이 102에 결합될 수 있고, 단일 프로세서, 복수의 프로세서들, 멀티 동종 코어, 멀티 이종 코어, 상이한 종류의 멀티 중앙 처리 장치(central processing unit, CPU) 중 적어도 하나를 포함할 수 있다.
전자 장치 100은 사용자 입력들, 플렉서블 디스플레이의 상태 및/또는 물리적 특성들을 기록하기 위해 적어도 하나의 센서와 결합될 수 있다. 센서는 자이로스코프, 가속도계, 중력 센서, 근접 센서, 각속도 센서, 변형 게이지 센서, 시각 센서(카메라, 홍채 스캐너 등), 청각 센서(마이크로폰), 관성 센서 등일 수 있지만, 이에 국한되지는 않는다. 또한, 전자 장치 100은, 도 6a에 도시되는 바와 같이, 플렉서블 디스플레이 102를 관리하기 위해 필요한 의도 지식(intent knowledge) 데이터베이스, 객체 연관 지식 데이터베이스, 이전의 구성들을 포함하는 데이터베이스와 같은 데이터베이스들로부터의 데이터에 액세스할 수 있다. 또 다른 실시 예에서, 전자 장치 100은 플렉서블 디스플레이 102를 관리하기 위해 필요한 정보에 액세스하고 컨텐츠를 다운로드하기 위해 인터넷, 유선 네트워크(근거리 통신망(local area network, LAN), 이더넷 등), 무선 네트워크(Wi-Fi 네트워크, 셀룰러 네트워크, Wi-Fi 핫스팟, 블루투스, 지그비 등) 중 적어도 하나를 사용하여 서버(도시되지 않음)에 연결될 수 있다.
처리 엔진 104는 사용자 입력들을 인식하는 것에 응답하여 플렉서블 디스플레이 102를 관리하도록 구성될 수 있다. 사용자 입력들은 전자 장치 100과 사용자의 상호 작용들, 사용자 명령들 중 적어도 하나를 포함할 수 있다. 사용자 입력들을 인식하면, 처리 엔진 104는 플렉서블 디스플레이 102의 현재 상태와 비교하여 플렉서블 디스플레이에 디스플레이된 컨텐츠를 검출한다. 또한, 처리 엔진 104는 사용자 입력들, 플렉서블 디스플레이 102에 디스플레이된 컨텐츠 중 적어도 하나를 사용하여 컨텐츠에 대한 사용자 의도를 결정한다. 컨텐츠에 대한 사용자 의도에 기반하여, 처리 엔진 104는 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다. 결정된 폴드 상태 구성들에 따라, 처리 엔진 104는 플렉서블 디스플레이 102의 물리적 폴딩을 수행한다. 또한, 플렉서블 디스플레이 102에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102에 디스플레이되기 위해 렌더링/인출되는 컨텐츠는 사용자 의도를 만족시키기 위해 폴드 상태 구성들에 따라 변경될 수 있다.
처리 엔진 104는 플렉서블 디스플레이 102 상에 있는 컨텐츠에 존재하는 객체들을 검출하도록 또한 구성된다. 또한, 처리 엔진 104는 플렉서블 디스플레이 102의 현재 상태/물리적 특성(폴더블 영역 포함)에 비해 방향성을 갖는 객체(들)을 인식한다. 사용자 입력을 수신하면, 처리 엔진 104는 플렉서블 디스플레이 102의 폴더블 영역에 현재 상태에 비해 방향성을 갖는 객체(들)을 디스플레이하기 위해 플렉서블 디스플레이를 폴딩한다. 플렉서블 디스플레이 102는 사용자 입력으로부터 결정된 사용자 의도 및 플렉서블 디스플레이 102의 현재 상태를 기반으로 하여 폴딩될 수 있다. 또한, 플렉서블 디스플레이 102의 폴더블 영역은 플렉서블 디스플레이 102의 확장된 폴더블 영역에 다른 객체(들)을 디스플레이하기 위해 플렉서블 디스플레이 102의 임의의 세그먼트까지 확장될 수 있고, 다른 객체(들)은 플렉서블 디스플레이 102의 폴더블 영역에 디스플레이된 객체(들)과 관련이 있다.
또한, 처리 엔진 104는 플렉서블 디스플레이 102의 현재 상태와 관련하여 플렉서블 디스플레이 102에 디스플레이되는 제1 컨텐츠(예: 비디오)를 검출하도록 구성된다. 또한, 처리 엔진 104는 제2 컨텐츠(예: 날씨 업데이트)에 대한 사용자 입력을 수신할 수 있다. 사용자 입력을 수신하면, 처리 엔진 104는 사용자 입력으로부터 결정된 사용자 의도 및 플렉서블 디스플레이 102의 현재 상태를 기반으로 하여 플렉서블 디스플레이 102를 폴딩한다. 플렉서블 디스플레이 102는 플렉서블 디스플레이 102의 폴더블 영역에 제1 컨텐츠 또는 제2 컨텐츠를 디스플레이하기 위해 폴딩될 수 있다. 또한, 처리 엔진 104는 플렉서블 디스플레이 102의 폴더블 영역에 제3 컨텐츠를 디스플레이할 수 있고, 제3 컨텐츠는 제1 컨텐츠 및 제2 컨텐츠 중 적어도 하나와 관련될 수 있다. 또한, 처리 엔진 104는 플렉서블 디스플레이 102의 확장된 폴더블 영역에 제1 컨텐츠, 제2 컨텐츠, 및 제3 컨텐츠 중 적어도 하나를 디스플레이하기 위해 플렉서블 디스플레이 102의 임의의 세그먼트까지 폴더블 영역을 확장시킬 수 있다.
메모리 106은 사용자 입력들, 사용자 의도, 컨텐츠, 폴드 상태 구성들을 저장하도록 구성될 수 있다. 메모리 106은 하나 이상의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 메모리 106은 비휘발성 기억 소자들을 포함할 수 있다. 그러한 비휘발성 기억 소자들의 예로는 자기 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, 또는 전기적 프로그램 가능 메모리(electrically programmable memories, EPROM) 또는 전기적 소거 가능 및 프로그램 가능 메모리(electrically erasable and programmable, EEPROM) 형태들을 포함할 수 있다. 또한, 메모리 106은 일부 예에서 비-일시적 저장 매체로 간주될 수 있다. "비-일시적"이라는 용어는 저장 매체가 반송파 또는 전파된 신호로 구현되지 않음을 나타낼 수 있다. 그러나, "비-일시적"이라는 용어는 메모리 106이 비-이동성이라는 의미로 해석되어서는 안된다. 일부 예에서, 메모리 106은 메모리보다 큰 정보량을 저장하도록 구성될 수 있다. 특정 예들에서, 비-일시적 저장 매체는 시간 경과에 따라 (예: 랜덤 액세스 메모리(random access memory, RAM) 또는 캐시에서) 변경할 수 있는 데이터를 저장할 수 있다.
도 1은 전자 장치 100의 예시적인 유닛들을 도시하지만, 다른 실시 예들이 이에 제한되지 않는다는 것으로 이해되어야 한다. 다른 실시 예들에서, 전자 장치 100은 더 적은 개수 또는 더 많은 개수의 유닛들을 포함할 수 있다. 또한, 유닛들의 명칭들은 단지 예시를 위한 것으로서, 본 개시에 개시된 실시 예들의 범위를 제한하지 않는다. 하나 이상의 유닛들은 전자 장치 100에서 동일하거나 실질적으로 유사한 기능을 수행하기 위해 함께 결합될 수 있다.
도 2는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이를 관리하기 위해 폴드 상태 구성들(fold state configurations)을 결정하기 위한 처리 엔진의 블록도를 도시한다.
도 2를 참고하면, 처리 엔진 104는 입력 인식 유닛 202, 디스플레이 분석 유닛 204, 사용자 의도 결정 유닛 206, 객체 움직임 추적 유닛 208, 폴드 할당 유닛 210, 물리적 상태 변경 유닛 212 및 디스플레이 변경 유닛 214를 포함한다.
입력 인식 유닛 202는 사용자 입력들을 인식하도록 구성될 수 있다. 사용자 입력들은 전자 장치 100과 사용자의 상호 작용들, 사용자 명령들 중 적어도 하나를 포함할 수 있다. 전자 장치 100과 사용자의 상호 작용들은 전자 장치 100의 벤딩, 사용자 시선 위치, 근접성, 화각 등일 수 있지만, 이에 국한되지는 않는다. 입력 처리 유닛 202는 적어도 하나의 디스플레이 센서를 사용하여 전자 장치 100과 사용자의 상호 작용들을 식별할 수 있다. 디스플레이 센서는 자이로스코프, 가속도계, 광 센서, 카메라, 근접 센서 또는 다른 시각 센서들일 수 있지만, 이에 국한되지는 않는다. 사용자 명령은 플렉서블 디스플레이 102에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102에 디스플레이되기 위해 렌더링/인출되는 컨텐츠에 대해 플렉서블 디스플레이 102를 벤딩/폴딩하기 위한 사용자 명령들, 발언 등일 수 있지만, 이에 국한되지는 않는다. 일 실시 예에서, 입력 인식 유닛 202는 적어도 하나의 청각 센서(마이크로폰), (폴더블 디스플레이와 동일할 수 있는) 터치스크린, 하나 이상의 스위치 등을 사용하여 사용자 명령들을 결정할 수 있다. 입력 인식 유닛 202는 디스플레이 분석 유닛 204 및 사용자 의도 결정 유닛 206에게 인식된 사용자 입력들을 제공할 수 있다.
디스플레이 분석 유닛 204는 사용자 입력들을 인식할 경우 플렉서블 디스플레이 102의 상태 및/또는 물리적 특성들을 결정하도록 구성될 수 있다. 플렉서블 디스플레이 102의 상태는, 플렉서블 디스플레이 표면의 방향, 폴드 상태, 폴드된 영역의 위치, 폴더블 영역의 위치, 각도, 폴딩 라인, 유형, 크기, 중량, 전자 장치 100과 플렉서블 디스플레이 표면의 위치 등과 같은 플렉서블 디스플레이의 물리적 특성들을 나타낼 수 있지만, 이에 국한되지는 않는다. 디스플레이 분석 유닛 204는, 중력 센서, 휨 센서, 가속도계, 각속도 센서, 변형 게이지 센서, 자이로스코프, 관성 센서 등과 같은 적어도 하나의 센서를 사용하여 플렉서블 디스플레이의 상태를 결정할 수 있지만, 이에 국한되지는 않는다.
플렉서블 디스플레이 102의 상태를 결정하면, 디스플레이 분석 유닛 204는 결정된 플렉서블 디스플레이 102의 상태와 관련하여 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 결정할 수 있다. 또한, 디스플레이 분석 유닛 204는 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠의 객체들, 플렉서블 디스플레이 102 상에 표시되는 객체들의 위치 및 객체들 간의 관계를 결정한다. 본 개시에 개시된 객체들은 컨텐츠에 존재하는 가상 객체들을 나타낸다. 예를 들어, 객체들은 박스, 롤러, 체크 박스, 버튼, 스크롤링/실행 컨텐츠(영숫자, 비디오 클립, 스크롤링 텍스트 등) 등일 수 있지만, 이에 국한되지는 않는다.
디스플레이 분석 유닛 204는 컨텐츠 내에 존재하는 객체들, 객체들의 위치 및 객체들 간의 관계를 식별하기 위해 적어도 하나의 심층 신경망 모델(컨벌루션 신경망(convolutional neural network, CNN) 모델 등)을 사용한다. 본 개시에 따른 실시 예들은 컨텐츠에 존재하는 객체들, 객체들의 위치 및 객체들 간의 관계를 식별하기 위한 예시적인 심층 신경망 모델로서 CNN을 사용하는 것을 고려하여 설명되지만, 다른 형태의 심층 신경망 모델들이 사용될 수 있다는 것을 당업자는 명백히 알 것이다. 디스플레이 분석 유닛 204는 CNN 모델에게 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 공급한다. CNN 모델은 컨텐츠에 존재하는 객체들 및 객체들 간의 관계를 결정하기 위한 컨벌루션 레이어들, FC(fully connected) 레이어들 및 소프트-맥스(soft-max) 레이어를 포함한다. 또한, CNN 모델은 플렉서블 디스플레이 102 상에 있는 객체들의 위치(position 및/또는 location)를 결정하기 위해 (컨벌루션 레이어들에 의해 생성된) 컨텐츠의 특징 채널 맵들(feature channel maps)을 통해 근사 최대값 연산(approximate max-pooling)을 수행한다. 디스플레이 분석 유닛 204는 플렉서블 디스플레이 102의 상태, 결정된 컨텐츠, 컨텐츠에 존재하는 객체들, 객체들 간의 관계 및 컨텐츠에 존재하는 객체들의 위치를 사용자 의도 결정 유닛 206에게 공급한다.
사용자 의도 결정 유닛 206은 플렉서블 디스플레이 상에 디스플레이된 컨텐츠에 대한 사용자 의도를 결정하도록 구성될 수 있다. 예를 들어, 사용자 의도는 플렉서블 디스플레이 102 상에 있는 컨텐츠 내에 존재하는 특정 객체들의 움직임/슬라이딩과 연관될 수 있다. 사용자 의도 결정 유닛 206은 사용자 입력들과 관련된 상황을 이해하기 위해 적절한 기술을 사용함으로써, 인식된 사용자 입력들을 처리한다. 사용자 의도 결정 유닛 206은 사용자 명령들을 처리하기 위해 자연 언어 처리(natural language processing, NLP) 기술들을 사용한다. 사용자 의도 결정 유닛 206은 전자 장치 100 및 사용자 간의 인식된 상호 작용들을 처리하기 위해 심층 신경망 모델을 사용한다. 입력 인식 유닛 202로부터 사용자 입력들을 수신할 경우, 사용자 의도 결정 유닛 206은 사용자로부터의 입력들을 수신하기 위해 사용자에 대한 응답들 또는 자연 언어 경고들을 생성 및 제공함으로써 사용자와의 멀티모달(multimodal) 상호 작용을 시작할 수 있다. 수신된 입력들은 사용자 입력들과 관련된 상황을 결정하기 위해 피드백 메커니즘으로서 사용될 수 있다.
또한, 사용자 의도 결정 유닛 206은 전자 장치 100으로부터 사용자와 관련된 상황 정보를 식별한다. 상황 정보는 사용자의 활동(전자 장치 100의 사용), 전자 장치 100의 위치에 대한 정보, 시간에 대한 정보 중 적어도 하나를 포함할 수 있다. 처리된 사용자 입력들 및 상황 정보를 기반으로 하여, 사용자 의도 결정 유닛 206은 사용자 의도를 결정한다. 사용자 의도 결정 유닛 206은 인식된 사용자 명령들 및 사용자의 상호 작용들 중 적어도 하나에 대한 사용자 의도를 결정하기 위해 의도 지식 데이터베이스/상황 빌더에 액세스할 수 있다. 의도 지식 데이터베이스는 해당 사용자 의도 및 사용자 입력들에 대한 정보를 포함할 수 있다.
또한, 사용자 의도 결정 유닛 206은 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠에 존재하는 객체들과 결정된 사용자 의도를 연관시키도록 구성될 수 있다. 사용자 의도 결정 유닛 206은 컨텐츠 내에 존재하는 객체들과 사용자 의도를 연관시키기 위해 객체 지식 데이터베이스에 액세스할 수 있다. 객체 지식 데이터베이스는 관련 객체들 및 사용자 의도에 대한 정보를 포함할 수 있다.
객체 움직임 추적 유닛 208은 사용자 의도와 관련된 컨텐츠 내의 객체(들)의 방향성에서의 변화를 결정하도록 구성될 수 있다. 객체(들)의 방향성에서 결정된 변화는 사용자 의도를 만족시키기 위해 객체(들)의 움직임 경로에서의 변화 또는 변화의 경로를 나타낸다. 객체 움직임 추적 유닛 208은 컨텐츠의 객체(들)의 방향성에서의 변화를 결정하기 위해 신경망 모델 중 적어도 하나를 사용할 수 있다. 또한, 신경망 모델은 객체(들)에 대한 표시(indicia)를 결정하고, 표시는 객체(들)에 오버레이될(overlaid) 수 있고, 표시는 사용자 의도를 만족시키기 위해 플렉서블 디스플레이 102 상에서 객체(들)이 움직이는 경로를 나타낸다.
신경망 모델은, 객체(들)의 물리적 특성, 플렉서블 디스플레이 102의 모양 등과 같은 요인들을 기반으로 하여 객체(들)의 경로/객체(들)의 방향성을 결정한다. 객체(들)의 물리적 특성은 객체(들)의 모양, 방향, 크기, 유형, 중량, 슬라이딩 특성(움직임), 색상 등일 수 있지만, 이에 국한되지는 않는다. 객체(들)의 슬라이딩 특성은 플렉서블 디스플레이와 관련된 적어도 하나의 표면 유형에서의 객체(들)의 움직임을 나타낸다. 플렉서블 디스플레이 102와 관련된 표면은 선형 표면, 경사 표면, 매끄러운 표면, 마찰 표면, 거친 표면일 수 있지만, 이에 국한되지는 않는다. 이후, 신경망 모델은 결정된 객체(들)의 경로와 비교하여 객체(들)의 경사각, 현재 방향을 결정함으로써 객체(들)의 방향성에서의 변화를 결정한다. 예를 들어, 박스의 방향성에서의 변화는 슬라이드/폴드 방향으로 슬라이딩/이동하도록 결정될 수 있고, 롤러의 방향성에서의 변화는 슬라이드/폴드의 방향으로 롤링하도록 결정될 수 있다.
예를 들어, 객체 움직임 추적 유닛 208은 사용자 의도를 기반으로 하여 제1방향을 따라 객체(들)의 움직임을 인식할 수 있다. 제1 방향은 사용자 의도를 만족시키기 위해 객체(들)이 움직이거나 슬라이딩될 수 있는 방향을 나타낸다. 예를 들어, 제1 방향은, 위쪽, 뒤쪽, (좌측을 따라 또는 우측을 따라) 옆쪽, 아래쪽, 확대/축소 등일 수 있지만, 이에 국한되지는 않는다. 사용자의 음성 명령들로부터 결정된 사용자 의도가 "왼쪽 바구니에 도달"인 시나리오에서, 객체 움직임 추적 유닛 208은 사용자 의도를 만족시키기 위해 좌측을 따라 적어도 하나의 객체의 움직임을 결정한다.
폴드 할당 유닛 210은 플렉서블 디스플레이 102를 폴딩함으로써 객체(들)의 방향성에서 결정된 변화를 보여주기 위해 폴드 상태 구성들을 결정하도록 구성될 수 있다.
플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정하기 전에, 폴드 할당 유닛 210은 전자 장치 100의 플렉서블 디스플레이 102와 관련된 폴딩 모드를 결정한다. 폴딩 모드는 반자동 폴딩 모드, 자동 폴딩 모드, 수동 폴딩 모드 중 적어도 하나일 수 있다. 플렉서블 디스플레이 102의 반자동 폴딩 모드의 활성화를 결정하면, 폴딩 할당 유닛 210은 폴드 상태 구성들을 결정하기 위해 미리 정의된 폴딩 영역들에 대한 정보를 획득한다. 플렉서블 디스플레이 102의 자동 폴딩 모드의 활성화를 결정하면, 폴딩 할당 유닛 210은 전자 장치 100의 상태를 식별한다. 전자 장치 100의 상태는 전자 장치 100의 위치, 전자 장치 100의 홀딩(holding) 상태, 전자 장치 100의 사용 등에 대한 정보를 포함한다. 전자 장치 100의 위치는, 열린 위치 또는 닫힌 위치(예: 가방 안, 용기 안, 책상 위, 사람의 손 안 등) 중 적어도 하나에서 전자 장치 100의 현재 위치에 기반하여 식별된다. 전자 장치 100의 홀딩 상태는 사용자가 전자 장치 100을 쥐고 있는 방법에 대한 정보를 포함한다. 예를 들어, 한쪽 손을 사용하여 전자 장치 100을 쥐고 있는 사용자, 양쪽 손을 사용하여 전자 장치 100을 쥐고 있는 사용자, 전자 장치 100을 꽉 쥐고 있는 사용자 등. 전자 장치 100의 사용은 운전 중, 운동 중, 충전 중에 전자 장치 100을 사용하고 있는지를 식별한다. 일 실시 예에서, 폴드 할당 유닛 210은, 국한되지는 않지만, 가속도계 데이터, 자이로스코프 데이터, 쥐고 있는 사람의 위치, 사용자 시선 위치, 플렉서블 디스플레이 상태, 근접성, 시야각, 광 센서 데이터 등과 같은 센서 데이터를 사용하여 전자 장치 100의 상태를 결정한다.
폴드 할당 유닛 210은 전자 장치 100의 결정된 상태에 대한 자유도의 가용성을 결정한다. 자유도는 전자 장치 100의 결정된 상태에 대하여 전자 장치 100의 가능한 움직임을 나타낸다. 결정된 상태에서 플렉서블 디스플레이 102를 폴딩할 수 없다고 결정되면, 폴드 할당 유닛 210은 사용자에게 결정된 상태에서 플렉서블 디스플레이 102를 폴딩할 수 없음을 표시하는 경고를 생성한다. 경고는 청각 경고, 시각 경고, 자연 언어 경고 등일 수 있지만, 이에 국한되지는 않는다.
자유도의 가용성을 결정하면, 폴드 할당 유닛 210은 폴드 상태 구성들을 결정하기 위해 심층 신경망 모델을 사용한다. 본 개시의 실시 예들은 폴드 상태 구성들을 결정하기 위해 모든 형태의 신경망을 사용할 수 있음을 유의해야 한다. 심층 신경망 모델은 사용자 의도와 관련된 객체(들)의 물리적 특성을 결정한다. 객체(들)의 물리적 특성은 객체(들)의 모양, 방향, 크기, 유형, 중량, 슬라이딩 특성(움직임), 색상일 수 있지만, 이에 국한되지는 않는다. 객체(들)의 슬라이딩 특성은 플렉서블 디스플레이와 관련된 적어도 하나의 표면 유형에서의 객체(들)의 움직임을 나타낸다. 플렉서블 디스플레이 102와 관련된 표면은 선형 표면, 경사 표면, 매끄러운 표면, 마찰 표면, 거친 표면 등일 수 있지만, 이에 국한되지는 않는다. 일 실시 예에서, 폴드 할당 유닛 210은 객체(들)의 물리적 특성들을 결정하기 위해 객체 지식 데이터베이스에 액세스할 수 있다. 객체 데이터베이스는 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠의 각 객체의 물리적 특성들에 대한 정보를 포함할 수 있다.
객체(들)의 물리적 특성들이 식별되면, 심층 신경망 모델은 플렉서블 디스플레이 102의 결정된 상태와 객체(들)의 방향성에서의 결정된 변화 및 객체(들)의 물리적 특성을 연관시킨다. 심층 신경망 모델은 객체(들)의 방향성에서의 결정된 변화를 보여주기 위해 플렉서블 디스플레이의 상태에 필요한 변화를 식별함으로써 폴드 상태 구성들을 결정한다. 폴드 상태 구성들은 사용자 의도를 만족시킴으로써 객체의 방향성이 보여질 수 있는, 국한되지는 않지만, 플렉서블 디스플레이/폴딩 영역에서의 위치, 폴딩 영역의 폴딩 라인들, 폴드 수, 벤딩 속도, 폴드 각도 등과 같은 플렉서블 디스플레이 102의 현재 상태에서 필요한 변화를 결정할 수 있다.
폴드 상태 구성들을 결정하기 위해, 폴드 할당 유닛 210은 플렉서블 디스플레이 102에 배치된 위치 및 사용자 의도와 관련된 객체(들)의 유형에 대한 정보를 디스플레이 분석 유닛 204로부터 수신한다. 수신된 정보를 기반으로 하여, 폴드 할당 유닛 210은 플렉서블 디스플레이 102를 기준으로 객체(들)의 방향을 결정한다. 방향은 3개의 축들에 대해, 베이스(플렉서블 디스플레이 102)와 이룬 각도를 나타낸다. 폴드 할당 유닛 210은 사용자 의도를 기반으로 하여 객체(들)의 방향성에서의 변화를 보여주기 위해 필요한 해당 위치 좌표 및 움직임 각도를 결정한다. 움직임 각도 및 해당 위치 좌표는 객체(들)의 움직임의 현재 경로를 기준으로 결정될 수 있다. 움직임의 각도에서의 변화를 계산한 후에, 폴드 할당 유닛 210은 플렉서블 디스플레이 102 상에 표시된 객체(들)의 현재 위치, 객체(들)의 방향성에서의 변화를 보여주기 위해 결정된 위치 좌표(미래 위치 좌표), 객체(들)의 방향성에서의 변화를 보여주기 위해 결정된 움직임 각도(미래의 움직임 각도), 결정된 현재 방향/각도, 객체(들)의 현재 위치 및 공기, 지면, 물, 마찰 등과 같은 환경 및 3차원 공간에서 객체(들)의 방향성에서의 변화를 보여주기 위해 결정된 객체(들)의 미래 위치의 함수로서 폴더블 영역/폴딩 위치를 결정한다. 결정된 폴딩 위치는, 폴딩 위치(x,y,z)=f(목적지, 소스, 각도, 환경 조건들)과 같은 함수로 표현될 수 있다.
사용자 의도가 객체를 왼쪽으로 롤링하는 것이라고 결정될 수 있는 예시적인 시나리오에서, 폴드 할당 유닛 210은, 사용자 의도를 기반으로 하여, (x, y)에서의 객체의 방향이 플렉서블 디스플레이 102의 표면에 평평한 경우 (x-1, y, z)에서 선형의 수직 폴드를 수행하기로 결정한다. 또한, 미래의 위치는 왼쪽 (x-4, y)으로 직선으로 이동되지만, z 좌표(깊이)는 물리적 폴드에 기반하여 업데이트될 수 있다.
폴딩 위치가 결정되면, 폴드 할당 유닛 210은 객체(들)의 방향성/움직임 경로에서의 결정된 변화를 달성하기 위해 폴드 각도 변화 집합을 계산한다. 예를 들어, 폴드 각도 변화 집합은 {15°(도), 30°, 45°}로 계산될 수 있다. 폴드 각도 변화 집합에 따라, 플렉서블 디스플레이 102의 상태는 객체(들)에 대해 가상적으로 생성된 경사 표면으로 인해 제1 각도(15°)로 변경될 수 있다. 다음 위치들은 가상 중력 조건을 기반으로 하여 계산될 수 있다(예를 들어, 15°로 만들어진 삼각형의 경우, 다음 위치는 빗변을 가로질러 이동하도록 계산될 수 있다). 또한, 폴드 각도가 증가하기 때문에 폴드 할당 유닛 210은 플렉서블 디스플레이 102를 새로 고침할 수 있다. 따라서, 사용자는 최종 미래 위치에 도달할 때까지 폴드로 인해 슬라이딩하는 객체(들)의 동기화된 뷰를 얻는다.
폴드 할당 유닛 210은 유사한 사용자 의도를 만족시키기 위해 결정된 이전의 및/또는 역사적인 폴드 상태 구성들을 얻기 위해 메모리 106 또는 데이터베이스에 액세스할 수 있다. 폴드 할당 유닛 210은 컨텐츠 내에 존재하는 객체들의 방향성에서의 결정된 변화를 보여주기 위해 얻어진 이전의 폴드 상태 구성들을 사용할 수 있다. 폴드 할당 유닛 210은 물리적 상태 변경 유닛 212 및 디스플레이 변경 유닛 214에 결정된 폴드 상태 구성들을 공급한다.
물리적 상태 변경 유닛 212는 플렉서블 디스플레이 102의 폴딩을 수행하기 위해 적절한 전기 신호(전압)을 생성하도록 구성될 수 있다. 전기 신호는 플렉서블 디스플레이 102에 대해 결정된 폴드 상태 구성들을 나타낼 수 있다. 물리적 상태 변경 유닛 210은 플렉서블 디스플레이 102와 관련된 액추에이터(actuator)들에게 적절한 전압을 제공한다. 액추에이터들은 폴드 상태 구성들에 따라 플렉서블 디스플레이 102를 폴딩하기 위해 플렉서블 디스플레이 102의 휨 센서들을 제어한다. 플렉서블 디스플레이 102의 폴딩은 사용자 의도를 만족시킴으로써 결정된 방향을 따라 객체(들)이 움직이게 할 수 있다. 따라서, 플렉서블 디스플레이 102는 플렉서블 디스플레이 102의 상태 및 컨텐츠에 존재하는 객체들의 움직임 중 적어도 하나의 변화를 검출함으로써 폴딩될 수 있다.
디스플레이 변경 유닛 214는 폴드 상태 구성들에 따라 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 변경하도록 구성될 수 있다. 디스플레이 변경 유닛 214는 폴더블 영역과 관련된 폴딩 라인으로부터 설정 범위(설정 범위는 픽셀, 길이, 영역 등의 단위일 수 있음) 내에 객체(들)이 디스플레이되는지 여부를 결정한다. 객체(들)이 폴딩 라인으로부터 설정 범위 내에 디스플레이된다고 결정하면, 디스플레이 변경 유닛 214는 플렉서블 디스플레이 102에 디스플레이된 객체를 변경한다. 디스플레이 변경 유닛 214는 폴드 상태 구성들에 따라 객체(들)의 위치/위치, 객체(들)의 크기 등을 변경할 수 있다.
도 2는 처리 엔진 104의 예시적인 유닛들을 도시하지만, 다른 실시 예들이 이에 제한되지 않는다는 것이 이해되어야 한다. 다른 실시 예들에서, 처리 엔진 104는 더 적은 개수 또는 더 많은 개수의 유닛들을 포함할 수 있다. 또한, 유닛들의 명칭들은 단지 예시를 위한 것으로서, 본 개시에 개시된 실시 예들의 범위를 제한하지 않는다. 하나 이상의 유닛은 처리 엔진 104와 동일하거나 실질적으로 유사한 기능을 수행하기 위해 함께 결합될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이를 관리하기 위한 흐름도 300을 도시한다.
도 3을 참고하면, 단계 302에서, 처리 엔진 104는, 사용자 입력들을 인식하는 것에 응답하여, 플렉서블 디스플레이 102의 상태를 결정한다. 사용자 입력들은 사용자 명령들 및 전자 장치 100과 사용자 간의 상호 작용들 중 적어도 하나를 포함할 수 있다. 처리 엔진 104는 사용자 입력들을 인식하기 위해 디스플레이 센서, 하나 이상의 스위치 및 청각 센서 중 적어도 하나를 이용한다. 플렉서블 디스플레이의 현재 상태는 적어도 하나의 디스플레이 센서를 사용하여 검출될 수 있다. 플렉서블 디스플레이 102의 상태는 방향, 폴드 상태, 화각, 폴드 각도, 폴드 수, 폴딩 라인 중 적어도 하나에 대한 정보를 포함할 수 있다.
단계 304에서, 처리 엔진 104는, 플렉서블 디스플레이 102의 결정된 상태와 관련하여 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 식별한다. 일 실시 예에서, 처리 엔진 104는 컨텐츠에 존재하는 객체들, 객체들의 위치 및 객체들 간의 관계를 식별하기 위해 CNN 모델을 사용한다.
단계 306에서, 처리 엔진 104는, 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠 내의 적어도 하나의 객체에 대한 사용자 의도를 결정한다. 처리 엔진 104는 사용자 의도를 결정하기 위해 사용자 입력들을 처리하고 컨텐츠 내에 존재하는 객체들과 사용자 의도를 연관시킨다.
단계 308에서, 처리 엔진 104는, 객체(들)의 방향성에서의 결정된 변화를 나타내기 위해 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다. 처리 엔진 104는 사용자 의도를 기반으로 하여 컨텐츠 내의 객체의 방향성에서의 변화를 결정한다. 일 실시 예에서, 처리 엔진 104는 사용자 의도를 만족시키는 객체의 방향성에서의 변화를 결정하기 위해 객체(들)에 오버레이된 표시 및 심층 신경망 모델 중 적어도 하나를 사용할 수 있다. 처리 엔진 104는 폴드 상태 구성들을 결정하기 위해 플렉서블 디스플레이 102의 결정된 상태와 객체(들)의 물리적 특성인 객체(들)의 방향성에서의 결정된 변화를 연관시키는 심층 신경망 모델을 사용한다. 폴드 상태 구성들은 객체의 방향성에서의 결정된 변화를 보여주기 위해 플렉서블 디스플레이 102의 현재 상태에서 필요한 변화를 결정한다. 폴드 상태 구성들은 객체(들)의 결정된 움직임이 보여질 수 있는 폴딩 영역 및/또는 폴더블 영역의 위치, 폴딩 라인들, 폴드 각도, 폴드 수, 벤딩 속도 중 적어도 하나에 대한 정보를 포함할 수 있다.
단계 310에서, 처리 엔진 104는 결정된 폴드 상태 구성들에 따라 플렉서블 디스플레이 102의 폴딩을 트리거한다. 처리 엔진 104는 폴드 상태 구성들을 나타내는 적절한 전압을 생성하고, 생성된 전압을 플렉서블 디스플레이 102의 액추에이터에게 제공한다. 또한, 액추에이터들은 휨 센서들을 제어함으로써 플렉서블 디스플레이 102의 물리적 벤딩을 수행한다. 또한, 처리 엔진 104는 폴드 상태 구성들에 따라 컨텐츠 내의 객체(들)의 위치를 배열함으로써, 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 변경할 수 있다.
도 3에 도시된 흐름도의 각 단계는, 상이한 순서로 또는 동시에 수행될 수 있다. 또한, 일부 실시 예에서, 본 개시의 범위에서 벗어나지 않고 동작, 행위, 블록, 단계들의 일부가 생략, 추가, 또는 변경될 수 있다.
도 4a, 4b, 4c, 4d, 4e는 본 개시의 다양한 실시 예들에 따른 전자 장치의 플렉서블 디스플레이의 예시적인 구조들을 도시한다.
도 4a를 참고하면, 플렉서블 디스플레이 102는 액츄에이터들과 함께 보호 층, 디스플레이 패널, 드라이버, 플렉서블 기판, 및 휨 센서들을 포함한다. 휨 센서들은 플렉서블 디스플레이 102의 적어도 하나의 상태(벤딩/폴딩, 롤링 등)을 감지하도록 구성될 수 있다. 휨 센서들의 모양, 개수, 및 배치/위치는 플렉서블 디스플레이 102의 크기에 따라 달라질 수 있다. 액추에이터들은 처리 엔진 104의 물리적 상태 변경 유닛 212로부터 수신된 전기 신호(폴드 상태 구성들)에 따라 휨 센서들을 제어함으로써, 플렉서블 디스플레이 102를 벤딩하도록 구성될 수 있다.
플렉서블 기판은 가해지는 힘에 따라 변화될 수 있는 플라스틱 기판을 포함할 수 있다. 플라스틱 기판은 베이스 필름의 양면이 배리어 코팅 처리되는 구조를 가진다. 베이스 필름은 플렉서블 디스플레이 102의 유연성을 유지하기 위해, PI(polyimide), PC(polycarbonate), PET(polyethyleneterephtalate), PES(polyethersulfone), PEN(polythylenenaphthalate), FRP(fiber reinforced plastic) 등과 같은 다양한 유형의 수지(resin)들로 구현될 수 있지만, 이에 국한되지는 않는다.
드라이버는 플렉서블 디스플레이 102의 디스플레이 패널을 구동하는 기능을 수행하도록 구성될 수 있다. 드라이버는 디스플레이 패널 102를 구동하는 복수의 픽셀들에 대한 구동 전압을 결정한다. 일 실시 예에서, 드라이버는 TFT(thin-film transistor) LCD(liquid crystal display), LTPS(low temperature polysilicon) 디스플레이, 유기 TFT(organic TFT), EPD(electrophoretic display), ECD(electrochromic display), AMLCD(active-matrix liquid-crystal display), PDP(plasma display panel), OLED(organic light emitting diode) 중 적어도 하나로 구현될 수 있다. 보호 층은 디스플레이 패널을 보호하도록 구성될 수 있다. 보호 층은 Zro, CeO2, ThO2와 같은 물질들로 구성될 수 있지만, 이에 국한되지는 않는다. 보호 층은 투명한 필름 형식으로 제조될 수 있고, 디스플레이 패널의 전체 표면을 덮을 수 있다.
도 4b, 4c, 4d, 및 4e를 참고하면, 플렉서블 디스플레이 102의 예시적인 구조가 도시된다. 액추에이터들은 (도 4b에 도시된 바와 같이) 플렉서블 디스플레이 102와 관련될 수 있다. 액추에이터들은 플렉서블 디스플레이 102의 벤딩/폴딩을 제어하기 위해 플렉서블 디스플레이 102의 길이를 따라 양쪽에 부착될 수 있다. 액추에이터들이 벤딩되면, 플렉서블 디스플레이 또한 자동적으로 벤딩된다.
또한, 플렉서블 디스플레이 102는 (도 4c에 도시된 바와 같은) 격자 구조의 표면의 위 및/또는 아래에 휨 센서를 포함한다. 휨 센서들은 전기 저항 센서 또는 변형을 갖는 광섬유 센서로 구현될 수 있다. 전압/전류의 변화는 (도 4d에 도시된 바와 같은) 벤딩을 생성하고, (도 4e에 도시된 바와 같이) 플렉서블 디스플레이 102를 벤딩/폴딩한다. 벤딩/폴딩의 정도는 인가된 전압/전류에 의존할 수 있다.
도 4f는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이 102 상에 형성되는 폴딩을 도시한다. 플렉서블 디스플레이 102의 액추에이터들은 도 4f에 도시된 바와 같이, 플렉서블 디스플레이 102 상에 폴드를 생성하기 위해 사용될 수 있다.
도 4g는 본 개시의 일 실시 예에 따른 전자 장치 100의 플렉서블 디스플레이 102의 예시적인 폴딩을 도시한다. 처리 엔진 104는 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠 상의 객체, 예를 들어, 박스를 식별한다. 또한, 처리 엔진 104는 객체의 물리적 특성들이 경사면에서 슬라이딩하는 것이라고 결정한다. 사용자가 약간 구부리거나(사용자의 상호 작용) 또는 "왼쪽 바구니에 도달"과 같이 명령하는 경우, 처리 엔진 104는 사용자 의도를 만족시키기 위해 객체/박스의 방향성에서의 변화를 결정한다. 예를 들어, 처리 엔진 104는 좌측을 따라 객체/박스의 움직임을 결정한다.
객체/박스의 방향성에서의 결정된 변화를 기반으로 하여, 처리 엔진 104는 플렉서블 디스플레이 102를 폴딩하기 위해 폴드 각도(폴드 상태 구성들) 및 플렉서블 디스플레이 상에서의 정확한 위치를 결정한다. 따라서, 객체/박스는 사용자 의도를 만족시키기 위해 좌측을 따라 슬라이딩될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이를 폴딩하고 플렉서블 디스플레이에 표시되는 컨텐츠 또는 플렉서블 디스플레이에 표시되기 위해 렌더링/인출되는 컨텐츠를 변경하기 위한 예시적인 전자 장치를 도시한다.
도 5를 참고하면, 전자 장치 100의 처리 엔진 104는 플렉서블 디스플레이 102의 폴딩을 수행한다. 처리 엔진 104는 컨텍스트 빌더(context buider)를 이용하여 입력 양식(input modality)들(사용자 입력들과 사용자의 상호 작용들 중 적어도 하나)을 수신하고 처리한다. 처리 엔진 104는, 플렉서블 디스플레이 102의 상태, 및 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠 내에 존재하는 객체들의 상태를 결정한다.
처리된 양식들에 기반하여, 처리 엔진 104는 컨텐츠 내에 존재하는 객체들에 대한 사용자 의도를 결정한다. 처리 엔진 104는 사용자 의도를 만족시키기 위해 컨텐츠 내의 객체(들)의 움직임 경로(방향성)에서의 변화를 결정한다. 객체(들)의 움직임 경로에서의 변화를 보여주기 위해, 처리 엔진 104는 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다. 또한, 처리 엔진 104는 플렉서블 디스플레이 102 상에 물리적 폴드를 생성하기 위해, 폴드 상태 구성들에 대응하는 전기 신호를 생성하고 액추에이터들에게 제공한다.
또한, 플렉서블 디스플레이 102 상의 컨텐츠 표시는 폴드 상태 구성들에 기반하여 변경될 수 있다. 사용자 의도를 만족시키기 위해 현재 폴더블 상태의 피드백에 기반하여 추가적인 폴딩이 수행될 수 있다.
도 6a는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이에 대한 폴드 상태 구성들을 결정하기 위한 처리 엔진의 유닛들을 도시한다.
도 6a을 참고하면, 입력 인식 유닛 202는 사용자 입력들을 인식한다. 디스플레이 분석 유닛 204는 플렉서블 디스플레이 102의 상태(폴더블 상태 및 물리적 특성)를 결정하고, 그에 따라 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 식별한다. 디스플레이된 컨텐츠 및 인식된 사용자 입력들 중 적어도 하나에 기반하여, 사용자 의도 결정 유닛 206은 사용자 의도를 결정하고 컨텐츠에 존재하는 객체들과 연관시킨다.
사용자 의도 결정 유닛 206은 사용자 의도를 결정하기 위해 의도(intent) 데이터베이스를 사용할 수 있고, 컨텐츠 내에 존재하는 객체들과 사용자 의도를 연관시키기 위해 객체 지식 데이터베이스를 사용할 수 있다. 컨텐츠에 존재하는 객체들과 사용자 의도의 관계를 기반으로 하여, 객체 움직임 추적 유닛 208은 객체 연관 데이터베이스를 사용하여 사용자 의도와 관련된 객체(들)의 움직임 경로에서의 변화를 결정한다. 객체들의 움직임 경로에서의 결정된 변화는, 플렉서블 디스플레이 102를 폴딩하고 컨텐츠를 변경함으로써 보여질 수 있다. 변경된 컨텐츠는 플렉서블 디스플레이 102에게 제공될 수 있고, 변경된 컨텐츠는 폴드 상태 구성들에 따라 디스플레이될 수 있다.
컨텐츠의 객체(들)의 움직임 경로에서의 변화가 결정되면, 폴드 할당 유닛 210은 폴드 히스토리 데이터를 포함하는 데이터베이스를 사용하여 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다. 폴드 상태 구성들은 플렉서블 디스플레이의 물리적 폴딩을 수행하기 위해 플렉서블 디스플레이 102의 액추에이터들에게 전압 형태로 제공될 수 있다. 또한, 변경된 컨텐츠는 플렉서블 디스플레이 102의 폴딩과 동시에 플렉서블 디스플레이 102 상에 디스플레이될 수 있다.
도 6b는 본 개시의 일 실시 예에 따른 플렉서블 디스플레이에 대한 폴드 상태 구성들을 결정하기 위한 처리 엔진의 유닛들 간의 상호 연결을 도시한다.
도 6b를 참고하면, 사용자 의도 결정 유닛 206은 사용자 입력들, 디스플레이 센서 데이터(플렉서블 디스플레이 102의 상태 및 물리적 특성) 중 인식된 적어도 하나를 수신할 수 있다. 사용자 의도 결정 유닛 206은 NLP 텍스트를 출력하기 위해, NLP 기술들을 이용하여 사용자 입력들을 처리하는 음성 분석기를 사용할 수 있다. NLP 텍스트는 사용자 의도를 나타낼 수 있다. 사용자 의도 결정 유닛 206은 컨텐츠에 존재하는 객체들과 사용자 의도를 연관시킨다.
객체 움직임 추적 유닛 208은 디스플레이 분석 유닛 204로부터 디스플레이 센서 데이터를 수신하고, 사용자 의도 결정 유닛 206으로부터 컨텐츠에 존재하는 객체들에 대한 사용자 의도의 관계를 수신한다. (플렉서블 디스플레이 상에 컨텐츠를 디스플레이하기 위해 액세스될 수 있는) 버퍼/메모리 106에 존재하는 컨텐츠 내의 객체들에 대한 사용자 의도의 관계에 기반하여, 객체 움직임 추적 유닛 208은 컨텐츠의 객체(들)의 움직임/방향성에서의 변경을 결정한다. 객체 움직임 추적 유닛 208은 플렉서블 디스플레이 102와 관련된 디스플레이 센서 데이터에 대해 객체(들)의 물리적 특성과 연관시킴으로써 객체(들)의 방향성에서의 변경을 결정한다.
폴드 할당 유닛 210은 객체 움직임 추적 유닛 208로부터 결정된 객체(들)의 변경된 방향성을 수신하고, 디스플레이 분석 유닛 204로부터 디스플레이 센서 데이터를 수신하고, 사용자 의도 결정 유닛 206으로부터 컨텐츠에 대해 결정된 사용자 의도를 수신할 수 있다. 수신된 데이터를 기반으로 하여, 폴드 할당 유닛 210은 결정된 움직임 경로에 따라 객체(들)을 이동/슬라이딩시키기 위해 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다. 폴드 상태 구성들은 플렉서블 디스플레이 102의 물리적 폴딩에 필요한 폴드 횟수, 폴딩/벤딩 속도, 폴딩/폴더블 영역의 위치, 폴드 각도 중 적어도 하나를 나타낸다.
디스플레이 변경 유닛 214는 변경된 버퍼를 기반으로 하여 폴드 상태 구성들을 수신할 수 있다. 변경된 버퍼는 사용자 의도를 기반으로 하여 움직임의 경로에서의 변화가 결정되는 컨텐츠의 객체(들)을 포함할 수 있다. 디스플레이 변경 유닛 214는 결정된 움직임의 경로 및 결정된 폴드 상태 구성들에 따라 컨텐츠의 객체(들)을 이동/슬라이딩시킴으로써 컨텐츠를 변경한다. 또한, 디스플레이 변경 유닛 214는 객체(들)의 크기를 변경함으로써 컨텐츠를 변경한다. 디스플레이 변경 유닛 214는 플렉서블 디스플레이 102의 물리적 폴딩과의 동기화로 (변경된 버퍼에 존재하는) 컨텐츠의 객체(들)을 디스플레이한다.
물리적 상태 변경 유닛 212는 폴드 할당 유닛 210으로부터 폴드 상태 구성들을 수신할 수 있고, 플렉서블 디스플레이 102의 물리적 폴딩을 수행하기 위해 액추에이터들에게 해당 전기 신호를 제공한다.
도 7a는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이에 대한 폴드 상태 구성들을 결정하기 위한 흐름도의 일 예를 도시한다.
도 7a를 참고하면, 사용자가 게임을 하고 있는 예시적인 시나리오가 고려될 수 있다. 처리 엔진 104는 게임을 하는 동안 사용자 입력들을 인식한다. 예를 들어, 화살로부터 박스 안의 객체를 구하기 위해 사용자는 플렉서블 디스플레이 102를 구부릴 수 있고 또는 사용자는 플렉서블 디스플레이 102를 구부리도록 음성 명령을 내릴 수 있다. 또한, 처리 엔진 104는 적어도 하나의 디스플레이 센서를 사용하여 플렉서블 디스플레이 102의 현재 상태(방향, 폴더블 라인들, 폴드 각도 등)를 검출한다. 예를 들어, 처리 엔진 104는 플렉서블 디스플레이 102의 델타 D 변형/폴딩을 검출할 수 있다. 처리 엔진 104는 델타 D 변환과 비교하여 플렉서블 디스플레이 102에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102에 디스플레이되기 위해 렌더링/인출되는 컨텐츠 내에 존재하는 객체들(화살들, 박스 안의 객체)을 결정한다.
처리 엔진 104는 컨텐츠 내에 존재하는 객체들에 대한 사용자 의도를 결정한다. 사용자 의도는 화살들로부터 박스 안의 객체를 구하도록 하는 것으로 결정될 수 있다. 처리 엔진 104는 사용자 의도를 만족시키기 위해 박스 내 객체의 움직임 경로에서 요구되는 변화를 결정한다. 객체의 움직임 경로는 제1 방향(위쪽)을 따라 결정될 수 있다. 처리 엔진 104는 화살들로부터 객체를 구하기 위해 결정된 움직임 경로를 따라 객체를 이동시키기 위해 폴드 상태 구성들을 결정한다. 폴드 상태 구성들은 플렉서블 디스플레이 102의 폴딩을 수행하기 위해 필요한 델타 각도의 변화(델타 D + D2)를 나타낼 수 있다. 폴드 상태 구성들에 따라, 처리 엔진 104는 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠의 조정과 함께 플렉서블 디스플레이 102를 폴딩하기 위한 전압을 액추에이터들에게 제공할 수 있다. 플렉서블 디스플레이 102를 폴딩함으로써, 박스 안의 객체는 뒤쪽으로 이동될 수 있고, 화살들의 위치는 조정될 수 있다. 객체가 뒤쪽으로 이동하였기 때문에, 화살들은 객체를 맞출 수 없고 플렉서블 디스플레이 102의 스크린의 다른 부분에 부딪힐 수 있다.
도 7b는 본 개시의 일 실시 예에 따른 폴드 상태 구성들에 기반하여 전자 장치의 플렉서블 디스플레이 상에 표시되는 컨텐츠 또는 플렉서블 디스플레이 상에 표시되기 위해 렌더링/인출되는 컨텐츠를 변경하기 위한 흐름도 700을 도시한다.
도 7b을 참고하면, 단계 701에서, 처리 엔진 104는 적어도 하나의 심층 신경망 모델을 사용하여 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠를 식별한다.
단계 703에서, 처리 엔진 104는, 전자 장치 100으로부터, 상황 정보(사용자 활동, 시간, 위치 등) 및 전자 장치 100과 관련된 적어도 하나의 센서를 사용하여 사용자 명령들(사용자의 음성) 및 사용자의 상호 작용들 중 적어도 하나를 획득한다.
단계 705에서, 처리 엔진 104는 컨텐츠 내에 존재하는 객체들의 물리적 특성 및 컨텐츠 내에 존재하는 객체들 간의 관계를 결정한다. 단계 707에서, 처리 엔진 104는 사용자 명령, 및 전자 장치 100과 사용자 간의 상호 작용들 중 적어도 하나를 처리함으로써, 컨텐츠 내에 존재하는 객체들에 대한 사용자 의도를 검출한다. 처리 엔진 104는 사용자 의도를 결정할 수 있다.
단계 709에서, 처리 엔진 104는 컨텐츠 내에 존재하는 객체들에 적용될 수 있는 폴드 상태의 물리적 특성 및 플렉서블 디스플레이 102의 현재 폴드 상태를 결정한다. 단계 711에서, 결정된 현재 폴드 상태 및 폴드의 물리적 특성을 기반으로 하여, 처리 엔진 104는 사용자 의도를 만족시키기 위해 객체(들)에 대한 움직임을 결정한다. 단계 713에서, 처리 엔진 104는 사용자 의도에 따라 객체(들)의 움직임에서의 변화를 적용함으로써, 컨텐츠를 변경하고 플렉서블 디스플레이 102 상에 컨텐츠를 렌더링한다.
도 7c는 본 개시의 일 실시 예에 따른 전자 장치의 플렉서블 디스플레이를 관리하기 위한 흐름도의 일 예를 도시한다.
도 7c를 참고하면, 처리 엔진 104는 인식된 사용자의 상호 작용, 사용자 명령, 상황 정보, 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠나 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠, 및 플렉서블 디스플레이 102의 상태 중 적어도 하나를 사용하여 사용자 의도를 검출한다. 또한, 처리 엔진 104는 플렉서블 디스플레이 102 상에 디스플레이되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 디스플레이되기 위해 렌더링/인출되는 컨텐츠에 존재하는 객체들과 사용자 의도를 연관시킨다. 처리 엔진 104는 사용자 의도를 만족시키기 위해 플렉서블 디스플레이 102에 대한 폴드 상태 구성들(폴드 수, 폴드 위치, 폴드 각도 등)을 결정한다. 폴드 상태 구성들에 따라, 처리 엔진 104는 컨텐츠를 변경하고 플렉서블 디스플레이 102의 폴딩을 트리거한다.
도 8a는 본 개시의 일 실시 예에 따른 전자 장치의 상태에 기반하여 플렉서블 디스플레이에서 사용자 입력을 실행하기 위한 흐름도의 일 예를 도시한다.
도 8a를 참고하면, 처리 엔진 104는 사용자 입력들(사용자의 사용자 상호 작용 및 사용자 명령)을 인식하고 전자 장치 100의 상태(가방에 있는지, 용기 안에 있는지, 사용자가 왼손에 폰을 들고 있는지 등)를 결정한다. 전자 장치 100의 상태는 자이로스코프 데이터, 가속도계 데이터, 화각, 사용자 위치, 폴드 상태, 사용자의 홀딩 등과 같은 센서 입력들을 사용하여 결정될 수 있다.
처리 엔진 104는 전자 장치 100의 상태를 기반으로 하여 자유도의 가용성을 결정한다. 자유도는 전자 장치 100의 결정된 상태와 관련한 플렉서블 디스플레이 102의 폴딩 가능성을 나타낸다. 예를 들어, 플렉서블 디스플레이 102가 폴딩될 수 없다고 결정하면, 처리 엔진 104는 적절한 응답(예: 자연 언어 경고, 팝업, 표시 등)을 통해 사용자에게 알린다. 자유도의 가용성을 결정하면, 처리 엔진 104는 폴드 상태 구성들에 따라 플렉서블 디스플레이 102의 폴딩을 수행함으로써 사용자 입력을 실행한다.
도 8b는 본 개시의 일 실시 예에 따른 전자 장치의 상태에 기반하여 직관적인 뷰(intuitive view)를 생성하기 위한 흐름도를 도시한다. 도 8c는 본 개시의 일 실시 예에 따른 전자 장치의 상태에 기반하여 편안한 뷰(comfortable view)를 생성하기 위한 흐름도를 도시한다.
도 8b 및 8c를 참고하면, 처리 엔진 104는 사용자 입력들(사용자의 상호 작용 및 사용자 음성 명령)을 인식한다. 사용자 입력들을 인식하면, 처리 엔진 104는 전자 장치 100의 현재 상태(예: 장치가 가방 안에 있는지, 책상에 있는지, 사용자의 손에 있는지 등)를 검출한다. 전자 장치 100의 현재 상태에 대한 판단을 기반으로 하여, 처리 엔진 104는 자유도를 결정한다.
처리 엔진 104가 플렉서블 디스플레이 102에서 폴더블 동작이 수행될 수 없다고 결정하면, 폴딩 동작을 수행할 수 없음을 표시하는 적절한 응답이 사용자에게 전송될 수 있다. 전자 장치 100이 가방 안, 용기 안, 책상 위 등과 같이 닫힌 공간에 존재하는 예시적인 시나리오가 고려될 수 있다. 이 경우, 처리 엔진 104는 플렉서블 디스플레이 102의 폴딩을 수행하지 못한다. 사용자가 한쪽 손(왼손)을 사용하여 전자 장치 100를 쥐고 있는 다른 시나리오가 고려될 수 있다. 이 경우, 처리 엔진 104는 플렉서블 디스플레이 102의 폴딩을 수행하지 못한다. 사용자가 충전, 운전, 운동 등을 하는 동안 전자 장치 100을 사용하는 또 다른 시나리오가 고려될 수 있다. 이 경우, 처리 엔진 104는 플렉서블 디스플레이 102의 폴딩을 수행하지 못한다.
전자 장치 100의 현재 상태에 대한 자유도의 가용성을 결정하면, 처리 엔진 104는 폴드의 방향 및 각도(폴드 상태 구성들)를 계산한다. 폴드의 방향 및 각도는, 사용자 명령을 실행하기 위해 (도 8b에 도시된 바와 같은) 직관적인 뷰, (도 8c에 도시된 바와 같은) 편안한 뷰 중 적어도 하나를 생성하기 위해 계산될 수 있다. 직관적인 뷰, 편안한 뷰 중 적어도 하나는 플렉서블 디스플레이의 물리적 폴딩을 수행함으로써 생성될 수 있다. 일 예에서, 직관적인 뷰에 따르면, 사용자가 전자 장치 100을 보고 있을 때 사용자의 시야를 방해하는 것이 존재하지 않을 수 있다. 예를 들어, 직관적인 뷰는 전자 장치 100을 뒤쪽으로 폴딩하는 것을 회피하고, 전자 장치 100을 뒤쪽으로 폴딩함으로써 사용자에게 야기될 수 있는 시야 방해를 회피한다. 다른 예에서, 편안한 뷰는 사용자가 한쪽 손에 전자 장치 100을 쥐고 전자 장치 100의 다른 쪽을 사용자 방향으로 폴딩하는 경우, 사용자가 머리 위치를 변경하지 않고 전자 장치 100을 볼 수 있도록 한다.
도 9a, 도 9b, 및 도 9c는 본 개시의 다양한 실시 예들에 따른 전자 장치의 플렉서블 디스플레이의 폴딩 및 플렉서블 디스플레이 상의 컨텐츠 표시의 예들을 도시한다.
도 9a를 참고하면, 처음에는 사용자가 TV에서 뉴스를 보고 있다. 시간이 지난 후, 사용자가 다른 비디오를 보기 시작하고, "뉴스"라고 말함으로써 음성 명령을 제공하는 시나리오가 고려될 수 있다. 처리 엔진 104는 (사용자 음성 명령으로부터) 사용자 의도를 식별하고, 사용자 의도와 자막 뉴스(컨텐츠의 대상(뉴스))를 연관시킨다. 처리 엔진 104는 사용자 의도를 만족시킴으로써 플렉서블 디스플레이 102를 폴딩하기 위해 폴드 상태 구성들(폴드 수, 폴더블 영역, 폴드 각도 등)을 결정한다. 결정된 폴딩 상태 구성들을 기반으로 하여, 처리 엔진 104는 플렉서블 디스플레이를 폴딩하고 플렉서블 디스플레이 102의 폴딩된 영역 상에 자막 뉴스를 디스플레이한다.
도 9b를 참고하면, 처음에는 사용자가 두 사람 사이에서 진행되고 있는 토론을 보고 있다. 시간이 지난 후, 사용자는 엣지 기능들(어플리케이션, 달력, 장치 유지 보수 등)에 관한 리마인더/업데이트를 확인하기 위해 전자 장치 100에게 "엣지 기능들"과 같은 음성 명령을 제공한다. 처리 엔진 104는 엣지 기능들에 관한 리마인더를 디스플레이하기 위한 사용자 의도 및 음성 명령을 인식한다. 사용자 의도를 기반으로 하여, 처리 엔진 104는 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다. 폴드 상태 구성들에 따라, 처리 엔진 104는 플렉서블 디스플레이를 폴딩하고, 폴딩된 영역 상에 엣지 기능들에 관한 리마인더를 디스플레이한다. 따라서, 사용자는 토론을 보면서 플렉서블 디스플레이 102의 폴딩된 영역에서 리마인더들을 볼 수 있다.
도 9c를 참고하면, 처리 엔진 104는 "날씨 업데이트"와 같은 음성 명령들을 수신하면 플렉서블 디스플레이 102의 폴딩된 영역 상에 날씨 업데이트를 디스플레이한다.
도 10은 본 개시의 일 실시 예에 따른 플렉서블 디스플레이 상에 디스플레이된 컨텐츠의 객체(들)의 위치가 변경될 수 있는 플렉서블 디스플레이의 멀티-윈도우 디스플레이 모드를 도시한다.
도 10을 참고하면, 멀티-윈도우 디스플레이 모드는, 하나의 스크린 내에 한 가지 이상의 컨텐츠 유형을 배열하고 디스플레이하기 위해 사용될 수 있다. 예를 들어, 사용자가 플렉서블 디스플레이 102의 하나의 스크린 내에서 비디오를 보면서 채팅 어플리케이션을 사용하고 싶어하는 시나리오가 고려될 수 있다. 그러나, 다양한 접근 방법들에서, 동일한 스크린 상에 (채팅 어플리케이션을 사용하여 메시지를 전송하는 동안) 디스플레이되는 비디오는 차단된다. 한편, 처리 엔진 104는 채팅 어플리케이션과 함께 비디오를 보려는 사용자 의도를 인식할 수 있다. 사용자 의도를 기반으로 하여, 처리 엔진 104는 사용자 의도를 만족시키키 위해 객체들의 크기, 모양, 가장 잘 보이는 옵션들 중 적어도 하나를 기반으로 하여 객체(들)(비디오 클립, 채팅 어플리케이션의 키패드, 스크린에 디스플레이된 메시지 등)의 움직임 경로에서의 변화를 결정한다. 또한, 처리 엔진 104는 사용자 간섭 없이 (움직임의 구성된 경로에 따라) 비디오 클립, 키패드, 메시지들 중 적어도 하나가 배열될 수 있도록 플렉서블 디스플레이 102의 폴딩을 수행하기 위해 폴드 상태 구성들을 결정한다. 따라서, 사용자 의도를 만족시키는 비디오 클립이 차단되지 않고 적절히 렌더링된다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 반자동 폴딩 모드에서 작동하는 플렉서블 디스플레이의 예시적인 폴딩을 도시한다.
도 11을 참고하면, 사용자가 전화 번호를 누르는 동안 광고 또는 통지를 받는 시나리오가 고려될 수 있다. 플렉서블 디스플레이 102가 반자동 폴딩 모드로 작동되기 때문에, 광고가 디스플레이되면 미리 정의된 폴더블 영역들을 나타내기 위한 표시가 플렉서블 디스플레이 102에 디스플레이될 수 있다. 미리 정의된 폴더블 영역들을 기반으로 하여, 처리 엔진 104는 광고에 대한 움직임의 경로를 결정한다. 사용자가 디스플레이된 미리 정의된 폴더블 영역들에 따라 플렉서블 디스플레이 102를 폴딩하는 경우, 처리 엔진 104는 전화 번호를 누르는 것을 방해하지 않으면서 사용자에게 폴딩된 영역 상에 광고를 디스플레이한다.
도 12a 내지 도 12k는 본 개시의 다양한 실시 예들에 따른 전자 장치 100의 플렉서블 디스플레이 102의 폴딩, 및 플렉서블 디스플레이 102 상에 표시되는 컨텐츠 또는 플렉서블 디스플레이 102 상에 표시되기 위해 렌더링/인출되는 컨텐츠의 변경을 도시하는 예시적인 다이어그램들이다.
도 12a는 사용자가 플렉서블 디스플레이 102를 포함하는 장치에서 3차원(three-dimension, 3D) 게임을 하는 예시적인 시나리오를 도시한다. 사용자가 "폴드 수집"이라고 말하고 및/또는 사용자가 가볍게 디스플레이를 구부리는 것이 고려된다. 처리 엔진 104는 사용자 의도 및 (심층 신경망 모델을 사용하여) 진행 중인 게임의 상황에 따른 이미지 프레임을 식별한다. 사용자 의도는 자전거 도로에 머물면서 더 많은 동전을 모으는 것으로 이해될 수 있다. 폴딩으로 인해, 동전들은 점차 안쪽으로 슬라이딩할 수 있다. 처리 엔진 104는 동전(객체)들의 움직임 경로에서의 변화를 결정하고 동전들의 변화된 움직임 경로를 볼 수 있는 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다.
처리 엔진 104는 플렉서블 디스플레이 102의 휨 센서들을 제어하기 위한 전압을 계산한다. 처리 엔진 104는 휨 센서들을 제어함으로써 플렉서블 디스플레이를 폴딩하기 위해, 플렉서블 디스플레이 102의 액추에이터들에게 계산된 전압을 제공한다. 동시에, 처리 엔진 104는 변경된 경로 및 폴딩 상태 구성들에 따라 동전들을 슬라이딩시킴으로써 플렉서블 디스플레이 상에 후속 미디어를 생성한다. 플렉서블 디스플레이 102의 폴딩으로 인해 동전들은 자전거 운전자 방향으로 슬라이딩한다. 따라서, 사용자 의도를 기반으로 하는 플렉서블 디스플레이 102의 폴딩은 사용자를 위한 새로운 게임 경험을 생성한다.
도 12b는 사용자가 플렉서블 디스플레이 102를 포함하는 TV를 이용하여, 프로그램 시청하는 예시적인 시나리오를 도시한다. 프로그램 내의 등장 인물이 사용하는 실(thread)은 직선으로 설정되어 경로를 따른다. 사용자는 "폴드 스윙"이라고 말한다. 처리 엔진 104는 사용자 의도 및 (심층 신경망 모델을 사용하여) 시청 중인 프로그램의 상황에 따라 이미지 프레임을 식별한다. "폴드 스윙"의 사용자 의도는 프로그램 내의 등장 인물이 물리적인 폴딩으로 인해 토크를 생성하는 스윙 동작을 하도록 하기 위한 것으로 이해될 수 있다. 처리 엔진 104는 사용자 의도를 만족시키기 위해 등장 인물(객체)의 움직임 경로에서의 변화를 결정한다. 또한, 처리 엔진 104는 변화된 움직임의 경로를 생성하기 위해 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다.
처리 엔진 104는 폴드 상태 구성들에 따라 플렉서블 디스플레이 102의 휨 센서들을 제어하기 위한 전압을 계산한다. 처리 엔진 104는 휨 센서들을 제어함으로써 플렉서블 디스플레이를 폴딩하기 위해, 플렉서블 디스플레이 102의 액추에이터들에게 계산된 전압을 제공한다. 동시에, 처리 엔진 104는 플렉서블 디스플레이 상에 후속 미디어를 생성하고, 등장 인물(객체)은 변화된 움직임의 경로를 따른다. 스윙은 토크 효과로 인해 이제 더 가까워진다. 따라서, 사용자 의도를 기반으로 하는 플렉서블 디스플레이 102의 폴딩은 사용자에게 독특한 경험을 제공한다.
도 12c는 사용자가 플렉서블 디스플레이 102를 포함하는 TV를 시청하고 있고, 혼합 현실 프로그램에서 플렉서블 디스플레이 102 상에 물 흐름이 보여지는 예시적인 시나리오를 도시한다. 사용자가 TV를 보면서 "폴드 스플래시"라고 말하는 것을 고려된다. 처리 엔진 104는 사용자 음성을 인식하고 사용자 의도 및 시청하고 있는 프로그램의 상황에 따라 이미지 프레임을 이해한다. '폴드 스플래시'의 사용자 의도는 경로를 생성하기 위해 물이 차단되도록 하기 위한 것으로 이해된다. 처리 엔진 104는 물(객체)의 움직임 경로에서의 변화를 결정한다. 또한, 처리 엔진 104는 변화된 물의 움직임 경로를 보여주기 위해 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다.
처리 엔진 104는 폴드 상태 구성들에 따라 플렉서블 디스플레이 102의 휨 센서들을 제어하기 위한 전압을 계산한다. 처리 엔진 104는 휨 센서들을 제어함으로써 플렉서블 디스플레이를 폴딩하기 위해, 플렉서블 디스플레이 102의 액추에이터들에게 계산된 전압을 제공한다. 동시에, 처리 엔진 104는 플렉서블 디스플레이 102 상에 후속 미디어를 생성하고, 물(객체)은 변화된 경로를 따른다. 스플래시 효과는 플렉서블 디스플레이 102의 인텔리전트 폴딩으로 인해 생성된다. 따라서, 혼합 현실에서 사용자는 독특하고 풍부한 경험을 얻을 수 있다.
도 12d는 사용자가 '화살로부터 물체 구하기"라고 말하는 예시적인 게임 시나리오를 도시한다. 사용자 음성 명령을 인식하면, 처리 엔진 104는 사용자 의도 및 진행되고 있는 게임의 상황에 따라 이미지 프레임을 결정한다. "화살로부터 물체 구하기"의 사용자 의도는 화살 공격으로부터 구하기 위해 객체를 이동시키기 위한 것으로 이해된다. 처리 엔진 104는 사용자 의도를 만족시키기 위해 객체의 경로에서 변화를 결정한다. 구성된 경로를 달성하기 위해, 처리 엔진 104는 플렉서블 디스플레이 102에 대한 폴드 상태 구성들을 결정한다.
또한, 처리 엔진 104는 폴드 상태 구성들에 따라 플렉서블 디스플레이 102의 휨 센서들을 제어하기 위한 전압을 계산한다. 처리 엔진 104는 휨 센서들을 제어함으로써 플렉서블 디스플레이를 폴딩하기 위해, 플렉서블 디스플레이 102의 액추에이터들에게 계산된 전압을 제공한다. 동시에, 처리 엔진 104는 플렉서블 디스플레이 상에 후속 미디어를 생성하고, 객체는 사용자 의도를 만족시킴으로써 변화된 경로를 따른다.
도 12e는 처음에 금액 100을 포함하는 컨텐츠가 플렉서블 디스플레이 102 상에 디스플레이되고 사용자가 "금액 증가"라고 말하는 예시적인 시나리오를 도시한다. 사용자 음성 명령을 인식하면, 처리 엔진 104는 사용자 의도를 결정한다. 사용자 의도를 만족시키기 위해, 처리 엔진 104는 정확한 위치에서 플렉서블 디스플레이를 폴딩하고, 플렉서블 디스플레이 102에 디스플레이된 금액을 160까지 증가시킴으로서 컨텐츠를 변경한다. 또한, 사용자는 "좀 더"라고 말함으로써 추가 입력을 제공할 수 있다. 처리 엔진 104는 추가 입력을 인식할 때 사용자 의도를 결정하고 플렉서블 디스플레이 102에 디스플레이된 금액을 200까지 추가적으로 증가시킨다. 처리 엔진 104는 사용자가 "완료"이라고 말하면, 사용자 의도가 만족된 것으로 식별한다. 따라서, 사용자 의도는 플렉서블 디스플레이 102를 폴딩하고 플렉서블 디스플레이 102 상의 콘텐츠를 변경함으로써 만족될 수 있다.
도 12f는 사용자가 플렉서블 디스플레이 102를 포함하는 전자 장치 100에서 게임을 하고 있는 예시적인 시나리오를 도시한다. 사용자가 "통나무가 A에 도달하게 하자"라고 말하는 것이 고려된다. 처리 엔진 104는 사용자 음성 명령을 인식하고 사용자 의도를 이해한다. 사용자 의도를 만족시키기 위해, 처리 엔진 104는 통나무(객체)의 움직임이 사용자 의도를 만족시키기 위해 변경될 수 있도록 플렉서블 디스플레이 102를 폴딩하기 위해 정확한 위치를 결정한다.
도 12g는 전자 장치 100의 플렉서블 디스플레이 102에 청구서가 디스플레이되고 사용자가 청구서를 2개로 분할하는 것을 원하는 예시적인 시나리오를 도시한다. 사용자가 "양쪽으로 분할"이라고 말함으로써 음성 명령을 제공하는 것이 고려된다. 처리 엔진 104는 음성 명령을 인식하면 청구서의 분할을 사용자 의도로 결정한다. 사용자 의도를 만족시키기 위해, 처리 엔진 104는 플렉서블 디스플레이 102 중간 부분을 폴딩하기 위한 분할 비율에 기반하여 폴드 상태 구성들을 결정하고 컨텐츠를 변경함으로써 플렉서블 디스플레이 102를 업데이트하고, 컨텐츠는 청구서를 분할함으로써 변경된다.
도 12h는 플렉서블 디스플레이 102를 포함하는 전자 장치 100을 사용하여 교사가 자력의 법칙을 가르치고 있는 예시적인 시나리오를 도시한다. 교사가 "남과 북이 서로 끌어당긴다"라고 말하는 것이 고려된다. 처리 엔진 104는 남과 북이 서로 끌어당기는 자력을 보여주는 것을 교사의 의도(사용자 의도)로 이해한다. 또한, 처리 엔진 104는 플렉서블 디스플레이 102 상에 도시된 바와 같은 가상의 극(객체)들이 물리적으로 서로 더 가깝게 움직이도록 플렉서블 디스플레이 102를 폴딩하기 위한 정확한 위치를 결정한다. 따라서, 플렉서블 디스플레이 102의 폴딩은 학생들이 물리적인 폴딩을 통해 쉽게 개념을 배울 수 있도록 할 수 있다.
도 12i는 교사가 플렉서블 디스플레이 102를 포함하는 전자 장치 100을 사용하여 객체들의 질량에 대해 가르치고 상이한 질량들을 비교하는 예시적인 시나리오를 도시한다. 교사가 "중력으로 의해 결정된 객체의 질량"이라고 말하는 것이 고려된다. 처리 엔진 104는 중량을 보여주는 것을 교사의 의도로 이해하고, 디스플레이 객체들의 가상 중량들이 도시되도록 플렉서블 디스플레이 102를 폴딩하기 위해 정확한 위치를 결정한다. 따라서, 플렉서블 디스플레이 102의 폴딩은 학생들이 물리적 폴딩을 통해 쉽게 개념을 배울 수 있게 할 수 있다.
도 12j는 사용자가 전자 장치 100의 플렉서블 디스플레이 102 상에 있는 세 가지 사업 계획 옵션을 보고 있는 예시적인 시나리오를 도시한다. 사용자가 "최상의 옵션을 보여줘"라고 말하는 것이 고려된다. 사용자 음성 명령을 인식하면, 처리 엔진 104는 이익-비용 비율 측면에서 최상의 옵션을 보는 것을 사용자 의도로 결정한다. 사용자 의도를 만족시키기 위해, 처리 엔진 104는 옵션 B(최상의 옵션)가 물리적 스크린 특성들을 통해 강조될 수 있도록, 플렉서블 디스플레이 102를 폴딩하기 위한 폴드 상태 구성들을 결정하고 플렉서블 디스플레이 102를 업데이트한다. 사용자는 "작년의 데이터와 비교해보면 어떨까?"라고 추가로 말한다. 처리 엔진 104는 작년 데이터와 함께 "비교"하는 것을 사용자의 의도로 이해하고, 플렉서블 디스플레이 102 및 폴드 상태 구성들을 업데이트한다.
도 12k는 사용자가 플렉서블 디스플레이 102를 포함하는 전자 장치를 가지고 있고, 그의 아들과 함께 있는 예시적인 시나리오를 도시한다. 사용자는 자전거를 타기 위해 날씨를 확인하는 것을 원하는 것이 고려된다. 사용자는 "날씨가 충분히 좋은가?"라고 말한다. 처리 엔진 104는 (아들의 규칙적인 이동 수단 및 일상의 상황을 기반으로 하여) 자전거를 타기에 좋은 날씨인지를 알고자 하는 것으로 사용자 의도를 이해한다. 사용자 의도를 기반으로 하여, 처리 엔진 104는 플렉서블 디스플레이 102를 폴딩하기 위해 폴드 상태 구성들을 결정한다. 플렉서블 디스플레이 102는 폴딩될 수 있고, 또한 처리 엔진 104는 땅에 떨어지는 물방울(중력 영향) 및 도로가 얼마나 젖을 수 있는지를 보여준다. 따라서, 사용자 및 그 아들은 구름이 낀 날씨와 젖어 있는 지면을 물리적으로 볼 수 있다. 또한, 처리 엔진 104는 사용자에게 택시와 같은 다른 종류의 이동 수단을 사용하도록 제안할 수 있다.
본 개시의 실시 예들은 요소들을 제어하기 위해 네트워크 관리 기능들을 수행하고 적어도 하나의 하드웨어 장치에서 실행하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 1 및 도 2에 도시된 요소들은 하드웨어 장치, 또는 하드웨어 장치와 소프트웨어 모듈의 조합 중 적어도 하나일 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
본 개시에 개시된 실시 예들은 전자 장치의 플렉서블 디스플레이를 관리하기 위한 장치 및 방법을 기술한다. 따라서, 보호의 범위는 그러한 프로그램까지 확장되고, 메시지를 포함하는 컴퓨터 판독 가능 수단 이외에, 그러한 판독 가능 저장 수단은 프로그램이 서버 또는 모바일 장치 또는 적절한 프로그램 가능 장치에서 실행될 때, 방법의 하나 이상의 동작을 구현하기 위한 프로그램 코드 수단을 포함한다. 방법은 예를 들어, VHDL(very high speed integrated circuit hardware description language) 다른 프로그램 가능 언어로 작성된 소프트웨어 프로그램을 통해 또는 그와 함께 바람직한 실시 예에서 구현되고, 또는 적어도 하나의 하드웨어 장치에서 실행되는 하나 이상의 VHDL 또는 여러 개의 소프트웨어 모듈에 의해 구현된다. 하드웨어 장치는 프로그래밍될 수 있는 모든 종류의 휴대용 장치일 수 있다. 또한, 장치는 예를 들어 ASIC(application-specific integrated circuit)과 같은 하드웨어 수단, 또는 ASIC 및 FPGA(filed-programmable gate array)와 같은 하드웨어와 소프트웨어 수단의 조합, 또는 적어도 하나의 마이크로프로세서 및 안에 소프트웨어 모듈들이 배치된 적어도 하나의 메모리일 수 있는 수단을 포함할 수 있다. 본 개시에 기술된 방법 실시 예들은 일부는 하드웨어로 일부는 소프트웨어로 구현될 수 있다. 대안적으로, 본 개시는 상이한 하드웨어 장치들에서, 예를 들어 복수의 CPU를 사용하여 구현될 수 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 플렉서블(flexible) 디스플레이를 폴드(fold)하기 위한 입력을 수신하는 과정과,
    상기 전자 장치의 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태를 확인하는 과정과,
    상기 확인된 전자 장치의 상태에 따라, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하는 과정과,
    상기 플렉서블 디스플레이가 폴드될 수 있다고 식별되는 경우, 상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정을 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 플렉서블 디스플레이가 폴드될 수 없다고 식별되는 경우, 상기 플렉서블 디스플레이가 폴드될 수 없음을 지시하기 위한 표시를 상기 플렉서블 디스플레이 상에 표시하는 과정을 더 포함하고,
    상기 표시는, 자연 언어(natural language) 경고 또는 팝-업(pop-up) 중 적어도 하나를 포함하는 방법.
  3. 청구항 1에 있어서, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하는 과정은,
    상기 확인된 전자 장치의 상태에 기반하여, 상기 플렉서블 디스플레이의 폴드의 정도(degrees)를 지시하기 위한 자유도(degree of freedom)를 결정하는 과정과,
    상기 자유도에 기반하여, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부을 식별하는 과정을 포함하는 방법.
  4. 청구항 1에 있어서,
    상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정은, 상기 플렉서블 디스플레이에 대한 폴드 상태 구성을 결정하는 과정을 포함하고,
    상기 폴드 상태 구성을 결정하는 과정은,
    편안한 뷰(comfortable view) 및 직관적인 뷰(intuitive view) 중에서 상기 플렉서블 디스플레이의 폴드에 의해 생성될 뷰를 결정하는 과정과,
    상기 결정된 뷰에 대하여 상기 폴드의 방향 및 상기 폴드의 각도를 결정하는 과정을 포함하고,
    상기 직관적인 뷰는, 사용자의 반대 방향을 향한 상기 전자 장치의 폴드를 제공하고,
    상기 편안한 뷰는, 상기 사용자를 향한 상기 전자 장치의 폴드를 제공하는 방법.
  5. 청구항 1에 있어서, 상기 플렉서블 디스플레이를 폴드하기 위한 입력은, 상기 전자 장치의 구부림(bending) 또는 음성 명령 중 적어도 하나를 포함하는 방법.
  6. 청구항 1에 있어서, 상기 전자 장치의 상태는, 상기 전자 장치의 위치 또는 상기 전자 장치를 둘러싼 환경 중 적어도 하나에 기반하여 식별되는 방법.
  7. 청구항 1에 있어서,
    상기 플렉서블 디스플레이 상에 제1 컨텐츠를 표시하는 과정과,
    상기 입력을 검출한 후, 상기 입력인 음성 명령으로부터 획득된 사용자 의도(user intent)를 제2 컨텐츠의 객체와 연관시키는 과정을 더 포함하는 방법.
  8. 청구항 7에 있어서,
    상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정은, 상기 플렉서블 디스플레이에 대한 폴드 상태 구성을 결정하는 과정을 포함하고,
    상기 폴드 상태 구성을 결정하는 과정은, 상기 플렉서블 디스플레이 내의 폴더블 영역들의 개수를 포함하는 상기 폴드 상태 구성을 결정하는 과정을 포함하고,
    상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정은,
    상기 결정된 폴드 상태 구성에 따라 상기 플렉서블 디스플레이 내의 제1 영역, 제2 영역, 및 제3 영역을 결정하는 과정과,
    상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역 간의 경계(boundaries)들에 기반하여 상기 플렉서블 디스플레이를 폴드하도록 제어하는 과정을 포함하는 방법.
  9. 청구항 7에 있어서,
    상기 플렉서블 디스플레이는, 제1 영역, 제2 영역, 및 상기 제1 영역 및 상기 제2 영역 사이에 존재하는 제3 영역을 포함하고,
    상기 플렉서블 디스플레이는 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역 간의 경계들에 기반하여 폴드되고,
    상기 방법은, 상기 제1 영역 및 상기 제2 영역 상에 상기 제1 컨텐츠를 표시하고 상기 제3 영역 상에 상기 제2 컨텐츠를 표시하는 과정을 더 포함하는 방법.
  10. 청구항 7에 있어서,
    상기 제2 컨텐츠는, 자막 뉴스, 엣지 디스플레이 기능들과 연관된 리마인더, 또는 날씨 업데이트 중 적어도 하나를 포함하는 방법.
  11. 전자 장치에 있어서,
    적어도 하나의 센서;
    플렉서블(flexible) 디스플레이; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 플렉서블 디스플레이를 폴드(fold)하기 위한 입력을 수신하고,
    상기 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태를 확인하고,
    상기 확인된 전자 장치의 상태에 따라, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하고,
    상기 플렉서블 디스플레이가 폴드될 수 있다고 식별되는 경우, 상기 플렉서블 디스플레이를 폴드하도록 제어하도록 구성되는 전자 장치.
  12. 청구항 11에 있어서, 상기 적어도 하나의 프로세서는,
    상기 플렉서블 디스플레이가 폴드될 수 없다고 식별되는 경우, 상기 플렉서블 디스플레이가 폴드될 수 없음을 지시하기 위한 표시를 상기 플렉서블 디스플레이 상에 표시하도록 더 구성되고,
    상기 표시는, 자연 언어(natural language) 경고 또는 팝-업(pop-up) 중 적어도 하나를 포함하는 전자 장치.
  13. 청구항 11에 있어서, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하기 위해, 상기 적어도 하나의 프로세서는,
    상기 확인된 전자 장치의 상태에 기반하여, 상기 플렉서블 디스플레이의 폴드의 정도(degrees)를 지시하기 위한 자유도(degree of freedom)를 결정하고,
    상기 자유도에 기반하여, 상기 플렉서블 디스플레이가 폴드될 수 있는지 여부를 식별하도록 더 구성되는 전자 장치.
  14. 청구항 11에 있어서,
    상기 플렉서블 디스플레이를 폴드하도록 제어하기 위해, 상기 적어도 하나의 프로세서는, 상기 플렉서블 디스플레이에 대한 폴드 상태 구성을 결정하고,
    상기 폴드 상태 구성을 결정하기 위해, 상기 적어도 하나의 프로세서는,
    편안한 뷰(comfortable view) 및 직관적인 뷰(intuitive view) 중에서 상기 플렉서블 디스플레이의 폴드에 의해 생성될 뷰를 결정하고,
    상기 결정된 뷰에 대하여 상기 폴드의 방향 및 상기 폴드의 각도를 결정하도록 더 구성되고,
    상기 직관적인 뷰는, 사용자의 반대 방향을 향한 상기 전자 장치의 폴드를 제공하고,
    상기 편안한 뷰는, 상기 사용자를 향한 상기 전자 장치의 폴드를 제공하는 전자 장치.
  15. 청구항 11에 있어서, 상기 플렉서블 디스플레이를 폴드하기 위한 입력은, 상기 전자 장치의 구부림(bending) 또는 음성 명령 중 적어도 하나를 포함하는 전자 장치.
  16. 청구항 11에 있어서, 상기 전자 장치의 상태는, 상기 전자 장치의 위치 또는 상기 전자 장치를 둘러싼 환경 중 적어도 하나에 기반하여 식별되는 전자 장치.
  17. 청구항 11에 있어서, 상기 적어도 하나의 프로세서는,
    상기 플렉서블 디스플레이 상에 제1 컨텐츠를 표시하고,
    상기 입력을 검출한 후, 상기 입력인 음성 명령으로부터 획득된 사용자 의도(user intent)를 제2 컨텐츠의 객체와 연관시키도록 더 구성되는 전자 장치.
  18. 청구항 17에 있어서,
    상기 플렉서블 디스플레이를 폴드하도록 제어하기 위해, 상기 적어도 하나의 프로세서는, 상기 플렉서블 디스플레이에 대한 폴드 상태 구성을 결정하고,
    상기 폴드 상태 구성을 결정하기 위해, 상기 적어도 하나의 프로세서는, 상기 플렉서블 디스플레이 내의 폴더블 영역들의 개수를 포함하는 상기 폴드 상태 구성을 결정하도록 더 구성되고,
    상기 플렉서블 디스플레이를 폴드하도록 제어하기 위해, 상기 적어도 하나의 프로세서는,
    상기 결정된 폴드 상태 구성에 따라 상기 플렉서블 디스플레이 내의 제1 영역, 제2 영역, 및 제3 영역을 결정하고,
    상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역 간의 경계(boundaries)들에 기반하여 상기 플렉서블 디스플레이를 폴드하도록 제어하도록 더 구성되는 전자 장치.
  19. 청구항 17에 있어서,
    상기 플렉서블 디스플레이는, 제1 영역, 제2 영역, 및 상기 제1 영역 및 상기 제2 영역 사이에 존재하는 제3 영역을 포함하고,
    상기 플렉서블 디스플레이는 상기 제1 영역, 상기 제2 영역, 및 상기 제3 영역 간의 경계들에 기반하여 폴드되고,
    상기 적어도 하나의 프로세서는, 상기 제1 영역 및 상기 제2 영역 상에 상기 제1 컨텐츠를 표시하고 상기 제3 영역 상에 상기 제2 컨텐츠를 표시하도록 더 구성되는 전자 장치.
  20. 청구항 17에 있어서,
    상기 제2 컨텐츠는, 자막 뉴스, 엣지 디스플레이 기능들과 연관된 리마인더, 또는 날씨 업데이트 중 적어도 하나를 포함하는 전자 장치.
KR1020190077983A 2018-06-29 2019-06-28 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치 KR20200002686A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/456,731 US10983561B2 (en) 2018-06-29 2019-06-28 Method for managing flexible display and electronic device thereof
PCT/KR2019/007903 WO2020005017A1 (en) 2018-06-29 2019-06-28 Method for managing flexible display and electronic device thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201841024286 2018-06-29
IN201841024286(PS) 2018-06-29
IN201841024286(CS) 2018-10-31

Publications (1)

Publication Number Publication Date
KR20200002686A true KR20200002686A (ko) 2020-01-08

Family

ID=69154342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077983A KR20200002686A (ko) 2018-06-29 2019-06-28 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치

Country Status (3)

Country Link
EP (1) EP3794429B1 (ko)
KR (1) KR20200002686A (ko)
CN (1) CN112334861A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004985A1 (ko) * 2020-06-30 2022-01-06 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치와 이의 동작 방법
WO2022031047A1 (ko) * 2020-08-04 2022-02-10 삼성전자 주식회사 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2479658B8 (en) * 2011-01-21 2016-02-24 BlackBerry Limited Multi-bend display activation adaptation
KR101943435B1 (ko) * 2012-04-08 2019-04-17 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
US9772180B2 (en) * 2014-12-26 2017-09-26 Intel Corporation Determining device curvature in smart bendable systems
KR102358750B1 (ko) * 2014-12-29 2022-02-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
KR20170140976A (ko) * 2016-06-14 2017-12-22 엘지전자 주식회사 폴더블 디바이스 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004985A1 (ko) * 2020-06-30 2022-01-06 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치와 이의 동작 방법
WO2022031047A1 (ko) * 2020-08-04 2022-02-10 삼성전자 주식회사 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법

Also Published As

Publication number Publication date
CN112334861A (zh) 2021-02-05
EP3794429A4 (en) 2021-07-14
EP3794429A1 (en) 2021-03-24
EP3794429C0 (en) 2023-11-22
EP3794429B1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
US10983561B2 (en) Method for managing flexible display and electronic device thereof
US11513561B2 (en) Flexible display device and method of controlling same
US9886187B2 (en) Deformable display device and method for controlling thereof
US11586339B2 (en) Electronic device having flexible display screen and processing method thereof
KR101692252B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
US11093040B2 (en) Flexible device and method operating the same
US10019052B2 (en) Flexible display apparatus and method for providing UI thereof
AU2013306644B2 (en) Flexible apparatus and control method thereof
US9952706B2 (en) Flexible device for providing bending interaction guide and control method thereof
KR101943435B1 (ko) 플렉서블 디스플레이 장치 및 그 동작 방법
US20150227173A1 (en) Electronic device and index display method thereof
US20130167013A1 (en) Method of presenting digital data on an electronic device operating under different environmental conditions
KR20200002686A (ko) 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치
KR102247667B1 (ko) 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 제어 방법.
KR101971162B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR101935029B1 (ko) 플렉서블 디스플레이 장치 및 그 제어 방법
KR102108533B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR101763898B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR102237296B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR20170036669A (ko) 디스플레이 장치 및 그에 대한 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal