WO2022062898A1 - 一种窗口显示方法及设备 - Google Patents

一种窗口显示方法及设备 Download PDF

Info

Publication number
WO2022062898A1
WO2022062898A1 PCT/CN2021/117120 CN2021117120W WO2022062898A1 WO 2022062898 A1 WO2022062898 A1 WO 2022062898A1 CN 2021117120 W CN2021117120 W CN 2021117120W WO 2022062898 A1 WO2022062898 A1 WO 2022062898A1
Authority
WO
WIPO (PCT)
Prior art keywords
window
application
mobile phone
terminal
dynamic
Prior art date
Application number
PCT/CN2021/117120
Other languages
English (en)
French (fr)
Inventor
周星辰
刘丰恺
王海军
徐亮
丁宁
杨婉艺
魏曦
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP21871270.1A priority Critical patent/EP4209877A4/en
Priority to US18/246,971 priority patent/US20230362294A1/en
Publication of WO2022062898A1 publication Critical patent/WO2022062898A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42Graphical user interfaces

Abstract

本申请公开了一种窗口显示方法及设备,涉及电子设备领域。终端在终端的显示屏上显示第一应用的应用窗口,该应用窗口包括多个元素;终端在接收到第一操作后,显示该应用窗口移动的动画;在确定该应用窗口移动至终端显示屏的指定区域时,在终端的显示屏上显示动态小窗,该动态小窗包括应用窗口中的部分元素。动态小窗支持页面级、应用级和系统级的呈现。动态小窗中呈现的内容是显示界面中的关键元素。不仅不会显示过多内容影响用户使用体验,还可满足用户的处理需求。

Description

一种窗口显示方法及设备
本申请要求于2020年09月28日提交国家知识产权局、申请号为202011045760.6、申请名称为“一种窗口显示方法及设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子设备领域,尤其涉及一种窗口显示方法及设备。
背景技术
目前,手机等终端已成为人们日常生活及工作中使用频率较高的电子设备。例如,用户可使用手机浏览新闻资讯,观看视频,进行网上购物等。用户在使用手机的过程中,如果当前界面中如视频,导航信息等关键信息被移出手机屏幕,则用户便无法继续查看这些信息。
发明内容
本申请实施例提供一种窗口显示方法及设备,该窗口可以称为动态小窗。在满足动态小窗的触发条件后,终端可提取终端显示界面中的关键元素,并以动态小窗的形式显示在终端屏幕上。该动态小窗支持页面级、应用级和系统级的呈现。另外,动态小窗中呈现的内容是系统推荐或三方应用自定义的关键元素。不仅不会显示过多内容影响用户使用体验,还可满足用户的处理需求。
为达到上述目的,本申请采用如下技术方案:
本申请的第一方面,提供一种窗口显示方法,该方法可以应用于终端,该方法可以包括:终端在终端的显示屏上显示第一应用的应用窗口,该第一应用的应用窗口包括多个元素;终端在接收到第一操作后,在终端的显示屏上显示第一窗口,该第一窗口包括第一应用的应用窗口中的部分元素。该第一窗口可以称为动态小窗,其可以悬浮显示在终端屏幕上。
采用上述技术方案,终端可提取终端显示界面中的关键元素,并以窗口,如称为动态小窗的形式显示在终端屏幕上。利用有限的小窗显示资源,实现了应用窗口内的关键内容的显示,且不仅不会显示过多内容影响用户使用体验,还可满足用户的处理需求,如使用窗口可帮助用户进行多任务的信息获取和快速处理。
在一种可能的实现方式中,上述第一操作可以包括:对多任务界面中第一应用的应用窗口的拖拽操作;在终端的显示屏上显示第一应用的应用窗口,包括:终端在接收到第二操作后,显示多任务界面,该多任务界面中包括第一应用的应用窗口;在终端的显示屏上显示第一窗口,可以包括:终端显示第一应用的应用窗口移动的动画,终端在确定第一应用的应用窗口移动至终端的显示屏的指定区域时,在终端的显示屏上显示第一窗口。采用在多任务界面中上滑应用窗口的这种系统级交互手势,触发窗口的显示,可使得触发窗口的显示更加灵活和操作更加简单。
在另一种可能的实现方式中,上述第一应用的应用窗口可以为自由小窗;该第一操作可以为:对第一应用的应用窗口,即该第一应用的自由小窗的拖拽操作;在终端的显示屏上显示第一窗口,可以包括:终端显示第一应用的应用窗口,即自由小窗移动的动画;终端在确定该第一应用的应用窗口,即自由小窗移动至终端的显示屏的指定区域时,在终端的显示屏上显示第一窗口。
在另一种可能的实现方式中,上述第一操作可以为触发第一应用切换到后台的操作。
在另一种可能的实现方式中,在终端在显示屏上显示第一应用的应用窗口之后,该方法还可以包括:终端在终端的显示屏上显示通知消息;第一操作为对通知消息的选择操作。
根据以上实现方式可以理解的是,在本实施例中,可通过多种方式触发显示上述第一窗口(或称为动态小窗),做到用户在任一界面便可唤起第一窗口,满足了多任务处理时小窗的处理需求。
在另一种可能的实现方式中,在终端的显示屏上显示第一窗口之前,该方法还可以包括:终端从第一应用的应用窗口的多个元素中提取部分元素。在触发显示动态小窗后,终端可提取出当前显示的应用窗口中的关键元素,以动态小窗的形式继续呈现给用户。
在另一种可能的实现方式中,上述部分元素可以是预定的。如该部分元素可以为视频元素。
在另一种可能的实现方式中,终端从第一应用的应用窗口的多个元素中提取部分元素,可以包括:终端获取第一标识,从存储的不同标识对应的配置文件中获取与第一标识对应的配置文件,与第一标识对应的配置文件中包括上述部分元素的标识;终端根据与第一标识对应的配置文件,从第一应用的应用窗口的多个元素中提取部分元素;其中,第一标识可以包括第一应用的标识,或第一标识可以包括第一应用的标识和应用窗口中界面的标识。应用开发人员可定义对应应用或应用的界面中的哪些元素作为关键元素在动态小窗中显示。
在另一种可能的实现方式中,终端从第一应用的应用窗口的多个元素中提取部分元素,可以包括:终端获取第一应用的类型,从存储的不同类型的应用对应的推荐模型中获取与第一应用的类型对应的推荐模型,推荐模型具备根据应用对应的类型提取需在第一窗口中显示的元素的功能;终端根据与第一应用的类型对应的推荐模型,从第一应用的应用窗口的多个元素中提取部分元素。在动态小窗中显示关键元素可由系统推荐。
在另一种可能的实现方式中,部分元素在第一窗口中的布局与应用窗口中部分元素对应的元素的布局不同。本实施例还支持动态小窗中元素的重布局。
以上可以得到的是,第一窗口,即动态小窗中呈现的内容及布局效果支持系统根据不同应用类型自动推荐或三方应用开发者自定义,使得用户可更加灵活的完成多任务处理,还可满足动态小窗显示和布局灵活的需求。
在另一种可能的实现方式中,部分元素在第一窗口中的布局是预定的。
在另一种可能的实现方式中,在终端的显示屏上显示第一窗口之前,该方法还可以包括:终端根据第一标识,从存储的布局文件中获取与第一标识对应的布局文件,终端根据获取的布局文件对上述提取的部分元素进行布局。其中,第一标识可以包括第一应用的标识,或第一标识可以包括第一应用的标识和应用窗口中界面的标识。
在另一种可能的实现方式中,在终端的显示屏上显示第一窗口之前,该方法还可以包括:终端根据第一应用的类型,从存储的布局文件中获取与第一应用的类型对应的布局文件,终端根据获取的布局文件对上述提取的部分元素进行布局。
在另一种可能的实现方式中,在终端的显示屏上显示第一窗口之后,该方法还可以包括:终端在接收到对第一窗口的第三操作后,将第一窗口变更为第二窗口显示在终端的显示屏上;其中,第二窗口包括第一应用的应用窗口中的部分元素,且第二窗口包括的元素多于第一窗口包括的元素。窗口支持由小窗口形式,变为中窗口形式。中窗口形 式的窗口,即该第二窗口包含的元素可多于第一窗口包含元素。如第一窗口中了仅含第一应用的应用窗口中部分展示类的元素,第二窗口中可包含该展示类的元素,还可包含第一应用的应用窗口中部分操控类的元素。
在另一种可能的实现方式中,第二窗口包括视频元素,在终端显示第二窗口后,终端接收到在第二窗口上的第一滑动操作(如从上向下的滑动操作)后,终端调低终端的音量,在接收到在第二窗口上的第二滑动操作(如从下向上的滑动操作)后,终端调高终端的音量。终端接收到在第二窗口上的第三滑动操作(如从右向左的滑动操作)后,终端对视频元素中的视频进行快退操作;终端接收到在第二窗口上的第四滑动操作(如从左向右的滑动操作)后,终端对视频元素中的视频进行快进操作。
其中,第二窗口,即中窗口形式的窗口中的元素可以是终端从第一应用的应用窗口的多个元素中提取出来的。
如,中窗口形式的窗口中需展示的元素可以是预定的。
又如,终端可以根据第一标识,从存储的不同标识对应的配置文件(该配置文件是针对中窗口形式窗口的配置文件)中获取与第一标识对应的配置文件,之后,根据获取的配置文件,便可从第一应用的应用窗口的多个元素中提取需在中窗口形式的窗口中展示的元素。
又如,终端可以根据第一应用的类型,从存储的不同类型的应用对应的推荐模型(该推荐模型是针对中窗口形式窗口的推荐模型)中获取与第一应用的类型对应的推荐模型,之后,根据获取的推荐模型,可从第一应用的应用窗口的多个元素中提取需在中窗口形式的窗口中展示的元素。
对于提取出的需在中窗口形式的窗口中展示的元素,其在中窗口形式的窗口中的布局,与对应元素在第一应用的应用窗口中的布局可以不同。如,终端可根据对应布局文件,对提取出的需在中窗口形式的窗口中展示的元素进行重新布局。
在另一种可能的实现方式中,第二窗口还包括关闭按钮和放大按钮;该方法还可以包括:终端在接收到对关闭按钮的操作后,终端不显示第二窗口;终端在接收到对放大按钮的操作后,终端显示第一应用的应用窗口,不显示第二窗口。
在另一种可能的实现方式中,在终端将第一窗口变更为第二窗口显示在终端的显示屏上之后,该方法还可以包括:终端在确定预设时间内未接收到用户操作,或在接收到对第二窗口的第四操作后,将第二窗口变更为第一窗口显示在终端的显示屏上。动态小窗还可支持由中窗口形式变更为小窗口形式,能够满足用户的多种处理需求,提高了用户的使用体验。
在另一种可能的实现方式中,在终端的显示屏上显示第一窗口,可以包括:终端在终端的显示屏上显示桌面,在该桌面上显示第一窗口,该桌面可以包括第二应用的图标;在终端的显示屏上显示第一窗口之后,该方法还可以包括:终端在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在第一窗口被拖至第二应用的图标的位置时,终端在终端的显示屏上显示第二应用的应用窗口。当用户拖动第一窗口,使得第一窗口悬停到某应用的图标上时,可触发手机显示该应用的应用窗口。
在另一种可能的实现方式中,在终端显示第一窗口之后,该方法还可以包括:终端在接收到第二操作后,显示多任务界面,多任务界面中包括第二应用的应用窗口;终端在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在第一窗口被拖至第二应用的应用窗口的位置时,终端在终端的显示屏上显示第二应用的应用窗口。
在另一种可能的实现方式中,终端在接收到拖拽释放操作后,将第一窗口转换为资源文件后插入第二应用的应用窗口。另外,在用户停止拖动窗口后,可将窗口转换为资源文件插入该应用窗口。如将该第一窗口的内容转换为资源文件后存储在本地或发送给其他设备,并在第二应用的应用窗口中显示插入结果。
在另一种可能的实现方式中,终端与第二终端连接;在终端的显示屏上显示第一窗口之后,该方法还可以包括:终端在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在确定用户的拖拽意图是跨设备拖拽后,向第二终端发送第一窗口的数据,第一窗口的数据用于第二终端在第二终端的显示屏上显示第一窗口。动态小窗支持跨设备的拖拽,提高了多终端协同使用的使用效率。
以上是以拖拽小窗口形式的窗口,即第一窗口为例进行说明的,中窗口形式的窗口,即第二窗口也支持拖拽。
本申请的第二方面,提供一种显示装置,该装置可以应用于终端,该装置可以包括:显示单元,用于在终端的显示屏上显示第一应用的应用窗口,该第一应用的应用窗口包括多个元素;输入单元,用于接收第一操作;显示单元,还用于在接收到第一操作后,在终端的显示屏上显示第一窗口,该第一窗口包括第一应用的应用窗口中的部分元素。
在一种可能的实现方式中,上述第一操作可以包括:对多任务界面中第一应用的应用窗口的拖拽操作;显示单元,具体用于在接收到第二操作后,显示多任务界面,该多任务界面中包括第一应用的应用窗口;显示单元具体用于,显示第一应用的应用窗口移动的动画;在确定第一应用的应用窗口移动至终端的显示屏的指定区域时,在终端的显示屏上显示第一窗口。
在另一种可能的实现方式中,上述第一应用的应用窗口可以为自由小窗;该第一操作可以为:对第一应用的应用窗口,即该第一应用的自由小窗的拖拽操作;显示单元,具体用于显示第一应用的应用窗口,即自由小窗移动的动画;在确定该第一应用的应用窗口,即自由小窗移动至终端的显示屏的指定区域时,在终端的显示屏上显示第一窗口。
在另一种可能的实现方式中,上述第一操作可以为触发第一应用切换到后台的操作。
在另一种可能的实现方式中,显示单元,还用于在终端的显示屏上显示通知消息;第一操作为对通知消息的选择操作。
在另一种可能的实现方式中,该装置还可以包括:获取单元,用于从第一应用的应用窗口的多个元素中提取部分元素。
在另一种可能的实现方式中,上述部分元素可以是预定的。如该部分元素可以为视频元素。
在另一种可能的实现方式中,获取单元,具体用于:获取第一标识,从存储的不同标识对应的配置文件中获取与第一标识对应的配置文件,与第一标识对应的配置文件中包括上述部分元素的标识;根据与第一标识对应的配置文件,从第一应用的应用窗口的多个元素中提取部分元素;其中,第一标识可以包括第一应用的标识,或第一标识可以包括第一应用的标识和应用窗口中界面的标识。
在另一种可能的实现方式中,获取单元,具体用于:获取第一应用的类型,从存储的不同类型的应用对应的推荐模型中获取与第一应用的类型对应的推荐模型,推荐模型具备根据应用对应的类型提取需在第一窗口中显示的元素的功能;根据与第一应用的类型对应的推荐模型,从第一应用的应用窗口的多个元素中提取部分元素。
在另一种可能的实现方式中,部分元素在第一窗口中的布局与应用窗口中部分元素 对应的元素的布局不同。
在另一种可能的实现方式中,部分元素在第一窗口中的布局是预定的。
在另一种可能的实现方式中,获取单元,还用于根据第一标识,从存储的布局文件中获取与第一标识对应的布局文件,根据获取的布局文件对上述提取的部分元素进行布局。其中,第一标识可以包括第一应用的标识,或第一标识可以包括第一应用的标识和应用窗口中界面的标识。
在另一种可能的实现方式中,获取单元,还用于根据第一应用的类型,从存储的布局文件中获取与第一应用的类型对应的布局文件,根据获取的布局文件对上述提取的部分元素进行布局。
在另一种可能的实现方式中,输入单元,还用于接收对第一窗口的第三操作;显示单元,还用于在接收到对第一窗口的第三操作后,将第一窗口变更为第二窗口显示在终端的显示屏上;其中,第二窗口包括第一应用的应用窗口中的部分元素,且第二窗口包括的元素多于第一窗口包括的元素。
其中,第二窗口,即中窗口形式的窗口中的元素可以是终端从第一应用的应用窗口的多个元素中提取出来的。也即,获取单元,还用于从第一应用的应用窗口的多个元素中提取出需在第二窗口中展示的元素。
如,第二窗口中需展示的元素可以是预定的。
又如,获取单元,具体用于根据第一标识,从存储的不同标识对应的配置文件(该配置文件是针对第二窗口的配置文件)中获取与第一标识对应的配置文件,之后,根据获取的配置文件,从第一应用的应用窗口的多个元素中提取需在第二窗口中展示的元素。
又如,获取单元,具体用于根据第一应用的类型,从存储的不同类型的应用对应的推荐模型(该推荐模型是针对第二窗口的推荐模型)中获取与第一应用的类型对应的推荐模型,之后,根据获取的推荐模型,可从第一应用的应用窗口的多个元素中提取需在第二窗口中展示的元素。
对于提取出的需在中窗口形式的窗口中展示的元素,其在中窗口形式的窗口中的布局,与对应元素在第一应用的应用窗口中的布局可以不同。
在另一种可能的实现方式中,第二窗口还包括关闭按钮和放大按钮;输入单元,还用于接收对关闭按钮的操作;显示单元,还用于在接收到对关闭按钮的操作后,不显示第二窗口;输入单元,还用于接收对放大按钮的操作;显示单元,还用于在接收到对放大按钮的操作后,显示第一应用的应用窗口,不显示第二窗口。
在另一种可能的实现方式中,显示单元,还用于在确定预设时间内未接收到用户操作,或在接收到对第二窗口的第四操作后,将第二窗口变更为第一窗口显示在终端的显示屏上。
在另一种可能的实现方式中,显示单元显示第一窗口,可以包括在终端的显示屏上显示桌面,在该桌面上显示第一窗口,该桌面可以包括第二应用的图标;输入单元,还用于接收拖拽第一窗口的操作;显示单元,还用于在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在第一窗口被拖至第二应用的图标的位置时,在终端的显示屏上显示第二应用的应用窗口。
在另一种可能的实现方式中,显示单元,还用于在接收到第二操作后,显示多任务界面,多任务界面中包括第二应用的应用窗口;在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在第一窗口被拖至第二应用的应用窗口的位置时,在终端的显示 屏上显示第二应用的应用窗口。
在另一种可能的实现方式中,输入单元,还用于接收拖拽释放操作;该装置还可以包括:存储单元,用于在接收到拖拽释放操作后,将第一窗口转换为资源文件后存储;或该装置还包括,发送单元,用于在接收到拖拽释放操作后,将第一窗口转换为资源文件后通过第二应用发送给其他设备。
在另一种可能的实现方式中,终端与第二终端连接;输入单元,还用于接收到拖拽第一窗口的操作;显示单元,还用于在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;该装置还可以包括:发送单元,用于在确定用户的拖拽意图是跨设备拖拽后,向第二终端发送第一窗口的数据,第一窗口的数据用于第二终端在第二终端的显示屏上显示第一窗口。
本申请的第三方面,提供一种显示装置,该装置可以包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令时使得显示装置实现如第一方面或第一方面的可能的实现方式中任一项所述的方法。
本申请的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,计算机程序指令被电子设备执行时使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的方法。
本申请的第五方面,提供一种电子设备(如上述终端),该电子设备包括显示屏,一个或多个处理器和存储器;显示屏,处理器和存储器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被电子设备执行时,使得该电子设备执行如第一方面或第一方面的可能的实现方式中任一项所述的方法。
本申请的第六方面,提供一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备(如上述终端)中运行时,电子设备中的处理器执行第一方面或第一方面的可能的实现方式中任一项所述的方法。
可以理解地,上述提供的第二方面及其任一种可能的实现方式所述的显示装置,第三方面所述的显示装置,第四方面所述的计算机可读存储介质,第五方面所述的电子设备,及第六方面所述的计算机程序产品所能达到的有益效果,可参考如第一方面及其任一种可能的实现方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种相关技术中显示界面的示意图;
图2为本申请实施例提供的另一种相关技术中显示界面的示意图;
图3为本申请实施例提供的又一种相关技术中显示界面的示意图;
图4为本申请实施例提供的又一种相关技术中显示界面的示意图;
图5为本申请实施例提供的一种手机的结构示意图;
图6为本申请实施例提供的一种终端的软件架构的组成示意图;
图7为本申请实施例提供的一种窗口显示方法的流程示意图;
图8A为本申请实施例提供的一种显示坐标系的示意图;
图8B为本申请实施例提供的另一种显示坐标系的示意图;
图9为本申请实施例提供的一种显示界面的示意图;
图10A为本申请实施例提供的另一种显示界面的示意图;
图10B为本申请实施例提供的又一种显示界面的示意图;
图11为本申请实施例提供的又一种显示界面的示意图;
图12为本申请实施例提供的又一种显示界面的示意图;
图13为本申请实施例提供的一种动态小窗的示意图;
图14为本申请实施例提供的一种动态小窗的显示示意图;
图15为本申请实施例提供的另一种动态小窗的显示示意图;
图16为本申请实施例提供的又一种动态小窗的显示示意图;
图17为本申请实施例提供的又一种动态小窗的显示示意图;
图18为本申请实施例提供的另一种窗口显示方法的流程示意图;
图19为本申请实施例提供的又一种显示界面的示意图;
图20A为本申请实施例提供的又一种显示界面的示意图;
图20B为本申请实施例提供的又一种显示界面的示意图;
图21A为本申请实施例提供的又一种显示界面的示意图;
图21B为本申请实施例提供的又一种显示界面的示意图;
图22为本申请实施例提供的又一种显示界面的示意图;
图23为本申请实施例提供的另一种动态小窗的示意图;
图24A为本申请实施例提供的又一种动态小窗的示意图;
图24B为本申请实施例提供的又一种显示界面的示意图;
图24C为本申请实施例提供的又一种显示界面的示意图;
图25为本申请实施例提供的又一种显示界面的示意图;
图26为本申请实施例提供的又一种显示界面的示意图;
图27为本申请实施例提供的又一种显示界面的示意图;
图28为本申请实施例提供的又一种显示界面的示意图;
图29为本申请实施例提供的一种显示装置的组成示意图;
图30为本申请实施例提供的一种芯片系统的组成示意图。
具体实施方式
目前,用户可使用手机浏览新闻资讯,观看视频,进行网上购物等。在使用手机的过程中,如果当前界面中的关键信息被移出手机屏幕,则用户便无法继续查看。
例如,结合图1,用户使用手机浏览
Figure PCTCN2021117120-appb-000001
Figure PCTCN2021117120-appb-000002
公众号中的资讯。如,如图1中的(a)所示,用户当前在浏览界面101,该界面101中包括视频元素102。在用户打开该界面101或对该视频元素102中的播放按钮进行点击操作后,手机可开始播放对应视频。在该视频元素102被移出手机屏幕后,便无法继续观看。如,图1中(a)所示,用户在手机屏幕上执行向上滑动的操作。如图1中的(b)所示,随着用户手指的移动,该视频元素102可被移出手机屏幕。在视频元素102被移出手机屏幕后,上述视频元素102中的视频停止播放且不再显示。
当前技术提供了悬浮小窗功能,以解决上述问题。
其中,在相关技术一中,可由三方应用开发人员定制悬浮小窗功能。相关技术一包括以下技术1-技术3。
技术1,三方应用开发人员可为应用自定义页面级或应用级悬浮小窗功能。
例如,结合图2,
Figure PCTCN2021117120-appb-000003
定制了页面级悬浮小窗功能。如图2中的(a)所示,用户当前浏览某商品的详情页201,该详情页201包括视频元素202。用户点击视频元素202的播放按钮,手机可开始播放该商品的介绍视频。如图2中(a)所示,用户在手机屏幕 上向上滑动手指。随着用户手指的移动,该视频元素202可被移出手机屏幕。在视频元素202被移出手机屏幕后,如图2中的(b)所示,手机可显示悬浮小窗203,并在该悬浮小窗203中继续播放该商品的介绍视频。但是,在用户切换页面,如返回上一页或跳转到其他商品详情页后,该悬浮小窗便不再显示,视频停止播放。
又例如,
Figure PCTCN2021117120-appb-000004
定制了应用级悬浮小窗功能。在用户使用
Figure PCTCN2021117120-appb-000005
观看视频时,如果用户在
Figure PCTCN2021117120-appb-000006
内切换页面,该视频会被移到悬浮小窗中继续播放。但是,在
Figure PCTCN2021117120-appb-000007
退出后,该悬浮小窗便不再显示,视频停止播放。
技术2,三方应用开发人员可为应用自定义系统级悬浮小窗功能。
例如,如
Figure PCTCN2021117120-appb-000008
等视频应用定制了画中画功能。用户在使用这些视频应用播放视频时,可通过输入对应操作,触发视频从页面的视频组件中移到画中画(画中画也可以认为是一种悬浮小窗)中播放。之后,在用户切换页面或退出该视频应用后,视频仍可在画中画中继续播放,供用户观看。但是,画中画,或者说该系统级悬浮小窗支持的应用及应用类型(主要是视频应用)有限。
技术3,
Figure PCTCN2021117120-appb-000009
开发人员为
Figure PCTCN2021117120-appb-000010
定义了浮窗功能。该浮窗是小程序或文章链接暂存的入口。例如,结合图3,如图3中的(a)所示,用户浏览
Figure PCTCN2021117120-appb-000011
中某公众号的资讯页面301。用户可通过执行从手机屏幕左侧向右的滑动操作,以触发手机返回该资讯页面301的上一级页面。如图3中的(b)所示,随着用户手指的滑动,手机可显示资讯页面301的部分区域和资讯页面301的上一级页面的部分区域302。响应于用户的该滑动操作,手机还可在手机屏幕的右下角显示浮窗指示区域303。在用户将手指滑入该浮窗指示区域303后,如图3中的(c)所示,手机可显示浮窗304,该浮窗304是资讯页面301的链接入口。之后,用户在
Figure PCTCN2021117120-appb-000012
内切换页面,该浮窗304一直显示。当
Figure PCTCN2021117120-appb-000013
退出后,该浮窗304不再显示。如上描述,该浮窗304是链接暂存的入口,对应信息,如资讯页面301需用户对该浮窗304进行点击操作后,手机才会显示。
在相关技术二中,华为定制了自由(freeform)小窗功能。freeform小窗可以认为是一种系统级悬浮小窗。使用该功能可使得整个应用窗口以freeform小窗的形式显示。无论用户切换页面,还是打开其他应用或桌面,该freeform小窗均置顶显示。例如,结合图4,如图4中的(a)所示,手机显示聊天界面401。用户可在手机屏幕上执行从屏幕的右边缘开始的向左的滑动操作。作为对该滑动操作的响应,手机可显示dock栏402,该dock栏402中包括一个或多个应用的图标,如包括智慧生活的图标403。在用户对该dock栏402中的智慧生活的图标403进行操作,如点击操作后,如图4中的(b)所示,手机可以freeform小窗404的形式显示该智慧生活的界面。之后,用户在该聊天应用中切换页面,或打开其他应用,该智慧生活的界面可以freeform小窗的形式置顶显示在手机屏幕上。但是,freeform小窗中包含了该应用窗口中的所有内容,会有很多冗余的信息,影响关键信息的获取和使用体验。
可以看到的是,相关技术中悬浮小窗功能主要集中在单个应用或页面内,或支持的应用及应用类型有限。freeform小窗虽然是系统级的全局小窗,但其包含了应用全窗口的内容,显示内容过多、过于拥挤,影响最终的用户体验。
本申请实施例提供一种动态小窗(live window)的显示方法,该方法可以应用于终端。采用本实施例提供的方法,在满足动态小窗的触发条件后,终端可提取终端显示界面中的关键元素,并以动态小窗的形式显示在终端屏幕上。该动态小窗支持页面级、应用级和系统级的呈现,即无论用户切换页面或退出应用,动态小窗可继续显示在终端屏 幕上。另外,动态小窗中呈现的内容是系统推荐或三方应用自定义的关键元素,这样,不仅不会显示过多内容影响用户使用体验,还可满足用户的处理需求。
需要说明的是,本实施例中的动态小窗,也可以称为悬浮小窗,本地小窗,本实施例在此不做限制。
示例性的,本申请实施例中的终端可以为手机,平板电脑,手持计算机,PC,蜂窝电话,个人数字助理(personal digital assistant,PDA),可穿戴式设备(如智能手表),车载电脑,游戏机,以及增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等,本实施例对终端的具体形式不做特殊限制。另外,本实施例提供的技术方案除了可以应用于上述终端(或者说移动终端)外,还可以应用于其他电子设备,如智能家居设备(如电视机)等。
下面将结合附图对本申请实施例的实施方式进行详细描述。
在本实施例中,以终端为手机为例。请参考图5,为本申请实施例提供的一种手机的结构示意图。以下实施例中的方法可以在具有上述硬件结构的手机中实现。
如图5所示,手机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193以及显示屏194等。可选的,手机还可以包括移动通信模块150,用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本实施例示意的结构并不构成对手机的具体限定。在另一些实施例中,手机可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收 发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,SIM接口,和/或USB接口等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为手机供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141也可接收电池142的输入为手机供电。
手机的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
当手机包括移动通信模块150时,移动通信模块150可以提供应用在手机上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在手机上的包括无线局域网(wireless local area networks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,手机的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA), 长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
手机通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,手机可以包括1个或N个显示屏194,N为大于1的正整数。
手机可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。在一些实施例中,手机可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
手机可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。当有触摸操作作用于显示屏194,手机根据压力传感器180A检测所述触摸操作强度。手机也可以根据压力传感器180A的检测信号计算触摸的位置。
陀螺仪传感器180B可以用于确定手机的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。手机可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测手机在各个方向上(一般为三轴)加速度的大小。距离传感器180F,用于测量距离。手机可以利用接近光传感器180G检测用户手持手机贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自 动解锁与锁屏。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。手机可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
当手机包括SIM卡接口195时,SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机的接触和分离。手机可以支持1个或N个SIM卡接口,N为大于1的正整数。手机通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,手机采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在手机中,不能和手机分离。
本申请实施例以终端的软件系统是Android系统为例,示例性说明终端的软件结构。请参考图6,为本申请实施例提供的一种终端的软件架构的组成示意图。
其中,终端的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。以终端的软件系统是分层架构为例。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。
在一些实施例中,如图6所示,终端可以包括应用层和框架层(framework,FWK)。应用层可以包括一系列应用程序包。例如,应用程序包可以包括设置,计算器,相机,导航,购物,短信息,视频播放器,音乐播放器等应用。应用层包括的应用可以是终端的系统应用,也可以是第三方应用,本申请实施例在此不做具体限制。应用层还可以包括拖拽服务模块,动态小窗控制器(live window controller)。应用层还可以包括桌面启动器(launcher)。其中,动态小窗控制器也可以称为动态小窗管理器,本实施例在此不做具体限制。
框架层主要负责为应用层的应用提供应用编程接口(application programming interface,API)和编程框架。框架层可以包括窗口管理器(window manager,WM)等。其中,管理管理器也可以称为窗口管理模块,本实施例在此不做具体限制。
当然,终端还可以包括其他层,如内核层(图6中未示出)等。该内核层是硬件和软件之间的层。内核层至少可以包含显示驱动,摄像头驱动,音频驱动,传感器驱动等。
在本申请实施例中,基于上述软件架构,终端当前显示某应用的界面,如称为界面1时,在满足动态小窗的触发条件,如接收到用户用于触发显示动态小窗的操作,或页面内容发生变化,或跳转到其他应用后,终端可提取终端显示的界面1中的关键元素,并将这些关键元素添加到动态小窗中显示在终端屏幕上,供用户继续浏览。
以下结合图6,以终端为手机为例,结合附图对本申请实施例提供的窗口显示方法进行详细介绍。图7为本申请实施例提供的一种窗口显示方法的流程示意图。如图7所示, 该方法可以包括:
S701、手机显示应用窗口,接收触发显示动态小窗的用户操作。
其中,窗口是用户界面(user interface,UI)中最重要的部分,其是显示屏上与应用相对应的矩形区域,是用户与产生该窗口的应用之间的可视界面。一般的,在手机接收到用户用于启动应用的操作后,该应用可创建并以全屏大窗口的形式显示一个窗口,该窗口可称为应用窗口。当用户操作应用窗口中界面的控件时,应用可作出相应的响应。
本实施例中的动态小窗(live window),可以是指显示屏上用于呈现应用的关键元素的窗口,其以小窗口的形式悬浮显示在显示屏的大窗口上。在显示屏上的内容发生变化,如切换应用窗口或同一个应用窗口中界面发生切换时,该动态小窗可继续显示。本实施例中的动态小窗,也可以称为悬浮小窗,本地小窗等。另上述应用可以为手机安装的应用中的任意一个。该应用可以是系统应用,也可以是第三方应用,本实施例在此不做具体限制。
在本实施例中,在手机显示某应用窗口(该应用窗口可以是本申请实施例中第一应用的应用窗口)的情况下,用户可通过执行对应用户操作,以触发手机将该应用窗口中界面包括的关键元素以动态小窗的形式显示在手机显示屏上。其中,该用户操作可以包括一个或多个操作。
在一种可能的实现方式中,用户操作可以包括触发显示多任务界面的操作(该操作可以为本申请实施例中的第二操作)和在多任务界面中将应用窗口的拖至指定区域的操作(该操作可以为本申请实施例中的第一操作,或者说拖拽操作)。或者,用户操作可以包括触发显示多任务界面的操作和对多任务界面中应用窗口对应的小窗按钮的操作(如点击操作)。
其中,触发显示多任务界面的操作可以为触屏手势操作,也可以为隔空手势操作。如,触屏手势操作可以为在手机显示屏上的滑动操作,如从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作,且在滑动后手指或触控笔暂时不抬起。隔空手势操作可以为静态隔空手势操作,也可以为动态隔空手势操作。静态隔空手势操作指某一时刻手部的姿态,比如手指弯曲、收拢等。如OK手势、V手势、五指伸开的手势等。动态隔空手势操作指一段时间内手部的运动情况,包括运动方向、速度、手部姿态变化等。如挥动手势、平移手势、握拳手势、按压手势等。触发显示多任务界面的隔空手势操作可以是以上静态隔空手势操作或动态隔空手势操作中的任意一种。
在多任务界面中将应用窗口拖至指定区域的操作可以为触屏手势操作。如该触屏手势操作可以是在多任务界面中,对应用窗口的按下并移动的操作。在多任务界面中将应用窗口拖至指定区域的操作也可以是隔空手势操作。如,该隔空手势操作可以是在多任务界面中,对应用窗口的按压手势和平移手势。又如,该隔空手势操作可以是在多任务界面中,对应用窗口执行的握拳手势和平移手势。再如,该隔空手势操作可以是在多任务界面中,对应用窗口执行的如上述静态隔空手势操作和平移手势。
在另一种可能的实现方式中,用户操作可以包括触发应用窗口拖起的操作和将拖起的应用窗口拖至指定区域的操作。
其中,触发应用窗口拖起的操作可以为触屏手势操作。如,触发应用窗口拖起的触屏手势操作可以是以下预定手势操作中的任意一种:手机显示应用窗口时,在显示屏上的滑动操作(如从手机下边缘开始到指向手机上边缘的滑动操作),对应用窗口标题栏的手势操作(如长按操作,双击操作等),对应用窗口的手势操作(如单指长按操作, 单指双击操作,多指长按操作等),在应用窗口上的3D触控操作(3Dtouch),在应用窗口上的手掌操作(如手掌长按操作,手掌单击操作等)等。触发应用窗口拖起的操作也可以是上述隔空手势操作。
将拖起的应用窗口拖至指定区域的操作可以为触屏手势操作,也可以为隔空手势操作。将拖起的应用窗口拖至指定区域的操作与上述在多任务界面中将应用窗口拖至指定区域的操作类似,此处不再详细赘述。
其中,上述实现方式中的指定区域可以是手机显示屏上距离显示屏某个边缘预定距离的区域。该预定距离可以是预先定义的,也可以提供设置界面供用户设置,本实施例在此不做限制。如,指定区域可以是手机显示屏上距离显示屏上边缘1/3或1/2的区域。
示例性的,结合图6,在上述实现方式中,在多任务界面中或应用窗口被拖起的情况下,用户可通过执行对应操作,拖动(或者说拖拽)应用窗口。在该应用窗口被拖动的过程中,手机,如手机应用层的launcher可进行拖拽监听,以判断应用窗口是否被拖至指定区域。其中,在本实施例中,指定区域也可以称为停靠(dock)区。
在一些实施例中,可在上述指定区域设置透明的视图(view)控件。在应用窗口被拖至该指定区域中时,设置在该指定区域的视图控件可监测到应用窗口的拖入。也就是说,在视图控件监测到应用窗口拖入时,手机(如手机应用层的launcher)可确定应用窗口被拖至指定区域。
在其他一些实施例中,手机(如手机应用层的launcher)可通过判断应用窗口与显示屏边缘的距离来确定应用窗口是否被拖至指定区域。如,以指定区域是距离显示屏上边缘1/3的区域为例,手机应用层的launcher可在确定应用窗口的左上角或右上角与显示屏的上边缘的距离小于预定距离,如预定距离为1/3*L(L为手机显示屏的长度)时,确定应用窗口被拖至指定区域。例如,请参考图8A,为本实施例提供的一种显示坐标系的示意图。如图8A所示,该显示坐标系的坐标原点为手机显示屏的左上角,x轴从坐标原点指向手机显示屏的右边缘,y轴从坐标原点指向手机显示屏的下边缘。该显示坐标系中显示屏上边缘在y轴上的坐标为0。在应用窗口,如图8A中所示的应用窗口801在手机显示屏上被用户拖动的过程中,手机可实时监测应用窗口801的左上角和右上角,如分别为图8A中所示的A1和A2在显示坐标系中的坐标。如,左上角A1在显示坐标系中的坐标为(x1,y1),右上角A2在显示坐标系中的坐标为(x2,y1)。根据应用窗口801的这两个角的坐标和手机显示屏上边缘的坐标,手机可在确定这两个角中的某个角与显示屏上边缘的距离小于1/3*L时,确定应用窗口801被拖至指定区域。如手机根据左上角A1或右上角A2在y轴上的坐标y1,确定出左上角A1或右上角A2与显示屏上边缘的距离(如,y1)小于1/3*L,则可确定应用窗口801被拖至指定区域。
在其他一些实施例中,手机(如手机应用层的launcher)可通过判断用户按下应用窗口拖拽的过程中,手指的按压点与显示屏边缘的距离来确定应用窗口是否被拖至指定区域。如,以指定区域是距离显示屏上边缘1/2的区域为例,手机应用层的launcher可在确定用户手指的按压点与显示屏的上边缘的距离小于预定距离,如预定距离为1/2*L(L为手机显示屏的长度),且继续向同一方向滑动手指时,确定应用窗口被拖至指定区域。例如,请参考图8B,为本实施例提供的一种显示坐标系的示意图。如图8B所示,该显示坐标系的坐标原点为手机显示屏的左上角,x轴从坐标原点指向手机显示屏的右边缘,y轴从坐标原点指向手机显示屏的下边缘。在应用窗口,如图8B中所示的应用窗口801'在手机显示屏上被用户拖动的过程中,手机可实时监测用户手指的按压点,如 点A在显示坐标系中的坐标。根据用户手指的按压点,即点A在显示坐标系中的坐标,手机可在确定用户手指与显示屏上边缘的距离小于1/2*L,且继续向同一方向滑动手指时,确定应用窗口801'被拖至指定区域。
在手机确定应用窗口被拖至指定区域后,表明用户想使用手机的动态小窗功能,则可执行以下S702。
在又一种可能的实现方式中,用户操作可以为在应用窗口内切换到其他页面的操作。该操作可以为触屏手势操作,也可以为隔空手势操作。例如,触屏手势操作可以为在手机显示屏上的滑动操作,如从手机显示屏左边缘开始到指向手机显示屏右边缘的滑动操作。触屏手势操作还可以为对应用窗口的当前页面中返回上一页面按钮的点击操作。隔空手势操作可以为上述实现方式中静态隔空手势操作或动态隔空手势操作中的任意一种。
或者,用户操作可以为在应用窗口的当前页面上的滑动操作。该滑动操作可以为触屏手势操作,如具体为在手机显示屏上从下向上,或从上向下的滑动操作。该滑动操作可触发应用窗口的当前页面下滑或上滑。或者,用户操作可以为在应用窗口内从手机显示屏右边缘开始到指向手机显示屏左边缘的滑动操作。
在又一种可能的实现方式中,用户操作可以为将手机当前开启的应用切换至后台的操作。该操作可以为触屏手势操作,也可以为隔空手势操作。例如,触屏手势操作可以为在手机显示屏上的滑动操作,如从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作。隔空手势操作可以为上述实现方式中静态隔空手势操作或动态隔空手势操作中的任意一种。
在又一种可能的实现方式中,在手机显示应用窗口的情况下,如果手机接收到了其他应用的通知消息,用户操作可以为对该通知消息的选择操作。该选择操作可以为触屏手势操作,如对该通知消息的点击操作。
在又一种可能的实现方式中,应用窗口可以全屏悬浮窗(如freeform小窗)的形式显示在手机的显示屏上。在手机显示全屏悬浮窗口,如freeform小窗的情况下,用户可通过执行对应用户操作,以触发手机将该freeform小窗中应用窗口包括的关键元素以动态小窗的形式显示在手机显示屏上。其中,该用户操作可以包括一个或多个操作。例如,该用户操作(该用户操作可以为本申请中的第一操作)可以包括:将freeform小窗拖至指定区域的操作,该操作可以是触屏手势操作,也可以为隔空手势操作。需要说明的是,将freeform小窗拖至指定区域的操作与上述在多任务界面中将应用窗口拖至指定区域的操作类似,此处不再详细赘述。另外,对于指定区域的解释以及判断freeform小窗是否被拖至指定区域的实现,与前述实施例中,对指定区域的解释及判断应用窗口是否被拖至指定区域的描述类似,此处也不再详细赘述。或者,该用户操作也可以为对freeform小窗中的小窗按钮的操作(如点击操作)。该小窗按钮用于触发将该freeform小窗中应用窗口包括的关键元素以动态小窗的形式显示在手机显示屏上。其中,触发手机以freeform小窗的形式显示应用窗口的具体实现可以参照图4所示示例的实现。
需要说明的是,上述触屏手势操作可以是用户用手进行的,也可以是使用触控笔进行的,本实施例在此不做限制。另本实施例中所述的按下,也可以描述为按住,是指用户按下未抬起手指(或使用触控笔按住屏幕未抬起)的操作。
示例性的,结合图9,以应用窗口是应用1的窗口,S701中的用户操作包括触发显示多任务界面的操作和在多任务界面中将该应用窗口的拖至指定区域的操作为例。如图9中的(a)所示,手机的显示屏上显示有应用1的应用窗口901。该应用窗口901中包 括资讯详情页,该资讯详情页中包括视频元素902。用户在想要以动态小窗的形式显示该应用窗口901中的关键元素时,可执行触发显示多任务界面的操作,如执行从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作,且在滑动后手指暂时不抬起。如图9中的(b)所示,作为对该操作的响应,手机显示多任务界面903。该多任务界面903中包括手机中在后台运行的所有应用的应用窗口(或者说是应用窗口缩略图),如包括上述应用1的应用窗口缩略图904。之后,用户通过按下应用窗口缩略图904并移动手指,可使得该应用窗口缩略图904在手机显示屏上被拖至指定区域,如手指按压点移到距离显示屏上边缘1/2的区域,且继续向上滑动手指。例如,如图9中的(c)所示,用户可使用手指对应用窗口缩略图904执行按下操作,并向上移动手指。随着用户手指的移动,手机可绘制应用窗口缩略图904随用户手指移动的动画,并在手机的显示屏上显示。在手机确定应用窗口缩略图904被拖至指定区域905后,表明用户想使用手机的动态小窗功能,则可执行以下S702-S703。或者,如图9中的(b)所示,手机显示多任务界面903。如果应用窗口支持动态小窗功能,则多任务界面903中还可包括与应用窗口对应的小窗按钮,如,应用1的应用窗口901支持动态小窗功能,如图9中的(b)所示,多任务界面903中还包括与应用1的应用窗口缩略图904对应的按钮906。如果手机接收到用户对按钮906的操作,如点击操作,表明用户想使用手机的动态小窗功能,则可执行以下S702-S703。
又示例性的,结合图10A,以应用窗口是导航应用的应用窗口,S701中的用户操作为对通知消息的选择操作为例。如图10A中(a)的所示,手机的显示屏上显示导航应用的应用窗口1001。该应用窗口1001中包括导航详情页。在用户使用该导航应用导航的过程中,手机接收到了通知消息,如图10A中的(b)所示,手机显示该通知消息的提示信息1002。在用户想要查看该通知消息时,可对该提示信息1002进行点击操作。可以理解的是,在用户对提示信息1002进行点击操作后,手机将会显示该提示信息1002对应的详情界面。因此,手机接收到该点击操作后,还可执行以下S702-S703,即可触发手机将应用窗口1001中导航详情页的关键元素以动态小窗的形式显示在手机显示屏上,供用户继续查看。结合图10B,以应用窗口是视频应用的应用窗口,S701中的用户操作为对通知消息的选择操作为例。如图10B中(a)的所示,手机的显示屏上显示视频应用的应用窗口1001'。该应用窗口1001'中包括视频详情页。手机接收到了通知消息,如图10B中的(b)所示,手机显示该通知消息的提示信息1002'。在用户想要查看该通知消息时,可对该提示信息1002'进行点击操作。可以理解的是,在用户对提示信息1002'进行点击操作后,手机将会显示该提示信息1002'对应的详情界面。因此,手机接收到该点击操作后,还可执行以下S702-S703,即可触发手机将应用窗口1001'中视频详情页的关键元素以动态小窗的形式显示在手机显示屏上,供用户继续查看。
再示例性的,结合图11,以应用窗口是即时通信应用的应用窗口,S701中的用户操作为将手机该即时通信应用切换至后台的操作为例。如图11所示,手机的显示屏上显示有即时通信应用的应用窗口1101。该应用窗口1101中包括聊天详情页。用户在想要以动态小窗的形式显示该应用窗口1101中的关键元素时,可执行将该即时通信应用切换至后台的操作,如执行从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作。手机接收到该操作后,可执行以下S702-S703。
S702、响应于S701中的用户操作,手机获取小窗数据。
其中,手机在接收到S701中的用户操作后,表明用户想要将手机当前显示应用窗口 中界面的关键元素以动态小窗的形式进行显示。手机可获取小窗数据。
该小窗数据可以包括:应用的标识。该小窗数据还可以包括:应用窗口中界面的标识,和/或,应用窗口中应用的界面,如可以是应用窗口的截图(或者说应用窗口中应用的界面截图)。其中,该应用的标识可以是应用的包名。界面的标识可以是界面的活动(Activity)名。
示例性的,结合图6,以小窗数据包括应用的包名,应用窗口中界面的标识,应用窗口中应用的界面为例,在接收到S701中的用户操作后,可由手机应用层的拖拽服务模块获取小窗数据。例如,以用户操作是触发显示多任务界面的操作和在多任务界面中将应用窗口的拖至指定区域的操作为例。手机在接收到用户在多任务界面中将应用窗口的拖拽的操作后,手机,如手机应用层的launcher可发起针对该应用窗口的拖拽。在该应用窗口被拖拽的过程中,手机应用层的launcher可进行拖拽监听,在确定该应用窗口被拖拽到指定区域后,手机应用层的launcher可以从手机activity的堆栈中获得该应用的包名和应用窗口中界面的标识,并根据该应用的包名可查找到应用窗口中应用的界面,如可以是应用窗口的截图,以获取上述小窗数据。之后,手机应用层的launcher可将获得该小窗数据发送给手机应用层的拖拽服务模块。手机应用层的拖拽服务模块便可获得该小窗数据。
需要说明的是,当S701中的用户操作为触发应用窗口拖起的操作和将拖起的应用窗口拖至指定区域的操作,或者用户操作为将手机当前开启的应用切换至后台的操作,或者用户操作为对通知消息的选择操作时,手机获取小窗数据的具体实现与用户操作是触发显示多任务界面的操作和在多任务界面中将应用窗口的拖至指定区域的操作时手机获取小窗数据的具体实现的类似,此处不再详细赘述。当用户操作为在应用窗口内切换到其他页面的操作,或在应用窗口的当前页面上的滑动操作时,手机获取小窗数据的具体实现可以是,在接收到用户操作后,可由该应用窗口的应用获取小窗数据,之后,将获取到的小窗数据发送给手机应用层的拖拽服务模块。
另外,在一些实施例中,在S701中的用户操作包括对应用窗口的拖拽操作时,用户拖拽该应用窗口的意图可能是触发动态小窗的生成,也可能是触发跨设备的拖拽。结合上述描述可知,小窗数据是手机应用层的launcher上报给应用层的拖拽服务模块,由该拖拽服务模块处理的。为了使得拖拽服务模块可区分用户操作是用于触发显示动态小窗,还是用于触发跨设备拖拽的,上述小窗数据中还可以包括对象类型。其中,该对象类型与跨设备拖拽时拖拽服务模块获得的数据中的对象类型不同,该对象类型可用于指示触发显示动态小窗。如,该对象类型可以为动态窗口(livewindow)。其中,作为一种示例,为了统一小窗数据的结构,在本实施例中,对于S701中各种实现方式的用户操作而言,在用户想要触发显示动态小窗,执行对应用户操作后,手机应用层的拖拽服务模块获得的小窗数据中可均包括该对象类型。
继续结合图6,在手机应用层的拖拽服务模块获得小窗数据后,可判断该小窗数据中的对象类型是否为livewindow,以确定是否触发显示动态小窗。在确定小窗数据中的对象类型为livewindow后,手机应用层的拖拽服务模块可将该小窗数据传输给手机应用层的动态小窗控制器。在其他一些实施例中,图6所示的软件架构中,也可以不包括拖拽服务模块,在该实施例中,在接收到S701中的用户操作后,可由手机应用层的launcher或应用获取小窗数据,并直接将该小窗数据传输给手机应用层的动态小窗控制器。
以上实施例是以在手机接收到S701中的用户操作后,便获取小窗数据为例进行说明 的。在其他一些实施例中,手机在接收到S701中的用户操作后,可先判断当前显示的应用窗口是否支持动态小窗的显示。如果支持动态小窗的显示,则执行S702,如果不支持动态小窗的显示,手机可不执行S702,手机可显示提示信息,提示用户该应用窗口不支持动态小窗的显示。
其中,在一些实现方式中,判断应用窗口是否支持动态小窗显示的具体实现可以是:手机中可存储有白名单,该白名单中包括支持动态小窗显示的应用的标识。在接收到S701中的用户操作后,手机可判断与该应用窗口对应的应用的标识是否包含在该白名单中。当该应用的标识包含在白名单中时,手机可确定该应用窗口支持动态小窗的显示。如果该应用的标识未包含在白名单中,则手机可确定该应用窗口不支持动态小窗的显示。在其他一些实现方式中,判断应用窗口是否支持动态小窗显示的具体实现可以是:在接收到S701中的用户操作后,手机可判断该应用窗口中应用的界面是否包含视频组件。如果应用窗口中应用的界面包含视频组件,则可确定该应用窗口支持动态小窗的显示。如果应用窗口中应用的界面未包含视频组件,则可确定该应用窗口不支持动态小窗的显示。在另外一些实现方式中,判断应用窗口是否支持动态小窗显示的具体实现可以是:手机中预先存储有支持动态小窗显示的应用类型。在接收到S701中的用户操作后,手机可判断与该应用窗口对应的应用的类型是否是支持动态小窗显示的应用类型。当该应用的类型是支持动态小窗显示的应用类型时,手机可确定该应用窗口支持动态小窗的显示。如果该应用的类型不是支持动态小窗显示的应用类型,则手机可确定该应用窗口不支持动态小窗的显示。
S703、手机根据小窗数据,显示动态小窗。
在手机获取到小窗数据后,可根据小窗数据在手机显示屏上显示动态小窗。其中,动态小窗可以包括以下一种或多种类型的元素:展示类元素、操控类元素。展示类元素可以包括以下一种或多种:图片、视频、文本、图标、横幅(banner)。操控类元素可以包括以下一种或多种:按钮、进度滑块、工具栏。也就是说,动态小窗可以包括以下一种或多种元素:图片、视频、文本、图标、banner、按钮、进度滑块、工具栏等。
示例性的,动态小窗中包括的元素可以是接收S701的用户操作前,手机显示的应用窗口中界面的部分元素。为了便于描述,可将动态小窗中包括的元素称为小窗元素。
作为一种示例,手机可根据小窗数据包括的应用的标识,从该标识对应的应用窗口中提取出小窗元素。或者,手机可根据小窗数据包括的应用的标识和界面的标识,从对应的应用窗口的界面中提取出小窗元素。其中,本申请实施例中的第一标识可以为应用的标识,或者第一标识可以包括应用的标识和界面的标识。
在一种可能的实现方式中,小窗元素可以是预定义的。即可预先定义哪些元素为小窗元素。其中,不同应用对应的小窗元素可以相同,也可以不同。同一个应用的不同界面对应的小窗元素可以相同,也可以不同。
如,可由应用开发人员预先定义应用中哪些元素为小窗元素,并将对应的配置文件存储在手机中。以不同应用对应的小窗元素不同为例,可将应用的标识与配置文件对应存储在手机中。应用的标识可以为应用的包名。如表1所示,配置文件1与应用1的包名1对应存储,配置文件2与应用2的包名2对应存储等。
表1
应用的标识 配置文件
包名1 配置文件1
包名2 配置文件2
又如,可由开发人员预先定义应用的不同界面中哪些元素为小窗元素,并将对应的配置文件配置在手机中。以同一个应用不同界面对应的小窗元素不同为例,可将应用的标识,界面的标识与配置文件三者对应存储在手机中。应用的标识可以为应用的包名。界面的标识可以是界面的活动(Activity)名。如表2所示,配置文件a与应用a的包名a,界面1的标识(如,Activity名1)对应存储;配置文件b与应用a的包名a,界面2的标识(如,Activity名2)对应存储;配置文件c与应用b的包名b,界面3的标识(如,Activity名3)对应存储;配置文件d与应用b的包名b,界面4的标识(如,Activity名4)对应存储;配置文件e与应用b的包名b,界面5的标识(如,Activity名5)对应存储等。
表2
Figure PCTCN2021117120-appb-000014
其中,上述配置文件中可以包括需在动态小窗中显示的元素的标识。其中,该元素的标识可以包括元素的ID(如,view ID),元素的类名(如,view class)和排序序列号(如,view index)等中的一个或多个。另,由S702的描述可知,小窗数据中包括应用的标识,该应用的标识所指示的应用与用户执行S701的用户操作前,手机显示的应用窗口对应。这样,基于表1(或表2),手机可先根据小窗数据中包括的应用的标识(或,应用的标识和应用窗口中界面的标识)查找对应配置文件。然后,手机根据查找到的配置文件中包括的元素的标识,可从该应用窗口的界面中提取出小窗元素。
示例性的,以配置文件与应用的标识对应存储在手机中为例。结合图6及S702中的描述,手机根据小窗数据中包括的应用的标识查找对应配置文件,根据配置文件中元素的标识,从应用窗口的界面中提取小窗元素的具体实现可以是:手机应用层的动态小窗控制器接收到来自手机应用层的拖拽服务模块的小窗数据后,可根据小窗数据中包括的应用的标识查找到对应配置文件。手机的动态小窗控制器还可启动虚拟显示(VirtualDisplay,或者称为虚拟屏)。如,手机的动态小窗控制器向手机的显示管理器发送创建VirtualDisplay的请求,手机的显示管理器完成VirtualDisplay的创建后,可将创建的VirtualDisplay的标识(identify,ID)返回给手机的动态小窗控制器。之后,手机的动态小窗控制器可将VirtualDisplay的ID和小窗数据中应用的包名传输给手机框架层的窗口管理器。手机的窗口管理器根据VirtualDisplay的ID和应用的包名,可将该包名所指示应用的应用窗口移到VirtualDisplay上绘制。如,手机的窗口管理器可根据包名,查找到包名所指示应用的堆栈标识(stackId),然后根据该stackId和VirtualDisplay的ID,便可将对应堆栈移动到虚拟显示上绘制。之后,手机的动态小窗控制器根据查找到的配置文件中包括的元素的标识,从VirtualDisplay上绘制的应用窗 口中,便可提取出小窗元素。
例如,结合图12,以用户执行S701的用户操作前,手机显示的应用窗口1201,应用开发人员预定义了应用窗口1201中元素3,元素4和元素5为小窗元素,且对应配置文件存储在了手机中为例。小窗数据中包括该应用窗口1201对应应用的包名。手机的动态小窗控制器接收到小窗数据后,可根据小窗数据中包括的应用的包名查找到对应配置文件,其中,该配置文件包括元素3的标识,元素4的标识和元素5的标识。手机的动态小窗控制器还可启动VirtualDisplay,并将VirtualDisplay的ID和小窗数据中应用的包名传输给手机的窗口管理器。以VirtualDisplay的ID和应用的包名为依据,手机的窗口管理器可在VirtualDisplay上绘制出应用窗口1201。其中,在VirtualDisplay上绘制出应用窗口1201包括元素1、元素2、…、和元素10。手机的动态小窗控制器根据查找到的配置文件中包括的元素3的标识,元素4的标识和元素5的标识,便可从VirtualDisplay上绘制的应用窗口1201中提取出该元素3,元素4和元素5。提取出的元素3,元素4和元素5将以动态小窗的形式显示在手机的显示屏上。
在另一种可能的实现方式中,小窗元素可以是系统推荐的。即可由系统推荐哪些元素为小窗元素。其中,不同类型的应用对应的小窗元素可以相同,也可以不同。如,以不同类型应用对应的小窗元素不同为例。手机中可预先存储有与不同类型的应用对应的推荐模型。应用类型可以包括以下类型中的一种或多种:音乐类、视频类、导航类、电商类、即时通讯(instant messaging,IM)类等。如表3所示,推荐模型1与音乐类对应,推荐模型2与视频类对应,推荐模型3与导航类对应,推荐模型4与电商类对应,推荐模型5与即时通信类对应等。
表3
应用类型 推荐模型
音乐类 推荐模型1
视频类 推荐模型2
导航类 推荐模型3
电商类 推荐模型4
即时通信类 推荐模型5
基于表3,手机可先根据小窗数据中包括的应用的标识,确定该应用的类型。然后,查找该应用的类型对应推荐模型。之后,手机根据查找到的推荐模型,可从应用窗口的界面中提取出小窗元素。
可以理解的是,手机根据配置文件或推荐模型可从应用窗口的界面中提取出一个或多个小窗元素。之后,手机可将提取出的这一个或多个小窗元素以动态小窗的形式显示在手机显示屏上。
示例性的,手机可根据预先配置的布局文件在动态小窗中显示各小窗元素。该布局文件中包括各小窗元素绘制区域的配置(如,包括元素的标识,位置及样式等配置),各小窗元素的绘制区域不重叠,或部分重叠。另外,该布局文件中各小窗元素的绘制区域可与对应小窗元素在原界面中的区域不对应,也就是说,通过该布局文件,可实现小窗元素的重新布局。
其中,上述布局文件可以是应用的开发人员定义的,即小窗元素的布局由应用的开发人员自定义。对应上述提取小窗元素的描述,当不同应用对应的小窗元素相同时,不 同应用对应的布局文件可以相同,也可以不同。当不同应用对应的小窗元素不同时,不同应用对应的布局文件是不同的。在不同应用对应的布局文件不同的情况下,可将应用的标识(如包名)与布局文件对应存储在手机中。当同一应用的不同界面对应不同的小窗元素时,不同界面也可以对应不同的布局文件。在同一应用的不同界面对应不同部件文件的情况下,可将应用的标识,界面的标识与布局文件对应存储在手机中。
上述布局文件也可以无需应用的开发人员定义,由系统开发人员定义,即小窗元素的布局由系统推荐。对应上述提取小窗元素的描述,当不同类型的应用对应的小窗元素相同时,不同应用类型对应的布局文件可以相同,也可以不同。当不同类型的应用对应的小窗元素不同时,不同应用类型对应的布局文件是不同的。在不同类型的应用对应的布局文件不同的情况下,可将应用类型与布局文件对应存储在手机中。
基于上述描述,手机可根据应用窗口对应应用的标识(或,应用的标识和界面的标识,或应用的类型)获取对应的布局文件,用于实现提取的小窗元素在动态小窗中的布局。示例性的,以布局文件与应用的标识对应存储在手机中为例。结合图6及上述提取小窗元素的描述,可由手机应用层的动态小窗控制器根据小窗数据中的应用的标识,查找对应的布局文件,并以查找到的布局文件为依据,对提取到的小窗元素进行布局。例如,结合图12所示示例,手机的动态小窗控制器根据查找到的布局文件,将提取出的元素3,元素4和元素5进行重新布局后的结果可如图13中的(a)所示。
需要说明的是,在本实施例中,同一应用(或应用的同一界面,或同一类型的应用)对应的布局文件可以有一个,也可以有多个,本实施例对此不做具体限制。以不同应用对应不同布局文件为例,可以理解的是,针对相同的小窗元素,手机以不同布局文件为依据进行重新布局后的显示效果不同。例如,结合图12和图13,以该应用对应的布局文件有3个为例,则手机提取出元素3,元素4和元素5后,以这三个不同的布局文件进行重新布局后的结果可分别如图13中的(a)、图13中的(b)及图13中的(c)所示。当同一应用(或应用的同一界面,或同一类型的应用)对应的布局文件有多个时,手机可从这多个布局文件中选择任意一个布局文件,对提取到的小窗元素进行重布局;或者,可由系统开发人员提供多种布局文件,由应用开发人员从多种布局文件中选定一个布局文件,这样手机可根据应用开发人员的指定,从这多个布局文件中选择对应布局文件,对提取到的小窗元素进行重布局。另外,本实施例中,手机以布局文件为依据对提取到的小窗元素进行重布局可以是调用系统提供的布局能力来实现的。如系统可提供二次布局能力(也可以称为RIO能力),DUP能力和推荐布局能力等一个或多个布局能力。在提取出小窗元素后,手机可根据对应布局文件,并调用系统提供的布局能力来实现对小窗元素的重新布局。其中,DUP能力也可用于实现小窗元素的提取,如手机以对应配置文件(如可称为DUP配置文件)为依据,可调用系统的DUP能力实现小窗元素的提取。类似的,同一应用(或应用的同一界面,或同一类型的应用)对应的配置文件(或推荐模型)也可以有一个或多个。针对同一应用(或应用的同一界面,或同一类型的应用),手机以不同配置文件(或推荐模型)为依据提取的小窗元素不同。当同一应用(或应用的同一界面,或同一类型的应用)对应的配置文件(或推荐模型)有多个时,手机可从这多个配置文件(或推荐模型)中选择任意一个,用于提取小窗元素;或者,可由系统开发人员提供多种配置文件(或推荐模型),由应用开发人员从多种配置文件(或推荐模型)中选定一个配置文件(或推荐模型),用于提取小窗元素。
需要说明的是,在针对任何应用,动态小窗中的小窗元素仅包括某一种或多种预定 元素,如小窗元素仅包括视频元素的情况下,在本实施例中可以不存储(或者说不需要)上述配置文件/推荐模型,也可不存储上述布局文件。在这种情况下,手机在获取到小窗数据后,可直接识别应用窗口中的预定元素,如视频元素,然后按照默认的布局方式进行重新布局。也就是说,小窗元素是预定的,布局也是预定的。
在将获取到的小窗元素重新布局后,手机可以动态小窗的形式在手机的显示屏上显示重新布局后的小窗元素。
其中,如前述实施例的描述,动态小窗是悬浮显示在显示屏上的小窗口。可以理解的是,手机的显示屏可以被横向或竖向划分为多个栅格,例如,4栅格,8栅格,12栅格等。在本实施例中,可以手机显示屏被划分的栅格为基准来设置小窗口或者说动态小窗的大小。如可由系统开发人员或应用开发人员根据需求以栅格为基准来设置动态小窗的大小。
例如,结合图14-图16,以横板的动态小窗的宽高比例为16:10,竖版的动态小窗的宽高比例为10:16为例,分别示出了手机的显示屏被竖向划分为4栅格,8栅格和12栅格时,横版的动态小窗和竖版的动态小窗的显示效果。
其中,结合图14,如图14中的(a)所示,对于横版的动态小窗,系统开发人员或应用开发人员可设置动态小窗的宽为2栅格,根据横版的动态小窗的宽高比例16:10,手机可以手机显示屏被划分的4栅格为基准,在手机显示屏上显示宽2栅格的动态小窗1401。对于竖版的动态小窗,系统开发人员或应用开发人员可设置动态小窗的高为2栅格,根据竖版的动态小窗的宽高比例10:16,手机可以手机显示屏被划分的4栅格为基准,在手机显示屏上显示高2栅格的动态小窗1402。
类似的,结合图15,如图15中的(a)所示,对于横版的动态小窗,系统开发人员或应用开发人员可设置动态小窗的宽为3栅格,根据横版的动态小窗的宽高比例16:10,手机可以手机显示屏被划分的8栅格为基准,在手机显示屏上显示宽3栅格的动态小窗1501。对于竖版的动态小窗,系统开发人员或应用开发人员可设置动态小窗的高为3栅格,根据竖版的动态小窗的宽高比例10:16,手机可以手机显示屏被划分的8栅格为基准,在手机显示屏上显示高3栅格的动态小窗1502。
结合图16,如图16中的(a)所示,对于横版的动态小窗,系统开发人员或应用开发人员可设置动态小窗的宽为3栅格,根据横版的动态小窗的宽高比例16:10,手机可以手机显示屏被划分的12栅格为基准,在手机显示屏上显示宽3栅格的动态小窗1601。对于竖版的动态小窗,系统开发人员或应用开发人员可设置动态小窗的高为3栅格,根据竖版的动态小窗的宽高比例10:16,手机可以手机显示屏被划分的12栅格为基准,在手机显示屏上显示高3栅格的动态小窗1602。
另外,在本实施例中,动态小窗在显示屏上的显示位置可以是显示屏上的任意位置。作为一种示例,可以预先定义(或者说由系统设定)动态小窗的显示位置。例如,如图17所示,可预先定义动态小窗的显示位置为距离显示屏右边缘预定距离1,且距离显示屏上边缘预定距离2的位置。该预定距离1和预定距离2也是可以预先定义的,如预定距离1为手机显示屏宽度的N分之一,预定距离2为手机显示屏长度的M分之一。这样,根据预先定义的显示位置及大小,手机可手机显示屏上显示动态小窗1701。如显示效果如图17所示,即动态小窗1701可自动吸附至手机显示屏的边缘。
其中,在上述描述中,对于横版的动态小窗和竖版的动态小窗,手机可根据布局完成后所有小窗元素构成区域的尺寸自动推荐是显示横版的动态小窗,还是竖版的动态小 窗。如,布局完成后所有小窗元素构成区域的尺寸(如宽比高)大于或等于1:1,则手机可推荐横版的动态小窗来显示重新布局后的小窗元素。布局完成后所有小窗元素构成区域的尺寸(如宽比高)小于1:1,则手机可推荐竖版的动态小窗来显示重新布局后的小窗元素。以小窗元素仅包括视频元素为例,如果视频元素的尺寸(如宽比高)大于或等于1:1,则手机可推荐横版的动态小窗来显示该视频元素。如果视频元素的尺寸(如宽比高)小于1:1,则手机可推荐竖版的动态小窗来显示该视频元素。另外,对于小窗元素是视频元素的场景,考虑到视频元素中视频的尺寸大部分为16:9或16:10,但也存在一些其他尺寸的视频,因此,为了将动态小窗的尺寸保持统一,可考虑将视频进行部分裁剪,以确保动态小窗中播放的视频不留黑边。如,视频尺寸(如宽比高)大于或等于1:1,且小于或等于16:10时,可使得视频宽度与动态小窗的宽度保持一致,对视频进行上下裁剪。视频尺寸(如宽比高)大于16:10时,可使得视频高度与动态小窗的高度保持一致,对视频进行左右裁剪。视频尺寸(如宽比高)大于或等于10:16,且小于1:1时,可使得视频高度与动态小窗的高度保持一致,对视频进行左右裁剪。视频尺寸(如宽比高)小于10:16时,可使得视频宽度与动态小窗的宽度保持一致,对视频进行上下裁剪。
需要说明的是,以上示例中横版的动态小窗可以是指宽比高数值大的动态小窗,竖版的动态小窗可以是指宽比高数值小的动态小窗。另,本实施例中,以上是以横版的动态小窗的宽高比例为16:10为例进行说明的,横版的动态小窗的宽高比例也可以是其他比例,如16:9,4:3等。类似的,竖版的动态小窗的宽高比例也可以是其他比例,如9:16,3:4等。本实施例在此,对横版及竖版的动态小窗的宽高比例不做具体限制。
以下结合图6,及图9-图11所示示例,对上述S702-S703进行举例说明。
例如,结合图6和图9所示示例,以由应用1的开发人员预先定义应用1中视频元素为小窗元素,对应的配置文件与应用1的包名对应存储在手机中,且预先定义了该视频元素的绘制区域的配置,对应布局文件也与应用1的包名存储在手机中为例。如图18所示,在用户打开应用1后,手机可启动应用1,并在显示屏上显示应用1的应用窗口。用户拖拽应用1的应用窗口,如,图9中所示用户在多任务界面中按下应用1的应用窗口缩略图904并移动手指,以触发小窗拖拽业务。在应用窗口被拖拽的过程中,手机应用层的launcher可进行拖拽监听,以判断其是否被拖至指定区域。在确定其被拖至指定区域后,可触发手机的动态小窗功能,即执行以下过程:
手机的launcher获取小窗数据,并将小窗数据发送给手机应用层的拖拽服务模块。如launcher将小窗数据携带在拖拽事件(DragEvent)中发送给拖拽服务模块。其中,该小窗数据中包括应用1的标识(如包名),对象类型(具体为livewindow)及应用窗口中应用的界面(如可以为图9中的应用窗口缩略图904)。
手机的拖拽服务模块根据小窗数据中的对象类型(livewindow)可确定拖拽应用窗口的用户操作用于触发显示动态小窗。之后,手机的拖拽服务模块可将小窗数据发送给手机应用层的动态小窗控制器,以使其进行动态小窗业务的处理逻辑。
如,手机的动态小窗控制器可根据小窗数据中包括的应用1的包名查找该应用1对应的配置文件。该配置文件中包括该应用1中需在动态小窗中显示的元素的标识,如包括视频元素的标识。手机的动态小窗控制器还可根据小窗数据中包括的应用1的包名查找该应用1对应的布局文件。该布局文件中包括视频元素的标识及位置等配置。
手机的动态小窗控制器还可启动虚拟屏,并传递虚拟屏的ID和小窗数据中应用1的 包名给手机框架层的窗口管理器。手机的窗口管理器根据虚拟屏的ID和应用1的包名,可将该包名1所指示应用1的应用窗口移到虚拟屏上绘制。手机的动态小窗控制器还可生成小窗阴影(shadow),并添加该shadow至手机的主屏,该shadow是根据小窗数据中应用的界面,如图9中的应用窗口缩略图904生成的。
之后,手机的动态小窗控制器根据查找的配置文件中包括的视频元素的标识,可从虚拟屏上绘制的应用窗口中提取出小窗元素,如小窗元素为图9中的视频元素902。如,手机的动态小窗控制器可根据视频元素的标识,确定应用窗口中视频元素902的层名称(layer name)和显示名称(display name),根据该层名称和显示名称,可从虚拟屏上绘制的应用窗口中提取出视频元素902。在提取出小窗元素,如视频元素902后,手机的动态小窗控制器可根据查找的布局文件对提取出的小窗元素进行重新布局。
布局完成后,手机的动态小窗控制器将重布局后的小窗元素映射到主屏的shadow上。这样,在用户停止对应用窗口的拖拽,如在图9中的(c)所示示例中的松开手指后,如图19中的(a)所示,手机可显示桌面1901,并在桌面1901上显示动态小窗1902。如,该动态小窗1902中包括视频元素。在该视频元素中可继续播放图9中的(a)所示视频元素902中的视频,供用户继续查看。之后,用户在桌面中切换子屏幕,或打开手机中的其他应用,该动态小窗1902可继续悬浮显示在手机的显示屏上。其中,上述子屏幕是指桌面被划分的页面。
需要说明的是,以图9及图18-图19所示示例是以资讯详情页中的视频以动态小窗的形式显示在手机显示屏上为例进行说明的。可以理解的是,资讯详情页是一种超文本标记语言(hypertext markup language,HTML)网页。即对于HTML网页(如,
Figure PCTCN2021117120-appb-000015
公众号中的资讯,
Figure PCTCN2021117120-appb-000016
中的资讯等)中的视频,用户可通过执行S701中所述的用户操作,触发手机以动态小窗的形式显示该视频。可以说是动态小窗中的视频源来自于HTML网页。在本实施例中,动态小窗中的视频源也可以是其他来源,如平面视图(surfaceView),如,
Figure PCTCN2021117120-appb-000017
等三方应用内的surfaceView(如图10B所示示例),又如结构视图(textureView),如,
Figure PCTCN2021117120-appb-000018
等三方应用内的textureView等。也就是说,包含视频元素(如,surfaceView,textureView等)的任何界面,只要用户执行了触发显示动态小窗的操作,采用本实施例的方法便可从对应界面中提取出视频元素,以实现视频元素中视频在动态小窗中的继续播放。其具体实现与上述图18所示示例中的实现类似,此处不在详细赘述。在图18所示的实施例中,小窗元素可以是系统推荐的,小窗元素的布局也可以是系统推荐的,本实施例在此不做具体限制。
在用户拖拽应用窗口触发显示动态小窗的场景中,本实施例提供动态小窗的显示动效。例如,结合图20A,如图20A中的(a)所示,用户按下应用窗口2001,并移动手指。随着用户手指的移动,应用窗口2001可向手机显示屏内(或向手机显示屏外)翻转并更新显示在手机显示屏上。更新后的应用窗口如图20A中的(b)中的2002,及图20A中的(c)中的2003所示。并且随着用户手指的移动,应用窗口的透明度从0逐渐变为100,即从不透明变为透明。如,应用窗口2001的透明度为0,随着用户手指的移动,透明度逐渐增加,直到更新后的应用窗口的透明度为100。这样,以给用户该应用窗口2001边翻转边变小,直至消失的视觉效果。另外,如上述实施例中的描述,手机会映射shadow到主屏,以便该shadow显示在手机显示屏上。如在该示例中,shadow可以是裁剪出来的应用窗口中小窗元素所在区域(如图9中视频元素所在区域)的图片。配合上述应用窗口的动效,随着用户手指的移动,手机显示屏上显示的shadow的透明度从100逐渐变 为0,即从透明变为不透明,以给用户shadow从无到有,且逐渐清晰的视觉效果。这样两个动效配合,在应用窗口的透明度为100,shadow的透明度变为0后,显示效果可如图20A中的(d)所示,手机显示shadow 2004。由于最终显示的动态小窗中的内容与shadow 2004的内容相同,因此,可给用户以从应用窗口以上述动效逐渐变为动态小窗的效果。最后,在用户松开手指后,如图20A中的(e)所示,手机可在手机显示屏上显示动态小窗2005。以上示例是以翻转应用窗口为例进行说明的,也可以随着用户手指的移动对应用窗口进行裁剪,如可以从应用窗口下边缘开始向上边缘裁剪,又如可以剪裁出小窗元素所在区域。这样,配合其透明度的改变及shadow的透明度的改变,也可以给用户呈现出从应用窗口逐渐变为动态小窗的动效。另外,在呈现如图20A中的(d)所示的效果后,如果用户不松开手指,而是向指向显示屏下边缘的方向滑动手指,可重新全屏显示应用窗口。当然,shadow中的内容也可以与动态小窗的内容不同。
例如,结合图20B,可以应用窗口淡出,动态小窗淡入效果的呈现从应用窗口逐渐切换为动态小窗的动效。如图20B中的(a)所示,用户按下应用窗口2006,并移动手指。随着用户手指的移动,应用窗口2006的透明度从0逐渐变为100,即从不透明变为透明。如,图20B中的(a)所示应用窗口2006的透明度为0,随着用户手指的移动,应用窗口2006的透明度增加,如在手指移动过程中,应用窗口2006变为图20B中的(b)所示的应用窗口2007,直到透明度变为100。另外,手机映射到主屏的shadow,随着用户手指的移动,透明度从100逐渐变为0,即从透明变为不透明。如,shadow刚开始的透明度为100,在用户手指移动的过程中,shadow的透明度减小,如手机显示图20B中的(c)所示的shadow 2008。用户手指继续移动,shadow的透明度变为0,如手机显示图20B中的(d)所示的shadow 2009。这样两个动效配合,给用户呈现应用窗口淡出,动态小窗淡入效果的效果,即给用户以从应用窗口以上述动效逐渐变为动态小窗的效果。最后,在用户松开手指后,如图20B中的(e)所示,手机可在手机显示屏上显示动态小窗2010。这种动效视觉上较为简约。
又例如,针对导航类应用,小窗元素可以是系统推荐的,小窗元素的布局也可以是系统推荐的。如,结合图6和图10A所示示例,以导航类应用的推荐模型与应用类型对应存储在手机中,且布局文件也与应用类型对应存储在手机中为例。在用户打开导航应用后,手机可启动该导航应用,并在显示屏上显示导航应用的应用窗口。之后,用户可使用该导航应用进行导航。在使用导航应用进行导航的过程中,如手机接收到了通知消息,在用户对通知消息进行点击操作后,可触发手机的动态小窗功能,即执行以下过程:
手机的导航应用获取小窗数据,并将小窗数据发送给手机应用层的拖拽服务模块。其中,该小窗数据中包括导航应用的标识(如包名),对象类型(具体为livewindow)及应用窗口中应用的界面(如可以为图10A中的应用窗口1001的截图)。
手机的拖拽服务模块根据小窗数据中的对象类型(livewindow)可确定点击通知消息的用户操作用于触发显示动态小窗。之后,手机的拖拽服务模块可将小窗数据发送给手机应用层的动态小窗控制器,以使其进行动态小窗业务的处理逻辑。
如,手机的动态小窗控制器可根据小窗数据中包括的导航应用的包名,确定该应用的应用类型为导航类,基于此可查找到导航类应用对应的推荐模型。该推荐模块用于识别导航应用中元素,如导航方向,距离和道路指示为小窗元素。手机的动态小窗控制器还可根据确定的应用类型查找到导航类应用对应的布局文件。该布局文件中包括导航类应用的小窗元素的布局配置。
手机的动态小窗控制器还可启动虚拟屏,并传递虚拟屏的ID和小窗数据中导航应用的包名给手机框架层的窗口管理器。手机的窗口管理器根据虚拟屏的ID和导航应用的包名,可将该导航应用的应用窗口移到虚拟屏上绘制。手机的动态小窗控制器还可生成小窗shadow,并添加该shadow至手机的主屏,该shadow是根据小窗数据中应用的界面,如图10A中的应用窗口1001的截图生成的。
之后,手机的动态小窗控制器根据推荐模型,可从虚拟屏上绘制的应用窗口中提取出小窗元素,如小窗元素为图10A中的导航方向1003,距离1004和道路指示1005。在提取出导航方向1003,距离1004和道路指示1005后,手机的动态小窗控制器可根据查找的布局文件对提取出的小窗元素进行重新布局。
布局完成后,手机的动态小窗控制器将重布局后的导航方向,距离和道路指示映射到主屏的shadow上。另外,可以理解的是,用户对通知消息点击后,手机响应于该操作还可以显示该通知消息的详情界面。这样,在用户点击通知消息,如在图10A中的(b)所示示例中的松开手指后,如图21A中的(a)所示,手机可显示该通知消息对应的详情界面2101,并在该详情界面2101上显示动态小窗2102。如,该动态小窗2102中包括导航方向,距离和道路指示,供用户继续查看导航信息。之后,用户在切换到桌面,打开手机中的其他应用,该动态小窗2102可继续悬浮显示在手机的显示屏上。可以看到的是,在导航过程中,如果导航应用的应用窗口从前台退至后台,则可以将导航应用的应用窗口中关键元素以动态小窗的形式显示在手机显示屏,供用户继续查看导航信息。
其中,需要说明的是,对于导航类应用,在动态小窗中显示的小窗元素可以包括上述导航方向,距离和道路指示。在其他一些实施例中,动态小窗中也可以不包括这些元素,或者包括导航方向,距离和道路指示中的一个或多个元素,还可以包括导航应用的其他元素,如,可以包括“导航结束”按钮等,本实施例在此并不做具体限制。另外,以上实施例是以导航应用的小窗元素是系统推荐的为例进行说明的。在其他一些实施例中,导航应用的小窗元素也可以是应用开发人员定义的,如以调用系统提供的DUP能力实现小窗元素的提取为例,手机中预先配置了对应的DUP配置文件(该DUP配置文件中包括小窗元素的DUP ID),则手机的动态小窗控制器可根据预置的DUP配置文件,从虚拟屏绘制的应用窗口中,提取指定DUP ID的元素的指令。然后,在根据查找的布局文件对提取出的元素进行重新布局后,映射到主屏的shadow上,实现指定小窗元素在动态小窗中的显示。类似的,结合图10B,如图21B所示,在手机接收到用户对通知消息点击操作后,手机可显示该通知消息对应的详情界面2101',并在该详情界面2101'上显示动态小窗2102'。如,该动态小窗2102'中包括视频元素。在该视频元素中可继续播放图10B中的(a)所示视频元素1003'中的视频,供用户继续查看。之后,用户在切换到桌面,打开手机中的其他应用,该动态小窗2102'可继续悬浮显示在手机的显示屏上。
再例如,针对即时通信、笔记、资讯等列表(list)类应用界面,小窗元素可以是系统推荐的。其中,小窗元素可以是最近的N条(如两条,三条)消息或资讯。作为一种示例,可根据消息(或资讯)的时间来识别出最近N条消息(或资讯),如时间距当前时刻最近的N条消息为最近N条消息。还可根据界面中消息(或资讯)的显示位置来识别最近N条消息(或资讯),如从界面最底部开始的N条消息为最近N条消息。小窗元素的布局也是可以是系统推荐。如,结合图6和图11所示示例,在用户打开即时通信应用后,手机可启动该即时通信应用,并在显示屏上显示即时通信应用的应用窗口,如应用窗口中包括聊天详情页,该聊天详情页中包括三条消息。用户可执行将该即时通信 应用切换至后台的操作,如执行从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作。手机在接收到该将应用切换至后台的操作后,可触发手机的动态小窗功能。具体实现可以参考显示导航类应用对应动态小窗的实现。这样,响应于用户的操作,手机的动态小窗控制器可提取出小窗元素,如聊天详情页中最近的2条消息,并进行重新布局后以动态小窗的形式显示在手机显示屏上。如,在图11所示示例中的用户从显示屏下边缘开始执行向上的滑动操作,手指离开手机显示屏后,如图22中的(a)所示,手机可显示桌面2201,并在桌面2201上显示动态小窗2202。如,该动态小窗2202中包括聊天详情页中最近的2条消息,供用户继续查看。之后,用户在桌面中切换子屏幕,或打开手机中的其他应用,该动态小窗2202可继续悬浮显示在手机的显示屏上。
手机在手机的显示屏上显示动态小窗之后,该方法还可以包括以下:S704-S706。
S704、手机接收对动态小窗的用户操作。
S705、手机显示中窗口形式的动态小窗。
如前述实施例的描述,手机在接收到S701中的用户操作后,手机可在手机的显示屏上显示动态小窗,该动态小窗是悬浮显示在显示屏上小窗口。小窗口形式的动态小窗可以为本申请实施例中的第一窗口。在本实施例中,该小窗口形式的动态小窗可供用户继续浏览不在显示屏上显示的应用窗口中的关键信息。如,结合图19中的(a)所示,用户可继续浏览资讯详情页中的视频。又如,结合图21A中的(a)所示,用户可继续浏览导航应用中的导航信息。又如,结合图21B所示,用户可继续视频详情页中的视频。又如,结合图22中的(a)所示,用户可继续即时通信应用中的消息。
在本实施例中,小窗口形式的动态小窗支持以下用户操作。如,S704中的用户操作可以为操作1,该操作1用于触发动态小窗从小窗口形式变更为中窗口形式。该操作1可以为本申请实施例中的第三操作。作为一种示例,该操作1可以是触屏手势操作,如对小窗口形式的动态小窗的单击操作,双击操作等。也就是说,当用户对小窗口形式的动态小窗执行操作1后,动态小窗由小窗口形式变更为中窗口形式显示在显示屏上。需要说明的是,该中窗口形式的动态小窗也是悬浮显示在显示屏上的,且在用户切换页面或退出应用或打开其他应用后,其可继续显示在手机显示屏上。中窗口形式的动态小窗可以为本申请实施例中的第二窗口。
其中,中窗口形式的动态小窗与小窗口形式的动态小窗所包含的小窗元素可以不同。作为一种示例,中窗口形式的动态小窗中包含的小窗元素多于小窗口形式的动态小窗包含的小窗元素。如,小窗口形式的动态小窗中仅包含了可供用户浏览的元素,中窗口形式的动态小窗中包含可供用户浏览的元素(与小窗口形式的动态小窗中的元素相同)和可供用户操作的元素。在一些实施例中,类似于显示小窗口形式的动态小窗的具体实现,中窗口形式的动态小窗也可以是手机从对应应用窗口中提取小窗元素,并进行重新布局后显示在手机显示屏上的。其中,中窗口形式的动态小窗中的小窗元素及布局方式也可以是系统推荐或应用的开发人员定义的,用于提取小窗元素的配置文件或推荐模型,以及用于重新布局小窗元素的布局文件也可以预先存储在手机中,其具体实现与小窗口形式的动态小窗中对应内容的具体实现类似,此处不再一一赘述。
例如,结合图19,以上述操作1为对小窗口形式的动态小窗的点击操作,中窗口形式的动态小窗中的小窗元素及布局方式为应用开发人员定义的,对应的配置文件和布局文件存储在手机中,应用开发人员定义该应用中视频元素,播放/暂停按钮及进度条为中窗口形式的动态小窗中的小窗元素为例。如图19中的(a)所示,手机在桌面1901上显 示小窗口形式的动态小窗1902。手机接收到用户对小窗口形式的动态小窗1902的点击操作。作为对该点击操作的响应,手机查找该应用中窗口形式的动态小窗对应的配置文件,及布局文件。其中,配置文件中包括该应用需在中窗口形式的动态小窗中显示的元素的标识,如视频元素的标识,播放/暂停按钮的标识及进度条的标识。布局文件中包括视频元素的标识及位置,播放/暂停按钮的标识的位置,进度条的标识及位置等配置。手机根据查到的配置文件,从虚拟屏上绘制的应用窗口中提取出需在中窗口形式的动态小窗中显示的小窗元素,如小窗元素为视频元素,播放/暂停按钮及进度条。并根据查找到的布局文件,对视频元素,播放/暂停按钮及进度条进行重新布局。布局完成后,手机将重布局后的小窗元素映射到主屏的shadow上。这样,如图19中的(b)所示,手机可在桌面1901上显示中窗口形式的动态小窗1903。该中窗口形式的动态小窗1903包括视频组件1904,播放/暂停按1905及进度条1906。
类似的,结合图21A,如图21A中的(a)所示,手机在通知消息对应的详情界面2101上显示小窗口形式的动态小窗2102。手机接收到用户对小窗口形式的动态小窗2102的操作1,如点击操作后,可查找该应用中窗口形式的动态小窗对应的配置文件及布局文件。之后,手机根据配置文件提取需在中窗口形式的动态小窗中显示的小窗元素,并对其进行重布局后,可映射到主屏的shadow上。这样,如图21A中的(b)所示,手机可在通知消息对应的详情界面2101上显示中窗口形式的动态小窗2103。该中窗口形式的动态小窗2103包括导航方向,距离,道路指示及结束导航按钮。结合图22,如图22中的(a)所示,手机在桌面2201上显示小窗口形式的动态小窗2202。手机接收到用户对小窗口形式的动态小窗2202的操作1,如点击操作后,如图22中的(b)所示,手机可在桌面2201上显示中窗口形式的动态小窗2203。该中窗口形式的动态小窗2203包括聊天详情页中最近的2条消息,语音按钮及输入框2204。
需要说明的是,类似于小窗口形式的动态小窗的对应描述中对布局文件的描述,同一应用(或应用的同一界面,或同一类型的应用)对应的中窗口形式的动态小窗的布局文件可以有一个,也可以有多个。类似的,中窗口形式的动态小窗对应的配置文件(或推荐模型)也可以有一个或多个。可以理解的是,针对不同的配置文件(或推荐模型),手机可提取出不同的在中窗口形式的动态小窗中显示的小窗元素。针对相同的小窗元素,手机以不同布局文件为依据进行重新布局后的显示效果也是不同的。
例如,结合图23,以某购物应用中,中窗口形式的动态小窗对应的配置文件包括配置文件a1和配置文件a2,对应的布局文件分别为布局文件b1和布局文件b2为例。其中,配置文件a1中包括商品预览的标识,商品价格的标识和商品简介的标识。配置文件a2中包括商品预览的标识,商品价格的标识,商品简介的标识,加入购物车按钮的标识和立即购买的标识。如图23中的(a)所示,手机根据配置文件a1和布局文件b1,可显示中窗口形式的动态小窗2301。如图23中的(b)所示,手机根据配置文件a2和布局文件b2,可显示中窗口形式的动态小窗2302。又例如,对于相同的小窗元素,如包括商品预览,商品价格,商品简介,加入购物车按钮和立即购买按钮。手机中包括两个不同的布局文件,如布局文件b2和布局文件b3,则如图23中的(c)所示,手机根据布局文件b3,可显示中窗口形式的动态小窗2303,可以看到的是,其与如图23中的(b)所示的动态小窗2302的布局方式不同。又例如,结合图24A,以某视频应用中,中窗口形式的动态小窗对应的配置文件有两个为例。如图24A中的(a)所示,手机根据一个配置文件和对应布局文件,可显示中窗口形式的动态小窗2401。如图24A中的(c)所示, 手机根据另一个配置文件和对应布局文件,可显示中窗口形式的动态小窗2403。又例如,对于相同的小窗元素,手机中包括两个不同的布局文件,则手机根据不同布局文件可显示如图24A中的(a)所示中窗口形式的动态小窗2401,如图24A中的(b)所示的动态小窗2402,可以看到的是,动态小窗2401与动态小窗2402的布局方式不同。
需要说明的是,当同一应用(或应用的同一界面,或同一类型的应用)对应的中窗口形式的动态小窗的布局文件有多个时,手机可从这多个布局文件中选择任意一个布局文件,对提取到的小窗元素进行重布局;或者,可由系统开发人员提供多种布局文件,由应用开发人员从多种布局文件中选定一个布局文件,这样手机可根据应用开发人员的指定,从这多个布局文件中选择对应布局文件,对提取到的小窗元素进行重布局。类似的,中窗口形式的动态小窗对应的配置文件(或推荐模型)有多个时,手机可从多个配置文件(或推荐模型)中任意选择一个,或根据应用开发人员的指定选择对应的配置文件(或推荐模型),用于进行小窗元素的提取。
另外,在一些实施例中,中窗口形式的动态小窗中除了包括小窗元素后,还可以包括关闭按钮和放大按钮。其中,关闭按钮用于关闭动态小窗,放大按钮用于放大动态小窗,即以全屏大窗口的形式显示应用窗口。例如,结合图19,如图19中的(b)所示,中窗口形式的动态小窗1903中除了包括小窗元素外,还可以包括关闭按钮1908和放大按钮1907。手机接收到用户对关闭按钮1908的操作,如点击操作后,手机可关闭该动态小窗1903,仅显示桌面1901。手机接收到用户对放大按钮1907的操作,如点击操作后,手机可显示对应应用的应用窗口,如图9中的(a)中所示的应用窗口901。中窗口形式的动态小窗还可以包括移动按钮。用户在该移动按钮处按下并移动手指,可拖动该中窗口形式的动态小窗。例如,结合图19,如图19中的(b)所示,中窗口形式的动态小窗1903中还可以包括移动按钮1909。手机接收到用户对移动按钮1909的按下并移动手指的操作后,手机在手机显示屏上移动该动态小窗1903。
在一些实施例中,在用户对小窗口形式的动态小窗进行上述操作1,使得手机在显示屏上显示中窗口形式的动态小窗后,如果用户X秒(s),如3s未操作手机,则手机可自动将中窗口形式的动态小窗切换显示为小窗口形式的动态小窗。如,结合图19,如图19中的(b)所示,手机显示中窗口形式的动态小窗1903后,如果用户3s未操作手机,则手机可显示如图19中的(a)所示的小窗口形式的动态小窗1902。或者,手机在显示屏上显示中窗口形式的动态小窗后,如果接收到用户对手机显示屏上的空白区域,即未显示任何界面元素的区域的操作,如点击操作后,手机也可将中窗口形式的动态小窗切换显示为小窗口形式的动态小窗。或者,手机在显示屏上显示中窗口形式的动态小窗后,如果接收到用户对中窗口形式的动态小窗的边缘区域(无可操作元素,如图19中的(b)中所示的虚线框区域)的操作,如点击操作或双击操作,手机也可将中窗口形式的动态小窗切换显示为小窗口形式的动态小窗。
另外,结合前述图14-图16的描述可知,在本实施例中,可以显示屏被划分的栅格为基准来设置小窗口形式的动态小窗的大小。类似的,中窗口形式的动态小窗的大小也可以显示屏被划分的栅格为基准来设置。如,可由系统开发人员或应用开发人员设置。例如,继续结合图14-图16,以横板的动态小窗的宽高比例为16:10,竖版的动态小窗的宽高比例为10:16为例,图14-图16分别示出了手机的显示屏被竖向划分为4栅格,8栅格和12栅格时,横版的中窗口形式的动态小窗和竖版的中窗口形式的动态小窗的显示效果。
可以看到的是,结合图14,如图14中的(b)所示,对于横版的中窗口形式的动态小窗,系统开发人员或应用开发人员可设置中窗口形式的动态小窗的宽为3.5栅格,根据横版的动态小窗的宽高比例16:10,手机可以手机显示屏被划分的4栅格为基准,在手机显示屏上显示宽3.5栅格的中窗口形式的动态小窗1403。对于竖版的中窗口形式的动态小窗,系统开发人员或应用开发人员可设置中窗口形式的动态小窗的高为3.5栅格,根据竖版的动态小窗的宽高比例10:16,手机可以手机显示屏被划分的4栅格为基准,在手机显示屏上显示高3.5栅格的中窗口形式的动态小窗1404。
类似的,结合图15,如图15中的(b)所示,对于横版的中窗口形式的动态小窗,系统开发人员或应用开发人员可设置中窗口形式的动态小窗的宽为5栅格,根据横版的动态小窗的宽高比例16:10,手机可以手机显示屏被划分的8栅格为基准,在手机显示屏上显示宽5栅格的中窗口形式的动态小窗1503。对于竖版的中窗口形式的动态小窗,系统开发人员或应用开发人员可设置中窗口形式的动态小窗的高为5栅格,根据竖版的动态小窗的宽高比例10:16,手机可以手机显示屏被划分的8栅格为基准,在手机显示屏上显示高5栅格的中窗口形式的动态小窗1504。
结合图16,如图16中的(b)所示,对于横版的中窗口形式的动态小窗,系统开发人员或应用开发人员可设置中窗口形式的动态小窗的宽为5栅格,根据横版的动态小窗的宽高比例16:10,手机可以手机显示屏被划分的12栅格为基准,在手机显示屏上显示宽5栅格的中窗口形式的动态小窗1603。对于竖版的中窗口形式的动态小窗,系统开发人员或应用开发人员可设置中窗口形式的动态小窗的高为5栅格,根据竖版的动态小窗的宽高比例10:16,手机可以手机显示屏被划分的12栅格为基准,在手机显示屏上显示稿3栅格的中窗口形式的动态小窗1604。
另外,在本实施例中,中窗口形式的动态小窗在显示屏上的显示位置也可以是显示屏上的任意位置。作为一种示例,可以预先定义中窗口形式的动态小窗的显示位置。例如,可预先定义中窗口形式的动态小窗的显示位置为距离显示屏右边缘预定距离3,且距离显示屏上边缘预定距离4的位置。该预定距离3和预定距离4也是可以预先定义的。这样,根据预先定义的显示位置及大小,手机可手机显示屏上显示中窗口形式的动态小窗。如根据预先定于的显示位置,中窗口形式的动态小窗可自动吸附至手机显示屏的边缘,类似于图17中小窗口形式的动态小窗1701的显示效果。
如上述实施例的描述,中窗口形式的动态小窗中可以包括可供用户操作的元素。如,图19中的(b)中所示的播放/暂停按钮1905,进度条1906。又如,图21A中的(b)中所示的结束导航按钮。又如,图22中的(b)中所示的语音按钮和输入框2204。在本实施例中,用户可对中窗口形式的动态小窗中的可操作元素进行操作,手机可根据用户的操作进行相应的响应。
作为一种示例,手机根据用户对中窗口形式的动态小窗中元素的操作,进行相应响应的具体实现可以是:手机在接收到对应的用户操作,如上述操作1,从虚拟屏上的应用窗口中提取需在中窗口形式的动态小窗中显示的小窗元素并进行重新布局后,可记录小窗元素在中窗口形式的动态小窗中的布局位置与在原应用窗口中对应元素的位置的对应关系。这样,在接收到用户对中窗口形式的动态小窗中某小窗元素的操作后,手机可根据记录的对应关系,确定该小窗元素在原应用窗口中对应位置,并将用户的操作注入原应用窗口中的该位置的元素中。之后,手机可进行相应的响应。另外,手机还可根据响应的结果,更新中窗口形式的动态小窗中对应小窗元素的状态。
例如,继续结合图19,以在从虚拟屏上的应用窗口中提取播放/暂停按钮1905并进行重新布局后,记录了播放/暂停按钮1905在动态小窗的布局位置与原应用窗口中对应的播放/暂停按钮的位置的对应关系。如图19中的(b)所示,手机接收用户对播放/暂停按钮1905的操作,如点击操作。手机根据记录的对应关系,确定播放/暂停按钮1905在原应用窗口中对应位置,并将用户的点击操作注入该位置对应的元素,即应用窗口的播放/暂停按钮上。这样,手机可暂停视频元素中视频的播放,并更新中窗口形式的动态小窗中对应视频元素的状态,即暂停视频的播放。又如,继续结合图22,以在从虚拟屏上的应用窗口中提取输入框2204并进行重新布局后,记录了输入框2204在动态小窗的布局位置与原应用窗口中对应的输入框的位置的对应关系。如图22中的(b)所示,手机接收用户对输入框2204的操作,如点击操作。手机根据记录的对应关系,确定输入框2204在原应用窗口中对应位置,并将用户的点击操作注入该位置对应的元素,即应用窗口的输入框上。这样,如图22中的(c)所示,手机可在手机的显示屏上显示输入法界面2205。手机还可更新中窗口形式的动态小窗中输入框的状态,如在输入框中显示光标。之后,用户可通过在输入法界面2205中进行操作,实现在中窗口形式的动态小窗的输入。
以上示例是以对中窗口形式的动态小窗中的可操作元素进行操作,实现对应控制为例进行说明的。在其他一些实施例中,对于中窗口形式的动态小窗中播放视频的场景,本实施例也可支持在动态小窗中进行对应的手势操作,以实现对播放视频的控制。例如,用户在动态小窗上从下向上滑动手指,手机可调高动态小窗中播放的视频的音量,在动态小窗上从上向下滑动手指,手机可调低动态小窗中播放的视频的音量。用户在动态小窗上从左向右滑动手指,手机可对动态小窗中播放的视频进行快进操作,在动态小窗上从右向左滑动手指,手机可对动态小窗中播放的视频的进行快退操作。具体的,手机在接收到对应的手势操作后,可将该手势操作注入原应用窗口中视频元素上,以便手机根据注入的手势操作进行对应响应,并将响应结果更新显示在中窗口形式的动态小窗中。
在一些实施例中,以上示例是以对小窗口形式的动态小窗进行操作1后,手机将小窗口形式的动态小窗变更显示为中窗口形式的动态小窗为例进行说明的。在其他一些实施例中,手机在接收到用户对小窗口形式的动态小窗的操作2后,手机还可在该小窗口形式的动态小窗上显示关闭按钮和放大按钮。其中,与中窗口形式的动态小窗中关闭按钮和放大按钮的作用相同,该关闭按钮用于关闭动态小窗,放大按钮用于放大动态小窗,即以全屏大窗口的形式显示应用窗口。需要说明的是,该操作2具体的是区别于操作1的操作,如操作1为点击操作,该操作2可以为双击操作。又如,操作1为双击操作,该操作2为点击操作。本实施例在此对操作1和操作2的具体实现形式不做具体限制。
需要说明的是,以上实施例是以中窗口形式的动态小窗与小窗口形式的动态小窗包含的小窗元素不同为例进行说明的。在另一些实施例中,中窗口形式的动态小窗也可以与小窗口形式的动态小窗包括的小窗元素相同,差别在于,中窗口形式的动态小窗上还包括关闭按钮,放大按钮和移动按钮中的一个或多个。另外,在中窗口形式的动态小窗中小窗元素与小窗口形式的动态小窗的小窗元素相同或不同的场景下,可在用户触发由小窗口形式显示的动态小窗切换为中窗口形式的动态小窗后的预设时间内,显示关闭按钮,放大按钮和移动按钮中的一个或多个,在预设时间后,这些按钮可隐藏,中窗口形式的动态小窗中仅显示对应小窗元素。
为了便于理解,以下结合图24B和图24C,以中窗口形式的动态小窗与小窗口形式的动态小窗中小窗元素相同为例,举例说明小窗口形式的动态小窗变为中窗口形式的动 态小窗的过程。
结合图24B,以点击小窗口形式的动态小窗,手机显示中窗口形式的动态小窗为例。如图24B中的(a)所示,手机显示桌面01,在桌面01上显示小窗口形式的动态小窗02。手机接收用户对小窗口形式的动态小窗的点击操作。响应于该点击操作,如图24B中的(b)所示,手机在桌面01上显示中窗口形式的动态小窗03。其中,该中窗口形式的动态小窗03上包括:关闭按钮06,放大按钮04和移动按钮05。该中窗口形式的动态小窗03上还包括操作提示07,用于提示用户在动态小窗03上可执行向上,向下,向左和向右的滑动操作,以实现对动态小窗03的操作。如,以动态小窗03中播放视频为例。用户在动态小窗03上向上滑动手指,手机可调高动态小窗03中播放的视频的音量,在动态小窗03上向下滑动手指,手机可调低动态小窗03中播放的视频的音量。用户在动态小窗03上向右滑动手指,手机可对动态小窗03中播放的视频进行快进操作,在动态小窗03上向左滑动手指,手机可对动态小窗03中播放的视频的进行快退操作。手机还可在该中窗口形式的动态小窗03周围显示提示信息08,如在动态小窗03外圈显示彩色(如蓝色)的描边。之后,如果用户在预设时间后,如3s无任何操作,则中窗口形式的动态小窗03上关闭按钮06,放大按钮04和移动按钮05消失不再显示,操作提示07和提示信息08也不再显示,如图24B中的(c)所示,手机在中窗口形式的动态小窗03仅播放视频。在手机在中窗口形式的动态小窗03仅播放视频后,如果用户对该中窗口形式的动态小窗03进行点击操作,则如图24B中的(d)所示,手机可重新在桌面01的中窗口形式的动态小窗03上显示关闭按钮06,放大按钮04和移动按钮05,还可重新在该中窗口形式的动态小窗03周围显示提示信息08。在手机显示图24B中的(d)所示的动态小窗03的情况下,在预设时间,如3S内未接收到用户操作,则可在中窗口形式的动态小窗03仅播放视频,如图24B中的(c)所示。在手机显示如图24B中的(d)所示的动态小窗03的情况下,手机如果接收到用户从该中窗口形式的动态小窗03的左下角,右下角或底边的向动态小窗03内的操作(该操作可以为本申请实施例中的第四操作)后,如图24B中的(a)所示,手机可重新显示小窗口形式的动态小窗02。需要说明的是,上述中窗口形式的动态小窗上包括操作提示07,可以仅在首次显示该中窗口形式的动态小窗时显示,非首次显示时,不显示该操作提示07。
结合图24C,以双击小窗口形式的动态小窗,手机显示中窗口形式的动态小窗为例。如图24C中的(a)所示,手机显示桌面09,在桌面09上显示小窗口形式的动态小窗10。手机接收用户对小窗口形式的动态小窗的双击操作。响应于该双击操作,如图24C中的(b)所示,手机在桌面09上显示中窗口形式的动态小窗11。其中,该中窗口形式的动态小窗11上包括:关闭按钮14,放大按钮12和移动按钮13。该中窗口形式的动态小窗11上还包括操作提示15,用于提示用户在动态小窗11上可执行向上,向下,向左和向右的滑动操作,以实现对动态小窗11的操作。之后,如果用户在预设时间后,如3s无任何操作,则中窗口形式的动态小窗11上关闭按钮14,放大按钮12和移动按钮13消失不再显示,操作提示15也不再显示,并如图24C中的(c)所示,手机在中窗口形式的动态小窗11上显示操作提示16,该操作提示16用于提示用户双击动态小窗11的外层,可触发手机显示小窗口形式的动态小窗,并示出了外层的所在区域。在手机显示图24C中的(c)所示的中窗口形式的动态小窗11后,如果用户在预设时间后,如3s无任何操作,则如图24C中的(d)所示,手机在中窗口形式的动态小窗11仅播放视频。在手机在中窗口形式的动态小窗11仅播放视频后,如果用户对该中窗口形式的动态小窗 11进行点击操作,则如图24C中的(e)所示,手机可重新在桌面09的中窗口形式的动态小窗11上显示关闭按钮14,放大按钮12和移动按钮13。在手机显示图24C中的(e)所示的动态小窗11的情况下,在预设时间,如3S内未接收到用户操作,则可在中窗口形式的动态小窗11仅播放视频,如图24C中的(d)所示。在手机显示如图24C中的(e)或图24C中的(d)所示的动态小窗11的情况下,手机如果接收到用户在该中窗口形式的动态小窗11的外层的双击操作(该操作可以为本申请实施例中的第四操作)后,如图24C中的(a)所示,手机可重新显示小窗口形式的动态小窗10。需要说明的是,上述中窗口形式的动态小窗上包括操作提示15,操作提示16,可以仅在首次显示该中窗口形式的动态小窗时显示,非首次显示时,不显示。
S706、手机接收拖拽动态小窗的用户操作,移动动态小窗。
在手机显示小窗口形式的动态小窗,或中窗口形式的动态小窗后,在接收到用户拖拽动态小窗的用户操作后,手机可在手机显示屏上显示动态小窗移动的动画。其中,拖拽动态小窗的用户操作可以是触屏手势操作。如该触屏手势操作可以是对动态小窗的按下并移动的操作。也就是说,用户按下动态小窗并移动手指,可将动态小窗在手机显示屏上进行拖拽。
其中,在一些实施例中,在用户按下动态小窗并移动手指,使得动态小窗在显示屏上移动后,如果用户松开手指,则手机可根据用户松开手指后动态小窗在显示屏上的位置,自动吸附显示在显示屏的边缘。例如,结合图17,以动态小窗是小窗口形式的动态小窗,拖拽动态小窗的用户操作为对动态小窗的按下并移动的操作为例。如图17所示,在用户执行S701中的用户操作后,手机可在手机显示屏的右上角显示动态小窗1701。之后,手机接收到用户对动态小窗1701的按下并移动的操作后,手机可在手机的显示屏上显示动态小窗的移动动画。在动态小窗被拖拽后,如果用户在靠近图17中所示的可移动位置1的范围内松开手指,则手机可自动将动态小窗1701吸附显示在可移动位置1所示的位置。类似的,如果用户在靠近图17中所示的可移动位置2的范围内松开手指,则手机可自动将动态小窗1701吸附显示在可移动位置2所示的位置。如果用户在靠近图17中所示的可移动位置3的范围内松开手指,则手机可自动将动态小窗1701吸附显示在可移动位置3所示的位置。类似的,中窗口形式的动态小窗也可以响应用户的拖拽操作,在手机的显示屏上移动。如,用户可在中窗口形式的动态小窗的移动按钮,如图19中的(b)中所示的移动按钮1909处按下并移动手指,以触发中窗口形式的动态小窗在手机显示屏上的移动。在用户松开手指后,手机也可以根据用户松开手指时,中窗口形式的动态小窗在显示屏上的位置,将中窗口形式的动态小窗吸附在显示屏的边缘。
在其他一些实施例中,在手机显示动态小窗(如小窗口形式的动态小窗或中窗口形式的动态小窗)后,用户可通过执行对应操作,触发手机显示多任务界面或分屏界面。在多任务界面或分屏界面下,在用户按下动态小窗并移动手指,使得动态小窗在显示屏上移动后,如果用户在多任务界面或分屏界面中某一应用窗口(该应用窗口可以为本申请实施例中的第二应用的应用窗口)上停止移动手指,使得动态小窗悬停在该应用窗口上时,手机可将该应用窗口放大,显示在手机显示屏上。
进一步的,如果此时显示的应用窗口为如备忘录、文档编辑器、文件管理器、即时通信应用等应用的窗口时,手机还可显示提示,用于提示用户是否将该动态小窗插入该应用窗口。如果接收到用户选择插入的操作(如该操作可以为本申请实施例中拖拽释放操作),则可将该动态小窗转换为资源文件(如,图片、视频或链接等)后,插入该应 用窗口。在该动态小窗转换为资源文件插入该应用窗口后,该动态小窗可继续悬浮显示在手机显示屏上,也可以自动关闭。如果接收到用户选择不插入的操作,则该动态小窗可继续悬浮显示在手机显示屏上。如果显示的应用窗口不是上述应用的窗口,则在用户松开手指后,动态小窗可继续悬浮显示在手机显示屏上。
例如,结合图25,以动态小窗为小窗口形式的动态小窗为例。如图25中的(a)所示,手机显示屏上显示动态小窗2501,用户通过执行对应操作,如从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作,且在滑动后手指或触控笔暂时不抬起,触发手机在手机显示屏上显示多任务界面2502。手机接收用户按下动态小窗2501并移动手指的操作。作为对该操作的响应,手机可显示动态小窗2501随用户手指移动的动画。在动态小窗2501移动到多任务界面2502中应用窗口缩略图的位置上后,如果用户继续移动手指使动态小窗2501继续移动,则手机可随着动态小窗2501的移动,切换多任务界面2502中显示在手机显示屏上的应用窗口缩略图。如图25中的(b)所示,在动态小窗2501移动到多任务界面2502中应用窗口缩略图的位置上时,用户手指向左滑动。随着用户手指的滑动,如图25中的(c)所示,手机将多任务界面2502中显示的应用1的应用窗口缩略图切换为应用2的应用窗口缩略图2503。如果用户此时停止移动手指,使得动态小窗2501悬停在该应用2的应用窗口缩略图2503上,则如图25中的(d)所示,手机可显示该应用2的应用窗口2504。其中,图25中的(d)中,是以应用2的应用窗口2504放大,但未全屏显示为例示出的,在其他一些实施例中,也可以全屏显示该应用2的应用窗口2504。
其中,进一步的,以应用窗口2504是即时通信应用的应用窗口为例。如图25中的(d)所示,手机还可显示提示区域2505,用于提示用户是否将该动态小窗2501插入该应用窗口2504。如果接收到用户选择插入的操作,如将动态小窗2501拖入该提示区域2505且抬起手指的操作,则手机可将该动态小窗2501转换为资源文件后,插入应用窗口。如图25中的(e)所示,在用户抬起手指后,手机全屏显示应用窗口2507,并将动态小窗2501转换为资源文件后发送出去,手机还可显示发出的消息提示2508。另外,在动态小窗2501转换为资源文件插入应用窗口后,动态小窗2501自动关闭,不再显示在手机显示屏上。在动态小窗2501拖入提示区域2505后,手机还可在动态小窗2501上(如左上角)显示可释放提示,如加号标识2506,以提示用户松手后将会触发动态小窗2501转换为资源文件插入应用窗口。在动态小窗2501拖出提示区域2505后,该释放提示可消息,此时如果用户抬起手指,则动态小窗2501自动吸附至手机显示屏边缘。
类似的,在手机在桌面上显示动态小窗(如小窗口形式的动态小窗或中窗口形式的动态小窗)的场景下,在用户按下动态小窗并移动手指,使得动态小窗在显示屏上移动后,如果用户在桌面中某一应用的图标上停止移动手指,使得动态小窗悬停在该应用图标上时,手机可打开该应用,并显示对应应用窗口。如果显示的应用窗口是如备忘录、文档编辑器、文件管理器、即时通信应用等应用的窗口时,用户也可选择该动态小窗转化为资源文件后插入该应用窗口。
例如,结合图26,以动态小窗为小窗口形式的动态小窗为例。如图26中的(a)所示,手机显示屏上显示桌面2601,桌面2601上显示有动态小窗2602。手机接收用户按下动态小窗2602并移动手指的操作。如图26中的(b)所示,作为对该操作的响应,手机可显示缩小的动态小窗2603,并显示其移动的动画。如图26中的(c)所示,在动态小窗2603移动到桌面某应用的图标,如信息的图标2604的位置上时,如果用户停止移 动手指,使得动态小窗2603悬停在该信息的图标2604上,则如图26中的(d)所示,手机可显示该信息的应用窗口2605。进一步的,如图26中的(d)所示,手机还可显示提示区域2606,用于提示用户是否将该动态小窗2603插入该应用窗口2605。如果接收到用户将动态小窗2603拖入该提示区域2606且抬起手指的操作,则手机可将该动态小窗2603转换为资源文件后,插入应用窗口。另外,在动态小窗2603拖入提示区域2606后,手机还可在动态小窗2603上(如左上角)显示可释放提示,如加号标识2607,以提示用户松手后将会触发动态小窗2603转换为资源文件插入应用窗口。如果用户不想将动态小窗2603插入该应用窗口2605,则可以将动态小窗2603拖到提示区域2606外的其他区域且抬起手指,手机可响应于用户的操作,将缩小的动态小窗2603放大后重新显示在显示屏上,如图26中的(a)所示。其余描述可参考图25中对应内容的描述,此处不再一一赘述。以上是以应用窗口2605对应应用是支持插入的应用为例进行说明的。在其他一些实施例中,对于不支持插入的应用来说,当用户将缩小的动态小窗拖到该应用的图标上悬停时,手机可显示不支持插入的提示信息。之后,如果用户抬起手指,则手机可将缩小的动态小窗放大后重新显示在显示屏上,如图26中的(a)所示。
在另外一些实施例中,当手机与其他终端(该其他终端可以为本申请实施例中的第二终端)建立连接的情况下,用户还可以通过拖拽动态小窗(如小窗口形式的动态小窗或中窗口形式的动态小窗),将该动态小窗跨设备拖拽到其他与手机连接的终端的。例如,手机在接收到用户对动态小窗的按下并移动的操作后,可进行拖拽监听,以确定是否触发跨设备拖拽,如可在确定该动态小窗被拖入跨设备拖拽感知区域后,确定触发跨设备拖拽。在确定触发跨设备拖拽后,手机可将该动态小窗的数据发送给跨设备拖拽的目标设备,以便该目标设备进行拖拽的接续。之后,在接收到用户释放拖拽的操作后,该目标设备可在目标设备的显示屏上显示该动态小窗(如小窗口形式的动态小窗或中窗口形式的动态小窗),以达到将动态小窗跨设备拖拽到其他设备的效果。或者,在接收到用户是否拖拽的操作后,目标设备可在目标设备的显示屏上全屏显示动态小窗。
另外,在手机显示动态小窗(如小窗口形式的动态小窗或中窗口形式的动态小窗)后,如果接收到用户按下动态小窗且快速向指向手机显示屏上边缘方向的滑动操作后,手机可关闭该动态小窗,不继续再手机显示屏上显示动态小窗。可以理解的是,前述实施例中描述关闭动态小窗的方案,均是由用户触发的。在其他一些实施例中,动态小窗也可以自动关闭,如动态小窗中的视频播放结束,如有导航结束。
在另外一些实施例中,在手机在其他应用的应用窗口上显示动态小窗(如小窗口形式的动态小窗或中窗口形式的动态小窗)的场景下,用户可通过执行对应操作,触发手机进行动态小窗的替换。例如,结合图27,如图27中的(a)所示,手机显示即时通信应用的聊天详情页2701,该聊天详情页2701上显示有应用1的动态小窗2702。如,手机接收到用户一个手指在聊天详情页2701,另一个手指在动态小窗2702的双指捏合操作。作为对该操作的响应,如图27中的(b)所示,手机显示应用1的应用窗口2703(该应用窗口2703中包括资讯详情),并在应用窗口2703上显示该即时通信应用的动态小窗2704。又如,手机接收到用户将即时通信应用切换至后台的操作,如从手机显示屏下边缘开始到指向手机显示屏上边缘的滑动操作。作为对该操作的响应,手机关闭(或者说不显示)动态小窗2702,另外如图27中的(c)所示,手机显示桌面2705,并在桌面2705上显示该即时通信应用的动态小窗2706。其中,手机显示即时通信应用的动态小窗2704的具体实现可以参考上述实施例中对应内容的具体描述,此处不再详细赘述。
以上实施例中动态小窗的背景色均是以浅色背景,如白色为例示出的,在其他一些实施例中,动态小窗的背景色还可以是深色背景(如黑色),还可以是透明背景,本实施例在此不做限制。另外,小窗口形式的动态小窗,也可以在手机上自动收起隐藏,并在接收到用户的操作后,重新显示在手机显示屏上。作为一种示例,在小窗口形式的动态小窗显示后,如果手机接收到用户对该动态小窗拖出手机显示屏边缘的拖拽操作,则将动态小窗隐藏。例如,结合图28,以小窗口形式的动态小窗吸附在手机显示屏的右上角为例。如图28中的(a)所示,手机在手机显示屏的右上角显示动态小窗2801。手机接收到用户对该动态小窗2801向手机显示屏右边缘的拖拽操作(如按下动态小窗2801并移动手指)时,手机隐藏该动态小窗2801。如图28中的(b)所示,手机还可在手机显示屏的对应位置(如,动态小窗2801被拖出显示屏的位置)显示调出按钮2802。如果手机接收到用户对该按钮2802的操作,如点击操作,则手机可重新在手机显示屏上显示动态小窗2801。类似的,在中窗口形式的动态小窗显示后,如果手机接收到用户对该动态小窗拖出手机显示屏边缘的拖拽操作,则将中窗口形式的动态小窗隐藏。手机还可显示调出按钮。如果接收到用户对调出按钮的操作,则重新显示动态小窗。可以理解的是,如果隐藏的是小窗口形式的动态小窗,则接收到对调出按钮的操作后,重新显示的也是小窗口形式的动态小窗。如果隐藏的是中窗口形式的动态小窗,则接收到对调出按钮的操作后,重新显示的也是中窗口形式的动态小窗。
采用本实施例提供的技术方案,终端可提取终端显示界面中的关键元素,并以动态小窗的形式显示在终端屏幕上。利用有限的小窗显示资源,实现了应用窗口内的关键内容的显示,且不仅不会显示过多内容影响用户使用体验,还可满足用户的处理需求,如使用动态小窗可帮助用户进行多任务的信息获取和快速处理。另外,在满足动态小窗的触发条件,如用户主动触发或系统自动触发后,便可显示动态小窗,做到用户在任一界面唤起动态小窗,满足了多任务处理时小窗的处理需求。具备支持应用内或系统触发、显示灵活和操作简单特征。
该动态小窗支持页面级、应用级和系统级的呈现。另外,动态小窗中呈现的内容及布局效果支持系统根据不同应用类型自动推荐或三方应用开发者自定义,使得用户可更加灵活的完成多任务处理,还可满足动态小窗显示和布局灵活的需求。随系统级小窗触发手势(如多任务界面下上滑应用窗口),支持自然流程的上滑手势动效,如应用窗口翻转变动态小窗(即旋转方式),还可配合应用窗口和动态小窗渐隐渐现的动效,提升了用户的使用体验。
图29为本申请实施例提供的一种显示装置的组成示意图。如图29所示,该装置可以应用于终端(如上述手机),该装置可以包括:显示单元2901和输入单元2902。
显示单元2901,用于在终端的显示屏上显示第一应用的应用窗口,该第一应用的应用窗口包括多个元素。
输入单元2902,用于接收第一操作。
显示单元2901,还用于在接收到第一操作后,在终端的显示屏上显示第一窗口,该第一窗口包括第一应用的应用窗口中的部分元素。
进一步的,上述第一操作可以包括:对多任务界面中第一应用的应用窗口的拖拽操作。
显示单元2901,具体用于在接收到第二操作后,显示多任务界面,该多任务界面中包括第一应用的应用窗口。
显示单元2901,具体用于显示第一应用的应用窗口移动的动画;在确定第一应用的应用窗口移动至终端的显示屏的指定区域时,在终端的显示屏上显示第一窗口。
进一步的,上述第一应用的应用窗口可以为自由小窗;该第一操作可以包括:对第一应用的应用窗口,即该第一应用的自由小窗的拖拽操作。
显示单元2901,具体用于显示第一应用的应用窗口移动的动画;在确定该第一应用的应用窗口移动至终端的显示屏的指定区域时,在终端的显示屏上显示第一窗口。
进一步的,上述第一操作可以为触发第一应用切换到后台的操作。
进一步的,显示单元2901,还用于在终端的显示屏上显示通知消息;第一操作为对通知消息的选择操作。
进一步的,该装置还可以包括:获取单元2903,用于从第一应用的应用窗口的多个元素中提取部分元素。
进一步的,上述部分元素可以是预定的。如该部分元素可以为视频元素。
进一步的,获取单元2903,具体用于:获取第一标识,从存储的不同标识对应的配置文件中获取与第一标识对应的配置文件,与第一标识对应的配置文件中包括上述部分元素的标识;根据与第一标识对应的配置文件,从第一应用的应用窗口的多个元素中提取部分元素;其中,第一标识可以包括第一应用的标识,或第一标识可以包括第一应用的标识和应用窗口中界面的标识。
进一步的,获取单元2903,具体用于:获取第一应用的类型,从存储的不同类型的应用对应的推荐模型中获取与第一应用的类型对应的推荐模型,推荐模型具备根据应用对应的类型提取需在第一窗口中显示的元素的功能;根据与第一应用的类型对应的推荐模型,从第一应用的应用窗口的多个元素中提取部分元素。
进一步的,部分元素在第一窗口中的布局与应用窗口中部分元素对应的元素的布局不同。
进一步的,部分元素在第一窗口中的布局是预定的。
进一步的,获取单元2903,还用于根据第一标识,从存储的布局文件中获取与第一标识对应的布局文件,根据获取的布局文件对上述提取的部分元素进行布局。
进一步的,获取单元2903,还用于根据第一应用的类型,从存储的布局文件中获取与第一应用的类型对应的布局文件,根据获取的布局文件对上述提取的部分元素进行布局。
进一步的,输入单元2902,还用于接收对第一窗口的第三操作。
显示单元2901,还用于在接收到对第一窗口的第三操作后,将第一窗口变更为第二窗口显示在终端的显示屏上;其中,第二窗口包括第一应用的应用窗口中的部分元素,且第二窗口包括的元素多于第一窗口包括的元素。
进一步的,获取单元2903,还用于从第一应用的应用窗口的多个元素中提取出需在第二窗口中展示的元素。
如,第二窗口中需展示的元素可以是预定的。
又如,获取单元2903,具体用于根据第一标识,从存储的不同标识对应的配置文件(该配置文件是针对第二窗口的配置文件)中获取与第一标识对应的配置文件,之后,根据获取的配置文件,从第一应用的应用窗口的多个元素中提取需在第二窗口中展示的元素。
又如,获取单元2903,具体用于根据第一应用的类型,从存储的不同类型的应用对 应的推荐模型(该推荐模型是针对第二窗口的推荐模型)中获取与第一应用的类型对应的推荐模型,之后,根据获取的推荐模型,从第一应用的应用窗口的多个元素中提取需在第二窗口中展示的元素。
对于提取出的需在中窗口形式的窗口中展示的元素,其在中窗口形式的窗口中的布局,与对应元素在第一应用的应用窗口中的布局可以不同。
进一步的,第二窗口还包括关闭按钮和放大按钮。
输入单元2902,还用于接收对关闭按钮的操作;显示单元2901,还用于在接收到对关闭按钮的操作后,不显示第二窗口。
输入单元2902,还用于接收对放大按钮的操作;显示单元2901,还用于在接收到对放大按钮的操作后,显示第一应用的应用窗口,不显示第二窗口。
进一步的,显示单元2901,还用于在确定预设时间内未接收到用户操作,或在接收到对第二窗口的第四操作后,将第二窗口变更为第一窗口显示在终端的显示屏上。
进一步的,显示单元2901显示第一窗口,可以包括在终端的显示屏上显示桌面,在该桌面上显示第一窗口,该桌面可以包括第二应用的图标。
输入单元2902,还用于接收拖拽第一窗口的操作。
显示单元2901,还用于在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在第一窗口被拖至第二应用的图标的位置时,在终端的显示屏上显示第二应用的应用窗口。
进一步的,显示单元2901,还用于在接收到第二操作后,显示多任务界面,多任务界面中包括第二应用的应用窗口;在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画;在第一窗口被拖至第二应用的应用窗口的位置时,在终端的显示屏上显示第二应用的应用窗口。
进一步的,输入单元2902,还用于接收拖拽释放操作。
该装置还可以包括:存储单元2904,用于在接收到拖拽释放操作后,将第一窗口转换为资源文件后存储;或,该装置还可以包括:发送单元2905,用于在接收到拖拽释放操作后,将第一窗口转换为资源文件后通过第二应用发送给第二终端。
进一步的,终端与第二终端连接;输入单元2902,还用于接收到拖拽第一窗口的操作。
显示单元2901,还用于在接收到拖拽第一窗口的操作后,显示第一窗口移动的动画。
发送单元2905,还用于在确定用户的拖拽意图是跨设备拖拽后,向第二终端发送第一窗口的数据,第一窗口的数据用于第二终端在第二终端的显示屏上显示第一窗口。
本申请实施例还提供一种显示装置,该装置可以应用于电子设备,如上述实施例中的终端(如手机)。该装置可以包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令时使得该显示装置实现上述方法实施例中终端(如手机)执行的各个功能或者步骤。
本申请实施例还提供一种电子设备(该电子设备可以是终端,如可以为上述实施例中的手机),该电子设备可以包括:显示屏、存储器和一个或多个处理器。该显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中终端(如手机)执行的各个功能或者步骤。当然,该电子设备包括但不限于上述显示屏、存储器和一个或多个处理器。例如,该电子设备的结构可以参考图5所示的手机的结构。
本申请实施例还提供一种芯片系统,该芯片系统可以应用于电子设备,如前述实施例中的终端(如手机)。如图30所示,该芯片系统包括至少一个处理器3001和至少一个接口电路3002。该处理器3001可以是上述电子设备中的处理器。处理器3001和接口电路3002可通过线路互联。该处理器3001可以通过接口电路3002从上述电子设备的存储器接收并执行计算机指令。当计算机指令被处理器3001执行时,可使得电子设备执行上述实施例中手机执行的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,用于存储电子设备,如上述终端(如手机)运行的计算机指令。
本申请实施例还提供一种计算机程序产品,包括电子设备,如上述终端(如手机)运行的计算机指令。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

  1. 一种窗口显示方法,其特征在于,应用于终端,所述方法包括:
    所述终端在所述终端的显示屏上显示第一应用的应用窗口,所述应用窗口包括多个元素;
    所述终端在接收到第一操作后,显示所述应用窗口移动的动画;
    所述终端在确定所述应用窗口移动至所述终端的显示屏的指定区域时,在所述终端的显示屏上显示第一窗口,所述第一窗口包括所述应用窗口中的部分元素。
  2. 根据权利要求1所述的方法,其特征在于,所述终端在所述终端的显示屏上显示第一应用的应用窗口,包括:
    所述终端在接收到第二操作后,显示多任务界面,所述多任务界面中包括所述应用窗口;
    所述第一操作为对所述多任务界面中所述应用窗口的拖拽操作。
  3. 根据权利要求1所述的方法,其特征在于,所述应用窗口为自由小窗。
  4. 根据权利要求1-3中任一项所述的方法,其特征在于,在所述终端的显示屏上显示所述第一窗口之前,所述方法还包括:
    所述终端从所述应用窗口的多个元素中提取所述部分元素。
  5. 根据权利要求4所述的方法,其特征在于,
    所述部分元素是预定的;或,
    所述终端从所述应用窗口的多个元素中提取所述部分元素,包括:所述终端获取第一标识,从存储的不同标识对应的配置文件中获取与所述第一标识对应的配置文件,与所述第一标识对应的配置文件中包括所述部分元素的标识;所述终端根据与所述第一标识对应的配置文件,从所述应用窗口的多个元素中提取所述部分元素;其中,所述第一标识包括所述第一应用的标识,或所述第一标识包括所述第一应用的标识和所述应用窗口中界面的标识;或,
    所述终端从所述应用窗口的多个元素中提取所述部分元素,包括:所述终端获取所述第一应用的类型,从存储的不同类型的应用对应的推荐模型中获取与所述第一应用的类型对应的推荐模型,所述推荐模型具备根据应用对应的类型提取需在第一窗口中显示的元素的功能;所述终端根据与所述第一应用的类型对应的推荐模型,从所述应用窗口的多个元素中提取所述部分元素。
  6. 根据权利要求1-5中任一项所述的方法,其特征在于,所述部分元素在所述第一窗口中的布局与所述应用窗口中所述部分元素对应的元素的布局不同。
  7. 根据权利要求6所述的方法,其特征在于,
    所述部分元素在所述第一窗口中的布局是预定的;或,
    在所述终端的显示屏上显示所述第一窗口之前,所述方法还包括:所述终端根据第一标识或所述第一应用的类型,从存储的布局文件中获取与所述第一标识或所述第一应用的类型对应的布局文件,所述终端根据获取的布局文件对所述部分元素进行布局;其中,所述第一标识包括所述第一应用的标识,或所述第一标识包括所述第一应用的标识和所述应用窗口中界面的标识。
  8. 根据权利要求1-7中任一项所述的方法,其特征在于,在所述终端的显示屏上显示所述第一窗口之后,所述方法还包括:
    所述终端在接收到对所述第一窗口的第三操作后,将所述第一窗口变更为第二窗口 显示在所述终端的显示屏上;
    其中,所述第二窗口包括所述应用窗口中的部分元素,且所述第二窗口包括的元素多于所述第一窗口包括的元素。
  9. 根据权利要求8所述的方法,其特征在于,所述第二窗口还包括关闭按钮和放大按钮;
    所述方法还包括:所述终端在接收到对所述关闭按钮的操作后,所述终端不显示所述第二窗口;所述终端在接收到对所述放大按钮的操作后,所述终端显示所述应用窗口,不显示所述第二窗口。
  10. 根据权利要求8或9所述的方法,其特征在于,在所述终端将所述第一窗口变更为第二窗口显示在所述终端的显示屏上之后,所述方法还包括:
    所述终端在确定预设时间内未接收到用户操作,或在接收到对所述第二窗口的第四操作后,将所述第二窗口变更为所述第一窗口显示在所述终端的显示屏上。
  11. 根据权利要求1-10中任一项所述的方法,其特征在于,
    在所述终端的显示屏上显示第一窗口,包括:所述终端在所述终端的显示屏上显示桌面,在所述桌面上显示所述第一窗口,所述桌面包括第二应用的图标;
    在所述终端的显示屏上显示第一窗口之后,所述方法还包括:
    所述终端在接收到拖拽所述第一窗口的操作后,显示所述第一窗口移动的动画;
    在所述第一窗口被拖至所述第二应用的图标的位置时,所述终端在所述终端的显示屏上显示所述第二应用的应用窗口。
  12. 根据权利要求1-11中任一项所述的方法,其特征在于,在所述终端显示所述第一窗口之后,所述方法还包括:
    所述终端在接收到第二操作后,显示所述多任务界面,所述多任务界面中包括第二应用的应用窗口;
    所述终端在接收到拖拽所述第一窗口的操作后,显示所述第一窗口移动的动画;
    在所述第一窗口被拖至所述第二应用的应用窗口的位置时,所述终端在所述终端的显示屏上显示所述第二应用的应用窗口。
  13. 根据权利要求11或12所述的方法,其特征在于,所述方法还包括:
    所述终端在接收到拖拽释放操作后,将所述第一窗口转换为资源文件后存储或通过所述第二应用发送给第二终端。
  14. 根据权利要求1-13中任一项所述的方法,其特征在于,所述终端与第二终端连接;
    在所述终端的显示屏上显示第一窗口之后,所述方法还包括:
    所述终端在接收到拖拽所述第一窗口的操作后,显示所述第一窗口移动的动画;
    在确定用户的拖拽意图是跨设备拖拽后,向所述第二终端发送所述第一窗口的数据,所述第一窗口的数据用于所述第二终端在所述第二终端的显示屏上显示所述第一窗口。
  15. 一种显示装置,其特征在于,包括:处理器;用于存储所述处理器可执行指令的存储器;
    其中,所述处理器被配置为执行所述指令时使得所述显示装置实现如权利要求1-14中任一项所述的方法。
  16. 一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被电子设备执行时使得所述电子设备实现如权利要求1-14中任一项所述的 方法。
PCT/CN2021/117120 2020-09-28 2021-09-08 一种窗口显示方法及设备 WO2022062898A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21871270.1A EP4209877A4 (en) 2020-09-28 2021-09-08 WINDOW DISPLAY METHOD AND DEVICE
US18/246,971 US20230362294A1 (en) 2020-09-28 2021-09-08 Window Display Method and Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011045760.6 2020-09-28
CN202011045760.6A CN114281225A (zh) 2020-09-28 2020-09-28 一种窗口显示方法及设备

Publications (1)

Publication Number Publication Date
WO2022062898A1 true WO2022062898A1 (zh) 2022-03-31

Family

ID=80844913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/117120 WO2022062898A1 (zh) 2020-09-28 2021-09-08 一种窗口显示方法及设备

Country Status (4)

Country Link
US (1) US20230362294A1 (zh)
EP (1) EP4209877A4 (zh)
CN (1) CN114281225A (zh)
WO (1) WO2022062898A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116048444A (zh) * 2022-06-16 2023-05-02 荣耀终端有限公司 应用显示方法及终端设备
US11847305B1 (en) * 2022-06-27 2023-12-19 Beijing Xiaomi Mobile Software Co., Ltd. Page display method, electronic device and storage medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924683A (zh) * 2022-04-25 2022-08-19 金蝶软件(中国)有限公司 页面内容的分屏展示方法、多页面展示方法及装置
CN114760291B (zh) * 2022-06-14 2022-09-13 深圳乐播科技有限公司 一种文件处理方法及装置
CN117369675A (zh) * 2022-07-01 2024-01-09 荣耀终端有限公司 窗口的显示方法、电子设备和计算机可读存储介质
CN117271042B (zh) * 2023-11-08 2024-04-19 荣耀终端有限公司 切换应用的方法和电子设备
CN117667293A (zh) * 2024-02-01 2024-03-08 中国人民解放军军事科学院国防科技创新研究院 多任务协同窗口可视化方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110083099A1 (en) * 2009-10-05 2011-04-07 Samsung Electronics Co. Ltd. Mobile device and overlay display method thereof
CN104268251A (zh) * 2014-09-30 2015-01-07 北京奇虎科技有限公司 一种网页中视频元素的播放方法和装置
CN108228020A (zh) * 2016-12-12 2018-06-29 腾讯科技(深圳)有限公司 一种信息处理方法及终端
CN108829323A (zh) * 2018-06-22 2018-11-16 联想(北京)有限公司 信息处理方法、装置及电子设备
CN110243386A (zh) * 2019-07-15 2019-09-17 腾讯科技(深圳)有限公司 导航信息显示方法、装置、终端及存储介质
CN111399959A (zh) * 2020-03-17 2020-07-10 Oppo广东移动通信有限公司 多任务操作方法、装置、电子设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2632188B1 (en) * 2012-02-24 2018-04-11 BlackBerry Limited Method and apparatus for interconnected devices
US9612732B2 (en) * 2014-11-13 2017-04-04 Microsoft Technology Licensing, Llc Content transfer to non-running targets
US11249635B2 (en) * 2017-10-09 2022-02-15 Huawei Technologies Co., Ltd. File sharing method and terminal
CN110333814A (zh) * 2019-05-31 2019-10-15 华为技术有限公司 一种分享内容的方法及电子设备
CN111158540B (zh) * 2019-12-12 2021-09-28 维沃移动通信有限公司 一种应用图标的位置调整方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110083099A1 (en) * 2009-10-05 2011-04-07 Samsung Electronics Co. Ltd. Mobile device and overlay display method thereof
CN104268251A (zh) * 2014-09-30 2015-01-07 北京奇虎科技有限公司 一种网页中视频元素的播放方法和装置
CN108228020A (zh) * 2016-12-12 2018-06-29 腾讯科技(深圳)有限公司 一种信息处理方法及终端
CN108829323A (zh) * 2018-06-22 2018-11-16 联想(北京)有限公司 信息处理方法、装置及电子设备
CN110243386A (zh) * 2019-07-15 2019-09-17 腾讯科技(深圳)有限公司 导航信息显示方法、装置、终端及存储介质
CN111399959A (zh) * 2020-03-17 2020-07-10 Oppo广东移动通信有限公司 多任务操作方法、装置、电子设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4209877A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116048444A (zh) * 2022-06-16 2023-05-02 荣耀终端有限公司 应用显示方法及终端设备
CN116048444B (zh) * 2022-06-16 2023-12-01 荣耀终端有限公司 应用显示方法及终端设备
US11847305B1 (en) * 2022-06-27 2023-12-19 Beijing Xiaomi Mobile Software Co., Ltd. Page display method, electronic device and storage medium
US20230418447A1 (en) * 2022-06-27 2023-12-28 Beijing Xiaomi Mobile Software Co., Ltd. Page display method, electronic device and storage medium

Also Published As

Publication number Publication date
US20230362294A1 (en) 2023-11-09
CN114281225A (zh) 2022-04-05
EP4209877A4 (en) 2024-03-13
EP4209877A1 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
WO2022062898A1 (zh) 一种窗口显示方法及设备
US20230325067A1 (en) Cross-device object drag method and device
US20220377128A1 (en) File transfer display control method and apparatus, and corresponding terminal
WO2021159922A1 (zh) 卡片显示方法、电子设备及计算机可读存储介质
US10452333B2 (en) User terminal device providing user interaction and method therefor
WO2021000839A1 (zh) 一种分屏方法及电子设备
US11797145B2 (en) Split-screen display method, electronic device, and computer-readable storage medium
US10205873B2 (en) Electronic device and method for controlling a touch screen of the electronic device
KR102330829B1 (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
CN111966252A (zh) 应用窗口显示方法和电子设备
CN110737386A (zh) 一种屏幕截取方法及相关设备
US20240053879A1 (en) Object Drag Method and Device
US10775979B2 (en) Buddy list presentation control method and system, and computer storage medium
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
WO2021063098A1 (zh) 一种触摸屏的响应方法及电子设备
KR20160020166A (ko) 전자 장치 및 이의 화면 표시 방법
WO2021110133A1 (zh) 一种控件的操作方法及电子设备
KR102343361B1 (ko) 전자 기기 및 이의 웹 페이지 디스플레이 방법
WO2023226455A1 (zh) 应用图标的显示方法、电子设备及可读存储介质
KR20160053641A (ko) 멀티 디스플레이 제어 방법 및 그 전자 장치
WO2022228042A1 (zh) 显示方法、电子设备、存储介质和程序产品
WO2023160455A1 (zh) 删除对象的方法及电子设备
WO2024067122A1 (zh) 一种窗口显示方法及电子设备
WO2024012354A1 (zh) 一种显示方法及电子设备
WO2023246386A9 (zh) 界面显示方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21871270

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021871270

Country of ref document: EP

Effective date: 20230402

NENP Non-entry into the national phase

Ref country code: DE