WO2023231268A1 - 快捷批注方法、装置、交互平板及存储介质 - Google Patents

快捷批注方法、装置、交互平板及存储介质 Download PDF

Info

Publication number
WO2023231268A1
WO2023231268A1 PCT/CN2022/124985 CN2022124985W WO2023231268A1 WO 2023231268 A1 WO2023231268 A1 WO 2023231268A1 CN 2022124985 W CN2022124985 W CN 2022124985W WO 2023231268 A1 WO2023231268 A1 WO 2023231268A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
annotation
interface
quick
writing
Prior art date
Application number
PCT/CN2022/124985
Other languages
English (en)
French (fr)
Inventor
钟伟杰
陈才
甘镇豪
Original Assignee
广州视臻信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州视臻信息科技有限公司 filed Critical 广州视臻信息科技有限公司
Priority to CN202280010062.3A priority Critical patent/CN117480482A/zh
Publication of WO2023231268A1 publication Critical patent/WO2023231268A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the first operation is a moving operation based on the first position information, and determine that the media type of the touching object is a preset first media type or a second media type based on the first vibration wave signal;
  • a quick annotation device which includes:
  • the first movement operation on the first interface may be a sliding (also referred to as moving in this embodiment) operation, that is, the sliding of the first touching object or the second touching object on the touch-sensitive display screen, for example, a touch-sensitive display
  • the screen is currently displaying a Word document, that is, the document content is displayed on the first interface. If the pen tip or tail slides on the touch-sensitive display, the first comment layer will be added to the top of the touch-sensitive display.
  • the sliding of the pen tip if the user uses The tip of the stylus pen writes text, draws symbols, etc. on the touch-sensitive display screen, and the corresponding writing handwriting is displayed on the first annotation layer; for the sliding of the pen tail, an erasing operation is performed on the first annotation layer.
  • the first annotation layer can be transparent, translucent, or with a mask effect, or it can be in other forms.
  • the first annotation layer also displays an annotation toolbar, which includes annotation controls such as page turning, saving, and erasing.
  • adding the first annotation layer on the first interface can also be called overlaying and displaying the annotation application window on the first interface.
  • the method of overlaying and displaying the annotation application window can be that the annotation application window has not been displayed previously, so that the annotation application window can be displayed directly on the first interface.
  • Step S170 Update the display content of the first interface according to the target clicked on the first interface according to the first click operation.
  • the third touching object may be a finger.
  • the interactive tablet updates the display content of the first interface on the touch-sensitive display screen.
  • the user clicks on the touch-sensitive display screen with a finger.
  • display an application icon on the desktop the interactive tablet opens the application and displays the application content on the first interface, or during web browsing, the first interface displays the web page content, and the user uses his finger on the touch-sensitive display Click the page turning control on the screen, and the interactive tablet updates the displayed web page content, such as displaying text and/or pictures of the next or previous page.
  • annotation content on the first annotation layer can also be displayed following the display content.
  • a scroll display control on the display desktop which is used to control the display of the PDF document. Scroll display on the desktop, so when the PDF document is scrolled, the annotation content on the first annotation layer can also be scrolled and displayed synchronously.
  • the interaction effect of the third touching object (i.e., finger) on the page turning operation of hyperlinks or document presentations is detected, and the interaction effect of the click operation of the third touching object (i.e., finger) on the icon in Figure 5, that is, Keeps the first annotation layer and existing writing in the first annotation layer visible when opening a hyperlink or turning pages.
  • the interactive tablet can generate writing handwriting of different handwriting colors, which helps to distinguish the writing handwriting corresponding to different handwriting pens, thereby allowing multiple people to write at the same time or One person can write multiple strokes and clearly distinguish the corresponding writing handwriting, effectively avoiding the cumbersome operations caused by frequent changes of handwriting colors.
  • nib groove 500a in the direction of the length of the pen barrel (ie, the The portion forming the nib defines nib groove 500a.
  • the contact end 420 and the assembly end 410 are integrally formed.
  • the assembly end 410 is connected to the end of the pen body 501 away from the pen tip.
  • the contact end 420 is used to contact the screen of the elastic wave interaction device to achieve touch control. Interaction.
  • the pen tail and the pen tip are made of different materials, so that when the touch end 720 of the pen tip comes into contact with the screen, the elastic wave interaction device is triggered to generate a first elastic wave signal, and when the contact end 420 of the pen tail comes into contact with the screen, the elastic wave interaction device is triggered to generate a second elastic wave signal.
  • Elastic wave signal, the first elastic wave signal is different from the second elastic wave signal.
  • the user can pick up the writing pen, use the tip of the writing pen to write on the surface of the touch-sensitive display screen of the interactive tablet, and draw a line or circle by sliding the tip of the writing pen.
  • the surface of the touch-sensitive display screen may be a glass panel.
  • the tip of the writing pen comes into contact with the surface of the touch-sensitive display screen, the glass panel will generate physical vibrations, and the vibration-acoustic sensor can capture the vibrations and generate a first vibration wave signal.
  • the processor may obtain the media type of the touching object through pre-stored vibration wave signals corresponding to different touching objects, and then compare the received first vibration wave signal with the pre-stored vibration wave signals.
  • the media type of the touch object can also be obtained through neural network and machine learning methods.
  • the processor can be one or two. For example, a dedicated first processor is set up to receive the first vibration wave signal and process it to obtain the media type of the touching object, and execute the method through the second processor. Other steps.
  • Step S408 When the touch object performs a touch operation on the surface of the touch-sensitive display screen, the touch-sensitive display screen generates touch data, and at the same time, the vibration-acoustic sensor generates a second vibration wave signal.
  • the touch object used here is a finger
  • the vibration wave signal generated when the finger contacts the touch-sensitive display screen is the second vibration wave signal.
  • the touch data generated by the touch-sensitive display screen here can be directly generated by the touch-sensitive display screen, or the original sensing signal can be generated by the touch-sensitive display screen and then sent to the processor of the interactive tablet for processing to obtain the touch data.
  • the data depends on the performance of the touch-sensitive display screen.
  • the embodiments of the present application do not limit this in detail and can be collectively referred to as touch data generated by the touch-sensitive display screen.
  • the annotation display window remains unchanged, that is, the existing handwriting will not change.
  • the hyperlink will be opened, the page linked to the hyperlink will be entered, the display content of the PPT demonstration interface will be updated, and the display will be superimposed on the opened hyperlink page.
  • an annotation application window is added to the PPT demonstration interface and the annotation handwriting is displayed. You need to To turn pages, the user can click the page turning control with his finger to turn the PPT demonstration interface.
  • Steps S412 to S415 may be executed after the aforementioned steps S401 to S411, or may be executed after steps S401 to S407. It may also be performed directly from step S412 without the aforementioned steps.
  • the processor determines whether the touch data needs to be sent to the annotation application based on the first interception rule.
  • annotation application The program superimposes and displays the annotation application window of the annotation application on the PPT presentation interface.
  • Step 417 The processor changes the preset second interception rule to the first interception rule.
  • the first annotation layer is a transparent annotation layer or a light-colored annotation layer.
  • Embodiments of the present application also provide a storage medium containing computer-executable instructions, which, when executed by a computer processor, are used to perform relevant operations in the quick annotation method provided in any embodiment of the present application, and Have corresponding functions and beneficial effects.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种快捷批注方法、装置、交互平板及存储介质,该方法应用于交互平板,交互平板的触敏显示屏显示第一界面;接收第一触摸物或第二触摸物在第一界面上的第一移动操作;根据第一移动操作,添加第一批注层同时添加书写笔迹或者进行擦除操作;接收第一触摸物或第二触摸物的第二移动操作;根据第二移动操作,在第一批注层上添加书写笔迹或擦除相应的书写笔迹;接收第三触摸物在第一批注层上的第一点击操作;根据第一点击操作点击的目标,更新第一界面的显示内容。该方法可以快速唤起批注层,而且在批注状态下对显示内容进行操作提高了交互速度。

Description

快捷批注方法、装置、交互平板及存储介质 技术领域
本申请实施例涉及人机交互技术领域,尤其涉及快捷批注方法、装置、交互平板及存储介质。
背景技术
为随着智能化的发展趋势日益迅猛,日常生活中人们接触的电子品种类别越来越丰富,而且人们也越来越倾向于更加良好的人机交互体验,交互类电子产品更是层出不穷。
目前市面上的交互类电子产品(如交互平板)的批注操作绝大部分都需要通过点击批注按钮来触发批注操作,由于唤起批注操作的步骤比较复杂,而且在启动批注应用后,人们无法对屏幕显示内容进行选择、点击、翻页等操作,需要先退出批注应用才能进行上述操作,使得人们在使用批注功能的过程中不能对底层显示内容的进行控制。
发明内容
本申请实施例提供了快捷批注方法、装置、交互平板及存储介质,以解决批注功能唤起复杂,唤起后不能对显示内容进行控制的技术问题。
第一方面,本申请实施例提供了一种快捷批注方法,应用于交互平板,所述交互平板包括触敏显示屏,该方法包括:
在所述触敏显示屏显示第一界面;
接收所述第一触摸物或所述第二触摸物在所述第一界面上的第一移动操作;
根据所述第一移动操作,在所述第一界面上添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;
接收所述第一触摸物或所述第二触摸物在第一批注层上的第二移动操作;
根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;
接收第三触摸物在所述第一批注层上的第一点击操作;
根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容。
第二方面,本申请实施例提供了一种快捷批注方法,所述交互平板包括触敏显示屏和振动声学传感器,所述触敏显示屏用于检测触摸物的位置信息,所述振动声学传感器用于检测振动波信号,所述振动波信号用于确认所述触摸物的介质类型,该方法包括:
在所述触敏显示屏显示第一界面;
接收触摸物在所述第一界面进行第一操作的第一传感数据,所述第一传感数据包括所述触敏显示屏检测到的第一位置信息和所述振动声学传感器检测到的第一振动波信号;
基于所述第一位置信息确认所述第一操作为移动操作,且根据所述第一振动波信号确定所述触摸物的介质类型为预设的第一介质类型或第二介质类型;
在所述第一界面上添加第一批注层,且当所述触摸物的介质类型为第一介质类型时,根据所述位置信息在所述第一批注层添加书写笔迹;
接收触摸物在所述第一批注层上进行第二操作的第二传感数据,所述第二传感数据包括所述触敏显示屏检测到的第二位置信息和所述振动声学传感器检测到的第二振动波信号;
基于所述第二振动波信号确认所述触摸物的介质类型为预设的第一介质类型,则根据所述第二位置信息所述第一批注层添加对应的书写笔迹;
基于所述第二振动波信号确认所述触摸物的介质类型为预设的第二介质类型,则根据所述第二位置信息所述第一批注层擦除对应的书写笔迹;
基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,则根据所述第二位置信息,获得所述第二操作对所述第一界面的操作指令,更新所述第一界面的显示内容。
第三方面,本申请实施例提供了一种快捷批注方法,应用于交互平板,所述交互平板包括触敏显示屏,该方法包括:
在所述触敏显示屏显示文稿演示界面;
接收所述第一触摸物或所述第二触摸物在所述文稿演示界面上的第一移动操作;
根据所述第一移动操作,在所述文稿演示界面上添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;
接收所述第一触摸物或所述第二触摸物在所述第一批注层上的第二移动操作;
根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;
接收第三触摸物在所述第一批注层上的第一点击操作,所述第三触摸物的介质类型为第三介质类型;
根据所述第一点击操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容。
第四方面,本申请实施例提供了一种快捷批注装置,该装置包括:
第一显示单元,配置为显示第一界面的显示内容;
第一操作接收单元,配置为接收所述第一触摸物或所述第二触摸物在所述第一界面上的第一移动操作;
第一操作响应单元,配置为根据所述第一移动操作,在所述第一界面添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;
第二操作接收单元,配置为接收所述第一触摸物或所述第二触摸物在第一批注层上的第二移动操作;
第二操作响应单元,配置为根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;
第三操作接收单元,配置为接收第三触摸物在所述第一批注层上的第二点击操作,所述第三触摸物的介质类型为第三介质类型;
第三操作响应单元,配置为根据所述第二点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容。
第五方面,本申请实施例提供了一种快捷批注装置,该装置包括:
第二显示单元,配置为显示第一界面的显示内容;
第一数据接收单元,配置为接收触摸物在所述第一界面进行第一操作的第一传感数据,所述第一传感数据包括所述触敏显示屏检测到的第一位置信息和所述振动声学传感器检测到的第一振动波信号;
第一数据响应单元,配置为基于所述第一位置信息确认所述第一操作为移动操作,且根据所述第一振动波信号确定所述触摸物的介质类型为预设的第一介质类型或第二介质类型;
在所述第一界面上添加第一批注层,且当所述触摸物的介质类型为第一介质类型时,根据所述位置信息在所述第一批注层添加书写笔迹;
第二数据接收单元,配置为接收触摸物在所述第一批注层上进行第二操作的第二传感数据,所述第二传感数据包括所述触敏显示屏检测到的第二位置信息和所述振动声学传感器检测到的第二振动波信号;
第一介质响应单元,配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第一介质类型,则根据所述第二位置信息所述第一批注层添加对应的书写笔迹;
第二介质响应单元,配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第二介质类型,则根据所述第二位置信息所述第一批注层擦除对应的书写笔迹;
第三介质响应单元,配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,则根据所述第二位置信息,获得所述第二操作对所述第一界面的操作指令,更新所述第一界面的显示内容。
第六方面,本申请实施例提供了一种交互平板,该交互平板包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本申请实施例所述的快捷批注方法。
第七方面,本申请实施例提供了一种存储有计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本申请实施例所述的快捷批注方法。
本申请实施例中在交互平板的触敏显示屏显示第一界面;接收所述第一触摸物或所述第二触摸物在所述第一界面上的第一移动操作;根据所述第一移动操作,在所述第一界面添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;接收所述第一触摸物或所述第二触摸物的第二移动操作;根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;接收第三触摸物在所述第一批注层上的第一点击操作,所述第三触摸物的介质类型为第三介质类型;根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容。根据触摸物的介质类型,对不同介质类型的触摸物执行不同的操作响应,如添加书写笔迹、擦除书写笔迹等,做到落笔即书写以及落笔即擦除,对于唤起批注的操作步骤更加简便快捷,而且在进行批注后,还可以使用手指对显示内容进行操作,无需退出批注应用,能够起到迎合用户日益增长的交互需求,为用户提供良好的交互体验。
附图说明
图1为本申请实施例提供的一种快捷批注方法的流程图;
图2为本申请实施例提供的交互平板上显示第一界面的示意图;
图3为本申请实施例提供的在第一批注层上显示书写笔迹的示意图;
图4为本申请实施例提供的第一界面更新显示内容前的示意图;
图5为本申请实施例提供的第一界面更新显示内容后的示意图;
图6为本申请实施例提供的不响应手指移动操作的示意图;
图7为本申请实施例提供的进行多点触控操作的示意图;
图8为本申请实施例提供的另一种快捷批注方法的流程图;
图9为申请实施例提供的又一种快捷批注方法的流程图;
图10为本申请实施例提供的一种书写笔的剖面图;
图11为本申请实施例提供的一种快捷批注装置的结构框图;
图12为本申请实施例提供的另一种快捷批注装置的结构框图;
图13为本申请实施例提供的一种交互平板的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。
需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请的快捷批注方法可以应用于交互平板,交互平板可以是通过触控技术对显示在显示屏上的内容进行操控和实现人机交互操作的一体化设备,其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。当然,交互平板并不包括对显示面的表面 特征的限定,例如交互平板的表面特征可以是平面、曲面或多个平面的拼接等。
典型的,交互平板安装有至少一种操作系统,其中,操作系统包括但不限定于安卓系统、Linux系统、Windows系统和华为鸿蒙系统,其用于控制和协调交互平板及外部设备,使得交互平板中各种独立的硬件可以作为一个稳定的整体协调工作,操作系统所在的架构层级定义为系统层。在系统层的基础上,交互平板中安装有为满足用户不同领域、不同问题而开发的应用程序,其对应所在的架构层级为应用层。在本方案的具体实施例描述中,交互平板可以安装至少一个具有书写功能的应用程序。其中,该具有书写功能的应用程序可以为操作系统自带的应用程序,同时,也可以是从第三方设备或者服务器中下载的应用程序。可选的,应用程序除具备基于触控操作的书写功能外,还具有其他编辑功能,如删除功能、插入表格、插入图片、插图图形、绘制表格、绘制图形等功能。例如,批注应用、白板应用等属于上述的具有书写功能的应用程序。
展示及书写功能对交互平板而言非常重要,为了提高用户使用交互智能平板的操作体验,尝试设计在交互平板在运行批注应用程序的情况下,对展示的内容进行操作。但是,发现有如下技术问题:
首先,就现有的交互平板的批注操作的技术问题进行分析。以运行安卓操作系统的交互平板为例进行说明。当安卓操作系统启动运行后,其事件的监听及分发机制开始工作。当启动交互平板的批注应用程序后,批注应用程序的窗口置顶。这种场景下,安卓操作系统通过eventHub监听各种输入设备的输入,包括监听交互平板的触敏显示屏的输入。当触摸物在触敏显示屏上点击或滑动时,触敏显示屏会产生触摸数据,并将该数据发送给交互平板的处理器,运行安卓操作系统的处理器运行的inputReader读取线程读取该触摸数据并将该数据通过inputDispatcher派发线程派发给置顶窗口对应的应用程序,即批注应用程序,批注应用程序根据触摸数据进行响应,包括但不限于,显示触摸轨迹。在上述机制下,在会议场景下,若用户采用交互平板显示演示文稿(例如PPT),且需要对演示文稿的某部分展示的内容进行批注时,用户会在展示演示文稿内容的同时,启动批注应用程序,如上所述,当批注应用程序启动后,所有的触摸数据都会被安卓操作系统分发至批注应用程序,用户无法在运行批注应用程序的情形下,通过对交互平板的触控行为来操作演示文稿,例如,将演示文稿翻页等。
现有技术中,用户可以对屏幕显示内容可以进行选择、点击、翻页。若还期望对屏幕显示内容进行批注,需要点击批注按钮来启动批注应用程序,触发批注操作,并进行书写批注。由于现有技术中,批注应用程序启动后,所有的触摸数据都会被安卓操作系统分发至批注应用程序,书写批注后用户需要点击退出按钮退出批注应用,才能继续进行翻页等操作。也就是说,由于现有技术中,所有的触摸数据都会被安卓操作系统分发至批注应用程序,因此用户在使用批注功能的过程中,要对底层显示内容的进行控制时,只能通过手动操作退出批注应用才能进行上述操作,操作较为繁琐。
尽管,安卓操作系统也可以修改触摸数据的派发对象,但是在复杂多样的交互场景中,同时打开多个应用时,将会发生数据派发逻辑混乱,操作系统不知道哪一个触摸数据派发给哪个应用,或者将触摸数据派发给实际操作目标之外的应用时,将会造成交互响应的混乱。针对上述问题,本申请创造性的提出了一种新型的技术方案,包括硬件构架及软件设计,通过两个层面来实现在交互平板在运行批注应用程序的情况下,还能实现对展示的内容进行操作,具体如下:
首先,在硬件构架方面,在现有的交互平板上增加一组触摸物介质类型识别装置。该触摸物介质类型识别装置可以包括振动声学传感器和处理器,其具体在交互平板的安装方式为:振动声学传感器安装在交互平板的可传递显示屏发生的振动的任一位置,可以是显示屏的任一位置,也可以是与显示屏存在直接或间接接触的任一位置,均可实现检测触摸物触碰显示屏的表面所产生的振动。具体的,振动声学传感器可以直接安装在显示屏的背面,也可以将振动声学传感器封装在FPC电路板上,然后将FPC电路板安装在显示屏的背面。
振动声学传感器可以采用压电传感器,其数量可以为一个或者多个,当振动声学传感器的数量为多个时,其可以均匀或者不均匀地分布在显示屏的各个位置。压电传感器是利用某些电 介质受力后产生的压电效应制成的传感组件,是一种自发电式和机电转换式的传感组件。所谓压电效应,是指某些电介质在受到某一方向的外力作用而发生形变(包括弯曲和伸缩形变)时,由于材料内部电荷分布状况发生变化,会在其表面产生电荷的现象。也就是说,压电传感器可以检测触摸物在触敏显示屏上接触所产生的的振动,然后应用正压电效应生成振动波信号。
处理器接收到振动声学传感器生成的振动波信号后,通过将检测到的振动波信号进行处理,以确定触摸物的介质类型,具体可以通过将振动波信号与预存的对应于触摸物的介质类型的振动波信号进行比对的方式、特征提取的方式或者神经网络训练等方式来确定触摸物的介质类型,也就是说,处理器会基于振动波信号得到触摸物材质的识别结果。需要说明的是,这里的处理器可以是单独的用于进行振动波信号识别的处理器,也可以是交互平板的处理器,通过交互平板的处理器来进行振动波信号识别。
其次,在软件构架或软件逻辑方面,基于安卓操作系统的工作特性,结合硬件架构变化所带来的信息变化对批注应用窗口的窗口属性进行重新设计,从而修改了触摸数据的派发机制。
具体的,通过设置WindowManager(窗口管理服务)中的flags的属性,将批注应用窗口的窗口属性设置为WindowManager.LayoutParams.FLAG_NOT_TOUCHABLE(0×00000010)可以实现批注应用窗口的可穿透,可以理解的是,在窗口可以穿透的情况下,所进行的触控操作的操作对象均不是批注应用窗口,而是透传给批注应用窗口的下一层窗口,例如桌面应用或PPT应用等,从技术上来说,当窗口可穿透时,系统接收到的触摸数据将发送给窗口的下层应用进行响应。因此,可以实现触摸操作穿过批注应用所在的批注应用窗口,并在下层应用的窗口进行操作的方案。例如下层应用为PPT应用,则可以实现将触摸数据穿过批注应用窗口,分发到PPT应用的窗口,从而实现对PPT应用的触控操作。
更详细的,批注应用程序通过inputReader接收触敏显示屏的触摸数据。这里的触摸数据是安卓操作系统的驱动层对触摸数据封装后的输出信息。在本申请的新的硬件架构下,当触摸物在交互平板的触敏显示屏上进行触摸操作时,交互平板的安卓操作系统不仅会接收到触摸数据,还会接收到触摸物材质的识别结果或者根据振动波信号进行处理得到触摸物材质的识别结果,安卓操作系统的驱动层在封装触摸数据时会一并封装触摸物材质的识别结果作为封装后的触摸数据,具体可以是通过ID来表征触摸物材质的识别结果,也可以对不同的识别结果采用不同的宽高值来表示。本申请一个实施例中,通过在触摸数据中采用不同的宽高值来表征不同的触摸物材质,封装后的触摸数据包括了进行操作产生该触摸数据的相应触摸物材质的宽高值。封装后的触摸数据的第二位用于触摸点的Down、Move或Up操作类型的区分,Down表示触摸物开始接触触敏显示屏,Move表示触摸物在触敏显示屏上移动,Up表示触摸物离开触敏显示屏。基于上述封装后的触摸数据,可以准确判断触摸物与交互平板的触敏显示屏的接触状态,进而可以根据触摸物与触敏显示屏,来对批注应用窗口的属性进行设计,从而修改触摸数据分发的结果。例如当根据封装后的触摸数据,判断笔类设备如手写笔(包括笔头和笔尾)触摸触敏显示屏时,通过设置WindowManager(窗口管理服务)中的flags的属性,将批注应用窗口的窗口属性设置为WindowManager.LayoutParams.FLAG_NOT_TOUCH_MODAL(0x00000020),实现批注应用窗口的不可穿透,从而发生在批注应用窗口的触摸操作所对应的触摸数据,将由批注应用程序进行响应。而当根据封装后的触摸数据,判断手写笔离开触敏显示屏,则再次通过设置WindowManager(窗口管理服务)中的flags的属性,将批注应用窗口的窗口属性设置为WindowManager.LayoutParams.FLAG_NOT_TOUCHABLE(0×00000010),将窗口还原成穿透状态,以便于处理后续的输入信息。也就是说,批注应用窗口的默认窗口属性为可穿透,触摸数据将会分发到批注应用窗口的下一层窗口对应的应用程序进行响应。而当触摸物为手写笔时,则批注应用窗口的窗口属性将会修改为不可穿透,从而触摸数据由批注应用进行响应。
另外,对于windows操作系统来说,其工作机制与安卓操作系统略有差异,因此,具体设置方式上略有不同,但是实现原理类似。具体的,windows操作系统通过SetWindowLongPtr函数设置批注应用窗口的窗口属性为WS_EX_TRANSPARENT,实现窗口的穿透,透传给批注应用窗口的下一层窗口,例如桌面应用或PPT应用等。当需要将批注应用窗口的窗口属性设置为不可穿透时,通过SetWindowLongPtr函数去除WS_EX_TRANSPARENT样式实现窗口的不可 穿透,从而发生在批注应用窗口的触摸操作所对应的触摸数据,将由批注应用程序进行响应。更细节的,对于windows操作系统来说,这里的窗口属性指的是窗口的窗口样式中的属性。
本实施例通过上述硬件架构和软件架构的创新,根据识别用户触摸屏幕的触摸物材质,预测用户的交互期望,实现操作系统将触摸数据准确的发送给各个应用程序。例如识别到用户提笔触摸屏幕,预测到用户是要进行批注,操作系统会触发批注应用程序,并将触摸数据发送给批注应用程序,进而实现用户提笔即写的交互目的。
需要说明的是,在软件构架或软件逻辑方面,本申请实施例还提供另外一种触摸数据的派发机制方式。根据预设的对触摸数据的判断规则或条件,通过处理器的操作系统的驱动层对触摸数据进行拦截,及通过对批注应用窗口的窗口属性的设置,进而改变触摸数据的派发机制,实现用户在交互平板上提笔即可以书写的书写操作。
现有技术中,操作系统接收到触摸数据后,会将触摸数据派发给置顶窗口对应的应用程序。本实施例中,可以将批注应用窗口的窗口属性设置为可穿透的,也就是说,操作系统接收到触摸数据后,即使批注应用窗口是置顶窗口,操作系统也不会将触摸数据派发给批注应用窗口对应的批注应用程序。而是,操作系统会将触摸数据派发给批注应用窗口的下一层窗口对应的应用程序,例如系统桌面,或者书写应用程序、PPT播放程序、浏览器程序等应用程序。
此外,现有技术中,操作系统接收到触摸数据后,会直接将触摸数据派发给置顶窗口对应的应用程序,不会进行拦截。本实施例中,操作系统运行时,批注应用程序即启动在后台运行,批注应用窗口的窗口属性设置为可穿透的,该批注应用程序预先设置有需要进行响应的触摸数据的相关属性,批注应用程序运行后,告知操作系统符合需要进行响应的触摸数据的相关属性的判断规则或条件,操作系统根据判断规则或条件对触摸数据进行拦截,即将符合批注应用程序需要进行响应的触摸数据发送到批注应用程序,而不派发给其它应用程序。
具体的,以Windows操作系统为例,Windows操作系统启动后,批注应用程序开始运行,此时,批注应用程序和操作系统的驱动层通过DeviceIoControl建立通信,将判断规则或条件发送给操作系统,当操作系统的驱动层在处理触摸数据时,需要根据判断规则或条件拦截符合判断规则或条件的触摸数据,若触摸数据符合判断规则或条件,则操作系统将该触摸数据发送给批注应用窗口对应的批注应用程序,此时,批注应用程序需要将批注应用窗口叠加显示在交互平板的当前显示界面上,并且批注应用程序对触摸数据进行处理,例如,若触摸数据是由书写笔的笔头的移动操作产生,则在交互平板的显示界面上添加显示触摸数据对应的书写轨迹。
需要说明的是,如果判断是需要拦截的触摸数据时,驱动层通过设置信号量,告知批注应用程序,批注应用程序在收到信号后,通过DeviceIoControl向驱动层发送接收触摸数据的通知,驱动层接收到该通知后,将触摸数据发送给批注应用程序,而不发送给其他应用程序,也就是说,驱动层将触摸数据拦截并发送到批注应用程序,不再透传给其他窗口对应的应用程序。批注应用程序接收到触摸数据后,对接收到的触摸数据进行解析和处理后进行响应。在此过程中,将会在操作系统的当前显示界面上叠加显示批注应用程序的批注应用窗口,从而触摸数据的响应结果将会在批注应用窗口上呈现。
当驱动层接收到触摸数据时,如果判断是不需要拦截的触摸数据,则由操作系统直接进行触摸数据的分发,将触摸数据分发给置顶窗口对应的应用程序。需要说明的是,如果此时批注应用窗口是置顶窗口,由于批注应用窗口的窗口属性设置为可穿透的,触摸数据则被操作系统分发给批注应用窗口的下层窗口,进而由下层窗口对应的应用程序进行响应,具体的响应方式取决于下层窗口对应的应用程序的类型。
还需要说明的是,触摸数据是操作系统的驱动层对触摸数据封装后的输出信息。在本实施例的新的硬件架构下,当触摸物在交互平板的触敏显示屏上进行触摸操作时,交互平板的操作系统不仅会接收到触摸数据,还会接收到触摸物材质的识别结果,操作系统的驱动层在封装触摸数据时会一并封装触摸物材质的识别结果,具体的,可以通过一个具体的标识符或者ID代表触摸物材质的类型。批注应用程序可以根据不同的触摸物材质执行不同的响应。
另一种实施方式,针对不同触摸物材质,驱动层发送触摸数据时将会附上相应触摸物材质的宽高值,批注应用程序等应用程序通过宽高值可以知道触摸物材质的类型,进而识别是不同 的触摸物在进行触摸操作。
例如,批注应用程序跟驱动层之间的主要的通信协议结构如下:
Figure PCTCN2022124985-appb-000001
批注应用程序通过上述协议,告知驱动层需要拦截的触摸数据的判断规则或条件。其中,maxPointCacheForJudge表示缓存多少个触摸点后进行判断,也就是说,当触敏显示屏上发生触摸事件,驱动层判断是否进行拦截时,是需要缓存maxPointCacheForJudge个触摸点后进行判断的,例如maxPointCacheForJudge设置为10,则缓存10个触摸点数据后进行下一步判断。如果一个触摸事件缓存的触摸点少于maxPointCacheForJudge,则不进行下一步判断,不拦截相关触摸数据。xDeltaThreshold表示水平方向上的触摸位移阈值,yDeltaThreshold表示垂直方向上的触摸位移阈值,当一个触摸事件缓存的触摸点的数量超过maxPointCacheForJudge时,则判断这些触摸点的触摸数据表示的水平方向位移和垂直方向位移是否超过xDeltaThreshold和yDeltaThreshold,如果均超过,则表示触摸事件是移动操作,继续结合触摸数据的宽高值来进行判断。minWidth、maxWidth表示进行拦截的触摸数据的宽度范围,minHeight、maxHeight表示进行拦截的触摸数据的高度范围,具体的,[minWidth,maxWidth]表示触摸数据的宽在该范围的触摸数据都要拦截,[minHeight,maxHeight]表示触摸数据的高在该范围的触摸数据都要拦截。
上述通信协议表征了产生触摸数据的特定触摸物的材质类型及该触摸物的移动操作满足位移超过一定像素的触摸数据需要进行拦截。在本实施例中,封装后的触摸数据是通过宽高值来表示触摸物材质的识别结果。
还需要说明的是,当操作系统在当前显示界面上叠加显示的批注应用窗口后,如果驱动层还按照特定触摸物的材质类型及该触摸物的移动操作为判断规则或条件对触摸数据进行拦截的话,在特定的场景下,会导致错误的触发:
例如,当触摸物为书写笔的笔头时,在批注应用窗口显示后,用笔头在批注应用窗口书写小数点时,书写笔的笔头书写小数点的操作不满足特定触摸物的移动操作的判断条件,即不符合拦截的规则或条件,操作系统将不会拦截该触摸数据,而是将该触摸数据派发给批注应用窗口的下层窗口对应的应用程序进行响应,例如,导致其它应用程序误认为是对其的点击操作。
针对上述技术问题,本实施例还提出了一种改进的方式,具体的:
驱动层可以针对不用的场景执行不同的触摸数据的判断规则或条件。具体的,在显示批注应用窗口后,批注应用程序或操作系统告知驱动层将当前的触摸数据的判断规则或条件进行更改,从而驱动层按照特定触摸物的材质类型作为判断规则或条件对触摸数据进行拦截。
作为一种实施方式,当批注应用程序在操作系统的当前显示界面上叠加显示对应的批注应用窗口后,则驱动层不再结合xDeltaThreshold和yDeltaThreshold进行判断,只根据宽高是否落在设定范围来确定是否需要对触摸数据进行拦截。
当关闭批注应用窗口或者隐藏批注应用窗口后,此时,交互平板将不再显示批注应用窗口,用户无法感知到批注应用窗口,因此,批注应用程序或操作系统再次告知驱动层将当前的触摸数据的判断规则或条件进行更改,从而驱动层重新按照特定触摸物的材质类型及该触摸物的移动操作为判断规则或条件对触摸数据进行拦截。
具体的,触摸数据的数据格式如下:
Figure PCTCN2022124985-appb-000002
Figure PCTCN2022124985-appb-000003
其中,ContactId表示触摸物的标识,touchType表示down、move、up操作类型的区分,Down表示触摸物开始接触触敏显示屏,Move表示触摸物在触敏显示屏上移动,Up表示触摸物离开触敏显示屏。logicX表示触摸物相对触敏显示屏的水平位置,logicY表示触摸物相对触敏显示屏的垂直位置,logicMaxX表示触敏显示屏的最大水平位置,logicMaxY表示触敏显示屏的最大垂直位置,width表示触摸物的宽,height表示触摸物的高,通过width和height可以表示不同的触摸物材质。通过logicX、logicY、logicMaxX和logicMaxY可以计算出触摸物在触敏显示屏上的触摸位置的坐标。
需要注意的是,本申请实施例中,操作系统的驱动层与批注应用窗口通过DeviceIoControl建立通信的方式仅是一种示例,具体可以基于操作系统的属性采用各种方式建立通信,例如对于安卓系统来说,可以采用JNI方法或者进程间通信的方式来实现操作系统的驱动层与批注应用窗口的通信。
基于本实施例上述硬件设计及软件架构或软件逻辑,结合具体的场景对本实施例做进一步的阐述。
图1为本申请实施例提供的一种快捷批注方法的流程图,该方法可以应用在交互平板上,交互平板包括触敏显示屏,应当想到的是,交互平板上至少包括一块触敏显示屏,触敏显示屏为一块具有触摸功能的显示屏,如红外显示屏、电容显示屏、电阻显示屏、电磁显示屏或压感显示屏等,在触敏显示屏上,用户可以通过手指或书写笔触控触敏显示屏的方式实现书写操作或其它操作,相应的,交互平板检测到手指或书写笔的触控位置,并根据触控位置进行响应,以实现基于触控的人机交互功能。
如图1所示,该方法具体步骤包括:
步骤S110:在触敏显示屏显示第一界面。
在本方案的实现过程中,触敏显示屏显示当前显示的第一界面的显示内容,第一界面指当前触敏显示屏所显示的交互界面,可以理解的是,交互界面是交互平板上的一个应用程序用于接收和/或展示信息的界面,例如,文档编辑类的应用,其交互界面主要用于接收用户输入的文档内容并进行展示;视频播放类的应用,其交互界面主要用于展示变化的视频画面。同样的,对于交互平板上的显示桌面,也是当前触敏显示屏所显示的交互界面,如图2所示,交互平板101的触敏显示屏显示了第一界面,该第一界面为当前交互平板上显示有多个应用图标102的显示桌面。
步骤S120、接收第一触摸物或第二触摸物在第一界面上的第一移动操作。
步骤S130、根据第一移动操作,在第一界面上添加第一批注层,并根据第一移动操作在第一批注层添加书写笔迹或进行擦除操作。
示例性的,交互平板包括触敏显示屏和振动声学传感器,交互平板通过触敏显示屏显示应用界面、显示桌面等,而振动声学传感器用于检测触摸物的振动波信号。振动声学传感器可以直接安装在触敏显示屏的表面,在其检测到相应的振动波信号后,交互平板可以通过将检测到的振动波信号进行处理后,以确定触摸物的介质类型,具体可以通过将振动波信号与预存的对应于触摸物的介质类型的振动波信号进行比对的方式、特征提取的方式或者神经网络训练等返回来确定触摸物的介质类型。
第一触摸物为第一介质类型,第二触摸物为第二介质类型,第三触摸物为第三介质类型, 第一介质类型、第二介质类型和第三介质类型可以是预存在交互平板上的三种介质类型。可以想到的是,在交互平板的使用过程中,用户可以使用手写笔的笔头、笔尾、手指等不同介质类型的触摸物对触敏显示屏进行触控响应,如第一触摸物可以是手写笔的笔头,则第一介质类型对应于手写笔笔头的介质类型;而第二触摸物可以是手写笔的笔尾,则第二介质类型对应于手写笔笔尾的介质类型;第三触摸物可以是手指,则第三介质类型对应于手指的介质类型。
在第一界面上的第一移动操作可以是滑动(本申请实施例中,也称移动)操作,即第一触摸物或第二触摸物在触敏显示屏上的滑动,例如,触敏显示屏当前显示的是一个Word文档,即第一界面上显示文档内容,笔头或笔尾在触敏显示屏上滑动,则触敏显示屏置顶添加第一批注层,对于笔头的滑动,如用户用手写笔笔头在触敏显示屏上书写文字、画上符号等,第一批注层上显示相应的书写笔迹;对于笔尾的滑动,则会在第一批注层进行擦除操作,对于擦除操作,可以理解的是,当用户使用笔尾在触敏显示屏上滑动,交互平板在接收到笔尾的滑动即第一操作后,则会执行生成第一批注层以及进行擦除操作的响应。从而本申请实施例可以实现落笔即写和即擦的效果,为用户提供方便、快捷的批注方案,提升了用户的使用体验。
如图3所示,在交互平板101的显示桌面上,当用户使用手写笔笔头在触敏显示屏上滑动,则交互平板101在显示桌面添加第一批注层,且在第一批注层上显示书写笔迹C1。第一批注层为批注应用程序的显示窗口,也称批注应用程序的显示界面,本申请实施例中也将第一批注层称为批注应用窗口。可以理解的是,第一批注层用于显示书写笔迹,当第一批注层采用透明批注层,则在图中未能显示第一批注层,但并不表示交互平板101中未生成第一批注层。
第一批注层可以是透明的,也可以是半透明的或者带有蒙层效果的,还可以是其它形式。第一批注层上还显示有批注工具栏,批注工具栏包括翻页、保存、擦除等批注控件。具体的,在第一界面上添加第一批注层,也可以称为在第一界面上叠加显示批注应用窗口,叠加显示批注应用窗口的方式,可以是先前未显示批注应用窗口,从而直接在第一界面上添加并显示包含批注工具栏的批注应用窗口,也可以是在批注应用启动后,就一直置顶显示完全透明、用户无法感知到的不包含批注工具栏的批注应用窗口,从而在本步骤中加载并显示批注工具栏,从而实现批注应用窗口的显示,呈现出叠加显示批注显示窗口的效果。具体显示细节本申请实施例不做限定。
在一些实施例中,交互平板对于笔尾在触敏显示屏滑动的位置进行擦除操作,而在用户看来,交互平板对擦除操作的响应并不是可视化的响应,例如擦除操作的位置不存在书写笔迹,则触敏显示屏上显示的内容并没有可视化响应。而在一些实施例中,交互平板对于笔尾在触敏显示屏滑动的位置进行擦除操作,在用户看来,能够明显感知到在笔尾滑动位置,交互平板进行了可视化的响应,如在触敏显示屏生成用于表示擦除的标识符号,即交互平板检测到笔尾在触摸显示屏进行滑动时,跟随笔尾滑动,显示相应的标识符号。此时,即使擦除操作的位置不存在书写笔迹,则触敏显示屏上也会显示响应的标识符号,例如橡皮擦图标。
第一批注层可以是透明批注层、浅色批注层等可用于显示书写笔迹的图层界面,如批注显示层,可以理解的是,批注显示层与Word文档所在的应用显示层是相互独立的,即对于在批注显示层上显示的内容以及在应用显示层上显示的内容,两者是互不干扰的。
需要说明的是,在第一界面如显示桌面上,具有多个图层界面,如包括批注显示层、应用显示层和控件显示层等,批注显示层是位于应用显示层上,因此,在对Word文档进行批注的场景中,第一批注层即批注显示层是在Word文档所在的应用显示层上的。
而控件显示层可以位于批注显示层上,例如,在控件显示层上显示有翻页控件、批注控件和属性控件等控件,控件可以位于显示桌面的侧边上,如在显示桌面上以侧边栏的形式显示控件。控件显示层还可以位于批注显示层下,对此,本申请不做具体限定。
步骤S140、接收第一触摸物或第二触摸物在第一批注层上的第二移动操作。
步骤S150、根据第一触摸物的第二移动操作,在第一批注层上添加书写笔迹,或根据第二触摸物的第二移动操作,在第一批注层上擦除相应的书写笔迹。
可以结合图3来看,在生成第一批注层后,对于手写笔的笔头或笔尾在第一批注层上的滑动,即笔头或笔尾的第二移动操作,则在第一批注层上会进行相应的响应,如,用户使用手写 笔的笔头在第一批注层上书写,则在第一批注层上添加相应的书写笔迹,该书写笔迹是根据笔头的滑动位置以及滑动路径添加的,而对于笔尾的第二移动操作,仅擦除笔尾滑动路径上的书写笔迹,例如,用户使用手写笔的笔尾在第一批注层上滑动,对于笔尾滑动路径上的书写笔迹,则对应地,在第一批注层上擦除该书写笔迹;而对于笔尾的滑动路径上不存在书写笔迹的情况,如在第一界面上添加了第一批注层,且在第一批注层上的书写笔迹位于触敏显示屏的一侧,而笔尾的滑动路径仅在触敏显示屏的另一侧,即在笔尾的滑动路径上不存在书写笔迹,该书写笔迹不会被擦除。
步骤S160、接收第三触摸物在第一批注层上的第一点击操作。
步骤S170、根据第一点击操作在第一界面所点击的目标,更新第一界面的显示内容。
第一点击操作则是通过第三触摸物在第一批注层上所进行的点击操作,对于第三触摸物的第一点击操作,交互平板对此操作的响应不在第一批注层上,而是在应用显示层上,根据第一点击操作所点击的目标,更新第一界面的显示内容。所述的目标包括应用图标、操作控件、超链接或所述第一界面本身。
在一实施例中,第三触摸物可以是手指,对于手指对触敏显示屏的点击,交互平板更新触敏显示屏上的第一界面的显示内容,例如,用户用手指点击触敏显示屏的显示桌面上的某一应用图标,则交互平板打开该应用并在第一界面上显示该应用的内容,或者在进行浏览网页过程中,第一界面显示网页内容,用户用手指在触敏显示屏上点击翻页控件,则交互平板更新显示的网页内容,如显示下一页或上一页的文字和/或图片等网页内容。
如图4所示,当前第一界面上显示的是显示桌面的内容,在生成第一批注层后,用户可以使用手写笔笔头在第一批注层上生成书写笔迹C1,当用户使用手指点击了在显示桌面上的应用图标102后,如Word文档的应用图标,如图5所示,则第一界面的显示内容更新,显示文档内容,即在用户看来,用户的手指穿过了批注显示层,直接在应用显示层上进行操作。
示例性的,还可以是,在演示PPT或者PDF文档的过程中,如在显示桌面上显示PPT文档或PDF文档,当用户使用手写笔在触敏显示屏上移动,则在生成的第一批注层上显示有对应于手写笔笔头移动路径的书写笔迹,即用户可以在第一批注层上添加批注内容,且用户还可以通过手指触控在显示桌面上的控件,来显示桌面的显示内容,如在显示桌面上有翻页控件,用户可以触控翻页控件对PPT文档进行翻页,即显示新的PPT文档内容,而在第一批注层上的批注内容则保持显示,从而实现交互平板上显示内容的更新,且无需关闭第一批注层再进行内容的更新,同时也无需在更新后重新打开第一批注层。
可以想到的是,第一批注层上的批注内容还可以对显示内容跟随显示,例如,在演示PDF文档的过程中,在显示桌面上存在有滚动显示控件,该控件用于控制PDF文档在显示桌面上滚动显示,因此,在PDF文档滚动显示的同时,第一批注层上的批注内容也可以同步地进行滚动显示。
在一实施例中,在显示界面上可以将多个控件以工具栏的形式显示,则在显示界面上控件所对应的显示区域内,任一类型的触摸物在上述显示区域内的操作,如点击操作、移动操作等,交互平板均响应为对控件的触控,即交互平板会根据对应控件执行相应的响应。
由上述方案可知,本方案能够做到落笔即书写、落笔即擦除,即对于进行批注的操作步骤更加简便快捷,而且在生成批注层后,还可以使用手指对显示内容进行操作,无需退出批注应用,即无需关闭批注层,就可以更新显示内容,继续进行批注,能够为用户提供良好的交互体验,满足用户日益增长的交互需求。在需要在交互平板上使用批注应用的场景下,本申请的方案能够使用户更加快捷、高效地进行工作,使得用户体验得到提升。
在一应用场景中,用户在使用实施本申请方法的交互平板进行教学工作,如使用交互平板显示课文内容,用户可以通过使用其手指对显示的内容进行点击、翻页等操作,用户还可以通过使用手写笔来对显示的内容进行点击操作,例如通过点击触敏显示屏上的翻页控件,即可实现对显示的课文内容进行翻页。
在用户需要对课文内容进行批注时,用户可以使用手写笔的笔头直接在触敏显示屏上滑动,则生成批注层,对应地,书写笔迹在批注层上显示,在用户的视角看来,书写笔迹在课文内容 上显示出来,形成批注。
在用户需要对批注内容进行擦除时,用户可以使用手写笔的笔尾直接在触敏显示屏上滑动,则对应的,笔尾的滑动路径上的批注即批注层上的书写笔迹会被擦除,在用户的视角看来,课文内容上的批注在笔尾的滑动下逐步被清除。
在一实施例中,当批注应用窗口上的所有书写笔迹均被擦除后,关闭批注应用窗口。具体的,可以是批注应用程序判断所有书写笔迹均被擦除后,自动关闭批注应用窗口。也可以操作系统是接收到用户对批注操作控件中的关闭控件的点击操作后,关闭批注应用窗口。也就是说,当批注应用窗口上的所有书写笔迹均被擦除后,第一界面上将不再覆盖第一批注层。因此,当批注笔迹擦除完毕后,自动关闭批注应用窗口,用户可以直接对第一界面进行操作,避免批注应用窗口的工具栏等内容的显示,以免对用户造成体验上的干扰。
如前所述,在一些实施例中,交互平板检测到笔尾在触摸显示屏进行滑动时,跟随笔尾滑动,显示相应的标识符号,例如显示橡皮擦图标。这种情况下,如果未打开批注应用窗口,此时,用笔尾在触敏显示屏上滑动,则交互平板会打开批注应用窗口,并跟随笔尾的滑动在批注应用窗口上显示橡皮擦图标,当笔尾滑动完毕,由于批注应用窗口上没有批注笔迹,故交互平板会关闭批注应用窗口。通过这种方式,可以更好地提示用户当前的操作状态,并且在没有批注笔迹时,自动关闭批注应用窗口,避免批注应用窗口的工具栏等内容的显示,提高了用户体验。
在一实施例中,交互平板接收第一触摸物或第二触摸物在第一界面上的第二点击操作,则根据第二点击操作,更新第一界面的显示内容。
第二点击操作可以是用户使用手写笔的笔头或笔尾点击触敏显示屏时所进行的操作,例如,当前的第一界面显示的内容为显示桌面,用户使用手写笔的笔头或笔尾点击触敏显示屏的显示桌面上的某一应用图标,则交互平板打开该应用并在触敏显示屏的第一界面上显示该应用的内容,即第一界面由显示桌面更新为应用内容。
在一些实施例中,确认接收到第三触摸物在第一批注层上的第三移动操作,则不响应第三移动操作,即可以理解的是,当用户使用手指在第一批注层上进行滑动时,交互平板的第一批注层不响应第三移动操作,即在第一批注层上不显示书写笔迹。如图6所示,在生成第一批注层后,对于用户使用手指在触摸显示屏上的滑动,其书写笔迹并不能在第一批注层上显示;而对于用户使用手写笔的笔头在触敏显示屏上的滑动,在第一批注层上对应生成书写笔迹C1。
由此可见,本方案中,交互平板对用户使用手指进行书写是不进行响应的,但对于用户使用手指进行的触摸控制,交互平板能够进行响应,从而避免手指误触而导致第一界面生成第一批注层并在第一批注层上显示书写笔迹,此外,对于手写笔在触敏显示屏上的滑动,即用户使用手写笔进行书写,交互平板能够进行响应,为用户提供落笔即写的快捷批注功能,不仅能够快捷、方便地进行批注的书写,还能有效地避免手指误触导致的情况发生,提升了用户的交互体验。
在一实施例中,交互平板在接收第三触摸物在第一批注层上的多点触控操作,根据多点触控操作,在第一批注层上擦除相应的书写笔迹。
可以理解的是,在生成第一批注层后,第三触摸物在第一批注层上进行多点触控操作,交互平板的响应为擦除在第一批注层上相应位置的书写笔迹,例如,用户在交互平板上进行批注,在用户需要对错误的批注进行擦除时,用户可以使用手掌或者手背在触敏显示屏上进行擦除操作,此时,触敏显示屏同时检测到多个触控点,即检测到手掌或者手背进行了多点触控,因此,在手掌或者手背滑动路径上的书写笔迹被清除。更具体的,可以对多点触控操作的属性进行进一步限定,例如对多个触控点之间的距离、多个触控点所形成的面积进行进一步限定(例如限定面积的上限值跟下限值),从而更明确地区分手掌/手背擦除的操作。
在一实施例中,用户还可以采用多指并拢的方式在触敏显示屏上进行擦除操作。图7为本申请实施例提供的进行多点触控操作的示意图,如图7所示,在交互平板101的触敏显示屏上,已生成了第一批注层,且在第一批注层上存在有书写笔迹C1,用户可以采用并拢两根手指的方式进行多点触控操作,多点触控操作的位置位于书写笔迹C1上,则对应的位置上的笔迹被擦 除,应当想到的是,当用户沿着书写笔迹C1的路径进行多点触控操作,如并拢两根手指沿着书写笔迹C1滑动,则擦除书写笔迹C1。
需要说明的是,对于多点触控操作,并拢两根手指是示意性的一种多点触控方式,在实际应用过程中,还可以是手掌擦除、手背擦除、并拢更多根手指的方式或者其他预设置的多点触控方式。
由上述方案可知,本申请能够根据第三触摸物的多点触控操作对批注进行擦除,即为批注的擦除提供了一种快捷的擦除方式,使用户能够更加快捷、高效地进行工作,使得交互体验得到提升。
在一实施例中,在第一界面上显示有批注控件,当触敏显示屏显示第一界面后,触摸物对批注控件进行点击操作,其中触摸物可以是第一触摸物、第二触摸物和第三触摸物中的任一种,如手写笔笔头、笔尾和手指中的任一种,对于触摸物点击批注控件后,则在第一界面上添加第二批注层,需要说明的是,在生成第二批注层后,触摸物的第四移动操作均位于第二批注层上,且在第二批注层上相应地添加书写笔迹或擦除书写笔迹。
对于笔头在第二批注层上的第四移动操作如滑动,则在第二批注层上显示相应的书写笔迹;对于笔尾在第二批注层上的第四移动操作如滑动,则在第二批注层上擦除相应的书写笔迹;对于手指在第二批注层上的第四移动操作如滑动,则在第二批注层上显示相应的书写笔迹。
在一应用场景中,在交互平板的触摸显示屏上显示第一界面,而在第一界面上显示有批注控件,当用户使用手指点击批注控件后,则在第一界面上添加第二批注层。在生成第二批注层后,当用户使用手指在第二批注层上进行滑动的过程中,对应的,在第二批注层上添加书写笔迹,因此在第一界面上,用户可以看到书写笔迹。可以想到的是,在点击批注控件后,用户通过触摸物在控件如批注控件所对应的显示区域外进行的点击操作,在第二批注层上会生成相应的书写笔迹,而无法对应用显示层上的显示内容进行控制。
在一实施例中,对于接收触摸物对批注控件的第三点击操作,包括:在未显示第一批注层的状态下,接收触摸物对批注控件的第三点击操作。
可以理解的是,在本实施例中,对于触摸物对批注控件的点击,还需要在第一批注层处于未显示状态下,交互平板才可以接收到触摸物对批注控件的第三点击操作,从而生成第二批注层,并使得触摸物可在第二批注层上添加或擦除书写笔迹。
由上述方案可知,用户可以通过任一类型的触摸物对批注控件进行点击,则交互平板通过常规方式为用户提供批注方案,即使得用户可以通过任一类型的触摸物在生成的第二批注层上进行书写,避免用户在无手写笔时无法进行批注的情况发生。
在一些实施例中,在第一界面上显示有属性控件,属性控件可用于控制书写笔迹的显示属性,如书写笔迹所显示的颜色、线型等项目;在第三触摸物对属性控件的选择操作,对于选择操作包括第三触摸物对属性控件的点击、滑动等操作;根据选择操作更改第三触摸物对应的书写笔迹的显示属性。
例如,在交互平板的触摸显示屏上显示第一界面,而在第一界面上显示有属性控件,用户使用手指点击属性控件上的颜色项目,进而为将要添加的书写笔迹的颜色进行选择,当用户使用手写笔笔头或者手指在批注层进行批注书写的过程中,所生成的书写笔迹以所选择的颜色显示。此外,对于生成的书写笔迹,可以对书写笔迹用手指进行点击,以选择该书写笔迹,再通过手指点击属性控件上的颜色项目为该书写笔迹选择颜色。
在一些实施例中,在第一界面上显示有模式切换控件,模式切换控件用于控制快捷批注模式的开启,快捷批注模式为交互平板应用本申请的快捷批注方法的工作模式。在交互平板接收第一触摸物或第二触摸物在第一界面上的第二点击操作之前,交互平板在接收到对模式切换控件的启动操作,启动操作可以是点击启动或者滑动启动,如采用第一触摸物、第二触摸物或第三触摸物对模式切换控件进行点击或者滑动,交互平板响应于启动操作,开启快捷批注模式。
本方案可以通过提供模式切换控件来为用户提供是否选用快捷批注模式的选择,为用户提供了更加灵活的使用操作,提升了用户的使用体验,对于习惯无笔操作的用户,也能够兼容其使用习惯,重视用户的使用习惯和使用体验,从而为用户提供更好的交互环境和交互体验。
在一些实施例中,对于第三触摸物的第一点击操作,第一点击操作在第一界面上所点击的位置是书写应用图标,则打开书写应用的界面,并关闭第一批注层。在书写应用的界面接收到触摸物的第五移动操作,则根据第五移动操作,在书写应用的界面添加书写笔迹或擦除书写笔迹。
书写应用指供用户进行书写、展示等操作的应用,可以用于根据用户在书写应用的界面的书写操作生成书写笔迹,也可以用于在书写应用的界面插入和显示多媒体元素,所述多媒体元素可以包括图形、图像、表格、文档、音频文件和/或视频文件。在书写应用的界面中,用户可以实现与实体黑板类似的写、画、擦除等操作,并进一步有更好的移动、保存、缩放、插入图片、颜色调整、笔画粗细设置等数字化功能,在实际应用中,书写应用也可以命名为白板应用、电子白板应用、协同白板应用等名称,不管名称如何改变,只要用于实现上述功能的应用,均等同于本申请的书写应用。
可以理解的是,在已经生成了第一批注层的情况下,用户使用手指点击了在应用显示层的书写应用图标,则交互平板打开书写应用的界面,并关闭第一批注层,用户可以在书写应用的界面上进行书写或擦除书写笔迹,如用户可以使用手指或手写笔笔头添加书写笔迹,用户可以使用手写笔笔尾擦除书写笔迹。
在一实施例中,在第一批注层显示有书写笔迹的情况下,交互平板响应于用户对书写应用图标的第一点击操作,从而打开书写应用的界面并关闭第一批注层,而第一批注层上已有的书写笔迹即批注内容能够在书写应用的界面打开后,导入书写应用的界面中重新显示。
可以想到的是,在将批注内容导入书写应用之前,交互平板还可以为用户提供是否导入的选择,如提供一个用于选择是否导入批注内容的弹窗,从而能够根据用户的选择,灵活地选择是否导入批注内容。
通过将原有的批注内容导入书写应用中,交互平板能够在用户需要同时使用书写应用和批注内容时,为用户提供便利,使得用户能够快速地利用批注内容,而无需另存批注内容,即能够减少用户的操作,从而提升用户的交互体验。
在一实施例中,对于书写笔迹还可以进行移动,在第一批注层上显示有对应的书写笔迹,则响应于对书写笔迹的移动操作,则可以根据触摸物的移动路径将书写笔迹移动至相应的位置,从而用户可以方便且快捷地将所需要的书写笔迹移动至选择的位置,操作简便,有助于提升用户的使用体验。
在一实施例中,第一批注层的可书写范围小于第一界面的显示范围,在移动书写笔迹的过程中,当书写笔迹移动至第一批注层的可书写范围的边界处,即书写笔迹将要移出第一批注层的可书写范围时,第一批注层可以跟随书写笔迹的移动而扩展可书写范围,以使得书写笔迹始终位于第一批注层的可书写范围内,从而实现无限扩展可书写范围,达到无限书写的效果。
可以想到的是,可通过对第一批注层进行缩放操作以扩展或缩小可书写范围,从而使得相同大小的书写笔迹在不同缩放比例的第一批注层上所占的面积不同,进而达到扩展或缩小可书写范围的效果,操作简单便捷,不仅提高了书写效率,还实现无限书写的效果。
在一实施例中,触敏显示屏上的第一界面显示的是文稿演示界面,当文稿演示界面上存在超链接,用户使用手指点击超链接,则交互平板打开超链接,进入超链接所链接的页面,即更新第一界面的显示内容。
超链接为在显示屏上显示的用于链接其他对象的标识符号,网页链接、文本超链接等均是本申请中提及的超链接。例如,在一应用场景中,以交互平板为例,用户通过交互平板播放PPT(PowerPoint,演示文稿),用户可以通过手写笔笔头对PPT内容进行批注,同时还可以使用手写笔笔尾对批注内容进行擦除。在PPT的展示内容中出现超链接,如网页链接,用户使用手指点击超链接,交互平板进入超链接所连接的对象,如超链接连接的是一个网站,则当用户使用手指点击该超链接,则打开该网站,交互平板的触敏显示屏上显示网站的内容,可以想到的是,当交互平板处于无网络状态,则该网站无法进入,但在触敏显示屏上也会显示对应的内容,如“当前无网络连接,网站进入失败”等内容。
对于用户使用手写笔点击超链接的情况,交互平板不响应,即当前对超链接进行点击的触 摸物的不是手指,则触摸显示屏的第一界面不更新显示内容。例如,在一应用场景中,如在PPT展示内容中出现文本超链接,且该文本超链接是连接PPT中的某一张幻灯片,则当用户用手指点击该文本超链接,交互平板上则显示文本超链接所连接的幻灯片的内容;而当用户使用手写笔笔头和/或笔尾点击链接标识,交互平板对此操作不进行响应,第一界面上的显示内容保持显示,应当想到的是,若当前PPT上显示的内容是文字或者图片,则在用户使用手写笔笔头和/或笔尾点击超链接后,触敏显示屏保持显示PPT上的文字或图片;若PPT上进行视频播放,在用户使用手写笔笔头和/或笔尾点击超链接后,触敏显示屏保持视频内容的播放。通过限定只能用手指点击超链接,避免造成手写笔笔头和/或笔尾书写或者擦除的过程中造成的误操作。
在一些实施例中,第一界面上为文稿演示界面,在第一界面上还有显示有翻页控件,在对PPT进行批注过程中,即第一界面上添加了第一批注层,需要对PPT进行翻页,用户可以通过手指点击翻页控件对PPT进行翻页,如该翻页控件对应的是PPT当前页面的下一页,则当用户用手指点击该翻页控件后,第一界面更新为PPT当前页面的下一页。
具体检测到第三触摸物(即手指)对超链接或文稿演示的翻页操作时的交互效果,与图5中第三触摸物(即手指)的点击操作作用于图标时的交互效果,即在打开超链接或翻页时,保持第一批注层以及第一批注层中已有的书写笔迹的显示。
在一实施例中,触敏显示屏上显示的文稿演示界面可以是由终端设备如手机、电脑等通过网络、数据线等方式传输的第一传屏数据在交互平板上的显示。用户在交互平板上的点击操作,例如,用户使用手指在文稿演示界面上的点击操作如点击翻页控件进行翻页,交互平板生成相应的操作数据,并将操作数据发送至终端设备,因此,在终端设备接收到操作数据后,终端设备会对操作数据进行响应,从而更新其上的显示内容,实现在终端设备上进行操作使其上的文稿演示界面更新。例如对文稿演示界面进行翻页或者打开超链接,则终端设备会生成第二传屏数据,并发送至交互平板上,交互平板能够根据第二传屏数据更新文稿演示界面的显示内容,实现交互平板上显示的文稿演示界面的翻页等更新变化。另外,用户使用手写笔笔头或笔尾在文稿演示界面书写笔迹或者擦除笔迹时,交互平板也可以将相应的操作数据发送到终端设备,使得终端设备上显示与交互平板一样的笔迹数据。
在一实施例中,在第一界面上显示有保存控件,交互平板在接收到触摸物如手写笔笔头、手写笔笔尾或手指对保存控件的第四点击操作,交互平板则将第一批注层上所有的书写笔迹即批注内容保存,批注内容可以保存为不可再次编辑书写笔迹的格式,如将批注内容保存为图片;批注内容还可以保存为可再次编辑书写笔迹的格式,即在打开该保存文件时,生成第一批注层,并根据批注内容重新在第一批注层上生成书写笔迹。
在一实施例中,对于第四触摸物的第六移动操作,则在第一批注层上生成有对应的书写笔迹,且该书写笔迹的笔迹颜色不同于第一触摸物对应的书写笔记的笔迹颜色。
例如,第一触摸物为手写笔I,第四触摸物为手写笔II,手写笔I和手写笔II为两只材质不同的手写笔,手写笔I在第一批注层上的书写笔迹是以黑色显示的情况下,当用户使用手写笔II进行批注书写时,手写笔II在第一批注层上的书写笔迹以不同于黑色的笔迹颜色显示,如红色等。
值得注意的是,手写笔II的书写笔迹对应的笔迹颜色可以是预设置的,即在交互平板上预存有对应于手写笔I和手写笔II的笔迹颜色,在需要显示对应的手写笔时,以预存的笔迹颜色进行显示。
此外,手写笔II的书写笔迹对应的笔迹颜色还可以交互平板随机分配的,如当前手写笔I的笔迹颜色为黑色时,交互平板则可以将除黑色以外的颜色随机分配一种颜色作为手写笔II的笔迹颜色。
由此可知,在使用多个不同的手写笔进行书写时,对应的,交互平板能够生成不同笔迹颜色的书写笔迹,有助于区分不同手写笔对应的书写笔迹,从而可供多人同时书写或一人多笔书写,并清楚地区分对应的书写笔迹,有效地避免了频繁更换笔迹颜色而带来的繁琐操作。
如前所述,在一实施例中,在交互平板中,批注应用为实现快捷批注方法的应用程序,批注应用窗口通过WindowChrome属性,从而实现透明显示,通过设置WindowChrome属性后, 实现本申请实施例中以透明方式显示显示第一批注层。另外,通过SetWindowLongPtr函数可以设置窗口样式为WS_EX_TRANSPARENT,实现窗口的穿透,可以理解的是,在窗口可以穿透的情况下,所进行的触控操作的操作对象均不是批注应用窗口,而是透传给批注应用窗口的下一层窗口,例如屏幕内容,从技术上来说,当窗口可穿透时,系统接收到的触摸数据将发送给窗口的下层应用进行响应。因此,可以实现上述穿过第一批注层所在的批注显示层,并在下层应用的应用显示层进行操作的方案。
批注应用通过RegisterRawInputDevices接收WM_INPUT消息,触摸框封装触摸数据时封装对触摸物材质的识别结果,并根据设备类型发送约定的宽高值,由于WM_INPUT消息中没有Down、Move、Up的标识,因此以封装后的触摸数据的第二位用于触摸点的Down、Move或Up操作类型的区分,Down表示触摸物开始接触触敏显示屏,Move表示触摸物在触敏显示屏上移动,Up表示触摸物离开触敏显示屏。基于上述封装后的触摸数据,当判断笔类设备如手写笔触摸触敏显示屏时,批注应用通过SetWindowLongPtr函数去除WS_EX_TRANSPARENT样式实现窗口的不可穿透,即可以使第一批注层不可穿透,从而发生在第一批注层的触摸操作所对应的触摸数据,将由批注应用进行响应。如果是笔头,则切换到书写模式,如果是笔尾,切换到擦除模式,从而实现书写和擦除的功能。而当手写笔离开触敏显示屏,则将窗口还原成穿透状态,以便于处理后续的输入信息。
本申请另一实施例中,根据触摸数据的介质类型和位置信息在相应的窗口进行响应的过程,可以视为该窗口相应应用程序对触摸数据进行响应的过程,不同应用程序的窗口可能位于不同的显示层级。触摸数据从产生到给到相应应用程序的过程整体上由交互平板的操作系统完成。操作系统对触摸数据的分发规则的设置基于批注应用程序的配置和运行状态。批注应用程序对应的批注应用窗口可以默认设置为可穿透的,操作系统接收到触摸数据后,即使批注应用窗口是置顶窗口,操作系统也会将触摸数据分发给批注应用窗口的下一层窗口。按现有的触摸响应逻辑,操作系统一般将触摸数据发送到最顶层的窗口对应的应用程序进行进行响应,本方案中,分发规则相当于将某一些属性的触摸数据拦截下来不发送到最顶层的窗口,而是分发到之下的某个窗口,因此本实施例中将具体的分发规则定义为拦截规则。批注应用程序预先设置有需要进行响应的触摸数据的相关属性,从而可以提前告知操作系统对相应的触摸数据进行拦截后发送到批注应用程序进行响应(第一拦截规则)。交互平板开机,操作系统启动并正常工作后,批注应用程序开始在后台运行,按照上述通信协议与操作系统的驱动层进行通信,告知驱动层需要拦截并发送到批注应用程序的触摸数据(基于第一拦截规则),从而等待接收驱动层发送的触摸数据。当批注应用程序未接收到第一拦截规则对应的触摸数据时,虽然批注应用程序在后台运行,但是不显示相应的批注应用窗口。这一阶段,驱动层在进行触摸数据拦截时,按照第一拦截规则进行拦截,具体拦截宽、高在一定范围内,且满足位移超过一定像素的触摸数据(针对特定触摸物材质的移动操作对应的触摸数据进行拦截)。在显示批注应用窗口后,驱动层将会只针对特定触摸物材质对应的触摸数据进行拦截(第二拦截规则)来进行触摸数据的拦截,具体拦截宽、高在一定范围内的触摸数据。
基于上述拦截规则,当未显示批注应用窗口时,当笔头或者笔尾在触敏显示屏上进行移动操作时,驱动层拦截到第一拦截规则对应的触摸数据,操作系统基于第一拦截规则分发到后台运行的批注应用程序,批注应用程序响应于触摸数据将会置顶显示批注应用窗口(例如前文所述的第一批注层),并基于笔头或者笔尾的移动操作对应的触摸数据,在批注应用窗口显示响应结果(添加或删除书写笔迹)。而当显示批注应用窗口后,驱动层基于第二拦截规则拦截触摸数据,笔头或者笔尾对应的所有触摸数据不会被拦截,均会被发送到显示于最顶层的批注应用窗口进行响应,而手指对应的触摸数据都会被拦截,由操作系统透传到批注应用窗口的下一层窗口进行响应。在实际显示批注应用窗口的过程中,还可以有第三拦截规则,第三拦截规则基于第二拦截规则存在,第三拦截规则对应于批注应用软件的默认设置被更改为不可穿透状态,此时的批注应用窗口对应前文所述的第二批注层,在第三拦截规则下,不对触摸数据进行拦截,即所有的触摸数据均分发到批注应用程序,对应全部在置顶显示的批注应用窗口显示响应结果,例如添加、删除书写笔迹、对批注应用窗口进行交互控制等。
图8为本申请实施例提供的另一种快捷批注方法的流程图,该快捷批注方法可以应用于交互平板,交互平板包括触敏显示屏和振动声学传感器,触敏显示屏用于检测触摸物的位置信息,振动声学传感器用于检测振动波信号,振动波信号用于确认触摸物的介质类型。如图8所示,该方法至少包括如下步骤:
步骤S210、在触敏显示屏显示第一界面。
步骤S220、接收触摸物在第一界面进行第一操作的第一传感数据。
其中,第一传感数据包括触敏显示屏检测到的第一位置信息和振动声学传感器检测到的第一振动波信号。在触摸物对触敏显示屏点击或滑动时,交互平板能够接收到第一传感数据,其中第一位置信息可用于确认当前操作是点击操作还是移动操作,而且第一位置信息中包括了点击的位置或滑动的位置以及路径,而第一振动波信号可用于确认当前的触摸物的介质类型。
在使用交互平板的过程中,用户与交互平板进行人机交互,交互平板对触摸物接触触敏显示屏时的振动波信号进行检测,以判断触摸物的介质类型,其中,音频以下的机械振动,音频范围的声音,超过音频的超声波,这些都是气体、液体、固体等介质的波动现象,相对于光和电磁波来说,这种波动现象叫做振动波。
振动声学传感器具体安装在可以传递显示屏发生的振动的位置,从而实现对显示屏上触摸物触碰到触敏显示屏的事件的检测,而不一定安装在发生振动的位置。可以在显示屏的4个角布置振动声学传感器,当然也可以有其它的布置方式,例如在矩形边框每条边的中点处设置,数量也可以是其它数量,例如2个、5个,只要振动声学传感器能够检测到触控操作过程中触摸物与显示屏接触时的振动,具体布置的数量可以根据显示屏的尺寸和检测精度进行针对性设置,一般来说,触敏显示屏的尺寸越大,检测精度要求越高,振动声学传感器设置的数量越多。振动声学传感器可以直接安装在触敏显示屏的表面,例如直接安装在触敏显示屏的上表面或者触敏显示屏的下表面,从而接收由触敏显示屏传递的振动,提高触碰检测的精确度。振动声学传感器还可以安装在触敏显示屏的边框内,减少对内部结构的影响,同时减少来自触敏显示屏的共模噪声干扰。当然,振动声学传感器也可以安装在与触敏显示屏相接触的其他部件上,通过其他部件的传递接收发生在触敏显示屏的振动。
振动声学传感器可以是全部被动检测振动波,也可以是其中的一个或多个主动向外激发振动波,激发的振动波能被所有的振动声学传感器检测到,当触敏显示屏的盖板上有外部触碰发生时,会另外产生振动波被所有振动声学传感器检测到,系统可以根据多个振动波的综合作用产生的信号判断外部触碰对应的介质类型。
当物体在触敏显示屏的盖板上触碰(包括点触、滑动)时,会产生具有特征的振动波,该振动波从接触点开始,沿着盖板向四周传播,或者向盖板内部传播。位于屏幕边框处或盖板内部的振动声学传感器根据检测方式的不同可以将振动信号转化为传感信号,传感信号传输到含有温度补偿的处理器中,进行放大处理,并转为数字的振动波信号,不同的物体在显示屏盖板上的触碰所产生的振动波不同,对应的振动波信号也不同。这里,传感信号包括电压信号、电流信号或磁通量信号。
因此,对于触摸物介质类型的判断,交互平板可以预存第一介质类型、第二介质类型和第三介质类型的振动波信号的数据样本,通过对比预存的数据样本和接收到的振动波信号,确认触摸物的介质类型。
步骤S230、基于第一位置信息确认第一操作为移动操作,且根据第一振动波信号确定触摸物的介质类型为预设的第一介质类型或第二介质类型。
在交互平板中预存有对应于不同触摸物的振动波信号,如对应于第一介质类型的振动波信号等,当第一振动波信号匹配预存的振动波信号,则可以确定对应的触摸物的介质类型。
步骤S240、在第一界面上添加第一批注层,且当触摸物的介质类型为第一介质类型时,根据第一位置信息在第一批注层添加书写笔迹。
在一实施例中,交互平板基于第一位置信息可以确认当前的操作为移动操作,且当交互平板确认第一振动波信号匹配预存的第一介质类型的振动波信号或匹配第二介质类型的振动波信号,交互平板在第一界面上添加第一批注层,根据第一振动波信号对应的触摸物为第一介质类 型,如手写笔笔头,则根据第一位置信息在第一批注层上添加书写笔迹。
如用户用手写笔笔头在触敏显示屏上滑动,对于交互平板,其接收到了第一传感数据,且在第一位置信息中包括了触摸物滑动的位置和路径,第一振动波信号对应于第一介质类型的振动波信号,则交互平板根据第一传感数据确定用户使用手写笔笔头在触敏显示屏上滑动,从而交互平板在第一界面上添加第一批注层,且在第一批注层添加书写笔迹。
步骤S250、接收触摸物在第一批注层上进行第二操作的第二传感数据。
其中,第二传感数据包括触敏显示屏检测到的第二位置信息和振动声学传感器检测到的第二振动波信号。
在一实施例中,在生成第一批注层后,触摸物对第一批注层的点击、滑动等操作视为第二操作,对应的第二传感数据包括触摸物进行第二操作时交互平板的触敏显示屏测到的第二位置信息和振动声学传感器检测到的第二振动波信号。第二位置信息包括进行第二操作的位置和路径。
步骤S260、基于第二振动波信号确认触摸物的介质类型为预设的第一介质类型,则根据第二位置信息在第一批注层添加对应的书写笔迹。
在一实施例中,当第二振动波信号匹配预存的第一介质类型的振动波信号,交互平板确定当前触摸物为第一介质类型,如手写笔笔头,交互平板则在第一批注层上添加书写笔迹,交互平板根据第二位置信息确定书写笔迹在第一批注层上的位置和路径,从而在第一批注层上显示。
步骤S270、基于第二振动波信号确认触摸物的介质类型为预设的第二介质类型,则根据第二位置信息在第一批注层擦除对应的书写笔迹。
在一实施例中,当第二振动波信号匹配预存的第二介质类型的振动波信号,交互平板确定当前触摸物为第二介质类型,如手写笔笔尾,对应地,交互平板根据第二位置信息在第一批注层擦除书写笔迹。
步骤S280、基于第二振动波信号确认触摸物的介质类型为预设的第三介质类型,则根据第二位置信息,获得第二操作对第一界面的操作指令,更新第一界面的显示内容。
在一实施例中,当第二振动波信号匹配预存的第三介质类型的振动波信号,交互平板确定当前触摸物为第三介质类型,如手指,交互平板根据第二位置信息,得到第二操作对第一界面的操作指令,示例性的,交互平板可以根据第二位置信息确定用户手指点击的位置对应于应用显示层上的应用图标,则交互平板获取到的用户对第一界面的操作指令为打开该应用,交互平板打开应用并显示该应用的内容,即对第一界面的显示内容更新。
由上述方案可知,交互平板能够根据接收到的第一传感数据或第二传感数据,确定当前触摸物所进行的操作是点击操作还是移动操作,还能够确定当前触摸物的介质类型,从而进行不同的响应,使得交互平板能够实现快捷批注,做到落笔即书写、落笔即擦除,即对于进行批注的操作步骤更加简便快捷,而且在生成批注层后,还可以使用手指对显示内容进行操作,无需退出批注应用,即无需关闭批注层,能够起到迎合用户日益增长的交互需求,为用户提供良好的交互体验。在需要在交互平板上使用批注应用的场景下,本申请的方案能够使用户更加快捷、高效地进行工作,使得用户体验得到提升。
在一实施例中,基于第一位置信息确认第一操作为点击操作,则根据点击操作,更新第一界面的显示内容。
可以理解的是,当用户对触敏显示屏进行点击操作,则交互平板可以根据第一位置信息确认当前点击操作的点击位置,从而更新第一界面的显示内容,例如,在用户使用交互平板的过程中,用户可以使用触摸物如手指、手写笔点击第一界面的某一应用图标,则交互平板打开该应用,并在更新第一界面的显示内容,显示该应用的显示内容。
在一实施例中,在显示有第一批注层情况下,当交互平板基于第二振动波信号确定触摸物为第三介质类型,并确定第二位置信息确定触摸物的操作为点击操作,且点击的目标为书写应用时,交互平板打开书写应用的界面,关闭第一批注层,并将第一批注层上的书写笔迹导入书写应用的界面中进行显示。
在一实施例中,交互平板基于第二振动波信号确定触摸物为第三介质类型,而且交互平板 根据第二位置信息可以确定当前触摸物进行的第二操作是移动操作,交互平板在第一批注层上不响应该操作。可以理解的是,当用户使用手指在第一批注层上滑动,则交互平板在接收到对应于在第一批注层上进行第二操作的第二传感数据,第二振动波信号匹配预存的第三介质类型的振动波信号,则确定当前触摸物为第三介质类型,如手指,则对于手指在第一批注层上的滑动,交互平板上的第一批注层不响应手指的滑动,即第一批注层上不显示对应的书写笔迹。
在一实施例中,交互平板基于第二振动波信号确认触摸物的介质类型为预设的第三介质类型,且基于第二位置信息,确认第二操作为多点触控操作,则根据多点触控操作,在第一批注层上擦除相应的书写笔迹。可以理解的是,在用户使用手指进行多点触控操作的过程中,交互平板需要根据第二振动波信号确定用户所使用的触摸物是否为第三介质类型,如手指。交互平板还需要根据第二位置信息确定当前的操作为多点触控操作,从而进行响应,如在第一批注层上擦除相应的书写笔迹。
在一实施例中,对于用户对批注控件进行点击,交互平板需要根据第一位置信息确认当前的操作为对批注控件的点击操作,交互平板确定当前操作为对批注控件的点击操作后,在第一界面上添加第二批注层。
对于用户在第二批注层上进行批注的过程中,交互平板接收到对应于触摸物在第二批注层上进行第三操作的第三传感数据,根据第三传感器中的第三位置信息确定当前触摸物的操作是在第二批注层上滑动,从而在第二批注层上添加书写笔迹或擦除书写笔迹。如对应于第一介质类型如手写笔笔头和第三介质类型如手指在第二批注层上的滑动,交互平板在第二批注层上添加书写笔迹;对应于第二介质类型如手写笔笔尾在第二批注层上的滑动,则交互平板在第二批注层上擦除相应的书写笔迹。
在一实施例中,对于用户点击批注控件之前,交互平板需要确认当前未显示第一批注层,应当想到的是,对于批注层的生成,交互平板存在一个生成记录,该生成记录用于表示批注层的状态,如是否已在触敏显示屏上显示,因此,交互平板可以通过查询生成记录来确定当前未显示第一批注层。
在一实施例中,对于用户对属性控件进行点击,交互平板需要根据第三位置信息确定当前的操作是对属性控件的操作,如对属性控件上的项目的选择操作,从而更新第三触摸物如手指在第二批注层上的书写笔迹的显示属性。
本申请另一实施例中,根据触摸数据的介质类型和位置信息在相应的窗口进行响应的过程,可以视为该窗口相应应用程序对触摸数据进行响应的过程,不同应用程序的窗口可能位于不同的显示层级。触摸数据从产生到给到相应应用程序的过程整体上由交互平板的操作系统完成。操作系统对触摸数据的分发规则的设置基于批注应用程序的配置和运行状态。批注应用程序对应的批注应用窗口可以默认设置为可穿透的,操作系统接收到触摸数据后,即使批注应用窗口是置顶窗口,操作系统也会将触摸数据分发给批注应用窗口的下一层窗口。按现有的触摸响应逻辑,操作系统一般将触摸数据发送到最顶层的窗口对应的应用程序进行进行响应,本方案中,分发规则相当于将某一些属性的触摸数据拦截下来不发送到最顶层的窗口,而是分发到之下的某个窗口,因此本实施例中将具体的分发规则定义为拦截规则。批注应用程序预先设置有需要进行响应的触摸数据的相关属性,从而可以提前告知操作系统对相应的触摸数据进行拦截后发送到批注应用程序进行响应(第一拦截规则)。交互平板开机,操作系统启动并正常工作后,批注应用程序开始在后台运行,按照上述通信协议与操作系统的驱动层进行通信,告知驱动层需要拦截并发送到批注应用程序的触摸数据(基于第一拦截规则),从而等待接收驱动层发送的触摸数据。当批注应用程序未接收到第一拦截规则对应的触摸数据时,虽然批注应用程序在后台运行,但是不显示相应的批注应用窗口。这一阶段,驱动层在进行触摸数据拦截时,按照第一拦截规则进行拦截,具体拦截宽、高在一定范围内,且满足位移超过一定像素的触摸数据(针对特定触摸物材质的移动操作对应的触摸数据进行拦截)。在显示批注应用窗口后,驱动层将会只针对特定触摸物材质对应的触摸数据进行拦截(第二拦截规则)来进行触摸数据的拦截,具体拦截宽、高在一定范围内的触摸数据。
基于上述拦截规则,当未显示批注应用窗口时,当笔头或者笔尾在触敏显示屏上进行移动 操作时,驱动层拦截到第一拦截规则对应的触摸数据,操作系统基于第一拦截规则分发到后台运行的批注应用程序,批注应用程序响应于触摸数据将会置顶显示批注应用窗口(例如前文所述的第一批注层),并基于笔头或者笔尾的移动操作对应的触摸数据,在批注应用窗口显示响应结果(添加或删除书写笔迹)。而当显示批注应用窗口后,驱动层基于第二拦截规则拦截触摸数据,笔头或者笔尾对应的所有触摸数据不会被拦截,均会被发送到显示于最顶层的批注应用窗口进行响应,而手指对应的触摸数据都会被拦截,由操作系统透传到批注应用窗口的下一层窗口进行响应。在实际显示批注应用窗口的过程中,还可以有第三拦截规则,第三拦截规则基于第二拦截规则存在,第三拦截规则对应于批注应用软件的默认设置被更改为不可穿透状态,此时的批注应用窗口对应前文所述的第二批注层,在第三拦截规则下,不对触摸数据进行拦截,即所有的触摸数据均分发到批注应用程序,对应全部在置顶显示的批注应用窗口显示响应结果,例如添加、删除书写笔迹、对批注应用窗口进行交互控制等。
图9为本申请实施例提供的又一种快捷批注方法的流程图,该快捷批注方法可以应用于交互平板,交互平板包括触敏显示屏和振动声学传感器,触敏显示屏用于检测触摸物的位置信息,振动声学传感器用于检测振动波信号,振动波信号用于确认触摸物的介质类型,在本实施例中,以触摸物为书写笔为例进行说明。
需要说明的是,为了配合交互平板上的触摸物介质类型识别装置实现更优的触摸物介质类型识别效果,本实施例对书写笔也进行了设计。
具体的,请参照图10,图10为本申请实施例提供的一种书写笔的剖面图,如图10所示,书写笔包括笔尖,笔尖包括安装端710和触控端720,触控端720一体成型于安装端710其中一侧。触控端720为书写笔用于与弹性波交互设备的屏幕接触的部位。笔头502具有笔尖槽500a,具体为,笔杆外套520形成笔尖的部分具有笔尖槽500a,笔尖槽500a朝向背离笔身501的方向开设,笔尖的安装端710设于笔尖槽500a内,笔尖的触控端720暴露并用于与弹性波交互设备的屏幕接触实现触控交互。
可选地,在笔杆长度所在的方向(即X方向),笔尖槽500a与支撑件的第一端610间隔设置,即笔杆外套520全部包覆支撑件的第一端610,仅由笔杆外套520形成笔尖的部分限定出笔尖槽500a。
可选地,设置笔杆外套520未完全包覆支撑件的第一端610,此时,笔尖槽500a为通槽,第一端610的表面直接与笔尖用于限定笔尖槽500a的壁面连接,例如,当第一端610的支撑端面611为平面时,设置支撑端面611与笔杆长度方向X垂直,支撑端面611未被笔杆外套520覆盖,此时,笔尖的安装端710插接于笔尖槽500a并与支撑端面611连接,使得支撑件可直接用于为笔尖提供支撑。当第一端610的支撑端面611开设有模槽610b时,设置第一端610的模槽610b与笔尖槽500a连通,笔尖穿设笔尖槽500a并插接于模槽610b,进一步提高笔尖的插接稳定性。其中,可通过设计模芯的外轮廓,在加工书写笔时,先保留模芯插接于第一端610的模槽610b,待笔杆外套520一体成型于支撑件和硬质内套510的外表面后,抽出模芯,直接成型出具有笔尖槽500a的笔尖,且笔尖槽500a直接与第一端610的模槽610b连通。可选地,触控端720的外围尺寸大于安装端710的外围尺寸,触控端720与安装端710的连接处形成台阶,安装端710设于笔尖槽500a内时,触控端720参与形成台阶的表面与笔头502连接,以提高笔尖的安装稳定性。可选地,设置安装端710插接固定于笔尖槽500a;或者,设置安装端710插接于笔尖槽500a内时通过胶水将安装端710粘接固定于笔头502。当然,也可采用其他方式将笔尖固定于笔头502,本申请对笔尖固定于笔头502的方式不做限定,具体可根据实际需求进行选择。书写笔还包括笔尾,笔尾对应笔身501远离笔头502的一端,且笔尾固定于笔身501远离笔头502的一端。笔尾包括装配端410和接触端420,接触端420与装配端410一体成型,装配端410与笔身501远离笔尖的一端连接,接触端420用于与弹性波交互设备的屏幕接触实现触控交互。笔尾与笔尖的材质不同,以使笔尖的触控端720与屏幕接触时触发弹性波交互设备产生第一弹性波信号、笔尾的接触端420与屏幕接触时触发弹性波交互设备产生第二弹性波信号,第一弹性波信号与第二弹性波信号不同,例如,第一弹性波信号为用于使弹性波交互设备显示书写内容的信号,第二弹性波信号为用于使弹性波交互设备消除书写内容的信号。当笔 尾与笔尖的材质不同时,可选地,笔尖可以为硬质聚碳酸酯塑料笔尖、硬质丙烯腈-丁二烯-苯乙烯塑料笔尖、聚乙烯(PE)塑料笔尖和环氧树脂笔尖中的一种;笔尾可以为硬质聚碳酸酯塑料笔尾、硬质丙烯腈-丁二烯-苯乙烯塑料笔尾、聚乙烯塑料笔尾和环氧树脂笔尾中的一种。其中,笔尖的硬度范围为大于等于邵氏硬度C55且小于等于邵氏硬度C95,或大于等于邵氏硬度D20且小于等于D50,以在与屏幕接触时笔尖的触控端720形态稳定,使书写效果稳定。笔尾与屏幕接触的面积更大,笔尾的硬度范围为大于邵氏硬度D50,在与屏幕接触时笔尾的接触端420同样能够维持稳定的形态,并在与笔身501连接时结构强度好。可选地,笔杆外套520的硬度范围为大于等于邵氏硬度D50,使笔杆外套520的硬度大于笔尖硬度,通过笔杆外套520为笔尖提供稳定的支撑;以及,硬质内套510的硬度大于笔杆外套520的硬度,例如,笔杆内套510的硬度范围为大于邵氏硬度D50,且支撑件的硬度大于笔杆外套520的硬度。
可选地,笔尾的硬度大于笔尖的硬度,例如,笔尖的硬度范围为大于等于邵氏硬度D20且小于等于D50,且笔尾的硬度范围为大于邵氏硬度D50,以使笔尖的触控端720和笔尾的接触端420分别与屏幕接触时产生不同的触碰效果,便于识别出触控端720和接触端420中的哪一个与屏幕接触。较佳地,笔尖的硬度范围为大于等于邵氏硬度D20且小于等于D30,且笔尾的硬度范围为大于等于邵氏硬度D70且小于等于D80。
如图9所示,本申请实施例提供的快捷批注方法包括如下步骤:
步骤S401:在触敏显示屏显示PPT演示界面。
PPT演示界面指PPT应用程序的显示界面。需要说明的是,交互平板预装有批注应用程序。在交互平板的触敏显示屏显示PPT演示界面前,还包括,给交互平板上电,运行交互平板的安卓或Windows操作系统,同时,批注应用程序也启动运行;该批注应用程序预先设置有需要进行响应的触摸数据的相关属性,批注应用程序运行后,告知操作系统符合需要进行响应的触摸数据的相关属性的判断规则或条件,操作系统根据判断规则或条件对触摸数据进行拦截,即将符合批注应用程序需要进行响应的触摸数据发送到批注应用程序,而不派发给其它应用程序。
步骤S402:书写笔的笔头在触敏显示屏表面滑动操作时,交互平板产生触摸数据,同时,振动声学传感器生成第一振动波信号。
交互平板产生触摸数据,可以是交互平板的触敏显示屏直接产生触摸数据,也可以是交互平板的触敏显示屏产生原始的传感信号后,发送到交互平板的处理器进行处理后得到触摸数据,具体取决于触敏显示屏的性能,本申请实施例对此不做详细限定。
具体的,用户可以拿起书写笔,用书写笔的笔头在交互平板的触敏显示屏表面书写,通过滑动书写笔的笔头的方式画一条线或圆圈等。触敏显示屏表面可以是玻璃面板,书写笔的笔头在与触敏显示屏表面接触时,玻璃面板会产生物理振动,振动声学传感器可以捕捉该振动并生成第一振动波信号。
步骤S403:处理器获得书写笔的笔头的操作所产生的触摸数据,同时,也获得第一振动波信号;
具体的,书写笔的笔头进行操作时,若触敏显示屏直接产生触摸数据,则触敏显示屏将该触摸数据发送给处理器;振动声学传感器在生成第一振动波信号后,也将该第一振动波信号发送给处理器。
步骤S404:处理器根据触摸数据确定在触敏显示屏表面的操作为移动操作,且根据第一振动波信号确定执行该操作的触摸物的介质类型为书写笔的笔头。
具体进行介质类型的识别时,处理器可以是通过预存的不同触摸物对应的振动波信号,然后将接收到的第一振动波信号与预存的振动波信号进行比对得到触摸物的介质类型,也可以是通过神经网络、机器学习方式得到触摸物的介质类型。处理器可以是同一个,也可以是两个,例如设置专用的第一处理器来接收第一振动波信号并进行处理,得到触摸物的介质类型,并通过第二处理器来执行本方法的其它步骤。
处理器根据触摸数据确定在触敏显示屏表面的操作为移动操作的方式在前述实施例已经说明。
步骤S405:处理器判断符合触摸数据预设的第一拦截规则,将触摸数据发送到批注应用程 序,批注应用程序在PPT演示界面上叠加显示批注应用程序的批注应用窗口,并基于触摸数据在批注应用窗口上添加显示对应的书写笔迹。
批注应用窗口是批注应用程序的显示窗口(也称显示界面),在一实施例中,批注应用窗口可以为第一批注层,第一批注层可以是透明的,也可以是半透明的或者带有蒙层效果的,还可以是其它形式。批注应用窗口上还显示有批注工具栏,批注工具栏包括翻页、保存、擦除等批注控件。具体的,在PPT演示界面上叠加显示批注应用窗口,可以是先前未显示批注应用窗口,从而直接在PPT演示界面上添加并显示包含批注工具栏的批注应用窗口,也可以是在批注应用启动后,就一直置顶显示完全透明、用户无法感知到的不包含批注工具栏的批注应用窗口,从而在本步骤中加载并显示批注工具栏,从而实现批注应用窗口的显示。具体显示细节本申请实施例不做限定。
第一拦截规则用于拦截特定触摸物材质的移动操作对应的触摸数据,详细的,第一拦截规则拦截宽、高在一定范围内,且满足位移超过一定像素的触摸数据,具体包括用于判断移动操作的水平方向阈值xDeltaThreshold和垂直方向阈值yDeltaThreshold,还包括触摸物的宽高值范围的[minWidth,maxWidth]和[minHeight,maxHeight]。
如前面描述,当未有符合第一拦截规则的触摸数据时,批注应用程序在后台运行,不显示批注应用窗口。批注应用程序会事先告知处理器,具体是告知处理器上运行的操作系统的驱动层需要进行拦截的触摸数据,处理器可以将批注应用程序告知的拦截要求作为预设的第一拦截规则,当处理器根据预设的第一拦截规则,判断触摸数据符合第一拦截规则,则表示触摸数据是需要拦截的触摸数据。当触摸物的介质类型为书写笔的笔头,其宽高值落入第一拦截规则的宽高值范围,故当处理器根据触摸数据确定触摸物在触敏显示屏表面的操作为移动操作,且触摸物的介质类型为书写笔的笔头时,判断触摸数据是需要拦截的触摸数据,则将触摸数据发送到批注应用程序。
由于此时,批注应用程序并未显示对应的批注应用窗口,因此,批注应用程序首先在PPT演示界面上叠加显示批注应用程序的批注应用窗口。批注应用程序接收到触摸数据后,基于触摸数据在批注应用窗口上添加显示对应的书写笔迹。
步骤S406:处理器将预设的第一拦截规则更改为第二拦截规则。
第一拦截规则中包括了用于判断移动操作的水平方向阈值xDeltaThreshold和垂直方向阈值yDeltaThreshold,批注应用启动前,只有触摸数据中水平方向的触摸位移超过xDeltaThreshold,垂直方向的触摸位移超过yDeltaThreshold的时,才是移动操作,才进行拦截。但是当显示批注应用窗口后,不再对xDeltaThreshold和yDeltaThreshold做要求,只拦截特定宽高的触摸物所产生的触摸数据,也就是说,第二拦截规则只包括触摸物的宽高值范围[minWidth,maxWidth]和[minHeight,maxHeight],只拦截宽、高在一定范围内的触摸数据,因此,第二拦截规则用于拦截特定触摸物材质对应的触摸数据。
本申请实施例中,显示批注应用窗口之后,则笔头或者笔尾的操作数据均需要发送到批注应用程序,因此进行拦截时,不再需要判断触摸数据的水平方向和垂直方向的触摸位移,按照第二拦截规则进行拦截,只根据触摸物的材质进行拦截。
需要注意的是,本步骤中,将第一拦截规则更改为第二拦截规则是可选的步骤,本申请实施例也可以不进行拦截规则的更改,直接按照第一拦截规则进行触摸数据的拦截,具体取决于应用过程的设置要求。
步骤S407:处理器将符合第二拦截规则的触摸数据发送到批注应用程序,批注应用程序基于触摸数据在批注应用窗口上添加显示对应的书写笔迹。
批注应用程序对应的批注应用窗口的窗口样式一直设置为可穿透,因此,如果直接将触摸数据按照操作系统的分发逻辑进行分发,则将会直接透传给批注应用窗口的下一层窗口。故,本申请实施例中,通过判断触摸数据是否需要拦截,从而确定是否需要将触摸数据拦截后直接发送给批注应用程序,而不是全部按照操作系统的分发逻辑进行分发。当处理器将触摸数据发送到批注应用程序后,由批注应用程序进行响应,例如,添加对应的书写笔迹或者进行擦除等。
步骤S408:触摸物在触敏显示屏表面进行触控操作时,触敏显示屏生成触摸数据,同时, 振动声学传感器生成第二振动波信号。这里采用的触摸物是手指,手指与触敏显示屏接触时产生的振动波信号为第二振动波信号。同样的,这里触敏显示屏产生触摸数据,可以是触敏显示屏直接产生触摸数据,也可以是触敏显示屏产生原始的传感信号后,发送到交互平板的处理器进行处理后得到触摸数据,具体取决于触敏显示屏的性能,本申请实施例对此不做详细限定,可以统称为触敏显示屏产生触摸数据。
步骤S409:触敏显示屏将触摸数据发送至处理器,振动声学传感器将第二振动波信号发送至处理器。
步骤S410:处理器根据第二振动波信号确定触摸物的介质类型为手指,将触摸数据分发至PPT应用程序进行响应。
当触摸物的介质类型为手指时,其宽高值未落入第一拦截规则或第二拦截规则的宽高值范围内,表示不是需要进行拦截的触摸数据,故直接按照操作系统的分发逻辑进行分发。而因为批注应用窗口的窗口样式设置为可穿透,因此,虽然批注应用窗口是显示在PPT演示界面之上,但是触摸数据会透传给批注应用窗口的下一层窗口(也就是PPT演示界面),由下一层窗口对应的应用程序(PPT应用程序)进行响应。
步骤S411:PPT应用程序根据触摸数据,对手指的触控操作进行响应,从而更新PPT演示界面的显示内容。
在一实施例中,在更新PPT演示界面的显示内容的同时,批注显示窗口保持不变,即已有的书写笔迹不会发生变化。示例性的,当PPT演示界面上存在超链接,用户使用手指点击超链接,则打开超链接,进入超链接所链接的页面,更新PPT演示界面的显示内容,在打开的超链接页面上叠加显示批注显示窗口和书写笔迹;或者,PPT演示界面上还有显示有翻页控件,在对PPT演示界面进行批注过程中,即PPT演示界面上添加了批注应用窗口并显示了批注笔迹,需要对PPT进行翻页,用户可以通过手指点击翻页控件对PPT演示界面进行翻页,如该翻页控件对应的是PPT当前页面的下一页,则当用户用手指点击该翻页控件后,PPT演示界面更新为PPT当前页面的下一页,从而在下一页的显示页面上叠加显示批注显示窗口和书写笔迹。
在一实施例中,批注应用程序在批注过程可以有多个批注页,从而PPT播放时,不同PPT页面绑定不同批注页,因此对PPT演示界面的显示内容进行翻页时,可以在新的显示内容界面上新建空白的批注页进行批注操作,将原来的批注页与翻页前的PPT页面进行绑定存储。也可以不主动新建空白批注页,而是在更新显示内容时,批注显示窗口保留原来的书写笔迹,方便用户将书写笔迹与新的显示内容进行对比显示。
步骤S412:当触摸物在触敏显示屏表面滑动时,触敏显示屏生成触摸数据,同时,振动声学传感器生成第三振动波信号。这里采用的触摸物是书写笔的笔尾,笔尾与触敏显示屏接触时产生的振动波信号为第三振动波信号。
步骤S413:触敏显示屏将触摸数据发送至处理器,振动声学传感器将第三振动波信号发送至处理器。
步骤S414:处理器根据触摸数据确定触摸物在触敏显示屏表面的操作为移动操作,且根据第三振动波信号确定触摸物的介质类型为书写笔的笔尾。
步骤S415:处理器将触摸数据发送到批注应用程序,批注应用程序基于触摸数据在批注应用窗口上擦除对应的书写笔迹。
当触摸物的介质类型为书写笔的笔尾,其宽高值落入第一拦截规则或第二拦截规则的宽高值范围,故当处理器根据触摸数据确定触摸物在触敏显示屏表面的操作为移动操作,且触摸物的介质类型为书写笔的笔尾时,判断触摸数据是需要拦截的触摸数据,故需要将触摸数据发送到批注应用程序。
步骤S412~S415可以是在前述步骤S401~S411之后执行的,也可以是在步骤S401~S407之后执行的。也可以是没有前述的步骤,直接从步骤S412开始执行的。当从S412开始执行本申请实施例的快捷批注方法时,步骤415中处理器基于第一拦截规则进行判断是否需要将触摸数据发送到批注应用程序,步骤S415中,还可以包括以下步骤:批注应用程序在PPT演示界面上叠加显示批注应用程序的批注应用窗口。在一实施例中,当PPT演示界面上叠加显示有批注 笔迹时,当批注应用程序在PPT演示界面上叠加显示批注应用程序的批注应用窗口的同时,在批注应用窗口上加载并显示相应的批注笔迹,从而笔尾移动操作的过程,可以擦除相关批注笔迹,实现对PPT演示界面叠加显示的批注笔迹的擦除,更加方便、快捷地实现笔尾的落笔即擦的效果。这里,PPT演示界面叠加显示的批注笔迹具体可以是在笔头书写过程形成的书写笔迹,在关闭批注应用窗口时与PPT演示界面的当前页绑定后叠加显示在PPT演示界面的当前页上。
步骤S412~S415如果是在步骤S401~S411之后或者步骤S401~S407之后开始执行,则步骤S415中根据第二拦截规则来判断是否需要将触摸数据发送到批注应用程序。
步骤S416:当批注应用窗口上的所有书写笔迹均被擦除后,不再显示批注应用窗口。
具体的,可以是批注应用程序判断所有书写笔迹均被擦除后,自动关闭批注应用窗口或者将批注应用窗口隐藏。也可以操作系统是接收到用户对批注操作控件中的关闭控件的点击操作后,关闭批注应用窗口。也就是说,当批注应用窗口上的所有书写笔迹均被擦除后,第一界面上将不再覆盖显示第一批注层。因此,当批注笔迹擦除完毕后,不再显示批注应用窗口,用户可以直接对PPT演示界面进行操作,避免批注应用窗口的工具栏等内容的显示,以免对用户造成体验上的干扰。
如前所述,在一些实施例中,交互平板检测到笔尾在触摸显示屏进行滑动(移动)时,跟随笔尾滑动,显示相应的擦除标识符号,例如显示橡皮擦图标。这种情况下,如果未打开批注应用窗口,此时,用笔尾在触敏显示屏上滑动,则交互平板会打开批注应用窗口,并跟随笔尾的滑动在批注应用窗口上显示橡皮擦图标,当笔尾滑动完毕,由于批注应用窗口上没有批注笔迹,故交互平板会关闭批注应用窗口。通过这种方式,可以更好地提示用户当前的操作状态,并且在没有批注笔迹时,自动关闭批注应用窗口,避免批注应用窗口的工具栏等内容的显示,提高了用户体验。
步骤417、处理器将预设的第二拦截规则更改为第一拦截规则。
因为交互平板将不再显示批注应用窗口,也未显示任何书写笔迹,此时,用户无法感知到批注应用窗口,此时,批注应用程序的运行状态与交互平板的操作系统刚启动时一样,因此,需要将预设的第二拦截规则更改为第一拦截规则,重新按照第一拦截规则拦截特定触摸物材质的移动操作对应的触摸数据。后续触摸物在触敏显示屏上进行操作时,重新执行前述步骤S401~417中的一个或多个步骤。
基于图9的实施例详细描述中,是基于示例性显示PPT演示界面,从用户操作、数据生成、数据传输直到交互响应的综合描述,从交互平板的角度,整个方案的基本实现过程可以描述为:在触敏显示屏显示文稿演示界面;接收触摸物在文稿演示界面进行第一操作的第一传感数据,第一传感数据包括触敏显示屏检测到的第一位置信息和振动声学传感器检测到的第一振动波信号;基于第一位置信息确认第一操作为移动操作,且根据第一振动波信号确定触摸物的介质类型为预设的第一介质类型,第一介质类型对应为书写笔的笔头;在文稿演示界面上添加第一批注层,将第一批注层的窗口样式配置为不可穿透,并根据第一位置信息在第一批注层添加书写笔迹;接收触摸物在第一批注层上进行第二操作的第二传感数据,第二传感数据包括触敏显示屏检测到的第二位置信息和振动波振动声学传感器检测到的第二振动波信号;基于第二振动波信号确认触摸物的介质类型为预设的第一介质类型,则根据第二位置信息在第一批注层添加对应的书写笔迹;基于第二振动波信号确认触摸物的介质类型为预设的第三介质类型,且根据第二位置信息确认第二操作为点击操作,则保持第一批注层的显示内容,将第一批注层的窗口样式配置为可穿透,将第二位置信息分发至文稿演示界面对应的演示文稿应用,以使演示文稿程序根据第二位置信息,获得第二操作在文稿演示界面所点击的目标,更新文稿演示界面的显示内容,第三介质类型对应为手指。本申请实施例可以实现落笔即写和即擦的效果,为用户提供方便、快捷的批注方案,提升了用户的使用体验。
在步骤S401-步骤S416的整体执行过程中,可以通过多个实施例进行细节实现。
在一实施例中,接收触摸物在第一批注层上进行第二操作的第二传感数据之后,基于第二振动波信号确认触摸物的介质类型为预设的第二介质类型,则将第一批注层的窗口样式设置为不可穿透,由第一批注层对第二传感数据进行响应,第二介质类型对应为书写笔的笔尾;
根据第二位置信息在第一批注层擦除对应的书写笔迹。
在一实施例中,接收触摸物在第一批注层上进行第二操作的第二传感数据之后,基于第二振动波信号确认触摸物的介质类型为预设的第三介质类型,且基于第二位置信息确认第二操作为移动操作,则不响应第二操作。也就是说,如果确认触摸物的介质类型为手指,则不响应手指的移动操作。
在一实施例中,接收触摸物在文稿演示界面进行第一操作的第一传感数据之后,基于第一位置信息确认第一操作为点击操作,则根据点击操作,更新文稿演示界面的显示内容。
在一实施例中,文稿演示界面显示有超链接;对应的,演示文稿应用根据第二位置信息,确认第二操作在文稿演示界面所点击的目标是超链接时,打开超链接,更新文稿演示界面的显示内容。
在一实施例中,文稿演示界面显示有翻页控件;对应的,演示文稿应用根据第二位置信息,确认第二操作在文稿演示界面所点击的目标是翻页控件时,打开翻页控件对应的演示文稿页面,更新文稿演示界面的显示内容。
在一实施例中,在触敏显示屏显示文稿演示界面之前,接收终端设备所传送的第一传屏数据,并根据第一传屏数据在触敏显示屏显示文稿演示界面,即触摸显示屏显示的是投屏的文稿演示界面。
在一实施例中,如果是投屏的文稿演示界面,将第二位置信息分发至文稿演示界面对应的演示文稿应用,以使演示文稿应用根据第二位置信息,获得第二操作在文稿演示界面所点击的目标,更新文稿演示界面的显示内容,包括:
根据第二操作在文稿演示界面所点击的目标,生成操作数据,并将操作数据发送至终端设备;接收终端设备所传送的第二传屏数据,第二传屏数据由终端设备对操作数据进行响应后获得;根据第二传屏数据,更新文稿演示界面的显示内容。
在一实施例中,更新文稿演示界面的显示内容包括向前翻页、向后翻页或打开超链接。
在一实施例中,触敏显示屏显示有批注控件;在触敏显示屏显示文稿演示界面之后,接收触摸物对批注控件的第三点击操作,触摸物包括第一介质类型、第二介质类型和第三介质类型中的任一种;根据第三点击操作,在文稿演示界面上添加第二批注层,将第一批注层的窗口样式配置为不可穿透;接收触摸物的第四移动操作;根据第四移动操作,在第二批注层添加书写笔迹或擦除书写笔迹。
在一实施例中,接收触摸物对批注控件的第三点击操作,可以是在未显示第一批注层的状态下接收触摸物对批注控件的第三点击操作。
在一实施例中,快捷批注方法还包括在第二介质类型对应的操作结束后,将第一批注层的窗口样式配置为可穿透。
在一实施例中,快捷批注方法还包括在第一介质类型对应的操作结束后,将第一批注层的窗口样式配置为可穿透。
在一实施例中,第一批注层为透明批注层或浅色批注层。
本申请实施例还提供了一种快捷批注方法,应用于交互平板,交互平板包括触敏显示屏和振动声学传感器,触敏显示屏用于检测触摸物的位置信息,振动声学传感器用于检测振动波信号,振动波信号用于确认触摸物的介质类型,快捷批注方法,包括:
在触敏显示屏显示桌面图标界面;
接收触摸物在桌面图标界面进行第一操作的第一传感数据,第一传感数据包括触敏显示屏检测到的第一位置信息和振动声学传感器检测到的第一振动波信号;
基于第一位置信息确认第一操作为移动操作,且根据第一振动波信号确定触摸物的介质类型为预设的第一介质类型,第一介质类型对应为书写笔的笔头;
在桌面图标界面上添加第一批注层,将第一批注层的窗口样式配置为不可穿透,并根据第一位置信息在第一批注层添加书写笔迹;
接收触摸物在第一批注层上进行第二操作的第二传感数据,第二传感数据包括触敏显示屏 检测到的第二位置信息和振动波振动声学传感器检测到的第二振动波信号;
基于第二振动波信号确认触摸物的介质类型为预设的第一介质类型,则根据第二位置信息在第一批注层添加对应的书写笔迹;
基于第二振动波信号确认触摸物的介质类型为预设的第三介质类型,且根据第二位置信息确认第二操作为点击操作,则保持第一批注层的显示内容,将第一批注层的窗口样式配置为可穿透,将第二位置信息分发至桌面图标界面对应的桌面启动器,以使桌面启动器根据第二位置信息对应的应用图标打开对应的应用界面,第三介质类型对应为手指。
在一实施例中,第二位置信息对应的应用图标为书写应用图标;
对应的,基于第二振动波信号确认触摸物的介质类型为预设的第三介质类型,且根据第二位置信息确认第二操作为点击操作,则保持第一批注层的显示内容,将第一批注层的窗口样式配置为可穿透,将第二位置信息分发至桌面图标界面对应的桌面启动器,以使桌面启动器根据第二位置信息对应的应用图标打开对应的应用界面,包括:
打开书写应用的界面,并关闭第一批注层,将第一批注层上的书写笔迹导入书写应用的界面中进行显示。
在一实施例中,打开书写应用的界面之后,还包括在书写应用的界面接收触摸物的第五移动操作;根据第五移动操作,在书写应用的界面添加书写笔迹或擦除书写笔迹。
以上在文稿演示界面和桌面图标界面的显示基础上,单独提供了进行快捷批注的具体实施例,在这一部分未尽的描述,在前文也有详细说明,可以作为补充参考。
图11为本申请实施例提供的快捷批注装置的结构框图,该装置包括:
第一显示单元100,配置为显示第一界面的显示内容;
第一操作接收单元111,配置为接收所述第一触摸物或所述第二触摸物在所述第一界面上的第一移动操作;
第一操作响应单元112,配置为根据所述第一移动操作,在所述第一界面添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;
第二操作接收单元121,配置为接收所述第一触摸物或所述第二触摸物在第一批注层上的第二移动操作;
第二操作响应单元122,配置为根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;
第三操作接收单元131,配置为接收第三触摸物在所述第一批注层上的第二点击操作,所述第三触摸物的介质类型为第三介质类型;
第三操作响应单元132,配置为根据所述第二点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容。
由上述方案可知,快捷批注装置能够通过根据第一操作接收单元、第二操作接收单元和第三操作接收单元所接收的操作,通过对应的第一操作响应单元、第二操作响应单元和第三操作响应单元进行响应,从而实现了快捷批注,即对于进行批注的操作步骤更加简便快捷,能够起到迎合用户日益增长的交互需求,能够使用户更加快捷、高效地进行工作,使得用户体验得到提升。
在上述实施例的基础上,还包括第四操作接收单元和第四操作响应单元,第四操作接收单元配置为接收第一触摸物或第二触摸物在所述第一界面上的第二点击操作,所述第一触摸物的介质类型为第一介质类型,所述第二触摸物的介质类型为第二介质类型。第四操作响应单元配置为根据所述第二点击操作,更新所述第一界面的显示内容。
在上述实施例的基础上,第一批注层的默认窗口样式为可穿透,在第四操作接收单元确定接收到第一触摸物或第二触摸物的操作时,将第一批注层的窗口样式更改为不可穿透;在第四操作接收单元确定接收到第一触摸物或第二触摸物结束操作时,将第一批注层的窗口样式更改为可穿透。
在上述实施例的基础上,还包括第五操作响应单元,第五操作响应单元可以配置为确认接收到第三触摸物在所述第一批注层上的第三移动操作,则不响应所述第三移动操作。
在上述实施例的基础上,第四操作接收单元还可配置为接收第三触摸物在所述第一批注层上的多点触控操作;第四操作接收单元还可配置为根据所述多点触控操作,在所述第一批注层上擦除相应的书写笔迹。
在上述实施例的基础上,还包括第六操作接收单元和第六操作响应单元,第一操作接收单元还可以配置为接收触摸物对所述批注控件的第三点击操作,所述触摸物包括所述第一触摸物、所述第二触摸物和所述第三触摸物中的任一个;第一操作响应单元还可配置为根据所述第三点击操作,在所述第一界面添加第二批注层;第六操作接收单元配置为接收所述触摸物的第四移动操作;第六操作响应单元配置为根据所述第四移动操作,在所述第二批注层添加书写笔迹或擦除书写笔迹。
在上述实施例的基础上,第一操作接收单元还可以配置为在未显示所述第一批注层的状态下接收所述触摸物对所述批注控件的第三点击操作。
在上述实施例的基础上,还包括第七操作接收单元和第七操作响应单元,第七操作接收单元配置为接收所述第三触摸物对所述属性控件的选择操作;第七操作响应单元配置为根据所述选择操作更改所述第三触摸物对应的书写笔迹的显示属性。
在上述实施例的基础上,第一操作接收单元还可配置为接收对接收对所述模式切换控件的启动操作;第一操作响应单元还可配置为响应于所述启动操作,开启快捷批注模式。
在上述实施例的基础上,还包括第八操作接收单元和第八操作响应单元,第四操作响应单元还可配置为根据所述第一点击操作在所述第一界面所点击的书写应用图标,打开书写应用的界面,并关闭所述第一批注层;第八操作接收单元配置为在所述书写应用的界面接收触摸物的第五移动操作;第八操作响应单元配置为根据所述第五移动操作,在所述书写应用的界面添加书写笔迹或擦除书写笔迹。
在上述实施例的基础上,第四操作响应单元还可配置为根据所述第一点击操作在所述文稿演示界面所点击的超链接,打开所述超链接,更新所述第一界面的显示内容。
在上述实施例的基础上,第四操作响应单元还可配置为根据所述第一点击操作在所述文稿演示界面所点击的所述翻页控件,打开所述翻页控件对应的演示文稿页面,更新所述第一界面的显示内容。
图12为本申请实施例提供的另一快捷批注装置的结构框图,该装置包括:
第二显示单元200,配置为显示第一界面的显示内容;
第一数据接收单元211,配置为接收触摸物在所述第一界面进行第一操作的第一传感数据,所述第一传感数据包括所述触敏显示屏检测到的第一位置信息和所述振动声学传感器检测到的第一振动波信号;
第一数据响应单元212,配置为基于所述第一位置信息确认所述第一操作为移动操作,且根据所述第一振动波信号确定所述触摸物的介质类型为预设的第一介质类型或第二介质类型;
在所述第一界面添加第一批注层,且当所述触摸物的介质类型为第一介质类型时,根据所述第一位置信息在所述第一批注层添加书写笔迹;
第二数据接收单元221,配置为接收触摸物在所述第一批注层上进行第二操作的第二传感数据,所述第二传感数据包括所述触敏显示屏检测到的第二位置信息和所述振动声学传感器检测到的第二振动波信号;
第一介质响应单元222,配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第一介质类型,则根据所述第二位置信息在所述第一批注层添加对应的书写笔迹;
第二介质响应单元223,配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第二介质类型,则根据所述第二位置信息在所述第一批注层擦除对应的书写笔迹;
第三介质响应单元224,配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,则根据所述第二位置信息,获得所述第二操作对所述第一界面的操作指令,更新所述第一界面的显示内容。
在上述实施例的基础上,还包括第二数据响应单元,第二数据响应单元配置为基于所述第一位置信息确认所述第一操作为点击操作,则根据所述点击操作,更新所述第一界面的显示内容。
在上述实施例的基础上,第三介质响应单元还配置为根据所述第二位置信息确定所述第二操作的目标为书写应用图标,则打开书写应用的界面,并关闭所述第一批注层,将所述第一批注层上的书写笔迹导入所述书写应用的界面中进行显示。
在上述实施例的基础上,还包括第四介质响应单元,第四介质响应单元配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且基于所述第二位置信息,确认所述第二操作为移动操作,则不响应所述第二操作。
在上述实施例的基础上,第三介质响应单元还可配置为基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且基于所述第二位置信息,确认所述第二操作为多点触控操作,则根据所述多点触控操作,在所述第一批注层上擦除相应的书写笔迹。
在上述实施例的基础上,还包括第三数据接收单元和第三数据响应单元,第一数据响应单元还可配置为基于所述第一位置信息确认所述第一操作为对所述批注控件的点击操作,则在所述第一界面添加第二批注层;第三数据接收单元配置为接收触摸物在所述第二批注层上进行第三操作的第三传感数据,所述第三传感数据包括所述触敏显示屏检测到的第三位置信息和所述振动声学传感器检测到的第三振动波信号;第三数据响应单元配置为基于所述第三位置信息确认所述第三操作为移动操作,则在所述第二批注层添加书写笔迹或擦除书写笔迹。
在上述实施例的基础上,第一数据响应单元还可配置为确认当前未显示所述第一批注层。
在上述实施例的基础上,第三介质响应单元还可配置为基于所述第三位置信息和所述第三弹性信号确认所述第三操作为对所述属性控件的操作;根据对所述属性控件的操作更新所述第三触摸物对应的书写笔迹的显示属性。
图13为本申请实施例提供的一种交互平板的结构示意图,该交互平板包括处理器310、存储器320、输入装置330和输出装置340,设备中处理器310的数量可以是一个或多个,图13以一个处理器310为例;设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接,图13以通过总线连接为例。存储器320作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的快捷批注方法对应的程序指令/模块。处理器310通过运行存储在存储器320中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的视频编码控制方法。输入装置330可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括触敏显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的快捷批注方法中的相关操作,且具备相应的功能和有益效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。
因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其 他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (60)

  1. 一种快捷批注方法,应用于交互平板,其中,所述交互平板包括触敏显示屏和振动声学传感器,所述触敏显示屏用于检测触摸物的位置信息,所述振动声学传感器用于检测振动波信号,所述振动波信号用于确认所述触摸物的介质类型,所述快捷批注方法,包括:
    在所述触敏显示屏显示文稿演示界面;
    接收触摸物在所述文稿演示界面进行第一操作的第一传感数据,所述第一传感数据包括所述触敏显示屏检测到的第一位置信息和所述振动声学传感器检测到的第一振动波信号;
    基于所述第一位置信息确认所述第一操作为移动操作,且根据所述第一振动波信号确定所述触摸物的介质类型为预设的第一介质类型,所述第一介质类型对应为书写笔的笔头;
    在所述文稿演示界面上添加第一批注层,将所述第一批注层的窗口样式配置为不可穿透,并根据所述第一位置信息在所述第一批注层添加书写笔迹;
    接收触摸物在所述第一批注层上进行第二操作的第二传感数据,所述第二传感数据包括所述触敏显示屏检测到的第二位置信息和所述振动波振动声学传感器检测到的第二振动波信号;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第一介质类型,则根据所述第二位置信息在所述第一批注层添加对应的书写笔迹;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且根据所述第二位置信息确认所述第二操作为点击操作,则保持所述第一批注层的显示内容,将所述第一批注层的窗口样式配置为可穿透,将所述第二位置信息分发至所述文稿演示界面对应的演示文稿应用,以使所述演示文稿应用根据所述第二位置信息,获得所述第二操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容,所述第三介质类型对应为手指。
  2. 根据权利要求1所述的快捷批注方法,其中,所述接收触摸物在所述第一批注层上进行第二操作的第二传感数据之后,还包括:
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第二介质类型,则将所述第一批注层的窗口样式设置为不可穿透,由所述第一批注层对所述第二传感数据进行响应,所述第二介质类型对应为书写笔的笔尾;
    根据所述第二位置信息在所述第一批注层擦除对应的书写笔迹。
  3. 根据权利要求1所述的快捷批注方法,其中,所述接收触摸物在所述第一批注层上进行第二操作的第二传感数据之后,还包括:
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且基于所述第二位置信息确认所述第二操作为移动操作,则不响应所述第二操作。
  4. 根据权利要求1所述的快捷批注方法,其中,所述接收触摸物在所述文稿演示界面进行第一操作的第一传感数据之后,还包括:
    基于所述第一位置信息确认所述第一操作为点击操作,则根据所述点击操作,更新所述文稿演示界面的显示内容。
  5. 根据权利要求1所述的快捷批注方法,其中,所述文稿演示界面显示有超链接;
    对应的,所述以使所述演示文稿应用根据所述第二位置信息,获得所述第二操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容,包括:
    以使所述演示文稿应用根据所述第二位置信息,确认所述第二操作在所述文稿演示界面所点击的目标是所述超链接时,打开所述超链接,更新所述文稿演示界面的显示内容。
  6. 根据权利要求1所述的快捷批注方法,其中,所述文稿演示界面显示有翻页控件;
    对应的,所述以使所述演示文稿应用根据所述第二位置信息,获得所述第二操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容,包括:
    以使所述演示文稿应用根据所述第二位置信息,确认所述第二操作在所述文稿演示界面所点击的目标是所述翻页控件时,打开所述翻页控件对应的演示文稿页面,更新所述文稿演示界面的显示内容。
  7. 根据权利要求1-6任一项所述的快捷批注方法,其中,所述在所述触敏显示屏显示文稿演示界面之前,还包括:
    接收终端设备所传送的第一传屏数据,并根据所述第一传屏数据在所述触敏显示屏显示文稿演示界面。
  8. 根据权利要求7所述的快捷批注方法,其中,所述将所述第二位置信息分发至所述文稿演示界面对应的演示文稿应用,以使所述演示文稿应用根据所述第二位置信息,获得所述第二操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容,包括:
    根据所述第二操作在所述文稿演示界面所点击的目标,生成操作数据,并将所述操作数据发送至所述终端设备;
    接收所述终端设备所传送的第二传屏数据,所述第二传屏数据由所述终端设备对所述操作数据进行响应后获得;
    根据所述第二传屏数据,更新所述文稿演示界面的显示内容。
  9. 根据权利要求8所述的快捷批注方法,其中,所述更新所述文稿演示界面的显示内容包括向前翻页、向后翻页或打开超链接。
  10. 根据权利要求2所述的快捷批注方法,其中,所述触敏显示屏显示有批注控件;所述在所述触敏显示屏显示文稿演示界面之后,还包括:
    接收触摸物对所述批注控件的第三点击操作,所述触摸物包括所述第一介质类型、所述第二介质类型和所述第三介质类型中的任一种;
    根据所述第三点击操作,在所述文稿演示界面上添加第二批注层,将所述第一批注层的窗口样式配置为不可穿透;
    接收所述触摸物的第四移动操作;
    根据所述第四移动操作,在所述第二批注层添加书写笔迹或擦除书写笔迹。
  11. 根据权利要求10所述的快捷批注方法,其中,所述接收触摸物对所述批注控件的第三点击操作,包括:
    在未显示所述第一批注层的状态下接收所述触摸物对所述批注控件的第三点击操作。
  12. 根据权利要求2所述的快捷批注方法,其中,所述快捷批注方法还包括:
    所述第二介质类型对应的操作结束后,将所述第一批注层的窗口样式配置为可穿透。
  13. 根据权利要求1所述的快捷批注方法,其中,所述快捷批注方法还包括:
    所述第一介质类型对应的操作结束后,将所述第一批注层的窗口样式配置为可穿透。
  14. 根据权利要求1所述的快捷批注方法,其中,所述第一批注层为透明批注层或浅色批注层。
  15. 一种快捷批注方法,应用于交互平板,其中,所述交互平板包括触敏显示屏,所述快捷批注方法,包括:
    在触敏显示屏显示第一界面;
    接收第一触摸物在所述触敏显示屏进行第一移动操作时,对应的第一触摸数据以及第一振动波信号;
    根据所述第一触摸数据确定在所述触敏显示屏表面的操作为移动操作,且根据所述第一振动波信号确定所述第一触摸物的介质类型为书写笔的笔头;
    在所述第一界面上叠加显示批注应用程序的批注应用窗口,并基于所述第一触摸数据在所述批注应用窗口上添加显示对应的书写笔迹;
    接收第二触摸物在所述触敏显示屏进行触控操作时,对应的第二触摸数据以及第二振动波信号;
    根据所述第二振动波信号确定所述第二触摸物的介质类型为手指;
    根据所述第二触摸数据,对所述触控操作进行响应,更新所述第一界面的显示内容。
  16. 根据权利要求15所述的快捷批注方法,其中,所述在所述第一界面上叠加显示批注应用程序的批注应用窗口,并基于所述第一触摸数据在所述批注应用窗口上添加显示对应的书写笔迹的步骤之前,还包括步骤:
    判断所述第一触摸数据符合预设的第一拦截规则,将所述第一触摸数据发送到批注应用程序,所述第一拦截规则用于拦截特定触摸物材质的移动操作对应的触摸数据。
  17. 根据权利要求16所述的快捷批注方法,其中,所述在所述第一界面上叠加显示批注应用程序的批注应用窗口,并基于所述第一触摸数据在所述批注应用窗口上添加显示对应的书写笔迹的步骤之后,还包括步骤:
    将预设的所述第一拦截规则更改为第二拦截规则,所述第二拦截规则用于拦截特定触摸物材质对应的触摸数据。
  18. 根据权利要求17所述的快捷批注方法,其中,所述根据所述第二触摸数据,对所述触控操作进行响应,更新所述第一界面的显示内容的步骤之前,还包括步骤:
    判断所述第二触摸数据不符合预设的第二拦截规则,将所述第二触摸数据发送到所述第一界面对应的应用程序。
  19. 根据权利要求15或17所述的快捷批注方法,其中,所述快捷批注方法还包括步骤:
    接收第三触摸物在所述触敏显示屏进行触控操作时,对应的第三触摸数据以及第三振动波信号;所述触控操作包括点击操作和移动操作;
    根据所述第三振动波信号确定所述第三触摸物的介质类型为书写笔的笔尾;
    根据所述第三触摸数据,在所述批注应用窗口上擦除相应的书写笔迹。
  20. 根据权利要求19所述的快捷批注方法,其中,所述根据所述第三触摸数据,在所述批注应用窗口上擦除相应的书写笔迹之前,还包括步骤:
    判断所述第三触摸数据符合预设的第二拦截规则,将所述第二触摸数据发送到所述批注应用程序。
  21. 根据权利要求19所述的快捷批注方法,其中,所述根据所述第三触摸数据,在所述批注应用窗口上擦除相应的书写笔迹,具体为:
    根据所述第三触摸数据,在所述批注应用窗口上擦除相应的书写笔迹,并在擦除所述书写笔迹的过程中,显示擦除标识符号。
  22. 根据权利要求19所述的快捷批注方法,其中,所述快捷批注方法还包括步骤:
    当批注应用窗口上的所有书写笔迹均被擦除后,不再显示批注应用窗口。
  23. 根据权利要求15所述的快捷批注方法,其中,所述快捷批注方法还包括步骤:
    接收所述第一触摸物在所述触敏显示屏进行触控操作时,对应的第四触摸数据以及第四振动波信号;所述触控操作包括点击操作和移动操作;
    根据所述第四振动波信号确定所述第一触摸物的介质类型为书写笔的笔头;
    基于所述第四触摸数据,在所述批注应用窗口上添加显示对应的书写笔迹。
  24. 根据权利要求15所述的快捷批注方法,其中,所述接收第一触摸物在所述触敏显示屏进行第一移动操作时,对应的第一触摸数据以及第一振动波信号之前,还包括:
    接收第一触摸物或第二触摸物在所述触敏显示屏进行第一点击操作时,对应的第五触摸数据以及第五振动波信号;
    根据所述第五振动波信号确定所述第一触摸物介质类型为书写笔的笔头,或确定所述第二触摸物介质类型为书写笔的笔尾;
    根据所述第五触摸数据,确定所述第一点击操作所点击的目标后,更新所述第一界面的显示内容。
  25. 根据权利要求15所述的快捷批注方法,其中,所述第一界面为文稿演示界面,所述根据所述第二触摸数据,对所述触控操作进行响应,更新所述第一界面的显示内容,包括:
    根据所述第二触摸数据在所述第一界面中的位置信息,获得所述触控操作的操作对象信息,所述操作对象信息包括超链接或翻页控件;
    基于所述操作对象信息,对所述触控操作进行响应,打开超链接或执行翻页操作,从而更新所述第一界面的显示内容。
  26. 根据权利要求25所述的快捷批注方法,其中,所述在触敏显示屏显示第一界面,具体为:
    接收终端设备所传送的第一传屏数据,并根据所述第一传屏数据在所述触敏显示屏第一界面。
  27. 根据权利要求26所述的快捷批注方法,其中,所述根据所述第二触摸数据,对所述触控操作进行响应,更新所述第一界面的显示内容,包括:
    将所述第二触摸数据发送至所述终端设备;
    接收所述终端设备所传送的第二传屏数据,所述第二传屏数据由所述终端设备对所述第二触摸数据进行响应后获得;
    根据所述第二传屏数据,更新所述文稿演示界面的显示内容。
  28. 一种快捷批注方法,应用于交互平板,其中,所述交互平板包括触敏显示屏和振动声学传感器,所述触敏显示屏用于检测触摸物的位置信息,所述振动声学传感器用于检测振动波信号,所述振动波信号用于确认所述触摸物的介质类型,所述快捷批注方法,包括:
    在触敏显示屏显示桌面图标界面;
    接收触摸物在所述桌面图标界面进行第一操作的第一传感数据,所述第一传感数据包括所述触敏显示屏检测到的第一位置信息和所述振动声学传感器检测到的第一振动波信号;
    基于所述第一位置信息确认所述第一操作为移动操作,且根据所述第一振动波信号确定所述触摸物的介质类型为预设的第一介质类型,所述第一介质类型对应为书写笔的笔头;
    在所述桌面图标界面上添加第一批注层,将所述第一批注层的窗口样式配置为不可穿透,并根据所述第一位置信息在所述第一批注层添加书写笔迹;
    接收触摸物在所述第一批注层上进行第二操作的第二传感数据,所述第二传感数据包括所述触敏显示屏检测到的第二位置信息和所述振动波振动声学传感器检测到的第二振动波信号;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第一介质类型,则根据所述第二位置信息在所述第一批注层添加对应的书写笔迹;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且根据所述第二位置信息确认所述第二操作为点击操作,则保持所述第一批注层的显示内容,将所述第一批注层的窗口样式配置为可穿透,将所述第二位置信息分发至所述桌面图标界面对应的桌面启动器,以使所述桌面启动器根据所述第二位置信息对应的应用图标打开对应的应用界面,所述第三介质类型对应为手指。
  29. 根据权利要求28所述的快捷批注方法,其中,所述第二位置信息对应的应用图标为书写应用图标;
    对应的,所述基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且根据所述第二位置信息确认所述第二操作为点击操作,则保持所述第一批注层的显示内容,将所述第一批注层的窗口样式配置为可穿透,将所述第二位置信息分发至所述桌面图标界面对应的桌面启动器,以使所述桌面启动器根据所述第二位置信息对应的应用图标打开对应的应用界面,包括:
    打开书写应用的界面,并关闭所述第一批注层,将所述第一批注层上的书写笔迹导入所述书写应用的界面中进行显示。
  30. 根据权利要求29所述的快捷批注方法,其中,所述打开书写应用的界面之后,还包括:
    在所述书写应用的界面接收触摸物的第五移动操作;
    根据所述第五移动操作,在所述书写应用的界面添加书写笔迹或擦除书写笔迹。
  31. 一种快捷批注方法,应用于交互平板,其中,所述交互平板包括触敏显示屏,所述快捷批注方法,包括:
    在所述触敏显示屏显示第一界面;
    接收第一触摸物或第二触摸物在所述第一界面上的第一移动操作;
    根据所述第一移动操作,在所述第一界面上添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;
    接收所述第一触摸物或所述第二触摸物在所述第一批注层上的第二移动操作;
    根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;
    接收第三触摸物在所述第一批注层上的第一点击操作;
    根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容。
  32. 根据权利要求31所述的快捷批注方法,其中,所述接收所述第一触摸物或所述第二触摸物在所述第一界面上的第一移动操作之前,还包括:
    接收第一触摸物或第二触摸物在所述第一界面上的第二点击操作,所述第一触摸物的介质类型为第一介质类型,所述第二触摸物的介质类型为第二介质类型;
    根据所述第二点击操作,更新所述第一界面的显示内容。
  33. 根据权利要求31所述的快捷批注方法,其中,所述第一批注层的默认窗口样式为可穿透,所述接收所述第一触摸物或所述第二触摸物的第二移动操作的步骤之后,还包括:
    当确定接收到所述第一触摸物或所述第二触摸物的操作时,将所述第一批注层的窗口样式更改为不可穿透;
    当确定所述第一触摸物或所述第二触摸物结束操作后,将第一批注层的窗口样式更改为可穿透。
  34. 根据权利要求31所述的快捷批注方法,其中,所述快捷批注方法还包括:
    确认接收到第三触摸物在所述第一批注层上的第三移动操作,则不响应所述第三移动操作。
  35. 根据权利要求31所述的快捷批注方法,其中,所述快捷批注方法还包括:
    接收第三触摸物在所述第一批注层上的多点触控操作;
    根据所述多点触控操作,在所述第一批注层上擦除相应的书写笔迹。
  36. 根据权利要求32所述的快捷批注方法,其中,所述第一界面显示有批注控件;所述在所述触敏显示屏显示第一界面之后,还包括:
    接收触摸物对所述批注控件的第三点击操作,所述触摸物包括所述第一触摸物、所述第二触摸物和所述第三触摸物中的任一个;
    根据所述第三点击操作,在所述第一界面上添加第二批注层;
    接收所述触摸物的第四移动操作;
    根据所述第四移动操作,在所述第二批注层添加书写笔迹或擦除书写笔迹。
  37. 根据权利要求36所述的快捷批注方法,其中,所述接收触摸物对所述批注控件的第三点击操作,包括:
    在未显示所述第一批注层的状态下接收所述触摸物对所述批注控件的第三点击操作。
  38. 根据权利要求31或36所述的快捷批注方法,其中,所述第一界面显示有属性控件,所述快捷批注方法还包括:
    接收所述第一触摸物或所述第三触摸物对所述属性控件的选择操作;
    根据所述选择操作更改对应的书写笔迹的显示属性。
  39. 根据权利要求32所述的快捷批注方法,其中,所述第一界面显示有模式切换控件,所述接收第一触摸物或第二触摸物在所述第一界面上的第二点击操作之前,还包括:
    接收对所述模式切换控件的启动操作;
    响应于所述启动操作,开启快捷批注模式。
  40. 根据权利要求31-37任一项所述的快捷批注方法,其中,所述根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容,具体包括:
    根据所述第一点击操作在所述第一界面所点击的书写应用图标,打开书写应用的界面,并关闭所述第一批注层;
    在所述书写应用的界面接收触摸物的第五移动操作;
    根据所述第五移动操作,在所述书写应用的界面添加书写笔迹或擦除书写笔迹。
  41. 根据权利要求40所述的快捷批注方法,其中,所述根据所述第一
    点击操作在所述第一界面所点击的书写应用图标,打开书写应用的界面,并关闭所述第一批注层之后,还包括:
    将所述第一批注层上的书写笔迹导入到所述书写应用的界面中进行显示。
  42. 根据权利要求31所述的快捷批注方法,其中,所述第一界面为文稿演示界面,所述第一界面显示有超链接;
    所述根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容,包括:
    根据所述第一点击操作在所述文稿演示界面所点击的超链接,打开所述超链接,更新所述第一界面的显示内容。
  43. 根据权利要求42所述的快捷批注方法,其中,所述第一界面还显示有翻页控件;
    所述根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容,包括:
    根据所述第一点击操作在所述文稿演示界面所点击的所述翻页控件,打开所述翻页控件对应的演示文稿页面,更新所述第一界面的显示内容。
  44. 根据权利要求31所述的快捷批注方法,其中,所述第一界面为媒体播放界面,所述根据所述第一点击操作在所述第一界面所点击的目标,更新所述第一界面的显示内容,包括:
    根据所述第一点击操作在所述媒体播放界面所点击的目标,更新所述媒体播放界面所播放的媒体内容。
  45. 根据权利要求31所述的快捷批注方法,其中,所述第一界面上还显示有保存控件,所述快捷批注方法还包括:
    接收触摸物对所述保存控件的第四点击操作,所述触摸物包括所述第一触摸物、所述第二触摸物和所述第三触摸物中的任一个;
    根据所述第四点击操作,保存所述第一批注层上的批注内容。
  46. 根据权利要求31所述的快捷批注方法,其中,所述触摸物还包括第四触摸物,所述快捷批注方法还包括:
    接收所述第四触摸物的第六移动操作;
    根据所述第六移动操作在所述第一批注层上添加书写笔迹并以不同的笔迹颜色显示。
  47. 一种快捷批注方法,用于交互平板,其中,所述交互平板包括触敏显示屏和振动声学传感器,所述触敏显示屏用于检测触摸物的位置信息,所述振动声学传感器用于检测振动波信号,所述振动波信号用于确认所述触摸物的介质类型,所述快捷批注方法,包括:
    在所述触敏显示屏显示第一界面;
    接收触摸物在所述第一界面进行第一操作的第一传感数据,所述第一传感数据包括所述触敏显示屏检测到的第一位置信息和所述振动声学传感器检测到的第一振动波信号;
    基于所述第一位置信息确认所述第一操作为移动操作,且根据所述第一振动波信号确定所述触摸物的介质类型为预设的第一介质类型或第二介质类型;
    在所述第一界面上添加第一批注层,且当所述触摸物的介质类型为第一介质类型时,根据所述第一位置信息在所述第一批注层添加书写笔迹;
    接收触摸物在所述第一批注层上进行第二操作的第二传感数据,所述第二传感数据包括所述触敏显示屏检测到的第二位置信息和所述振动波振动声学传感器检测到的第二振动波信号;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第一介质类型,则根据所述第二位置信息在所述第一批注层添加对应的书写笔迹;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第二介质类型,则根据所述第二位置信息在所述第一批注层擦除对应的书写笔迹;
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,则根据所述第二位置信息,获得所述第二操作对所述第一界面的操作指令,更新所述第一界面的显示内容。
  48. 根据权利要求47所述的快捷批注方法,其中,所述快捷批注方法还包括:
    基于所述第一位置信息确认所述第一操作为点击操作,则根据所述点击操作,更新所述第一界面的显示内容。
  49. 根据权利要求47所述的快捷批注方法,其中,所述基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,则根据所述第二位置信息,获得所述第二操作对所述第一界面的操作指令,更新所述第一界面的显示内容,包括:
    根据所述第二位置信息确定所述第二操作的目标为书写应用图标,则打开打开书写应用的 界面,并关闭所述第一批注层,将所述第一批注层上的书写笔迹导入所述书写应用的界面中进行显示。
  50. 根据权利要求47所述的快捷批注方法,其中,所述快捷批注方法还包括:
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且基于所述第二位置信息,确认所述第二操作为移动操作,则不响应所述第二操作。
  51. 根据权利要求47所述的快捷批注方法,其中,所述快捷批注方法还包括:
    基于所述第二振动波信号确认所述触摸物的介质类型为预设的第三介质类型,且基于所述第二位置信息,确认所述第二操作为多点触控操作,则根据所述多点触控操作,在所述第一批注层上擦除相应的书写笔迹。
  52. 根据权利要求47所述的快捷批注方法,其中,所述第一界面显示有批注控件;所述在所述触敏显示屏显示第一界面之后,还包括:
    基于所述第一位置信息确认所述第一操作为对所述批注控件的点击操作,则在所述触敏显示屏置顶添加第二批注层;
    接收触摸物在所述第二批注层上进行第三操作的第三传感数据,所述第三传感数据包括所述触敏显示屏检测到的第三位置信息和所述振动声学传感器检测到的第三振动波信号;
    基于所述第三位置信息确认所述第三操作为移动操作,则在所述第二批注层添加书写笔迹或擦除书写笔迹。
  53. 根据权利要求52所述的快捷批注方法,其中,所述基于所述第一位置信息确认所述第一操作为对所述批注控件的点击操作之前,还包括:
    确认当前未显示所述第一批注层。
  54. 根据权利要求52所述的快捷批注方法,其中,所述第一界面显示有属性控件,所述快捷批注方法还包括:
    基于所述第三位置信息和所述第三振动波信号确认所述第三操作为对所述属性控件的操作;
    根据对所述属性控件的操作更新所述第三触摸物对应的书写笔迹的显示属性。
  55. 一种快捷批注方法,应用于交互平板,其中,所述交互平板包括触敏显示屏,所述快捷批注方法,包括:
    在所述触敏显示屏显示文稿演示界面;
    接收所述第一触摸物或所述第二触摸物在所述文稿演示界面上的第一移动操作;
    根据所述第一移动操作,在所述文稿演示界面上添加第一批注层,并根据所述第一移动操作在所述第一批注层添加书写笔迹或者进行擦除操作;
    接收所述第一触摸物或所述第二触摸物在所述第一批注层上的第二移动操作;
    根据所述第一触摸物的所述第二移动操作,在所述第一批注层上添加书写笔迹,或根据所述第二触摸物的所述第二移动操作,在所述第一批注层上擦除相应的书写笔迹;
    接收第三触摸物在所述第一批注层上的第一点击操作,所述第三触摸物的介质类型为第三介质类型;
    根据所述第一点击操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容。
  56. 根据权利要求55所述的快捷批注方法,其中,所述在所述触敏显示屏显示文稿演示界面之前,还包括:
    接收终端设备所传送的第一传屏数据,并根据所述第一传屏数据在所述触敏显示屏显示文稿演示界面。
  57. 根据权利要求56所述的快捷批注方法,其中,所述根据所述第第一点击操作在所述文稿演示界面所点击的目标,更新所述文稿演示界面的显示内容,包括:
    根据所述第一点击操作在所述文稿演示界面所点击的目标,生成操作数据,并将所述操作数据发送至所述终端设备;
    接收所述终端设备所传送的第二传屏数据,所述第二传屏数据由所述终端设备对所述操作数据进行响应后获得;
    根据所述第二传屏数据,更新所述文稿演示界面的显示内容。
  58. 根据权利要求57所述的快捷批注方法,其中,所述更新所述文稿演示界面的显示内容包括向前翻页、向后翻页或打开超链接。
  59. 一种交互平板,所述交互平板包括触敏显示屏和振动声学传感器,其中,还包括:
    一个或多个处理器;
    存储器,用于存储一个或多个程序;
    当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-58任一项所述的快捷批注方法。
  60. 一种存储计算机可执行指令的存储介质,其中,所述计算机可执行指令在由处理器执行时用于执行如权利要求1-58任一项所述的快捷批注方法。
PCT/CN2022/124985 2022-05-30 2022-10-12 快捷批注方法、装置、交互平板及存储介质 WO2023231268A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280010062.3A CN117480482A (zh) 2022-05-30 2022-10-12 快捷批注方法、装置、交互平板及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2022/095903 2022-05-30
PCT/CN2022/095903 WO2023230753A1 (zh) 2022-05-30 2022-05-30 快捷批注方法、装置、交互平板及存储介质

Publications (1)

Publication Number Publication Date
WO2023231268A1 true WO2023231268A1 (zh) 2023-12-07

Family

ID=89026503

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/CN2022/095903 WO2023230753A1 (zh) 2022-05-30 2022-05-30 快捷批注方法、装置、交互平板及存储介质
PCT/CN2022/124985 WO2023231268A1 (zh) 2022-05-30 2022-10-12 快捷批注方法、装置、交互平板及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/095903 WO2023230753A1 (zh) 2022-05-30 2022-05-30 快捷批注方法、装置、交互平板及存储介质

Country Status (2)

Country Link
CN (1) CN117480482A (zh)
WO (2) WO2023230753A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760019A (zh) * 2016-02-22 2016-07-13 广州视睿电子科技有限公司 基于交互式电子白板的触摸操作方法及其系统
US20170083164A1 (en) * 2015-09-18 2017-03-23 Sentons Inc. Detecting touch input provided by signal transmitting stylus
CN109697004A (zh) * 2018-12-28 2019-04-30 广州视源电子科技股份有限公司 用于触摸设备书写批注的方法、装置、设备及存储介质
CN110119234A (zh) * 2019-04-08 2019-08-13 广州视源电子科技股份有限公司 一种智能交互平板的操作方法、存储介质及相关设备
CN110413187A (zh) * 2018-04-26 2019-11-05 广州视源电子科技股份有限公司 交互智能设备的批注的处理方法和装置
CN113791700A (zh) * 2021-07-23 2021-12-14 广州创知科技有限公司 基于弹性波的交互方法、装置、交互平板和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731443B (zh) * 2013-12-23 2018-05-01 鸿合科技股份有限公司 一种批注实现方法及装置
CN108038094A (zh) * 2017-10-17 2018-05-15 广州视源电子科技股份有限公司 一种文档批注方法、装置和电子设备
WO2020047742A1 (zh) * 2018-09-04 2020-03-12 深圳市柔宇科技有限公司 手写板、手写板装置及书写控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083164A1 (en) * 2015-09-18 2017-03-23 Sentons Inc. Detecting touch input provided by signal transmitting stylus
CN105760019A (zh) * 2016-02-22 2016-07-13 广州视睿电子科技有限公司 基于交互式电子白板的触摸操作方法及其系统
CN110413187A (zh) * 2018-04-26 2019-11-05 广州视源电子科技股份有限公司 交互智能设备的批注的处理方法和装置
CN109697004A (zh) * 2018-12-28 2019-04-30 广州视源电子科技股份有限公司 用于触摸设备书写批注的方法、装置、设备及存储介质
CN110119234A (zh) * 2019-04-08 2019-08-13 广州视源电子科技股份有限公司 一种智能交互平板的操作方法、存储介质及相关设备
CN113791700A (zh) * 2021-07-23 2021-12-14 广州创知科技有限公司 基于弹性波的交互方法、装置、交互平板和存储介质

Also Published As

Publication number Publication date
WO2023230753A1 (zh) 2023-12-07
CN117480482A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
JP7490730B2 (ja) メッセージングアプリケーションにおけるオプションの表示、通知の割り当て、メッセージの無視、及びユーザインタフェースの同時表示
US11775248B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
US11354033B2 (en) Device, method, and graphical user interface for managing icons in a user interface region
US20230259696A1 (en) Device, method, and graphical user interface for editing screenshot images
US11120220B2 (en) Device, method, and graphical user interface for a predictive keyboard
US20190018562A1 (en) Device, Method, and Graphical User Interface for Scrolling Nested Regions
CN108334264B (zh) 在便携式终端中用于提供多点触摸交互的方法和设备
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US9626087B2 (en) Device, method, and graphical user interface for navigating between user interfaces
US10282083B2 (en) Device, method, and graphical user interface for transitioning between user interfaces
US9335899B2 (en) Method and apparatus for executing function executing command through gesture input
WO2020010775A1 (zh) 电子白板的界面元素操作方法、装置及交互智能设备
US20170003812A1 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
US10331297B2 (en) Device, method, and graphical user interface for navigating a content hierarchy
US11822780B2 (en) Devices, methods, and systems for performing content manipulation operations
KR20150083730A (ko) 컴퓨팅 디바이스에서 컨텐츠 복사 실행 방법, 컨텐츠 붙여넣기 실행 방법 및 컴퓨팅 디바이스
US20160299657A1 (en) Gesture Controlled Display of Content Items
WO2023231268A1 (zh) 快捷批注方法、装置、交互平板及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 202280010062.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22944576

Country of ref document: EP

Kind code of ref document: A1