WO2021098878A1 - 一种预测手写笔绘制点的方法和设备 - Google Patents

一种预测手写笔绘制点的方法和设备 Download PDF

Info

Publication number
WO2021098878A1
WO2021098878A1 PCT/CN2020/130866 CN2020130866W WO2021098878A1 WO 2021098878 A1 WO2021098878 A1 WO 2021098878A1 CN 2020130866 W CN2020130866 W CN 2020130866W WO 2021098878 A1 WO2021098878 A1 WO 2021098878A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
point
predicted
stylus
reporting
Prior art date
Application number
PCT/CN2020/130866
Other languages
English (en)
French (fr)
Inventor
吴大
王烨东
燕瑞
孙峰
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US17/778,622 priority Critical patent/US20220413637A1/en
Priority to EP20890530.7A priority patent/EP4047456A4/en
Publication of WO2021098878A1 publication Critical patent/WO2021098878A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例涉及一种预测手写笔绘制点的方法,方法包括:获取手写笔的多个报点;根据多个报点确定预测报点模型;采用预测报点模型进行预测,得到至少一个预测点;绘制至少一个预测点,并将绘制的预测点进行显示。本申请实施例通过历史报点的信息,构造预测报点模型并得到预测点。通过绘制预测点并显示,使得显示的点比实际报点更贴近手写笔的实际触点位置,保障用户使用时可以有更好的跟手性以及手写体验。

Description

一种预测手写笔绘制点的方法和设备
本申请要求在2019年11月22日提交国家专利局、申请号为201911155366.5、发明名称为“一种手写输入方法和终端”的中国专利申请的优先权,以及在2020年9月30日提交国家专利局、申请号为202011058380.6、发明名称为“一种预测手写笔绘制点的方法和设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能(artificial intelligence,AI)应用领域,尤其涉及一种预测手写笔绘制点方法和手写笔。
背景技术
手写笔是目前平板电脑上最常见到的配件,其经常用于办公时记录笔记、绘画等场景。但是由于手写笔和平板电脑固有的一些特点,导致手写笔在平板电脑上进行书写时与普通笔在纸上进行书写时体验是具有差异性的。手写笔在平板电脑上进行书写时,由于触控、报点和绘制是需要设备进行处理计算的,因此上述过程必然具有一定的时延。显然,若时延较长,则用户在使用时将会看到平板电脑的屏幕上显示的点与手写笔书写的实际位置并不重叠,并且之间具有一定距离。对于用户体验上则意味着手写笔在书写时的跟手性非常不好,严重影响用户体验。
发明内容
本申请实施例提供了一种预测手写笔绘制点的方法,该方法通过历史报点的信息,预测未来报点的位置,并将预测的预测点进行绘制,从而实现绘制显示的点可以比实际报点更靠近手写笔的实际触点位置,保障用户使用时可以有更好的跟手性以及手写体验。
第一方面,提供了一种预测手写笔绘制点的方法,方法包括:获取手写笔的多个报点;根据多个报点确定预测报点模型;采用预测报点模型进行预测,得到至少一个预测点;绘制至少一个预测点,并将绘制的预测点进行显示。本申请实施例通过历史报点的信息,构造预测报点模型并得到预测点。通过绘制预测点并显示,使得显示的点比实际报点更靠近手写笔的实际触点位置,保障用户使用时可以有更好的跟手性以及手写体验。
在一个可能的实施方式中,根据多个报点确定预测报点模型包括:确定多个报点的坐标信息和时间信息,其中坐标信息包括X轴方向的坐标信息和Y轴方向的坐标信息;针对X轴方向、Y轴方向中的每个方向,通过多个报点在该方向上的坐标信息和时间信息,得到该方向上的预测报点模型。
在一个可能的实施方式中,采用预测报点模型进行预测,得到至少一个预测点包 括:针对X轴方向、Y轴方向中的每个方向,根据该方向上的预测报点模型,确定n个预测点在该方向上的坐标信息,其中,n为正整数;根据预测点在X轴方向上的坐标信息和在Y轴方向上的坐标信息,得到n个预测点的坐标信息。
在一个可能的实施方式中,方法还包括:根据多个报点确定手写笔的移动速度;确定预测点与该预测点对应的真实报点之间的误差;根据手写笔的移动速度和误差,将预测点的个数n调整为n’,其中n’为下一次预测时预测点的个数,n’为正整数。本申请实施例还可以结合手写笔的移动速度和/或预测点的误差情况,动态调整预测点的预测个数,保障了预测点不会偏离正确轨迹,从而在用户使用时可以有更好的跟手性以及手写体验。
在一个可能的实施方式中,根据手写笔的移动速度和误差,调整预测点的个数n包括:当手写笔的移动速度小于或等于移动速度阈值,和/或误差大于或等于误差阈值时,减少n个预测点的个数。本申请实施例可以在满足上述条件时,减少预测点预测的数量,从而保障了用户使用时不会使预测点过于偏离正确轨迹,同时可以有更好的跟手性以及手写体验。
在一个可能的实施方式中,获取手写笔的多个报点包括:当手写笔进行绘制时,采集笔尖的触控信息;根据触控信息确定手写笔的多个报点。
在一个可能的实施方式中,绘制至少一个预测点,并将绘制的预测点进行显示,包括:将n个预测点中相邻的两个预测点相连接,绘制形成一条线段;将绘制的线段进行显示。
在一个可能的实施方式中,预测报点模型为二阶泰勒展开式。
第二方面,提供了一种预测手写笔绘制点的设备,设备包括:处理器,用于与存储器耦合,以及读取并执行存储在存储器中的指令;当处理器运行时执行指令,使得处理器还用于:获取手写笔的多个报点;根据多个报点确定预测报点模型;采用预测报点模型进行预测,得到至少一个预测点;绘制至少一个预测点;显示器,用于将绘制的预测点进行显示。本申请实施例通过历史报点的信息,构造预测报点模型并得到预测点。通过绘制预测点并显示,使得显示的点比实际报点更靠近手写笔的实际触点位置,保障用户使用时可以有更好的跟手性以及手写体验。
在一个可能的实施方式中,处理器还用于:确定多个报点的坐标信息和时间信息,其中坐标信息包括X轴方向的坐标信息和Y轴方向的坐标信息;针对X轴方向、Y轴方向中的每个方向,通过多个报点在该方向上的坐标信息和时间信息,得到该方向上的预测报点模型。
在一个可能的实施方式中,处理器还用于:针对X轴方向、Y轴方向中的每个方向,根据该方向上的预测报点模型,确定n个预测点在该方向上的坐标信息,其中,n为正整数;根据预测点在X轴方向上的坐标信息和在Y轴方向上的坐标信息,得到n个预测点的坐标信息。
在一个可能的实施方式中,设备还包括:传感器,用于获取手写笔的触点信息,并根据所述触点信息得到多个所述报点;处理器还用于,根据多个报点确定手写笔的移动速度;确定预测点与该预测点对应的真实报点之间的误差;根据手写笔的移动速度和误差,将测试点的个数n调整为n’,其中n’为下一次预测时预测点的个数,n’ 为正整数。本申请实施例还可以结合手写笔的移动速度和/或预测点的误差情况,动态调整预测点的预测个数,从而保障了用户使用时不会使预测点过于偏离正确轨迹,同时可以有更好的跟手性以及手写体验。
在一个可能的实施方式中,处理器还用于:当手写笔的移动速度小于或等于移动速度阈值,和/或误差大于或等于误差阈值时,减少n个预测点的个数。本申请实施例可以在满足上述条件时,减少预测点预测的数量,从而保障了用户使用时不会使预测点过于偏离正确轨迹,同时可以有更好的跟手性以及手写体验的。
在一个可能的实施方式中,传感器还用于,当手写笔进行绘制时,采集笔尖的触控信息;处理器还用于,根据触控信息确定手写笔的多个报点。
在一个可能的实施方式中,处理器还用于,将n个预测点中相邻的两个预测点相连接,绘制形成一条线段;显示器还用于,将绘制的线段进行显示。
在一个可能的实施方式中,预测报点模型为二阶泰勒展开式。
第三方面,提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在终端上运行时,使得终端执行第一方面任意一项的方法。
第四方面,提供了一种包含指令的计算机程序设备,当其在终端上运行时,使得终端执行第一方面中的任一项的方法。
本申请实施例公开了一种预测手写笔绘制点的方法和设备。通过历史的报点提前预测未来报点可能的位置,并将预测点的位置进行绘制。实现了绘制的点与手写笔实际触点位置更加贴近,保障了用户使用手写笔时具有更好的跟手性、体验更佳。
附图说明
图1为本申请实施例提供的一种手写笔绘制场景示意图;
图2为手写笔跟手时延示意图;
图3为手写笔绘制、显示过程示意图;
图4为本申请实施例提供的系统框架示意图;
图5为本申请实施例提供的一种预测手写笔绘制点的方法流程图;
图6为泰勒展开式与曲线贴合关系示意图;
图7为本申请实施例提供的一种绘制预测点示意图;
图8为本申请实施例提供的一种预测手写笔绘制点的装置示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请主要应用在用户使用手写笔在移动设备上进行书写或绘画。例如图1示出的场景图,在该场景下用户使用手写笔101在终端设备的显示屏102上进行绘画或写字。此时手写笔101在显示屏102上经过的路径上会显示相应线条,该线条即表示手写笔101所描绘的内容。通常情况下,由于手写笔101是在显示屏102上进行绘画、书写,因此相比采用正常笔在纸上绘画、书写可以立即显示不同的是,终端设备需要根据手写笔101在显示屏102上的触点进行计算后才可绘制出相应线条。显然,终端设备绘制线条的过程是需要时间的。因此当线条绘制完成时,手写笔101的实际触点 位置可能已经向后继续移动了。
例如图2示出的示意图。可以明显看到,手写笔的实际触点与绘制点之间并不是同一个位置,这将导致绘制点绘制并显示时,用户实际触点已经向后移动,对于用户而言,则会出现严重的不跟手现象。其中,触点即手写笔101与显示屏102相接触的点,而绘制点则是终端设备根据触点绘制在显示屏上显示的点。这一现象出现的原因在于,终端设备在进行绘制时,需要获取终端设备物理层根据触点得到的报点,然后再将该报点进行渲染得到绘制点并传输至显示屏上显示得到的绘制点。可以理解的是物理层也可称为底层,本申请中上述两种描述可以任意互用。
然而,手写笔接触显示屏后,显示屏需要一定时间进行响应。同时,显示屏响应后,再到终端设备获取到底层报点之间,也存在一定的时延,即报点时延。以及对物理层上报的报点进行渲染也需要终端设备处理一段时间后才能完成,并最终经显示屏进行显示。因此才导致显示出的绘制点与手写笔的实际触点位置之间会存在一定距离。较为具体地,显示屏在显示绘制点时产生时延的过程可以参考图3示出的示意图。
若终端设备提前进行绘制,则显示出的绘制点与手写笔实际触点又会产生较大偏差,使得用户感觉更差的跟手性。
因此,本申请实施例通过多个历史报点得到预测报点模型,并通过预测报点模型进行预测,再将预测点进行绘制显示,使得显示的点比实际报点更靠近手写笔的实际触点位置,保障用户使用时可以有更好的跟手性以及手写体验。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行详细描述。
图4为本申请实施例提供的系统框架示意图。
通过图4可以看出,该系统架构可以是基于安卓(android)的系统架构,该架构包括本地框架层(native)、框架层(framework)和应用层(application,APP)。native层主要包括一些本地服务和一些链接库等。该层可以通过C和C++语言实现。该层还用于与底层的硬件进行驱动交互,因此,终端设备可以通过该层响应手写笔接触到显示屏的动作,并且获取到显示屏采集到的初始的报点。
在一个例子中,native层获取到的报点可以包括该点的坐标信息和绝对时间。可以理解的是,绝对时间指代国际上通用的世界时,或称格林尼治时间。终端设备的native层在获取到报点之后,还可以对获取到的报点进行去噪处理,并将去噪后的报点发送至framework层的预测报点算法,并通过该算法得到预测报点模型以及预测点。然后经过预测报点应用程序接口(application programming interface,API)将预测点发送至APP层的手写笔应用中。
其中,framework层中还包括系统服务(system server),用于为framework层提供各种可能用到的服务,例如触摸事件(input flinger)。input flinger用于为手写笔在显示屏上移动时在显示屏上发生的事件(event)提供服务支持。当然,framework层还可以包括其它算法,用于完成其它任意可能的功能,并通过相对应的其它API,将数据上传至APP层的其它应用,以完成某种特定的任务。
APP层的手写笔应用通过预测报点API接收到预测的预测点后,可以将接收到的预测点进行渲染并在显示屏上进行显示。在一些例子中,手写笔应用例如可以是备忘录、绘画等应用。
本申请实施例通过在framework层中新增了预测报点API和预测报点算法,使得APP层的手写笔应用可以通过framework层中的预测报点API调用预测报点算法,以便用户在使用手写笔应用时,可以使得绘制的点与手写笔实际触点位置更加贴近,保障了用户使用手写笔时具有更好的跟手性、体验更佳。
基于上述图4示出的框架,本申请实施例还提供了一种预测手写笔绘制点的方法,例如图5所示。
该方法可以应用在终端设备上。本申请实施例所涉及的终端设备可以是具有显示屏的终端设备,该显示屏为具有触摸功能的显示屏。终端设备可以但不限于手机、可穿戴设备、平板电脑、个人数字助理(personal digitalassistant,PDA)、膝上型计算机(laptop)、移动电脑等任意具有触摸功能显示屏的终端设备或便携式终端设备。该方法可以包括以下步骤:
S501,获取手写笔的多个报点。
终端设备首先通过显示屏获取手写笔的多个报点。
在一个例子中,当手写笔在显示屏上接触并滑动后,终端设备可以获取手写笔接触后的多个报点。例如可以获取a个报点。对于a个报点的获取,在一个例子中,可以是当手写笔与终端设备的显示器接触后,终端设备驱动显示器并获取到显示屏的触控信息,并通过获取到的触控信息确定报点。该报点包括坐标信息和时间信息。并将报点上报至framework层,并由framework层中相应的API继续传输至应用层,并通过相应的应用进行绘制并显示在显示屏上。
在一个例子中,终端设备在获取多个报点时,显示器采集触控信息的频率与终端设备获取报点的频率可能不同。例如显示器采集触控信息每秒可以采集500个点,即每2毫秒(ms)采集一个点。而终端设备的获取报点的频率可能是6ms获取一次。因此,对于显示器而言,可以在采集到触控信息后进行记录,并等待终端设备按照其预设的频率进行获取。例如显示器经过6ms保存了3个触控信息,终端设备则本次获取该3个触控信息,并根据获取到的3个触控信息确定3个对应的报点。当然,显示器和终端设备具体的频率可以根据实际情况进行任意设定,本申请在此不作限定。
可以理解的是,每一次手写笔刚开始进行书写、绘画时,对于前a个报点可以不进行预测,而是正常通过终端设备进行绘制显示。其中,a为历史报点的参考个数,可以是预先设置的。例如a可以为10,即终端设备获取最近的10个报点。当然在其它例子中,a还可以为30,即终端设备获取最近的30个报点,本申请不做限定。显然,终端设备在每次手写笔进行书写、绘画的初始阶段,由于历史报点个数可能不足a个,因此并不进行预测,而是在历史报点个数满足a时,再进行后续步骤。可以理解的是,由于终端设备每秒大约可以采集到300多个报点信息,因此,例如30个报点则仅需100毫秒左右即可采集到。若a数值为10个时,则仅需30多毫秒即可完毕。而对于用户而言是非常短暂的,甚至不易察觉,并不会造成严重的延时体验。
当然,在一些例子中,若获取到的报点个数未达到a时,也可以根据现有获取到的报点个数执行后续步骤。或者,在又一些例子中,可以不限制a的数量,而是采用本次写笔进行书写、绘画时的所有报点,执行后续步骤。
S502,根据多个报点确定预测报点模型。
终端设备根据S501获取到的多个报点确定预测报点模型。
在一个例子中,终端设备可以根据S501获取的多个报点,通过机器学习的方式构造预测报点模型。当用户使用手写笔在显示屏上进行书写、绘画的时候,无论采用的是哪种方式,最终都可以将手写笔的移动轨迹抽象为曲线或者直线,也可以统一称之为泛曲线。通常终端设备接收到来自底层的报点都是离散点。因此需要将离散的报点连接成曲线。显然,该曲线即可以看做手写笔的运动轨迹,曲线上的点即运动轨迹上的所有报点。由于手写笔的运动轨迹是随时间变化而变化的,因此,可以将运动轨迹上的点分为X轴方向的坐标和Y轴方向上的坐标。并基于每个方向,分别构建X轴方向和Y轴方向上的时间-坐标函数。可以理解的是,以下描述的函数均需要在X轴方向和Y轴方向这两个方向分别进行构建。
例如可以采用泰勒多项式作为逼近任意一条曲线的函数。泰勒多项式也可以称为泰勒展开式或是泰勒公式,在一个例子中,可以采用泰勒展开式作为初始的预测模型,例如公式1所示,
Figure PCTCN2020130866-appb-000001
例如图6所示出的泰勒展开式与曲线的贴合关系。可以看出,当项数为3项、5项、7项、9项、11项、13项、15项、17项、19项、21项时,公式所描绘的曲线与真实曲线的贴合越来越高。可以理解的是,当泰勒展开式的项数越多,则f(t)越可以准确的描绘真实曲线。其中,项数即泰勒展开式中包含的项的个数。
但是由于项数过多则会导致公式变得非常复杂,并且还会使该公式的计算量变大。同时由于项数变多,还可能导致平滑的曲线会出现更多的弯折。显然,若在用户使用手写笔进行书写、绘画时,通常并不希望绘制的线条出现太多弯折。因此在一个例子,可以采用二阶的泰勒展开式作为预测报点模型,由于项数仅为3项,因此既可以保障函数的曲线较为平滑、与手写笔真实的路径相贴合,同时终端设备还可以快速计算该函数曲线,并不会造成严重的时延。
此时二阶泰勒展开式可以如公式2所示,
Figure PCTCN2020130866-appb-000002
Figure PCTCN2020130866-appb-000003
而f(t)即表示在t时刻下某个方向的坐标。其中t 0表示获取到的最新的报点的时间,t表示准备预测的报点的时间,即预测点的时间,在一个例子中,t与t 0可以均采用绝对时间表示。其中,t-t 0可以用Δt表示,即Δt表示预测点与获取到的最新报点之间的时间差。例如当Δt为2毫秒时,f(t)即表示预测最新报点之后2毫秒的预测点的位置。
此时,公式2还可以等效为公式3,即
Figure PCTCN2020130866-appb-000004
Figure PCTCN2020130866-appb-000005
其中,s 0即f(t 0),表示获取到的最新的报点的坐标位置。由于f(t)是基于时间t的函数,因此,位置s在时间t上的导数则可以表示速度v,而位置s在时间t上的二阶导数则可以表示加速度a。此时,公式3还可以等效为公式4,即
Figure PCTCN2020130866-appb-000006
此时,终端设备只需要根据获取到的多个历史的报点的坐标信息和时间信息,通过机器学习的方式计算得到速度v和加速度a,然后便可得到预测报点模型s Δt即f(Δt)。其中,历史的报点的坐标信息应当包含该报点的X轴坐标以及Y轴坐标。例如,针对X轴方向或Y轴方向,分别可以根据获取到的多个历史报点的位置信息,计算相邻两个报点坐标的变化率,则可以得到相邻两个报点间隔时间内的速度v。若再对速度v求得该相邻两个报点间隔时间内的导数,则可以得到相邻两个报点间隔时间内的加速度a。当然可以理解的是,通过机器学习的方式计算得到速度v和加速度a的方式还可以采用其它任意等效的现有方式进行,在此不再赘述。
可以理解的是,S502中需要在X轴方向和Y轴方向上分别确定该方向上的预测报点模型s t。也就是说,终端设备需要根据获取到的多个历史报点在X轴方向上的坐标信息和时间信息,得到X轴方向上的预测报点模型s xΔt,以及终端设备还需要根据获取到的多个历史报点在Y轴方向上的坐标信息和时间信息,得到Y轴方向上的预测报点模型s yΔt。终端设备可以结合上述X轴方向上的预测报点模型s xΔt以及Y轴方向上的预测报点模型s yΔt,得到最终的预测报点模型s Δt。以便根据最终的预测报点模型s Δt,预测预测点的X、Y坐标。
S503,采用预测报点模型得到至少一个预测点。
终端设备可以基于S502中得到的X轴方向和Y轴方向上的预测报点模型进行预测,并得到至少一个预测点。在一个例子中,可以基于不同的Δt得到当前时刻t 0之后的某个时间点t可能的预测点的X轴坐标和Y轴坐标,并通过X轴坐标和Y轴坐标得到该预测点的位置。当然,若基于多个不同的Δt,则可以得到多个不同时间点的预测点。例如可以预测n个预测点,其中n为正整数。在一个例子中,n的个数可以预先设置。
当然,在另一个例子中,随着手写笔的移动,n的数量还可以动态变化。例如终端设备还可以根据native层获取到的报点的坐标信息和时间信息,通过framework层中的相应算法计算得到手写笔的移动速度。可以理解的是,具体计算得到手写笔的移动速度的方式可以参考现有方式,本申请在此不再赘述。当手写笔的移动速度大于或等于预设的移动速度阈值时,则可以将n减小为n’。例如,n初始预设为10,则当手写笔的移动速度大于或等于预设的移动速度阈值时,可以将n由10减少至5。当然若手写笔的移动速度小于预设的移动速度阈值时,则可以保持n的数值不变。当然在又一个例子中,终端设备还可以记录手写笔的移动速度小于移动速度阈值的第一时长,若第一时长大于或等于预设的第一稳定时长阈值时,则还可以适当的将n增加为n”。例如n初始预设为10,当第一时长大于或等于预设的第一稳定时长阈值时,可以将n由10增加至15。当然,对于具体增加减少的量可以根据实际情况进行任意调整,本 申请在此不作限定。
在又一个例子中,对于预测点n的数量进行调整,还可以参考预测点与实际报点的误差。当终端设备预测当前报点的预测点位置时,若以时间t为变量,预测Δt时间后的预测点位置,则在终端设备经过Δt时间后,必然可以获取到该时间点的真实报点位置。此时终端设备可以参考该时间点的真实报点位置与之前预测的预测点位置进行比较,并得到两个位置之间的误差。当该误差大于或等于预设的误差阈值时,可以将n减小为n’。例如,n初始预设为10,则该误差大于或等于预设的误差阈值时,可以将n由10减少至5。当然若该误差小于预设的误差阈值时,则可以保持n的数值不变。当然在又一个例子中,终端设备还可以记录该误差小于预设的误差阈值的第二时长,若第二时长大于或等于预设的第二稳定时长阈值时,则还可以适当的将n增加为n”。例如n初始预设为10,当第二时长大于或等于预设的第二稳定时长阈值时,可以将n由10增加至15。当然,对于具体增加减少的量可以根据实际情况进行任意调整,本申请在此不作限定。在一个例子中,误差阈值的单位可以是微米或是毫米等,当然还可以根据实际情况以其它度量单位作为误差阈值的单位,本申请在此不作限定。
再一个例子中,可以结合手写笔的移动速度,以及真实报点位置与预测点位置之间的误差,最终对预测点n的数量进行调整。例如,当存在手写笔的移动速度大于或等于预设的移动速度阈值,或误差大于或等于预设的误差阈值,则可以将n减小为n’。例如,n初始预设为10,则当出现手写笔的移动速度大于或等于预设的移动速度阈值,或误差大于或等于预设的误差阈值,便可以将n由10减少至5。只有当手写笔的移动速度小于预设的移动速度阈值,且误差小于预设的误差阈值时,可以保持n的数值不变。当然在又一个例子中,终端设备还可以记录手写笔的移动速度小于预设的移动速度阈值,且误差小于预设的误差阈值的第三时长,若第三时长大于或等于预设的第三稳定时长阈值时,则还可以适当的将n增加为n”。例如n初始预设为10,当第三时长大于或等于预设的第三稳定时长阈值时,可以将n由10增加至15。当然,对于具体增加减少的量可以根据实际情况进行任意调整,本申请在此不作限定。
或是在另一个例子中,当手写笔的移动速度大于或等于预设的移动速度阈值,且误差大于或等于预设的误差阈值,才将n减小为n’。例如,n初始预设为10,则当手写笔的移动速度大于或等于预设的移动速度阈值,且误差大于或等于预设的误差阈值时,将n由10减少至5。当手写笔的移动速度小于预设的移动速度阈值,或误差小于预设的误差阈值时,可以保持n的数值不变。当然在又一个例子中,终端设备还可以记录手写笔的移动速度小于预设的移动速度阈值,或误差小于预设的误差阈值的第四时长,若第四时长大于或等于预设的第四稳定时长阈值时,则还可以适当的将n增加为n”。例如n初始预设为10,当第四时长大于或等于预设的第四稳定时长阈值时,可以将n由10增加至15。当然,对于具体增加减少的量可以根据实际情况进行任意调整,本申请在此不作限定。
可以理解的是,上述对n进行调整后得到的n’即为终端设备在下一次进行预测时所要预测的预测点个数。
在一个例子中,当终端设备通过历史报点确定出不同方向上的预测报点模型,如X轴方向上的预测报点模型s xΔt以及Y轴方向上的预测报点模型s yΔt时,由于上述模型 是基于时间的函数,因此,终端设备可以根据预测报点模型预测出相较于最新的报点之后Δt时间点的报点。根据不同的Δt预测不同时间点的预测点坐标。例如图7所示,此时获取到的最新报点即点b,终端设备可以根据S502中得到的预测报点模型,预测出点不同时间点的预测点c1、c2、c3和c4的坐标信息。当然在一个例子中还可以有更多的预测点,例如n个。
然后,可以通过上述方式加入误差调节,帮助控制计算的预测点个数,以便在后续预测时可以实现更好的预测准确性。
S504,将至少一个预测点进行绘制,并进行显示。
终端设备将S503中得到的至少一个预测点,上报至应用层中相应的手写笔应用中,并通过应用将至少一个预测点进行渲染,最终在显示屏上进行显示。在一个例子中,若预测点为多个,可以绘制多个预测点中的部分预测点,或是将全部预测点进行绘制,然后显示绘制的预测点。
可以理解的是,在进行绘制时不仅仅绘制各个点,换句话说就是不仅仅将获取到的报点以及预测点的位置进行绘制。在一个例子中,若预测点之间位置间隔较远,则可以将相邻的两个预测点之间相连接,从而将S503中获取到的至少一个预测点绘制成一条线段。并通过显示屏显示该线段。当然还可以将首个绘制点与报点之间相连接,从而使得手写笔移动的路径上显示的是一条连贯的线段,而不是断开的多条线段。
此时还可以参考图7,当绘制并显示后,此时显示屏上显示的线段的终点位于c4点,而手写笔的实际触点为d点。可以很清楚的看到,两点之间的距离相较图2的距离减小了很多,也就是跟手时延得到的极大地改善。当然,为了保障预测得到的预测点不会越过手写笔的实际触点,可以预先设置一个预测点个数的上限。使得当预测的预测点最高为预测点个数上限时,仍然不会超过手写笔实际触点的位置。
上述过程通过S502中的公式4可以看出,终端设备根据历史报点的速度、加速度信息调整多项式参数,并通过基于时间的函数来进行预测点的估计。可以理解的是,当速度、加速度作为向量时,则具备了相应的方向。因此,当速度、加速度具有方向时,终端设备还可以结合方向、位移变化、角度等信息,学习多项式参数。
本申请实施例通过历史的报点提前预测未来报点可能的位置,并将预测点的位置进行绘制。实现了绘制的点与手写笔实际触点位置更加贴近,保障了用户使用手写笔时具有更好的跟手性、体验更佳。
图8为本申请实施例提供的一种预测手写笔绘制点的装置示意图。
如图8所示,提供了一种预测手写笔绘制点的装置800,该装置800可以包括处理器801、存储器802、传感器803以及总线804。装置800中的处理器801、存储器802、传感器803可以通过总线804建立通信连接。
处理器801可以为CPU。
存储器802可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器802也可以包括非易失性存储器(英文:non-volatile memory),例如只读存储器(read-only memory,ROM),快闪存储器,硬盘(hard disk drive,HDD)或固态硬盘(solid state drive,SSD);存储器802还可以包括上述种类的存储器的组合。
传感器803可以是具有触摸功能的显示器。当然传感器803还可以包括加速度传感器、陀螺仪等。
处理器801,用于与存储器802耦合,以及读取并执行存储器802中的指令;当处理器801运行时执行指令,使得处理器801还用于执行上述图5中的S501和S504。
上述装置800还可以包括显示器,用于显示上述方法中绘制的预测点。
本申请实施例还提供一种芯片系统,该芯片系统可以应用于如前述实施例中的终端,该芯片系统包括至少一个处理器和至少一个接口电路。该处理器可以是上述终端中的处理器。处理器和接口电路可通过线路互联。该处理器可以通过接口电路从上述电子设备的存储器接收并执行计算机指令。当计算机指令被处理器执行时,可使得终端执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,用于存储上述终端运行的计算机指令。
本申请实施例还提供一种计算机程序产品,包括上述终端运行的计算机指令。
本领域普通技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成,所述的程序可以存储于计算机可读存储介质中,所述存储介质是非短暂性(英文:non-transitory)介质,例如随机存取存储器,只读存储器,快闪存储器,硬盘,固态硬盘,磁带(英文:magnetic tape),软盘(英文:floppy disk),光盘(英文:optical disc)及其任意组合。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

  1. 一种预测手写笔绘制点的方法,其特征在于,所述方法包括:
    获取手写笔的多个报点;
    根据多个所述报点确定预测报点模型;
    采用所述预测报点模型进行预测,得到至少一个预测点;
    绘制至少一个所述预测点,并将绘制的所述预测点进行显示。
  2. 如权利要求1所述的方法,其特征在于,所述根据多个所述报点确定预测报点模型包括:
    确定多个所述报点的坐标信息和时间信息,其中所述坐标信息包括X轴方向的坐标信息和Y轴方向的坐标信息;
    针对X轴方向、Y轴方向中的每个方向,通过多个所述报点在该方向上的坐标信息和时间信息,得到该方向上的所述预测报点模型。
  3. 如权利要求2所述的方法,其特征在于,所述采用所述预测报点模型进行预测,得到至少一个预测点包括:
    针对所述X轴方向、所述Y轴方向中的每个方向,根据该方向上的所述预测报点模型,确定n个预测点在该所述方向上的坐标信息,其中,n为正整数;
    根据所述预测点在所述X轴方向上的坐标信息和在所述Y轴方向上的坐标信息,得到n个所述预测点的坐标信息。
  4. 如权利要求3所述的方法,其特征在于,所述方法还包括:
    根据多个所述报点确定所述手写笔的移动速度;
    确定所述预测点与该所述预测点对应的真实报点之间的误差;
    根据所述手写笔的移动速度和所述误差,将所述预测点的个数n调整为n’,其中n’为下一次预测时预测点的个数,n’为正整数。
  5. 如权利要求4所述的方法,其特征在于,所述根据所述手写笔的移动速度和所述误差,调整所述预测点的个数n包括:
    当所述手写笔的移动速度小于或等于移动速度阈值,和/或所述误差大于或等于所述误差阈值时,减少所述n个预测点的个数。
  6. 如权利要求1所述的方法,其特征在于,所述获取手写笔的多个报点包括:
    当所述手写笔进行绘制时,采集笔尖的触控信息;
    根据所述触控信息确定所述手写笔的多个所述报点。
  7. 如权利要求3所述的方法,其特征在于,所述绘制至少一个所述预测点,并将绘制的所述预测点进行显示,包括:
    将n个所述预测点中相邻的两个所述预测点相连接,绘制形成一条线段;
    将绘制的所述线段进行显示。
  8. 如权利要求1-7任一所述的方法,其特征在于,所述预测报点模型为二阶泰勒展开式。
  9. 一种预测手写笔绘制点的设备,其特征在于,所述设备包括:处理器、存储器和显示器;
    所述处理器,用于与所述存储器耦合,以及读取并执行存储在所述存储器中的指令;
    当所述处理器运行时执行所述指令,使得所述设备还用于执行上述权利要求1-8任意一项所述的方法;
    显示器,用于显示上述权利要求1-8任意一项所述方法中绘制的预测点。
  10. 一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在终端上运行时,使得所述终端执行如权利要求1-8任意一项所述的方法。
PCT/CN2020/130866 2019-11-22 2020-11-23 一种预测手写笔绘制点的方法和设备 WO2021098878A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/778,622 US20220413637A1 (en) 2019-11-22 2020-11-23 Method and Device for Predicting Drawn Point of Stylus
EP20890530.7A EP4047456A4 (en) 2019-11-22 2020-11-23 METHOD AND APPARATUS FOR PREDICTING THE CHARACTER POINT OF A STYLE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201911155366.5 2019-11-22
CN201911155366 2019-11-22
CN202011058380.6A CN112835455A (zh) 2019-11-22 2020-09-30 一种预测手写笔绘制点的方法和设备
CN202011058380.6 2020-09-30

Publications (1)

Publication Number Publication Date
WO2021098878A1 true WO2021098878A1 (zh) 2021-05-27

Family

ID=75923563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/130866 WO2021098878A1 (zh) 2019-11-22 2020-11-23 一种预测手写笔绘制点的方法和设备

Country Status (4)

Country Link
US (1) US20220413637A1 (zh)
EP (1) EP4047456A4 (zh)
CN (1) CN112835455A (zh)
WO (1) WO2021098878A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7284844B1 (ja) 2022-03-08 2023-05-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885733A (zh) * 2021-10-22 2022-01-04 深圳市泓宇星科技有限公司 一种笔迹轨迹预测方法
CN114327148B (zh) * 2021-12-31 2022-08-12 深圳市泓宇星科技有限公司 一种笔迹报点预测方法
CN115576477A (zh) * 2022-01-11 2023-01-06 荣耀终端有限公司 手写输入显示方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622120A (zh) * 2011-01-31 2012-08-01 宸鸿光电科技股份有限公司 多点触控面板的触碰轨迹追踪方法
CN103049188A (zh) * 2012-12-10 2013-04-17 华映视讯(吴江)有限公司 优化触碰轨迹的系统及优化触碰轨迹的方法
US20170153768A1 (en) * 2012-09-18 2017-06-01 Egalax_Empia Technology Inc. Prediction-based touch contact tracking
CN107436700A (zh) * 2016-05-26 2017-12-05 华为终端(东莞)有限公司 数据处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3052997B2 (ja) * 1996-01-12 2000-06-19 日本電気株式会社 手書き入力表示装置
CN102890576B (zh) * 2011-07-22 2016-03-02 宸鸿科技(厦门)有限公司 触控屏触摸轨迹检测方法及检测装置
KR102043148B1 (ko) * 2013-02-19 2019-11-11 엘지전자 주식회사 이동 단말기 및 그의 터치 좌표 예측 방법
US9529525B2 (en) * 2013-08-30 2016-12-27 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
JP2015072534A (ja) * 2013-10-02 2015-04-16 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10241599B2 (en) * 2015-06-07 2019-03-26 Apple Inc. Devices and methods for processing touch inputs
US10338807B2 (en) * 2016-02-23 2019-07-02 Microsoft Technology Licensing, Llc Adaptive ink prediction
GB201618288D0 (en) * 2016-10-28 2016-12-14 Remarkable As Interactive displays
US10261685B2 (en) * 2016-12-29 2019-04-16 Google Llc Multi-task machine learning for predicted touch interpretations
CN108597006B (zh) * 2018-04-28 2019-04-05 掌阅科技股份有限公司 手写笔迹的绘制方法、计算设备及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622120A (zh) * 2011-01-31 2012-08-01 宸鸿光电科技股份有限公司 多点触控面板的触碰轨迹追踪方法
US20170153768A1 (en) * 2012-09-18 2017-06-01 Egalax_Empia Technology Inc. Prediction-based touch contact tracking
CN103049188A (zh) * 2012-12-10 2013-04-17 华映视讯(吴江)有限公司 优化触碰轨迹的系统及优化触碰轨迹的方法
CN107436700A (zh) * 2016-05-26 2017-12-05 华为终端(东莞)有限公司 数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4047456A1

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7284844B1 (ja) 2022-03-08 2023-05-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023131016A (ja) * 2022-03-08 2023-09-21 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
US20220413637A1 (en) 2022-12-29
EP4047456A1 (en) 2022-08-24
CN112835455A (zh) 2021-05-25
EP4047456A4 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
WO2021098878A1 (zh) 一种预测手写笔绘制点的方法和设备
US10613656B2 (en) Devices and methods for processing touch inputs
US8863039B2 (en) Multi-dimensional boundary effects
CN106687922B (zh) 参数惯性和api
US8952992B2 (en) Zoom processing device, zoom processing method, and computer program
US11829581B2 (en) Display control method and terminal
US20150091832A1 (en) Information processing apparatus, information processing method, and program
US20110035701A1 (en) Focal point zoom
WO2021203815A1 (zh) 页面操作方法、装置、终端及存储介质
WO2019056611A1 (zh) 用于触控屏的笔迹曲线生成方法、装置、设备和存储介质
WO2019005371A1 (en) CAPTURE USER INTERACTIONS
CN107168636A (zh) 多点触摸的手势识别方法、装置、触摸屏终端及存储介质
KR102537133B1 (ko) 좌표 예측을 통한 좌표 출력 지연시간 감소 방법
TWI485582B (zh) 修正觸碰位置的方法
CN108491152B (zh) 基于虚拟光标的触屏终端操控方法、终端及介质
CN108885556B (zh) 控制数字输入
WO2023231717A1 (zh) 动效生成方法、装置、介质及设备
JP2022547667A (ja) ヒューマンコンピュータインタラクション方法、装置、及びシステム
CN108874141B (zh) 一种体感浏览方法和装置
CN114327234A (zh) 一种书写轨迹绘制方法及装置
TWI768407B (zh) 預測控制方法、輸入系統及電腦可讀取記錄媒體
US11650832B1 (en) System and method for drawing optimization with pointer input in a remote session
US11049296B2 (en) Dynamic path modification and extension
WO2020132863A1 (zh) 续笔方法与显示终端
US20230377222A1 (en) Image drawing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890530

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020890530

Country of ref document: EP

Effective date: 20220520

NENP Non-entry into the national phase

Ref country code: DE