WO2017101441A1 - 远程批注移动、缩放的同步方法与系统 - Google Patents

远程批注移动、缩放的同步方法与系统 Download PDF

Info

Publication number
WO2017101441A1
WO2017101441A1 PCT/CN2016/090747 CN2016090747W WO2017101441A1 WO 2017101441 A1 WO2017101441 A1 WO 2017101441A1 CN 2016090747 W CN2016090747 W CN 2016090747W WO 2017101441 A1 WO2017101441 A1 WO 2017101441A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
coordinate
annotation
scaling
coordinate system
Prior art date
Application number
PCT/CN2016/090747
Other languages
English (en)
French (fr)
Inventor
杨利侠
Original Assignee
广州视睿电子科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州视睿电子科技有限公司 filed Critical 广州视睿电子科技有限公司
Publication of WO2017101441A1 publication Critical patent/WO2017101441A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to the field of interactive smart tablet technologies, and in particular, to a peer-to-peer method and system for remote annotation movement and zooming. Background technique
  • Interactive smart tablet (Windows device), with annotation, painting, multimedia entertainment and other functions, incorporating human-computer interaction, flat panel display, multimedia information processing and network transmission, etc. It is the interaction of office, teaching and graphic in the information age.
  • the preferred solution for the demonstration. Use interactive smart tablet in classroom or meeting scene. When commenting on the content on the screen, because the displayed picture or text is too small, the students or staff sitting in the back row often can't see the content on the screen. You need to move or scale the content on the screen.
  • the conventional technology requires the user to implement the movement and zooming operation of the screen annotation on the interactive smart tablet, and the user cannot interact with the viewer from the interactive smart tablet.
  • an embodiment of the technical solution of the present invention is:
  • a remote annotation movement, zoom synchronization method comprising the steps of: obtaining a coordinate set of a current screen image drawn and stored on a drawing canvas; the current screen image includes an annotation handwriting obtained according to the screen annotation event ;
  • the coordinate information and the zoom factor are sent to the interactive smart tablet; the interactive smart tablet performs the corresponding operation according to the coordinate information and the zoom factor.
  • a remote annotation movement, zoom synchronization system including: a monitor screen unit, configured to acquire a coordinate set of a current screen image drawn and stored on a drawing canvas, the current screen image including obtaining according to a screen annotation event Annotating handwriting; and, when listening to a screen touch event, obtaining a translational displacement and/or scaling of the screen touch event;
  • a processing unit configured to: translate and/or scale the coordinate set according to the translation displacement and/or the scaling, to obtain a translation matrix after translation and/or scaling; and convert the original coordinate system of the current screen image according to the transformation matrix to obtain a converted coordinate system; and calculating coordinate information and a scaling factor of the redrawn screen image according to the converted coordinate system;
  • a drawing unit configured to re-render the current screen image according to the converted coordinate system, to obtain a redrawn screen image
  • the sending unit sends the coordinate information and the zooming multiple to the interactive smart tablet, and the interactive smart board performs corresponding operations according to the coordinate information and the zooming multiple.
  • the remote annotation moving and zooming synchronization method and system of the invention because the mobile device remotely controls the interactive smart tablet for the movement and zooming of the annotation, the mobile device controls the movement and zooming of the local annotation through the gesture operation, and simultaneously ensures the interactive smart tablet and The actions displayed by the mobile device are consistent. This ensures that the user can perform actions related to screen annotations (such as simultaneous zooming or panning annotations) from the interactive smart tablet and interact with the viewer.
  • FIG. 1 is a schematic diagram of an application scenario of a remote annotation mobile and zoom synchronization method and system according to the present invention
  • FIG. 2 is a schematic flowchart of Embodiment 1 of a remote annotation movement and zoom synchronization method according to the present invention
  • FIG. 3 is a schematic flowchart of Embodiment 2 of a remote annotation movement and zoom synchronization method according to the present invention
  • FIG. 4 is a remote annotation movement and zoom according to the present invention
  • FIG. 1 is a schematic diagram of an application scenario of a remote annotation mobile and zoom synchronization method and system according to the present invention
  • an interactive smart tablet is used in a classroom or a conference scene, and when the content on the screen is annotated, the display is performed.
  • the picture or text is too small. Students or staff sitting in the back row often don't see the contents of the screen.
  • the content on the screen needs to be moved or enlarged.
  • the remote annotation mobile and zoom synchronization method and system of the present invention can remotely manipulate the interactive smart tablet for annotation and zooming, ensuring that the mobile device and the interactive smart tablet display the moving or zoomed annotation content consistently, and the mobile device controls the local through the gesture operation.
  • the process of scaling the annotations ensures that the interactive smart tablet and the mobile device display the same area and annotations. Thereby ensuring that the user can perform related operations on the screen annotation from the interactive smart tablet (for example, synchronization shrinking) Put or pan the annotations) and interact with the audience.
  • the mobile device controls the enlargement and reduction of the local annotation by gesture operation, and the process of scaling the annotation ensures that the interactive smart tablet and the mobile device display the area and the thickness of the annotation.
  • the screen can be enlarged by the mobile device first, and then annotated on the enlarged screen. After the annotation is completed, the screen can be further enlarged or reduced, and the handwriting of the annotation will be enlarged or reduced.
  • the remote annotation moving and zooming synchronization method embodiment 1 of the present invention :
  • FIG. 2 is a schematic flowchart of Embodiment 1 of a remote annotation movement and zoom synchronization method according to the present invention; As shown in Figure 2, the following steps are included:
  • Step S210 Acquire a coordinate set of a current screen image drawn and stored on a drawing canvas; the current screen image includes an annotation handwriting obtained according to a screen annotation event;
  • Step S220 Acquire a translation shift and/or a scaling ratio of the screen touch event when the screen touch event is monitored;
  • Step S230 Perform translation and/or scaling on the coordinate set according to the translation displacement and/or the scaling ratio to obtain a translation matrix after translation and/or scaling;
  • Step S240 Converting a original coordinate system of the current screen image according to the transformation matrix to obtain a converted coordinate system
  • Step S250 Re-rendering the current screen image according to the converted coordinate system to obtain a re-rendered screen image
  • Step S260 Calculate coordinate information and a scaling factor of the redrawn screen image according to the converted coordinate system
  • Step S270 Send the coordinate information and the zooming multiple to the interactive smart tablet; perform the corresponding operation according to the coordinate information and the zooming multiple by the interactive smart tablet; in a specific embodiment, the interactive smart tablet performs the corresponding according to the coordinate information and the zooming multiple
  • the operations include scaling and panning of the annotated handwriting.
  • the annotation handwriting obtained according to the screen annotation event in step S210 can be implemented by the following steps: Create a drawing canvas; take the operating system of the mobile terminal as an Android system, the canvas can be an Android drawing canvas, and the Android drawing canvas is created by Canvas, and accordingly the operating system of the mobile terminal is IOS (the mobile operation developed by Apple)
  • the drawing canvas can also be an IOS drawing board or a drawing drawing canvas.
  • the canvas can also have a drawing canvas function for other types of operating systems. Drawing canvas created by the control;
  • the annotation handwriting is drawn and stored on the above drawing canvas according to the movement of the current annotation touch point of the screen annotation event.
  • the purpose of drawing an annotation on the drawing canvas is to make the mobile device match the image displayed on the interactive smart board.
  • step of acquiring the translational displacement and/or scaling of the screen touch event in step S220 may specifically include the following steps:
  • the displacement of the touched point is used as a translational displacement; when the number of touched points is more than one, the center point of each touched point is obtained; according to the distance between each touched point and the central point, Determine the zoom ratio.
  • the step S240 is to convert the original coordinate system of the current screen image according to the transformation matrix, and the step of obtaining the converted coordinate system may specifically include:
  • the current screen image is scaled and/or translated to obtain a converted coordinate system.
  • the step S260 according to the converted coordinate system, the step of calculating the coordinate information and the zoom factor of the redrawn screen image may specifically include:
  • Embodiment 1 of the remote annotation moving and zooming synchronization method of the present invention may include the following steps -
  • the mobile device draws an annotation so that the mobile terminal is consistent with the image displayed by the interactive smart tablet.
  • the mobile device listens to the Android screen annotation event, draws the annotation handwriting according to the movement of the finger, that is, the drawing curve method (canvas drawPath) of the Android drawing canvas is drawn in the onDraw method of the control. And recording the currently drawn handwriting, and obtaining the coordinate set of the handwriting; and since the moving end will continuously encode the image drawn on the canvas to the interactive smart tablet, the interactive smart tablet can display the screen image after decoding, and therefore will annotate The handwriting is drawn on the drawing canvas to ensure that the annotations displayed on the mobile end are consistent with the interactive smart tablet.
  • the drawing curve method canvas drawPath
  • the screen annotation event is an operation different from the screen touch event.
  • the annotation toolbar or the annotation button for triggering the annotation function can be set on the mobile terminal, and when the user triggers the annotation function, the mobile terminal enters the listening Android screen annotation event state.
  • the screen touch event does not need to set a toolbar or button that triggers the touch function on the screen, and the user can trigger the screen touch event by touching the screen with the finger; in addition, different time can be set according to the time or the intensity of the touch of the screen by the human hand. Gestures to trigger screen annotations or screen touches.
  • the mobile terminal listens to the android screen touch event (activity onTouchEvent).
  • activity onTouchEvent When the user double-finger is pressed, the double-point center point and the double-finger zoom/reduction multiple are calculated, and the coordinate set of the handwriting is enlarged/reduced (matrix postScale)
  • matrix postScale When the user's finger is pressed as a single finger, the displacement of the finger movement is calculated according to the movement of the finger, and the coordinate set of the handwriting is translated (matrix postTranslate).
  • the mobile device calculates the coordinate information and the zoom factor of the current screen, The coordinate information and the zoom factor are sent to the interactive smart tablet.
  • the coordinate system of the converted handwriting is calculated as a multiple of the zoom and the displacement of the original coordinate system, and the coordinates touched by the finger are converted into the coordinates in the current coordinate system according to the zoom factor and the displacement.
  • the coordinates are sent to the interactive smart tablet so that the coordinates of the annotation can be displayed and scaled by the coordinate synchronization.
  • the coordinate system of the converted handwriting refers to the area displayed on the screen after the screen is enlarged, and the original coordinate system refers to the area where the initial screen of the screen annotation event is displayed on the screen.
  • the vertex coordinates are (0,0, width * scale, height * scale).
  • the steps of moving and scaling the same annotations include the following:
  • the vertices of the enlarged area rectangle are (left, top, right, bottom);
  • the vertex of the initial frame rectangle of the screen annotation event is CO, 0, width, heighti ;
  • the interactive smart tablet After the interactive smart tablet receives the comment pan and/or zoom instructions, it performs the corresponding action.
  • the interactive smart tablet will perform annotation and zooming and translation according to the coordinates of the annotation.
  • Embodiment 1 of the remote annotation moving and zooming synchronization method of the present invention Because the mobile device remotely controls the interactive smart tablet to perform the moving and zooming of the annotation, the mobile device controls the movement and zooming of the local annotation through the gesture operation, and simultaneously ensures the interactive smart tablet. Consistent with the operation of the annotations displayed by the mobile device. This ensures that the user can perform related operations on the screen annotation (such as synchronous zooming or panning annotation) from the interactive smart tablet and interact with the viewer.
  • the remote annotation moving and zooming synchronization method embodiment 2 of the present invention :
  • the present invention provides a remote annotation moving and zooming synchronization method embodiment 2; the main difference between the embodiment and the first embodiment is that: the embodiment can be moved The method for synchronously zooming and/or panning the screenshot image of the current screen image of the smart tablet and the annotation handwriting;
  • FIG. 3 is a schematic flowchart of the second embodiment of the remote annotation movement and zoom synchronization method of the present invention, as shown in FIG. Take the Android mobile device as an example, including the following steps:
  • Step S310 The mobile device (mobile terminal) takes a screenshot and draws a background, so that the mobile terminal and the smart panel display the same picture.
  • the mobile device intercepts the screen image sent by the interactive smart tablet in real time
  • Step S320 Obtain an annotation handwriting coordinate set
  • the mobile end draws an annotation handwriting according to the movement of the finger, that is, in the drawing of the control (onDraw) method, the drawing drawing method of the drawing drawing of the Android drawing canvas (canvas drawPath) is drawn, and the currently drawn handwriting is recorded.
  • the screen annotation event is an operation different from the screen touch event.
  • the annotation toolbar or the annotation button for triggering the annotation function can be set on the mobile terminal, and when the user triggers the annotation function, the mobile terminal enters the listening Android screen annotation event state.
  • the screen touch event does not need to set a toolbar or button that triggers the touch function on the screen, and the user can trigger the screen touch event by touching the screen with the finger; in addition, different time can be set according to the time or the intensity of the touch screen of the human hand. Gestures to trigger screen annotations or screen touches.
  • Step S330 monitoring a screen touch event
  • Step S340 moving and scaling the screen of the mobile device
  • the mobile terminal listens to the android screen touch event (activity onTouchEvent).
  • activity onTouchEvent When the user double-finger is pressed, the double-point center point and the double-finger enlargement/reduction ratio are calculated, and the coordinate set is enlarged/reduced (matrix postScale);
  • matrix postTranslate When the user's finger is pressed as a single finger, the displacement of the finger movement is calculated according to the movement of the finger, and the matrix is translated (matrix postTranslate).
  • Step S350 coordinate conversion and redrawing
  • the coordinates of the four points of the rectangle can be expressed as (0,0, width, height;)
  • the Android drawing canvas comes with a Matri class
  • the Matrix is a 3 x 3
  • the matrix can be translated, scaled, etc. for each point.
  • the matrix mapPoints or mapRect is actually two methods of Matrx.
  • the initial matrix is called with the postScale or the postTranslate X-inch itself. After matrix transformation, call matrxi. mapPoints or matrix.mapRect can be used to reduce or translate points or rectangles.
  • Step S360 According to the converted coordinate system, the mobile device calculates the coordinates and the magnification of the current screen center point and the coordinates after the annotation handwriting conversion, and sends a magnifying glass instruction according to the center point coordinate and the magnification, and the converted according to the annotation handwriting Coordinates send annotation instructions to the interactive smart tablet.
  • the coordinates of the original coordinate system are (0, 0, width, height), and the coordinates of the center point are (width/2, height/2);
  • the coordinates of the vertex of the visible area after enlargement are (0,0, width/2, height/2);
  • the interactive smart tablet will according to the received center point coordinates and zoom in.
  • the multiple moves and scales the entire screen and annotations.
  • Step S380 determining whether the mobile device exits the moving or zooming operation; if not, the process proceeds to step S320, and continues to monitor the screen touch (or annotation) event to perform related operations.
  • the remote annotation moving and zooming synchronization method embodiment 2 of the present invention uses a mobile device to remotely control an interactive smart tablet for moving and zooming screen content; the mobile device controls the movement and zooming of the local annotation by gesture operation, and simultaneously ensures the interactive smart tablet Consistent with what the mobile device displays. This ensures that the user can perform actions related to screen annotations (such as simultaneous zooming or panning annotations) from the interactive smart tablet and interact with the viewer.
  • the embodiment of the present invention further provides a remote annotation movement and zoom synchronization system embodiment 1, 4 is a schematic structural diagram of Embodiment 1 of a remote annotation mobile and zoom synchronization system according to the present invention; as shown in FIG. 4, the remote annotation movement and zoom synchronization system embodiment 1 includes:
  • the monitoring screen unit 10 is configured to acquire a coordinate set of a current screen image drawn and stored on the drawing canvas, the current screen image includes an annotation handwriting obtained according to a screen annotation event; and obtain a screen touch event when the screen touch event is monitored Translational displacement and/or scaling;
  • the processing unit 20 is configured to: perform translation and/or scaling on the coordinate set according to the translation displacement and/or the scaling, to obtain a translation matrix after the translation and/or the scaling; and convert the original coordinate system of the current screen image according to the transformation matrix, Obtaining a converted coordinate system; and calculating coordinate information and a scaling factor of the redrawn screen image according to the converted coordinate system;
  • the drawing unit 30 is configured to re-render the current screen image according to the converted coordinate system to obtain a redrawn screen image
  • the sending unit 40 sends the coordinate information and the zooming multiple to the interactive smart tablet, and the interactive smart tablet performs the corresponding operation according to the coordinate information and the zooming multiple.
  • the interactive smart tablet performs scaling and translation of the annotation handwriting and zooming and panning of the screen image in accordance with the coordinate information and the zoom factor.
  • the remote annotation mobile, zoomed synchronization system embodiment 1 also includes Includes:
  • the receiving unit 50 is configured to receive a screen image sent by the interactive smart tablet in real time;
  • the screen unit 60 is configured to intercept a screen image sent in real time to obtain a screen capture image; the current screen image further includes a screen capture image;
  • the drawing unit 30 is also used to create a drawing canvas; and through the screen annotation event, draws and stores the annotation handwriting on the drawing canvas according to the movement of the current annotation touch point; and is used to draw and store the above-mentioned screen capture image on the drawing canvas.
  • the monitor screen unit 10 includes a first monitor module 110, a first data acquisition module 130, a second monitor module 120, and a second data acquisition module 140.
  • the first monitoring module 110 is configured to monitor a screen annotation event
  • the first data obtaining module 130 is configured to acquire, when the first listening module 110 listens to the screen annotation event, a coordinate set of a current screen image drawn and stored on the drawing canvas;
  • the second monitoring module 120 is configured to monitor a screen touch event and acquire the number of touch points.
  • the second data acquiring module 140 is configured to: when the number of touch points acquired by the second monitoring module 120 is one, the touch point is The movement displacement is used as the translation displacement; when the number of touch points acquired by the second monitoring module 120 is more than one, the center point of each touch point is obtained; and the zoom ratio is determined according to the distance between each touch point and the center point.
  • the processing unit 20 includes a matrix transformation module 210, a conversion module 220, and a calculation module 230, a first coordinate acquisition module 240, and a second coordinate acquisition module 250 for using the translational displacement and/or Or scaling, translating and/or scaling the set of coordinates to obtain a transformed and/or scaled transformation matrix;
  • the conversion module 220 is configured to convert the original coordinate system of the current screen image according to a transformation matrix to obtain a converted coordinate system
  • the calculation module 230 is configured to calculate coordinate information and a zoom factor of the redrawn screen image according to the converted coordinate system.
  • a first coordinate acquiring module 240 connected to the conversion module 220, configured to acquire initial coordinates of a touch point in a touch event of the screen; and coordinates of an end point after the touch point is moved;
  • a second coordinate acquiring module 250 connected to the calculation module 230, configured to acquire the original coordinate system Corner coordinates and center point coordinates; and corner coordinates and center point coordinates of the converted coordinate system.
  • the specific working process of the remote annotation mobile and zooming peer system of the present invention may be as follows:
  • the receiving unit 50 receives the currently displayed screen image that is sent by the interactive smart tablet in real time; the intercepting screen unit 60 intercepts the current screen image;
  • the drawing unit 30 creates an Android drawing canvas (Canvas), and any image or handwriting can be drawn on the drawing canvas by using the set brush (Paint class); all the annotations and synchronous scaling operations in the embodiment of the present invention are in Android. Drawing on the canvas.
  • the drawing unit 30 draws the image after the screen capture on the drawing canvas, calls the drawing image method of the Android drawing canvas (canvas.drawBitmap) in the drawing method (onDraw) method, and draws the image, and records the currently drawn image.
  • Drawing the screenshot on the drawing canvas as a background image ensures that the display on the mobile end is consistent with the interactive smart tablet.
  • the drawing unit 30 draws the annotation handwriting according to the movement of the finger, that is, the drawing curve method of the Android drawing canvas is called in the drawing of the control (onDraw) method.
  • onDraw onDraw
  • canvas drawPath The curve is drawn, and the currently drawn handwriting is recorded, and the first data acquisition module 130 acquires the coordinate set of the handwriting.
  • the screen annotation event is an operation different from the screen touch event. Specifically, an annotation toolbar or an annotation button for triggering the annotation function can be set on the mobile screen, and when the user triggers the annotation function, the mobile terminal enters the listening Android screen annotation.
  • the second monitoring module 120 monitors an android screen touch event (activity on Touch Event) event.
  • the second data acquiring module 140 calculates a multiple of the two-finger center point and the two-finger zoom/reduction, and determines the zoom.
  • the ratio, the matrix transformation module 210 performs a zoom/scale on the coordinate set according to the scaling ratio; when the user's finger is pressed as a single finger, the second data acquisition module 140 calculates the displacement of the finger movement as a translation according to the movement of the finger.
  • the displacement, matrix transformation module 210 performs a matrix post Translate operation on the coordinate set according to the translational displacement.
  • the conversion module 220 performs a coordinate system conversion (matrix map Points or map Rect) on the recorded handwriting and the background image using the transformed matrix, and then redraws the converted handwriting and the background image by the drawing unit 30, according to the gesture of the mobile terminal. After the coordinate transformation of the operation calculation, the picture and handwriting need to be redrawn according to the converted coordinate system.
  • the first data acquisition module 130 is configured to acquire a coordinate set of the original coordinate system of the handwriting and the background image.
  • the calculation module 230 calculates the multiples and displacements of the currently drawn coordinate system and the original coordinate system, and converts the coordinates touched by the finger into the coordinates in the current coordinate system, and is sent by the sending unit 40 to the interactive smart tablet so that it can move synchronously or Zoom the annotation.
  • the current drawing coordinate system refers to the area displayed on the screen after the screen is enlarged
  • the original coordinate system refers to the area where the initial screen is displayed on the screen.
  • the coordinates are (0,0, width * scale, height * scale).
  • the conversion module 220 converts the coordinates of the current enlarged area to the coordinates of the initial area:
  • Matrix mapPoints or mapRect is actually two methods of Matrx.
  • the initial matrix or the postTranslate is used to perform matrix transformation on itself, then call matrxi.mapPoints or It is a matrix.mapRect that can be used to reduce or translate a point or rectangle.
  • the calculation module 230 calculates the coordinate information and the zoom factor of the current screen, and the sending unit 40 sends an annotation instruction or a magnifying glass instruction to the interactive smart tablet according to the coordinate information and the zooming multiple.
  • the second coordinate acquisition module 250 obtains coordinates (0, 0, width, height) of the original coordinate system, and coordinates (width/2, height/2) of the center point;
  • the coordinates of the vertex of the visible area after enlargement are (0,0, width/2, height/2);
  • the coordinates of the center point of the visible region acquired by the second coordinate acquiring module 250 are (width/4, height/4);
  • the calculation module 240 calculates the magnification scale is the original width / new width: width
  • the interactive smart tablet will perform annotation and zooming and translation according to the coordinates of the annotation.
  • the remote annotation moving and zooming synchronization system of the present invention Embodiment 1 Because the mobile device remotely controls the interactive smart tablet for the movement and zooming of the annotation, the mobile device controls the movement and zooming of the local annotation through the gesture operation, and simultaneously ensures the interactive smart tablet and The actions displayed by the mobile device are consistent. This ensures that the user can perform actions related to screen annotations (such as simultaneous zooming or panning annotations) from the interactive smart tablet and interact with the viewer.
  • screen annotations such as simultaneous zooming or panning annotations

Abstract

本发明涉及一种远程批注移动、缩放的同步方法与系统，远程批注移动、缩放的同步方法包括以下步骤：获取绘制并存储在绘图画布上的当前屏幕图像的坐标集；在监听到屏幕触摸事件时，获取屏幕触摸事件的平移位移和/或缩放比例；根据平移位移和/或缩放比例，对坐标集进行平移和/或缩放，获得平移和/或缩放后的变换矩阵；根据变换矩阵对当前屏幕图像的原始坐标系进行转换，获得转换后的坐标系；并根据转换后的坐标系对当前屏幕图像进行重新绘制，获得重新绘制的屏幕图像；根据转换后的坐标系，计算得到重新绘制的屏幕图像的坐标信息和缩放倍数；将坐标信息和缩放倍数发送给交互智能平板；由交互智能平板根据坐标信息和缩放倍数执行相应的操作。

Description

远程批注移动、 缩放的同步方法与系统 技术领域
本发明涉及交互智能平板技术领域， 特别是涉及一种远程批注移动、 缩 放的同歩方法与系统。 背景技术
交互智能平板 （Windows 设备）， 具备批注、 绘画、 多媒体娱乐等功能， 融入了人机交互、 平板显示、 多媒体信息处理和网络传输等多项技术， 是信 息化时代中办公、 教学、 图文互动演示的优选解决方案。 在教室或者会议场 景使用交互智能平板， 当对屏幕上的内容进行批注讲解时， 由于显示的图片 或文字过小， 坐在后排的学生或者工作人员经常看不清楚屏幕上的内容， 此 时便需要对屏幕上的内容进行移动或缩放。
在实现过程中， 发明人发现传统技术中至少存在如下问题： 传统技术需 要使用者在交互智能平板上实现对屏幕批注的移动、 缩放操作， 使用者不能 脱离交互智能平板与观众互动。 发明内容
基于此， 有必要针对远程控制交互智能平板同步显示批注的移动、 缩放 的问题， 提供一种远程批注移动、 缩放的同步方法与系统。
为了实现上述目的， 本发明技术方案的实施例为：
一方面， 提供了一种远程批注移动、 缩放的同步方法， 包括以下步骤： 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集； 当前屏幕图像 包括根据所述屏幕批注事件获取的批注笔迹；
在监听到屏幕触摸事件时，获取屏幕触摸事件的平移位移和 /或缩放比例; 根据平移位移和 /或缩放比例， 对坐标集进行平移和 /或缩放， 获得平移和 /或缩放后的变换矩阵；
根据变换矩阵对当前屏幕图像的原始坐标系进行转换， 获得转换后的坐 标系； 并根据转换后的坐标系对当前屏幕图像进行重新绘制， 获得重新绘制 的屏幕图像；
根据转换后的坐标系， 计算得到重新绘制的屏幕图像的坐标信息和缩放 倍数；
将坐标信息和缩放倍数发送给交互智能平板； 由交互智能平板根据坐标 信息和缩放倍数执行相应的操作。
另一方面， 提供了一种远程批注移动、 缩放的同步系统， 包括： 监听屏幕单元， 用于获取绘制并存储在绘图画布上的当前屏幕图像的坐 标集， 当前屏幕图像包括根据屏幕批注事件获取的批注笔迹； 并在监听到屏 幕触摸事件时， 获取屏幕触摸事件的平移位移和 /或缩放比例；
处理单元， 用于根据平移位移和 /或缩放比例， 对坐标集进行平移和 /或缩 放， 获得平移和 /或缩放后的变换矩阵； 根据变换矩阵对当前屏幕图像的原始 坐标系进行转换， 获得转换后的坐标系； 以及根据转换后的坐标系， 计算得 到重新绘制的屏幕图像的坐标信息和缩放倍数；
绘制单元， 用于根据转换后的坐标系对当前屏幕图像进行重新绘制， 获 得重新绘制的屏幕图像；
发送单元， 将坐标信息和缩放倍数发送给交互智能平板， 由交互智能平 板根据坐标信息和缩放倍数执行相应的操作。
上述技术方案具有如下有益效果：
本发明的远程批注移动、 缩放的同步方法与系统， 因为采用移动设备远 程操控交互智能平板进行批注的移动和缩放， 移动设备通过手势操作来控制 本地批注的移动、 缩放， 同时保证交互智能平板与移动设备显示的批注的操 作一致。 从而保证使用者能够脱离交互智能平板实现对屏幕批注的相关操作 (如同步缩放或平移批注）， 并与观众互动。 附图说明
通过附图中所示的本发明的优选实施例的更具体说明， 本发明的上述及 其它目的、 特征和优势将变得更加清晰。 在全部附图中相同的附图标记指示 相同的部分， 且并未刻意按实际尺寸等比例缩放绘制附图， 重点在于示出本 发明的主旨。
图 1 为本发明远程批注移动、 缩放的同步方法与系统的一应用场景示意 图；
图 2为本发明远程批注移动、 缩放的同步方法实施例 1的流程示意图； 图 3为本发明远程批注移动、 缩放的同步方法实施例 2的流程示意图； 图 4为本发明远程批注移动、 缩放的同步系统实施例 1的结构示意图。 具体实施方式
为了便于理解本发明， 下面将参照相关附图对本发明进行更全面的描述。 附图中给出了本发明的首选实施例。 但是， 本发明可以以许多不同的形式来 实现， 并不限于本文所描述的实施例。 相反地， 提供这些实施例的目的是使 对本发明的公开内容更加透彻全面。
除非另有定义， 本文所使用的所有的技术和科学术语与属于本发明的技 术领域的技术人员通常理解的含义相同。 本文中在本发明的说明书中所使用 的术语只是为了描述具体的实施例的目的， 不是旨在于限制本发明。 本文所 使用的术语"及 /或"包括一个或多个相关的所列项目的任意的和所有的组合。 本发明远程批注移动、 缩放的同步方法与系统的一应用场景：
图 1 为本发明远程批注移动、 缩放的同步方法与系统的一应用场景示意 图； 如图 1 所示， 在教室或者会议场景使用交互智能平板， 当对屏幕上的内 容进行批注讲解时， 由于显示的图片或文字过小， 坐在后排的学生或者工作 人员经常看不清楚屏幕上的内容， 此时便需要对屏幕上的内容进行移动或放 大。 而通过本发明远程批注移动、 缩放的同步方法与系统能够远程操控交互 智能平板进行批注和缩放， 保证移动设备和交互智能平板上显示移动或缩放 的批注内容一致， 移动设备通过手势操作来控制本地批注的放大缩小， 缩放 批注的过程中能保证交互智能平板与移动设备显示的区域和批注一致。 从而 保证使用者能够脱离交互智能平板实现对屏幕批注的相关操作 （例如同步缩 放或平移批注）， 并与观众互动。
移动设备通过手势操作来控制本地批注的放大缩小， 缩放批注的过程中 能保证交互智能平板与移动设备显示的区域和批注的粗细一致。 并且可以通 过移动设备先放大屏幕画面， 然后在放大后的画面上进行批注， 批注完后可 以继续放大或缩小屏幕， 批注的笔迹也会跟着放大或缩小。 本发明远程批注移动、 缩放的同步方法实施例 1 :
为了实现移动设备远程操控交互智能平板同步显示的目的， 本发明提供 了远程批注移动、 缩放的同步方法实施例 1 ; 图 2为本发明远程批注移动、 缩 放的同步方法实施例 1的流程示意图， 如图 2所示， 包括以下步骤：
步骤 S210: 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集； 当 前屏幕图像包括根据屏幕批注事件获取的批注笔迹；
步骤 S220: 在监听到屏幕触摸事件时， 获取屏幕触摸事件的平移位移和 / 或缩放比例；
步骤 S230: 根据平移位移和 /或缩放比例， 对坐标集进行平移和 /或缩放， 获得平移和 /或缩放后的变换矩阵；
歩骤 S240: 根据变换矩阵对当前屏幕图像的原始坐标系进行转换， 获得 转换后的坐标系；
步骤 S250: 根据转换后的坐标系对当前屏幕图像进行重新绘制， 获得重 新绘制的屏幕图像；
步骤 S260: 根据转换后的坐标系， 计算得到重新绘制的屏幕图像的坐标 信息和缩放倍数；
步骤 S270: 将坐标信息和缩放倍数发送给交互智能平板； 由交互智能平 板根据坐标信息和缩放倍数执行相应的操作； 在一个具体的实施例中， 交互 智能平板根据坐标信息和缩放倍数执行相应的操作的包括批注笔迹的缩放与 平移。
而在一个具体的示例中， 步骤 S210中根据屏幕批注事件获取的批注笔迹 是可以通过以下步骤实现的： 创建绘图画布； 以移动终端的操作系统为 Android系统为例， 该画布可以 为 Android绘图画布， 通过 Canvas创建该 Android绘图画布， 相应地在该移 动终端的操作系统为 IOS (苹果公司开发的移动操作）系统的情况下， 该绘图 画布还可以为 IOS 画板或绘画绘图画布， 在交互智能终端的操作系统为其他 类型的操作系统的情况下， 该画布也可以为其他类型操作系统中具有绘图画 布功能的控件所创建的绘图画布；
根据屏幕批注事件当前批注触摸点的移动在上述绘图画布上绘制并存储 批注笔迹。 而在绘图画布上绘制批注笔迹的目的是让移动设备与交互智能平 板显示的画面一致。
在一个具体的示例中，步骤 S220获取屏幕触摸事件的平移位移和 /或缩放 比例的步骤具体可以包括以下步骤：
监听屏幕触摸事件， 获取触摸点个数；
当触摸点的个数为一个时， 将触摸点移动的位移作为平移位移； 当触摸点的个数多于一个时， 获取各触摸点的中心点； 根据各触摸点与 该中心点的距离， 确定缩放比例。
在一个具体的实施例中， 步骤 S240根据变换矩阵对当前屏幕图像的原始 坐标系进行转换， 获得转换后的坐标系的步骤具体可以包括：
获取屏幕触摸事件中触摸点的初始坐标；
获取触摸点移动后的终点坐标；
根据初始坐标和所述终点坐标， 确定变换矩阵；
根据变换矩阵， 对当前屏幕图像进行缩放和 /或平移的变换， 获得转换后 的坐标系。
在一个具体的示例中， 步骤 S260根据转换后的坐标系， 计算得到重新绘 制的屏幕图像的坐标信息和缩放倍数的步骤具体可以包括：
获取原始坐标系的边角坐标和中心点坐标；
获取转换后的坐标系的边角坐标和中心点坐标；
根据原始坐标系的边角坐标和中心点坐标以及转换后的坐标系的边角坐 标和中心点坐标，确定重新绘制的屏幕图像中的点的坐标，并获取缩放倍数。 在一个具体的实施例中， 以 Android系统的移动设备为例，本发明远程批 注移动、 缩放的同步方法的实施例 1可以包括以下步骤-
( 1 )移动设备（移动端） 绘制批注， 使得移动端与交互智能平板显示的 画面一致。
1 )创建 Android绘图画布（Canvas ), 借助设置好的画笔 (Paint类)就可以 在绘图画布上绘制任何图像或笔迹； 本发明实施例中所有的批注和同步缩放 等操作都是在绘图画布上进行的。
2) 移动设备 （移动端） 监听到 Android屏幕批注事件时， 根据手指的移 动来绘制批注笔迹，即在控件的绘制图形 (onDraw)方法中调用 Android绘图画 布的绘制曲线方法（canvas drawPath)绘制曲线， 并记录当前绘制的笔迹， 并 获取该笔迹的坐标集； 而由于移动端会不断的将画布上绘制的图像编码到交 互智能平板， 交互智能平板通过解码后能够显示该屏幕图像， 因此将批注笔 迹绘制在绘图画布上能够保证移动端显示的批注与交互智能平板的一致。
其中屏幕批注事件是不同于屏幕触摸事件的操作， 具体而言， 在移动端 可设置触发批注功能的批注工具条或批注按钮， 当用户触发批注功能时， 移 动端即进入监听 Android屏幕批注事件状态；而屏幕触摸事件则无需在屏幕上 设置触发触摸功能的工具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触 摸事件； 此外也可以根据人手触摸屏幕的时间不同或力度不同， 预先设置不 同的手势操作来触发屏幕批注功能或者屏幕触摸功能。
(2) 同步移动和 /或缩放；
1 )移动端监听 android屏幕触摸事件（activity onTouchEvent), 当监听到 用户双指按下时， 计算双指中心点和双指放大 /缩小的倍数， 对笔迹的坐标集 进行放大 /缩小 （matrix postScale); 当监听到用户手指按下为单指时， 根据手 指的移动计算手指移动的位移，对笔迹的坐标集进行平移 (matrix postTranslate) 操作。
2)使用变换后的矩阵对记录的笔迹进行坐标系的转换（ matrix mapPoints 或 mapRect), 并根据转换后的坐标系对记录的当前笔迹进行重新绘制。
3 )根据转换后的坐标系，移动设备计算当前屏幕的坐标信息和缩放倍数， 并将该坐标信息和缩放倍数发送给交互智能平板。
在一个具体的实施例中， 即计算转换后的笔迹的坐标系与原坐标系相比 缩放的倍数及位移， 根据缩放倍数及位移， 将手指触摸的坐标转换为在当前 坐标系中的坐标， 并将该坐标发送给交互智能平板， 使之可以通过该坐标同 步显示批注的移动、 缩放。
其中， 转换后的笔迹的坐标系是指画面放大后在屏幕上显示的区域， 原 坐标系是指屏幕批注事件初始画面在屏幕上显示的区域。 例如： 初始状态下 画面满屏显示， 顶点坐标为 (0,0, width, height),以左上顶点为原点， 将屏幕放 大 scale 倍， 那么新的点坐标 newX = x * scale，新的画面区域顶点坐标为 (0,0, width * scale, height * scale)。 而同歩批注的的移动、 缩放步骤具体包括 以下：
1. 捕获屏幕批注事件的坐标 （x, y) ；
2. 放大后区域矩形框的顶点为 （left, top, right, bottom) ；
3. 而屏幕批注事件初始区域矩形框的顶点为 CO,0, width, heighti ;
4. 放大的倍数 scale = ( right - left) /width;
5. 将当前放大区域的坐标转换为相对初始区域的坐标：
newX一 (x― left) * scale
newY = (y— top) * scale;
(3 ) 交互智能平板处理批注平移和 /或缩放事件
交互智能平板收到批注平移和 /或缩放指令后， 执行相应操作。
即， 交互智能平板收到指令后， 会根据批注的坐标等信息做批注缩放以 及平移操作。
本发明的远程批注移动、 缩放的同步方法的实施例 1 因为采用移动设备 远程操控交互智能平板进行批注的移动和缩放， 移动设备通过手势操作来控 制本地批注的移动、 缩放， 同时保证交互智能平板与移动设备显示的批注的 操作一致。 从而保证使用者能够脱离交互智能平板实现对屏幕批注的相关操 作 （如同步缩放或平移批注）， 并与观众互动。 本发明远程批注移动、 缩放的同步方法实施例 2:
为了实现移动设备远程操控交互智能平板并同步显示的目的， 本发明提 供了远程批注移动、缩放的同步方法实施例 2; 该实施例与上述实施例 1的主 要区别在于： 本实施例可以通过移动端对智能平板当前的屏幕图像的截屏图 像以及批注笔迹进行同步缩放和 /或平移的操作；图 3为本发明远程批注移动、 缩放的同步方法实施例 2的流程示意图，如图 3所示， 以 Android系统的移动 设备为例， 包括以下步骤：
步骤 S310: 移动设备 （移动端）截屏与绘制背景， 使得移动端与智能平 板显示的画面一致。
1 ) 移动设备截取交互智能平板实时发送的屏幕图像；
2)创建 Android绘图画布（Canvas ), 借助设置好的画笔 (Paint类)就可以 在绘图画布上绘制任何图像或笔迹； 本发明实施例中所有的批注和同步缩放 等操作都是在 Android绘图画布上进行的。
3 ) 将截屏后的图像绘制在绘图画布上， 在控件的绘制图形 (onDraw)方法 中调用 Android绘图画布的绘制图像方法（canvas.drawBitmap)绘制图像， 并 记录当前绘制的图像。 而将截图绘制在绘图画布上作为背景图能够保证移动 端的显示与交互智能平板的一致。
步骤 S320: 获取批注笔迹坐标集；
移动端在 Android屏幕批注事件中，根据手指的移动来绘制批注笔迹， 即 在控件的绘制图形 (onDraw)方法中调用 Android 绘图画布的绘制曲线方法 (canvas drawPath)绘制曲线， 并记录当前绘制的笔迹。其中屏幕批注事件是 不同于屏幕触摸事件的操作， 具体而言， 在移动端可设置触发批注功能的批 注工具条或批注按钮， 当用户触发批注功能时， 移动端即进入监听 Android 屏幕批注事件状态； 而屏幕触摸事件则无需在屏幕上设置触发触摸功能的工 具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触摸事件； 此外也可以根 据人手触摸屏幕的时间不同或力度不同， 预先设置不同的手势操作来触发屏 幕批注功能或者屏幕触摸功能。
步骤 S330: 监听屏幕触摸事件； 步骤 S340: 移动设备屏幕的移动、 缩放；
移动端监听 android屏幕触摸事件 （activity onTouchEvent), 当监听到用 户双指按下时， 计算双指中心点和双指放大 /缩小的倍数， 对坐标集进行放大 / 缩小 （matrix postScale); 当监听到用户手指按下为单指时， 根据手指的移动 计算手指移动的位移， 对矩阵进行平移 (matrix postTranslate)操作。
步骤 S350: 坐标转换与重绘；
使用变换后的矩阵对记录的笔迹和背景图进行坐标系的转换 （matrix mapPoints或 mapRect),然后根据转换后的坐标系对批注笔迹和背景图进行重 厶
¾。
具体而言， 即若将整个屏幕当做一个矩形， 那么矩形的四个点的坐标可 以表示为（0,0, width, height；)， Android 绘图画布自带一个 Matri 类， Matrix 是一个 3 x 3的矩阵， 可以对每个点进行平移、 缩放等变换， matrix mapPoints 或 mapRect实际上是 Matrx的两个方法， 初始的 matrix调用自带的 postScale 或者是 postTranslate X寸自身进行矩阵变换后， 调用 matrxi. mapPoints 或者是 matrix.mapRect即可对点或者是矩形进行缩小或平移的变换。
步骤 S360: 根据转换后的坐标系， 移动设备计算当前屏幕中心点坐标和 放大倍数以及批注笔迹转换后的坐标， 并根据该中心点坐标和放大倍数发送 放大镜指令， 以及根据该批注笔迹转换后的坐标发送批注指令到交互智能平 板。
具体而言， 例如： 原坐标系的坐标为（0,0, width, height) , 中心点坐标为 (width/2, height/2) ;
假如左上角位置不变放大一倍， 那么放大后可见区域的顶点坐标为 (0,0, width/2, height/2) ;
此时可见区域中心点的坐标为 Cwidth/4, height/4)；
放大倍数 scale为原宽度 /新宽度： （width - 0 ) /(^ - 0) = 2 歩骤 S370: 交互智能平板的移动、 缩放；
即， 交互智能平板收到相应指令后， 会根据接收到的中心点坐标和放大 倍数对整个屏幕画面以及批注做移动、 缩放处理。
步骤 S380: 判断移动设备是否退出移动、 缩放操作； 若没有退出则进入 步骤 S320, 继续监听屏幕触摸 （或批注） 事件进行相关操作。
本发明的远程批注移动、 缩放的同步方法实施例 2 因为采用移动设备远 程操控交互智能平板进行屏幕内容的移动和缩放； 移动设备通过手势操作来 控制本地批注的移动、 缩放， 同时保证交互智能平板与移动设备显示的内容 一致。从而保证使用者能够脱离交互智能平板实现对屏幕批注的相关操作（如 同步缩放或平移批注）， 并与观众互动。 基于与上述远程批注移动、 缩放的同步方法相同的思想， 为了实现移动 设备远程操控交互智能平板并同步显示的目的， 本发明实施例还提供了远程 批注移动、 缩放的同步系统实施例 1， 图 4为本发明远程批注移动、 缩放的同 步系统实施例 1 的结构示意图； 如图 4所示， 远程批注移动、 缩放的同步系 统实施例 1包括：
监听屏幕单元 10， 用于获取绘制并存储在绘图画布上的当前屏幕图像的 坐标集， 当前屏幕图像包括根据屏幕批注事件获取的批注笔迹； 并在监听到 屏幕触摸事件时， 获取屏幕触摸事件的平移位移和 /或缩放比例；
处理单元 20， 用于根据平移位移和 /或缩放比例， 对坐标集进行平移和 / 或缩放， 获得平移和 /或缩放后的变换矩阵； 根据变换矩阵对当前屏幕图像的 原始坐标系进行转换， 获得转换后的坐标系； 以及根据转换后的坐标系， 计 算得到重新绘制的屏幕图像的坐标信息和缩放倍数；
绘制单元 30， 用于根据转换后的坐标系对当前屏幕图像进行重新绘制， 获得重新绘制的屏幕图像；
发送单元 40， 将坐标信息和缩放倍数发送给交互智能平板， 由交互智能 平板根据坐标信息和缩放倍数执行相应的操作。 在一个具体的实施例中， 交 互智能平板根据坐标信息和缩放倍数执行相应的操作的包括批注笔迹的缩放 与平移以及屏幕图像的缩放和平移。
在一个具体的实施例中， 远程批注移动、 缩放的同步系统实施例 1 还包 括：
接收单元 50， 用于接收交互智能平板实时发送的屏幕图像；
截取屏幕单元 60， 用于截取实时发送的屏幕图像， 获得截屏图像； 当前 屏幕图像还包括截屏图像；
绘制单元 30还用于创建绘图画布； 并通过屏幕批注事件， 根据当前批注 触摸点的移动在绘图画布上绘制并存储批注笔迹； 以及用于将上述截屏图像 绘制并存储在绘图画布上。
在一个具体的实施例中， 监听屏幕单元 10包括第一监听模块 110、 第一 数据获取模块 130、 第二监听模块 120和第二数据获取模块 140，
第一监听模块 110， 用于监听屏幕批注事件；
第一数据获取模块 130，用于在第一监听模块 110监听到屏幕批注事件时， 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集；
第二监听模块 120， 用于监听屏幕触摸事件， 并获取触摸点个数； 第二数据获取模块 140，用于在第二监听模块 120获取的触摸点个数为一 个时， 将所述触摸点移动的位移作为所述平移位移； 在第二监听模块 120获 取的触摸点的个数多于一个时， 获取各触摸点的中心点； 并根据各触摸点与 中心点的距离， 确定缩放比例。
在一个具体的实施例中， 处理单元 20包括矩阵变换模块 210、 转换模块 220和计算模块 230， 第一坐标获取模块 240以及第二坐标获取模块 250， 矩阵变换模块 210用于根据平移位移和 /或缩放比例， 对坐标集进行平移 和 /或缩放， 获得平移和 /或缩放后的变换矩阵；
转换模块 220用于根据变换矩阵对所述当前屏幕图像的原始坐标系进行 转换， 获得转换后的坐标系；
计算模块 230用于根据转换后的坐标系， 计算得到重新绘制的屏幕图像 的坐标信息和缩放倍数。
与转换模块 220相连接的第一坐标获取模块 240，用于获取屏幕触摸事件 中触摸点的初始坐标； 以及触摸点移动后的终点坐标；
与计算模块 230相连接的第二坐标获取模块 250，用于获取原始坐标系的 边角坐标和中心点坐标； 以及转换后的坐标系的边角坐标和中心点坐标。 在一个具体的实施例中， 以 Android系统的移动设备为例，本发明远程批 注移动、 缩放的同歩系统的实施例 1的具体工作过程可以是如下所述：
接收单元 50接收交互智能平板实时发送的当前正显示的屏幕图像； 截取 屏幕单元 60截取该当前屏幕图像；
绘制单元 30创建 Android绘图画布 （Canvas), 借助设置好的画笔 (Paint 类)就可以在绘图画布上绘制任何图像或笔迹； 本发明该实施例中所有的批注 和同步缩放等操作都是在 Android绘图画布上进行的。
绘制单元 30将截屏后的图像绘制在绘图画布上， 在绘制图形 (onDraw)方 法中调用 Android绘图画布的绘制图像方法 （canvas.drawBitmap) 绘制图像， 并记录当前绘制的图像。 而将截图绘制在绘图画布上作为背景图能够保证移 动端的显示与交互智能平板的一致。
监听屏幕单元 10中的第一监听模块 110监听到 Android屏幕批注事件时， 绘制单元 30根据手指的移动来绘制批注笔迹， 即在控件的绘制图形 (onDraw) 方法中调用 Android绘图画布的绘制曲线方法 （canvas drawPath) 绘制曲线， 并记录当前绘制的笔迹， 第一数据获取模块 130获取笔迹的坐标集。 其中屏 幕批注事件是不同于屏幕触摸事件的操作， 具体而言， 在移动端屏幕上可设 置触发批注功能的批注工具条或批注按钮， 当用户触发批注功能时， 移动端 即进入监听 Android屏幕批注事件状态；而屏幕触摸事件则无需在屏幕上设置 触发触摸功能的工具条或按钮， 用户通过手指触摸屏幕即可触发屏幕触摸事 件； 此外也可以根据人手触摸屏幕的时间不同或力度不同， 预先设置不同的 手势操作来触发屏幕批注功能或者屏幕触摸功能。
第二监听模块 120监听 android屏幕触摸事件 （activity on Touch Event) 事件， 当监听到用户双指按下时， 第二数据获取模块 140计算双指中心点和 双指放大 /缩小的倍数， 确定缩放比例， 矩阵变换模块 210根据缩放比例对坐 标集进行放大 /缩小 （matrix postScale); 当监听到用户手指按下为单指时， 第 二数据获取模块 140根据手指的移动计算手指移动的位移作为平移位移， 矩 阵变换模块 210根据该平移位移对坐标集进行平移 (matrix post Translate)操作。 转换模块 220使用变换后的矩阵对记录的笔迹和背景图进行坐标系的转 换（ matrix map Points或 map Rect )， 然后由绘制单元 30对转换后的笔迹和背 景图进行重绘， 根据移动端的手势操作计算的坐标变换后， 需要根据转换后 的坐标系重新绘制画面和笔迹。 第一数据获取模块 130用于获取笔迹和背景 图的原坐标系的坐标集。
计算模块 230计算当前绘制的坐标系与原坐标系放大的倍数及位移， 将 手指触摸的坐标转换为在当前坐标系中的坐标， 由发送单元 40发送到交互智 能平板， 使之可以同步移动或缩放批注。
其中对于批注笔迹， 当前绘制坐标系是指画面放大后在屏幕上显示的区 域， 原坐标系是指初始画面在屏幕上显示的区域。 例如： 初始状态下画面满 屏显示， 顶点坐标为 (0,0, width, height ,以左上顶点为原点， 将屏幕放大 scale 倍， 那么新的点坐标 newX = X * scale，新的画面区域顶点坐标为（0,0, width * scale, height * scale)。 而同步移动、 缩放批注的过程具体如下：
第一坐标获取模块 240捕获屏幕 touch事件的坐标 （x, y) ； 以及当前放 大区域矩形框的顶点为 （left, top, right, bottom) ； 初始区域矩形框的顶点为 (0,0, width, height) ;放大的倍数 scale = (right - left) /width; 转换模块 220 将当前放大区域的坐标转换为相对初始区域的坐标：
newX = (x— left) * scale
newY = (y— top) * scale;
对于背景图， 若将整个屏幕当做一个矩形， 那么矩形的四个点的坐标可 以表示为（0,0, width, height；)， Android 绘图画布自带一个 Matrix 类， Matrix 是一个 3 x 3的矩阵， 可以对每个点进行平移、 缩放等变换， matrix mapPoints 或 mapRect实际上是 Matrx的两个方法， 初始的 matrix调用自带的 postScale 或者是 postTranslate 对自身进行矩阵变换后， 调用 matrxi.mapPoints 或者是 matrix.mapRect即可对点或者是矩形进行缩小或平移的变换。
根据转换后的坐标系， 计算模块 230计算当前屏幕的坐标信息和缩放倍 数， 发送单元 40根据坐标信息和缩放倍数发送批注指令或放大镜指令到交互 智能平板。 在一个具体的实施例中， 第二坐标获取模块 250 获取原坐标系的坐标 (0,0, width, height), 中心点坐标（width/2, height/2);
假如左上角位置不变放大一倍， 那么放大后可见区域的顶点坐标为 (0,0, width/2, height/2) ;
此时第二坐标获取模块 250 获取的可见区域中心点的坐标为 (width/ 4, height/4)；
计算模块 240计算的放大倍数 scale为原宽度 /新宽度： width
(width - 0 ) /(——— 0) = 2 交互智能平板收到批注平移和 /或缩放指令后， 执行相应操作。
即， 交互智能平板收到指令后， 会根据批注的坐标等信息做批注缩放以 及平移操作。
本发明的远程批注移动、 缩放的同步系统实施例 1 因为采用移动设备远 程操控交互智能平板进行批注的移动和缩放， 移动设备通过手势操作来控制 本地批注的移动、 缩放， 同时保证交互智能平板与移动设备显示的批注的操 作一致。 从而保证使用者能够脱离交互智能平板实现对屏幕批注的相关操作 (如同步缩放或平移批注）， 并与观众互动。
以上所述实施例的各技术特征可以进行任意的组合， 为使描述简洁， 未 对上述实施例中的各个技术特征所有可能的组合都进行描述， 然而， 只要这 些技术特征的组合不存在矛盾， 都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式， 其描述较为具体和详 细， 但并不能因此而理解为对发明专利范围的限制。 应当指出的是， 对于本 领域的普通技术人员来说， 在不脱离本发明构思的前提下， 还可以做出若干 变形和改进， 这些都属于本发明的保护范围。 因此， 本发明专利的保护范围 应以所附权利要求为准。

Claims

权利要求书
1、 一种远程批注移动、 缩放的同步方法， 其特征在于， 包括以下步骤- 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集； 所述当前屏幕 图像包括根据屏幕批注事件获取的批注笔迹；
在监听到屏幕触摸事件时， 获取所述屏幕触摸事件的平移位移和 /或缩放 比例；
根据所述平移位移和 /或所述缩放比例， 对所述坐标集进行平移和 /或缩放， 获得平移和 /或缩放后的变换矩阵；
根据所述变换矩阵对所述当前屏幕图像的原始坐标系进行转换， 获得转 换后的坐标系； 并根据所述转换后的坐标系对所述当前屏幕图像进行重新绘 制， 获得重新绘制的屏幕图像；
根据所述转换后的坐标系， 计算得到所述重新绘制的屏幕图像的坐标信 息和缩放倍数；
将所述坐标信息和缩放倍数发送给交互智能平板； 由所述交互智能平板 根据所述坐标信息和缩放倍数执行相应的操作。
2、根据权利要求 1所述的远程批注移动、缩放的同步方法，其特征在于， 在监听屏幕触摸事件的步骤之前， 还包括步骤：
创建所述绘图画布。
3、根据权利要求 2所述的远程批注移动、缩放的同步方法，其特征在于， 所述当前屏幕图像还包括截屏图像； 所述截屏图像是通过以下步骤获得的- 截取所述交互智能平板实时发送的屏幕图像， 获得所述截屏图像。
4、根据权利要求 1至 3任意一项所述的远程批注移动、缩放的同步方法， 其特征在于， 所述获取所述屏幕触摸事件的平移位移和 /或缩放比例的步骤包 括：
根据屏幕触摸事件， 获取触摸点个数；
当所述触摸点的个数为一个时， 将所述触摸点移动的位移作为所述平移 位移；
当所述触摸点的个数多于一个时， 获取各所述触摸点的中心点； 根据各 所述触摸点与所述中心点的距离， 确定所述缩放比例。
5、根据权利要求 1至 3任意一项所述的远程批注移动、缩放的同步方法， 其特征在于， 所述根据所述变换矩阵对所述当前屏幕图像的原始坐标系进行 转换， 获得转换后的坐标系的步骤包括- 获取所述屏幕触摸事件中触摸点的初始坐标；
获取所述触摸点移动后的终点坐标；
根据所述初始坐标和所述终点坐标， 确定所述变换矩阵；
根据所述变换矩阵， 对所述当前屏幕进行缩放和 /或平移的变换， 获得转 换后的坐标系。
6、根据权利要求 1至 3任意一项所述的远程批注移动、缩放的同步方法， 其特征在于， 所述根据所述转换后的坐标系， 计算得到所述重新绘制的屏幕 图像的坐标信息和缩放倍数的步骤包括：
获取所述原始坐标系的边角坐标和中心点坐标；
获取所述转换后的坐标系的边角坐标和中心点坐标；
根据所述原始坐标系的边角坐标和中心点坐标以及所述转换后的坐标系 的边角坐标和中心点坐标， 确定所述重新绘制的屏幕图像中的点的坐标， 并 获取所述缩放倍数。
7、 一种远程批注移动、 缩放的同步系统， 其特征在于， 包括- 监听屏幕单元， 用于获取绘制并存储在绘图画布上的当前屏幕图像的坐 标集， 所述当前屏幕图像包括根据屏幕批注事件获取的批注笔迹； 并在监听 到所述屏幕触摸事件时， 获取所述屏幕触摸事件的平移位移和 /或缩放比例； 处理单元， 用于根据所述平移位移和 /或所述缩放比例， 对所述坐标集进 行平移和 /或缩放， 获得平移和 /或缩放后的变换矩阵； 根据所述变换矩阵对所 述当前屏幕图像的原始坐标系进行转换， 获得转换后的坐标系； 以及根据所 述转换后的坐标系， 计算得到所述重新绘制的屏幕图像的坐标信息和缩放倍 数；
绘制单元， 用于根据所述转换后的坐标系对所述当前屏幕图像进行重新 绘制， 获得重新绘制的屏幕图像； 发送单元， 将所述坐标信息和缩放倍数发送给交互智能平板， 由所述交 互智能平板根据所述坐标信息和缩放倍数执行相应的操作。
8、根据权利要求 7所述的远程批注移动、缩放的同歩系统，其特征在于， 还包括：
接收单元， 用于接收所述交互智能平板实时发送的屏幕图像；
截取屏幕单元， 用于截取所述实时发送的屏幕图像， 获得截屏图像； 所 述当前屏幕图像还包括截屏图像；
所述绘制单元还用于创建绘图画布， 并通过所述屏幕批注事件， 根据当 前批注触摸点的移动在所述绘图画布上绘制并存储所述批注笔迹； 以及用于 将所述截屏图像绘制并存储在所述绘图画布上。
9、 根据权利要求 7或 8所述的远程批注移动、 缩放的同步系统， 其特征 在于， 所述监听屏幕单元包括第一监听模块、 第一数据获取模块、 第二监听 模块和第二数据获取模块，
所述第一监听模块， 用于监听屏幕批注事件；
所述第一数据获取模块， 用于在所述第一监听模块监听到屏幕批注事件 时， 获取绘制并存储在绘图画布上的当前屏幕图像的坐标集；
所述第二监听模块， 用于监听屏幕触摸事件， 并获取触摸点个数； 所述数据获取模块， 用于在所述第二监听模块获取的触摸点个数为一个 时， 将所述触摸点移动的位移作为所述平移位移； 在所述第二监听模块获取 的触摸点的个数多于一个时， 获取各所述触摸点的中心点， 并根据各所述触 摸点与所述中心点的距离， 确定所述缩放比例。
10、 根据权利要求 7或 8所述的远程批注移动、 缩放的同步系统， 其特 征在于， 所述处理单元包括矩阵变换模块、 转换模块、 计算模块、 第一坐标 获取模块以及第二坐标获取模块，
所述矩阵变换模块用于根据所述平移位移和 /或所述缩放比例， 对所述坐 标集进行平移和 /或缩放， 获得平移和 /或缩放后的变换矩阵；
所述转换模块用于根据所述变换矩阵对所述当前屏幕图像的原始坐标系 进行转换， 获得转换后的坐标系； 所述计算模块用于根据所述转换后的坐标系， 计算得到所述重新绘制的 屏幕图像的坐标信息和缩放倍数；
所述第一坐标获取模块， 用于获取屏幕触摸事件中触摸点的初始坐标； 以及所述触摸点移动后的终点坐标；
所述第二坐标获取模块， 用于获取所述原始坐标系的边角坐标和中心点 坐标； 以及所述转换后的坐标系的边角坐标和中心点坐标。
PCT/CN2016/090747 2015-12-16 2016-07-20 远程批注移动、缩放的同步方法与系统 WO2017101441A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510952884.5 2015-12-16
CN201510952884.5A CN105573702A (zh) 2015-12-16 2015-12-16 远程批注移动、缩放的同步方法与系统

Publications (1)

Publication Number Publication Date
WO2017101441A1 true WO2017101441A1 (zh) 2017-06-22

Family

ID=55883890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/090747 WO2017101441A1 (zh) 2015-12-16 2016-07-20 远程批注移动、缩放的同步方法与系统

Country Status (2)

Country Link
CN (1) CN105573702A (zh)
WO (1) WO2017101441A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388329A (zh) * 2015-12-16 2019-02-26 广州视睿电子科技有限公司 远程批注同步的方法与系统
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统
CN106201475A (zh) * 2016-06-29 2016-12-07 江苏中威科技软件系统有限公司 一种基于安卓设备WebView的手写系统及方法
JP6683042B2 (ja) * 2016-07-06 2020-04-15 富士ゼロックス株式会社 データ処理装置、システムおよびプログラム
CN106528027B (zh) * 2016-11-28 2020-02-14 合一网络技术(北京)有限公司 数据展示方法及装置
CN110866378B (zh) * 2016-12-01 2023-12-01 广州视源电子科技股份有限公司 一种在显示屏上进行批注的方法及其系统
CN108228043A (zh) * 2016-12-14 2018-06-29 北京国双科技有限公司 图像数据的移动方法及装置
CN106940632A (zh) * 2017-03-06 2017-07-11 锐达互动科技股份有限公司 一种屏幕批注的方法
CN106843797A (zh) * 2017-03-13 2017-06-13 广州视源电子科技股份有限公司 一种图像文件的编辑方法及装置
CN108664194B (zh) * 2017-03-29 2021-08-06 中兴通讯股份有限公司 显示方法和装置
CN107168674B (zh) * 2017-06-19 2020-08-11 浙江工商大学 投屏批注方法和系统
CN107454433B (zh) * 2017-08-09 2020-08-04 广州视源电子科技股份有限公司 直播的批注方法及装置、终端及直播系统
CN109960452B (zh) * 2017-12-26 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法及其装置、存储介质
CN110035329B (zh) * 2018-01-11 2022-08-30 腾讯科技（北京）有限公司 图像处理方法、装置及存储介质
CN108459836B (zh) 2018-01-19 2019-05-31 广州视源电子科技股份有限公司 批注显示方法、装置、设备及存储介质
CN108366238A (zh) * 2018-02-08 2018-08-03 广州视源电子科技股份有限公司 图像处理方法、系统、可读存储介质及电子设备
CN109062497A (zh) * 2018-08-17 2018-12-21 石家庄科达文教用品有限公司 同步书写方法、装置及终端设备
CN109167955A (zh) * 2018-10-12 2019-01-08 广州登云信息科技有限公司 一种基于网络通讯的大小屏同步与互动协作的系统和方法
CN111061411B (zh) * 2018-10-16 2022-03-25 鸿合科技股份有限公司 一种图片漫游方法及装置、电子设备
CN109635216B (zh) * 2018-11-27 2022-03-08 浙江万朋教育科技股份有限公司 一种移动终端和浏览器的图片进行同屏批注的方法
CN111275614A (zh) * 2018-12-04 2020-06-12 苏州天鸿嘉汇软件有限公司 一种实现图像无损缩放的方法
CN111078035B (zh) * 2019-11-29 2024-02-13 交通银行股份有限公司 一种基于HTML5 Canvas的绘图方法
CN112925593A (zh) * 2019-12-05 2021-06-08 北京沃东天骏信息技术有限公司 一种目标图层缩放旋转的方法和装置
CN111110272B (zh) * 2019-12-31 2022-12-23 深圳开立生物医疗科技股份有限公司 超声图像测量信息显示方法、装置、设备及可读存储介质
CN113741835A (zh) * 2020-05-29 2021-12-03 北京嗨动视觉科技有限公司 走马灯效果实现方法和走马灯效果实现装置
CN111984151B (zh) * 2020-08-19 2024-04-12 北京盛世和安电子科技有限公司 一种提高处理效率的白板画布大小、位置漫游控制方法
CN112463089A (zh) * 2020-10-21 2021-03-09 贝壳技术有限公司 跨终端的图片同步缩放方法、装置、电子介质及存储介质
CN113709545A (zh) * 2021-04-13 2021-11-26 腾讯科技（深圳）有限公司 视频的处理方法、装置、计算机设备和存储介质
CN113360070B (zh) * 2021-06-28 2023-02-28 广州市保伦电子有限公司 一种基于qt的协同绘图实现方法及处理终端
CN113934876B (zh) * 2021-12-21 2022-02-22 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及系统
CN115061651A (zh) * 2022-06-17 2022-09-16 镁佳(北京)科技有限公司 一种基于操作系统的点击数据传输方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430164A (zh) * 2010-12-10 2013-12-04 韦斯技术有限公司 用于经由http标头来进行远程桌面会话重新绘制的方法和系统
CN103856667A (zh) * 2012-11-30 2014-06-11 柯尼卡美能达株式会社 便携终端装置、图像处理联合系统及画面数据的显示方法
CN104238863A (zh) * 2014-08-29 2014-12-24 广州视睿电子科技有限公司 基于Android的圈选缩放方法和系统
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703305B1 (ko) * 2005-03-03 2007-04-03 삼성전자주식회사 클라이언트들간 데이터 교환을 위한 ＳｙｎｃＭＬ 데이터Ｓｙｎｃ 시스템 및 데이터 교환 방법
CN102981793B (zh) * 2012-11-22 2017-02-15 深圳Tcl工业研究院有限公司 一种屏幕同步方法及装置
CN104182397B (zh) * 2013-05-21 2018-09-04 北大方正集团有限公司 文档协同处理方法、系统和设备
CN103984512B (zh) * 2014-04-01 2018-01-16 广州视睿电子科技有限公司 远程批注方法及系统
CN103996317A (zh) * 2014-05-30 2014-08-20 杭州华银教育多媒体科技股份有限公司 一种新型的无线多媒体互动教学系统
CN104407732B (zh) * 2014-10-29 2017-06-16 广州视睿电子科技有限公司 同步书写方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430164A (zh) * 2010-12-10 2013-12-04 韦斯技术有限公司 用于经由http标头来进行远程桌面会话重新绘制的方法和系统
CN103856667A (zh) * 2012-11-30 2014-06-11 柯尼卡美能达株式会社 便携终端装置、图像处理联合系统及画面数据的显示方法
CN104238863A (zh) * 2014-08-29 2014-12-24 广州视睿电子科技有限公司 基于Android的圈选缩放方法和系统
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统

Also Published As

Publication number Publication date
CN105573702A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
WO2017101441A1 (zh) 远程批注移动、缩放的同步方法与系统
US11301200B2 (en) Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium
WO2017101440A1 (zh) 远程批注同步的方法与系统
CN109313812B (zh) 具有上下文增强的共享体验
US20220217303A1 (en) Display apparatus and control methods thereof
CN112243583B (zh) 多端点混合现实会议
CN107333087B (zh) 一种基于视频会话的信息共享方法和装置
Gumienny et al. Tele-board: Enabling efficient collaboration in digital design spaces
JP2024505995A (ja) 特殊効果展示方法、装置、機器および媒体
JPWO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP2012185823A (ja) 共同環境における位置情報の提供
CN106406651B (zh) 动态放大显示视频的方法及装置
CN108762628B (zh) 页面元素移动显示方法、装置、终端设备及存储介质
US20170229102A1 (en) Techniques for descriptor overlay superimposed on an asset
CN109582122A (zh) 增强现实信息提供方法、装置及电子设备
CN106791574B (zh) 视频标注方法、装置及视频会议系统
US20170228137A1 (en) Local zooming of a workspace asset in a digital collaboration environment
CN110609654A (zh) 数据同步显示方法、装置、设备以及远程会议系统
WO2022140392A1 (en) System and method for dynamically cropping a video transmission
WO2023016107A1 (zh) 远程交互方法、装置、系统、电子设备以及存储介质
CN113918070A (zh) 同步显示方法、装置、可读存储介质及电子设备
CN111901518B (zh) 显示方法、装置和电子设备
WO2015067166A1 (zh) 一种触摸式输入方法及装置
CN111913343A (zh) 一种全景图像显示方法及装置
JP2010271855A (ja) 描画装置、描画方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16874502

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16874502

Country of ref document: EP

Kind code of ref document: A1