JP7635500B2 - マルチ端末連携表示更新方法及び装置 - Google Patents

マルチ端末連携表示更新方法及び装置 Download PDF

Info

Publication number
JP7635500B2
JP7635500B2 JP2023561125A JP2023561125A JP7635500B2 JP 7635500 B2 JP7635500 B2 JP 7635500B2 JP 2023561125 A JP2023561125 A JP 2023561125A JP 2023561125 A JP2023561125 A JP 2023561125A JP 7635500 B2 JP7635500 B2 JP 7635500B2
Authority
JP
Japan
Prior art keywords
canvas
terminal
application interface
application
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023561125A
Other languages
English (en)
Other versions
JP2024512164A (ja
Inventor
▲達▼昇 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Publication of JP2024512164A publication Critical patent/JP2024512164A/ja
Application granted granted Critical
Publication of JP7635500B2 publication Critical patent/JP7635500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示技術分野に関し、具体的には、マルチ端末連携表示更新方法及び装置に関する。
会議連携ホワイトボードが実演及び講演機能を備えるため、会議中に、同じ会議連携ホワイトボードプロセスに加入する複数の端末は、実演が展示を追従するという機能を実現することができる。
例えば、各端末で会議連携ホワイトボードアプリケーションが実行され、講演者は、自分が使用する端末のコンテンツを同じ会議連携ホワイトボードプロセスにおける他の端末に転送することができ、講演者が使用する端末は、このプロセスで追従対象端末であり、他の端末は、追従端末である。追従端末のアプリケーションインターフェースは、追従対象端末のアプリケーションインターフェースを同期して表示することができ、これにより、会議連携ホワイトボードアプリにおける実演追従機能が実現される。
通常、追従対象端末は、絵筆などの機能により会議連携ホワイトボードなどのweb描画アプリケーション又はweb描画機能でコンテンツを描画する必要があり、追従端末は、この動作を追従する必要があるが、アプリケーションインターフェースのサイズと同じキャンバス(シングルキャンバス)を使用するため、追従対象端末の動作に追従してキャンバスを移動するたびに、各点の位置を再計算し、キャンバスのコンテンツを再描画してキャンバス拡張機能を達成する必要がある。キャンバスを移動するたびに、キャンバスのクリア及び再描画動作を実行するため、キャンバス内のデータ量が多い場合、再描画時間が長くなり、さらにはフリーズが発生し、移動するたびに再描画がトリガされ、効率が低く、スケーラビリティが低い。
追従対象端末のキャンバスが無限に拡張する場合、追従端末が追従しにくいという従来技術の問題に対して、これまで有効な技術が提案されていない。
本発明の実施例は、追従対象端末と追従端末との間のピクセルの違いにより視角追従の効果が高くないという従来技術の問題を少なくとも解決するためのマルチ端末連携表示更新方法及び装置を提供する。
本発明の実施例の一態様によれば、マルチ端末連携表示更新方法が提供され、表示更新方法は、第1端末による第2端末への操作の同期表示を実現するために使用され、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェース、第1連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第1キャンバス、及び第1キャンバスを搬送する第1コンテナを提供し、第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェース、第2連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第2キャンバス、及び第2キャンバスを搬送するための第2コンテナを提供し、第1キャンバスの第1長さが第1アプリケーションインターフェースの長さより大きく、第1キャンバスの幅が第1アプリケーションインターフェースの幅より大きく、このマルチ端末連携表示更新方法は、第1端末が第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示し、第1連携ホワイトボードアプリケーションと第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ第2端末が第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示するステップと、第2端末によって送信された制御パラメータを受信するステップであって、制御パラメータは、第2端末が第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成されるステップと、第1端末が制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するステップであって、制御操作が移動操作であることが確認され、第1キャンバスが制御パラメータに基づいて移動し、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末が第1キャンバスのコンテンツを再レンダリングするステップと、を含む。
本発明の実施例の別の態様によれば、マルチ端末連携表示更新装置が提供され、表示更新方法は、第1端末による第2端末への操作の同期表示を実現するために使用され、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェース、第1連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第1キャンバス、及び第1キャンバスを搬送するための第1コンテナを提供し、第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェース、第2連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第2キャンバス、及び第2キャンバスを搬送するための第2コンテナを提供し、第1キャンバスの第1長さが第1アプリケーションインターフェースの長さより大きく、第1キャンバスの幅が第1アプリケーションインターフェースの幅より大きく、このマルチ端末連携表示更新装置は、第1端末が第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示するために使用され、第1連携ホワイトボードアプリケーションと第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ第2端末が第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示する表示モジュールと、第2端末によって送信された制御パラメータを受信するために使用され、制御パラメータは、第2端末が第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成される受信モジュールと、第1端末が制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するために使用され、制御操作が移動操作であることが確認され、第1キャンバスが制御パラメータに基づいて移動し、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末が第1キャンバスのコンテンツを再レンダリングする更新モジュールと、を含む。
本発明の実施例の別の態様によれば、複数の命令を記憶しており、命令がプロセッサによってロードされて上記の任意の1項に記載の方法のステップを実行することに適するコンピュータ記憶媒体が提供される。
本発明の実施例の別の態様によれば、プロセッサとメモリとを含み、メモリには、プロセッサによってロードされて上記の任意の1項に記載の方法のステップを実行することに適するコンピュータプログラムが記憶されるインテリジェントインタラクティブタブレットが提供される。
本発明の実施例では、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示し、第1連携ホワイトボードアプリケーションと第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示し、第2端末によって送信された制御パラメータを受信し、制御パラメータは、第2端末が第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成され、第1端末は、制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新し、制御操作が移動操作であることが確認され、第1キャンバスは、制御パラメータに基づいて移動し、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末は、第1キャンバスのコンテンツを再レンダリングする。上記技術は、複数の端末が連携する場合、追従端末の連携ホワイトボードアプリケーションに複数倍のキャンバスを設定することにより、追従端末が追従対象端末の移動を追従する際に、キャンバスを移動するたびにキャンバスのコンテンツをクリアして再描画する必要がなくなり、また、追従端末の連携ホワイトボードアプリケーションにおいてキャンバスとアプリケーションインターフェースの同じ方向にある辺が重なる場合、この連携ホワイトボードアプリケーションのキャンバスのコンテンツを再レンダリングすることにより、追従対象端末が連携ホワイトボードアプリケーションにおいて無限キャンバスを移動する際に、追従端末がこの効果を追従することができ、これにより、追従対象端末のキャンバスが無限に拡張する場合、追従端末が追従しにくいという従来技術の問題を解決する。
ここで説明される添付の図面は本発明をさらに理解させるためのものであり、本出願の一部を構成するが、本発明の概略的な実施例及びそれらの説明は本発明を解釈するためのものであり、本発明に対する不適切な限定を構成しない。図面は以下のとおりである。
本出願の実施例による2倍のキャンバスの例示的な概略図である。 本出願の実施例によるマルチ端末連携表示更新方法のフローチャートである。 本出願の実施例によるキャンバスのエッジとビューポートのエッジの例示的な概略図である。 本出願の実施例によるキャンバスのエッジとビューポートのエッジの別の例示的な概略図である。 本出願の実施例によるキャンバスが移動する前の例示的な概略図である。 本出願の実施例によるキャンバスが移動した後の例示的な概略図である。 本出願の実施例によるキャンバスのエッジとアプリケーションインターフェースのエッジが重なるか否かを判断する概略図である。 本出願の実施例による原点に基づくスケーリングの概略図である。 本出願の実施例による原点に基づくスケーリングの別の概略図である。 本出願の実施例による目標点に基づくスケーリングの概略図である。 本出願の実施形態による目標点に基づくスケーリングの別の概略図である。 本出願の実施例による書き筆跡が複数の点で構成される概略図である。 本発明の実施例によるマルチ端末連携表示更新装置の概略図である。 本発明の実施例によるインテリジェントインタラクティブタブレットの概略図である。
当業者が本発明の技術をより良く理解するために、以下に本発明の実施例の図面を組み合わせながら、本発明の実施例における技術的技術を明確で完全に説明し、明らかに、説明される実施例が本発明の実施例の一部だけであり、全ての実施例ではない。本発明の実施例に基づき、当業者が創造的な労力を要せずに想到し得る他の実施例は、すべて本発明の保護範囲に属するべきである。
なお、本発明の明細書と特許請求の範囲及び上記図面中の用語「第1」、「第2」などは、類似したオブジェクトを区別するためのものであり、特定の順番又は前後順序を説明することに用いられる必要がない。このように用いられるデータは、ここで説明する本発明の実施例がここで図示又は記載されるもの以外の順序で実施されることができるように、適切な場合で交換可能であると理解すべきである。また、用語「含む」と「有する」及びそれらの任意の変形は、非排他的な包括を覆うことを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は明確に列挙されたステップ又はユニットに限定される必要がなく、明確に列挙されないもの又はこれらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを含むことができる。
実施例1
本実施例では、第1端末及び第2端末が説明のために使用され、第1端末と第2端末との間の同期表示を実現するために、第1端末及び第2端末の両方で連携ホワイトボードアプリケーションが実行され、この例で、第2端末が追従対象端末であり、第1端末が追従端末であることを例として説明し、第1端末は、1つ又は複数であってもよい。例えば、会議連携実演シナリオにおいて、第2端末は、会議実演者が使用する端末であり、第1端末は、視聴者が使用する端末であり、第1端末は、第2端末に追従して同期して表示する。
具体的な実施シナリオにおいて、上記第1端末及び第2端末で実行される連携ホワイトボードアプリケーションは、すべてweb描画機能を実装することができ、キャンバスは、web描画アプリケーションにおける描画コンテンツを搬送するための領域である。キャンバスに対してブラウザhtml canvasタグが使用されてもよく、canvasは、ブラウザhtmlでの一般的なタグであり、このタグを使用すると、ブラウザでより良くレンダリングできる。chromeカーネルは、クロスプラットフォーム効果を実現するためのキャリアとして使用され、コンテナに対してdivタグが使用され、ブラウザの絶対位置を使用し、オフセット値をリアルタイムで変更して、キャンバスの移動効果を達成する。キャンバスは、ホワイトボードアプリケーションの描画内容を搬送するものであり、キャンバスに透明なレイヤーが覆われ、透明なレイヤーにツールバーがあり、ツールバーツールをクリックして操作すると、これは、キャンバスのコンテンツの変更に反映される。
コンテナは、キャンバスを搬送するために使用され、キャンバスの移動は、本質的にコンテナの移動である。キャンバスが移動した後、ビューポートからのオフセット量が変化する。具体的には水平方向のオフセット量と垂直方向のオフセット量の変化が含まれてもよい。
連携ホワイトボードアプリケーションのアプリケーションインターフェースは、ビューポートであり、ビューポートは、端末の画面上のweb描画アプリケーションを表示できる領域であり、デバイスに関連する矩形領域であり、座標単位は、デバイスに関連する「画素」である。
連携ホワイトボードアプリケーションを使用するプロセスで、描画範囲を拡大し、無限のキャンバスの効果を実現するために、第2端末は、連携ホワイトボードアプリケーションで複数倍のキャンバス(即ちキャンバスのサイズがアプリケーションインターフェースの複数倍である)を使用することができ、また、ユーザは、第2端末で平行移動、ストレッチ、書きなどの様々な操作を行うことができるが、第1端末は、第2端末との同期表示を実現するために、これらの操作に追従する必要がある。アプリケーションインターフェースのサイズと同じキャンバス(シングルキャンバス)を使用するため、追従対象端末の動作に追従してキャンバスを移動するたびに、各点の位置を再計算し、キャンバスのコンテンツを再描画してキャンバス拡張機能を達成する必要がある。キャンバスを移動するたびに、キャンバスのクリア及び再描画動作を実行するため、キャンバス内のデータ量が多い場合、再描画時間が長くなり、さらにはフリーズが発生し、移動するたびに再描画がトリガされ、効率が低く、スケーラビリティが低い。このような問題に基づき、本実施例は、マルチ端末連携表示更新方法を提供する。
本実施例におけるマルチ端末連携表示更新方法を説明する前に、まず、下記の実施例で示される例における第1端末の端末連携ホワイトボードアプリケーションのレイアウトを説明し、この例で、第1端末の第1キャンバスは、2倍のキャンバスであり、図1は本出願の実施例による2倍のキャンバスの例示的な概略図であり、図1に示すように、第1キャンバスの長さは、第2アプリケーションインターフェースの長さの複数倍であり、第1キャンバスの幅も第2アプリケーションインターフェースの幅の複数倍である。
図1に示すように、containerは、第1キャンバスを搬送するための第1コンテナを表し、viewは、ユーザが見ることができる画面全体のサイズの第1アプリケーションインターフェースを表す。
containerの幅は、canvasWidthであり、高さは、canvasHeightである。
canvasWidthもキャンバスの幅を表し、viewの幅の2倍である。
canvasHeightもキャンバスの高さを表し、viewの高さの2倍である。
clientWidthとviewの幅は等しく、clientHeightとviewの高さは等しく、viewは、containernoの中央にある。
containerの左上隅を原点とし、viewの頂点に対する左オフセットをleftとし、上オフセットをtopとして定義する。
移動操作を行う場合、コンテナのtopとleftのオフセット値でオフセットし、キャンバスの移働効果を達成する。つまり、キャンバスのコンテンツを移動すると、キャンバスの移動がviewに表示されるが、viewは、実際には変化しないが、下層にあるコンテナが変化する。
図2は本出願の実施例によるマルチ端末連携表示更新方法のフローチャートであり、表示更新方法は、第1端末による第2端末への操作の同期表示を実現するために使用され、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェース、第1連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第1キャンバス、及び第1キャンバスを搬送するための第1コンテナを提供し、第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェース、第2連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第2キャンバス、及び第2キャンバスを搬送するための第2コンテナを提供し、第1キャンバスの第1長さが第1アプリケーションインターフェースの長さより大きく、第1キャンバスの幅が第1アプリケーションインターフェースの幅より大きく、図2に示すように、マルチ端末連携表示更新方法は、以下のステップを含む。
ステップS201において、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示し、第1連携ホワイトボードアプリケーションと第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示する。
具体的には、上記第1端末及び第2端末は、携帯電話、タブレットコンピュータ、インテリジェントインタラクティブタブレットなどのヒューマンコンピュータインタラクションインターフェースを備えたインテリジェントデバイスであってもよい。第1端末及び第2端末は、第1端末と第2端末の一方が追従対象端末として使用され、他方が追従端末として使用され、両者の連携ホワイトボードアプリケーションインターフェースに表示されるコンテンツが同じであることを示すための連携モードにある。即ち、追従対象端末の連携ホワイトボードアプリケーションインターフェースでいかなる表示を行うと、追従端末の連携ホワイトボードアプリケーションインターフェースにも一緒に表示される。例えば、追従対象端末の連携ホワイトボードアプリケーションのアプリケーションインターフェースにマルチメディアコンテンツが表示されると、追従端末の連携ホワイトボードアプリケーションのアプリケーションインターフェースに同じマルチメディアコンテンツが表示され、例えば、追従対象端末の連携ホワイトボードアプリケーションのアプリケーションインターフェースである操作を実行することにより、そのアプリケーションインターフェースが変化し、追従端末の連携ホワイトボードアプリケーションのアプリケーションインターフェースで同様の変化が起こる。本実施例では、第2端末は、追従対象端末であり、第1端末は、追従端末である。
1つの選択可能な実施例では、会議連携実演シナリオにおいて、実演者であるユーザは、自分の会議ホワイトボード(即ち第2端末)でマルチメディアコンテンツを再生し、会議ホワイトボードの表示コンテンツを他の視聴ユーザの会議ホワイトボード(即ち上記第1端末)に共有させることができ、これにより、他の視聴ユーザの会議ホワイトボードの表示インターフェースに同じマルチメディアコンテンツが同期して表示されてもよい。
なお、異なるアプリケーションシナリオにおいて、追従端末であるインテリジェントデバイスは、追従対象端末として使用されてもよく、追従対象端末であるインテリジェントデバイスは、追従端末として使用されてもよく、上記第1端末及び第2端末の定義は、現在のインテリジェントデバイスの実演状態に応じて決定される。
ステップS204において、第2端末によって送信された制御パラメータを受信し、制御パラメータは、第2端末が2アプリケーションインターフェースに対する制御操作を受け付けたときに生成される。
第2端末は、追従対象端末として、第2アプリケーションインターフェースに対する制御操作が実演画面の変化及び調整、例えば、第2アプリケーションインターフェースで現在実演されている画面に対する平行移動操作、スケーリング操作及び書きなどを実現するために使用される。
第2端末が制御操作を受け付ける場合、第2アプリケーションインターフェースは、制御操作に対応して変化し、これらの変化の変化パラメータは、上記制御パラメータである。第2端末は、第2アプリケーションインターフェースに対する制御操作を受け付けると、生成された制御パラメータを第1端末に送信し、第1端末は、上記制御パラメータを受信することができる。この制御パラメータは、第1アプリケーションインターフェースと第2アプリケーションインターフェースのコンテンツを調整して一致に維持させるために使用されてもよい。例えば、制御パラメータは、座標パラメータであってもよく、ユーザは、追従対象端末である第2端末の第2アプリケーションインターフェースで現在の画面を平行移動し、第2端末は、画面の並行移動の座標情報に基づいて座標パラメータを生成して追従端末である第1端末に送信する。
ステップS206において、第1端末は、制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新し、制御操作が移動操作であることが確認され、第1キャンバスは、制御パラメータに基づいて移動し、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末は、第1キャンバスのコンテンツを再レンダリングする。
第1端末は、制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新し、実際には、制御パラメータに基づいて第1キャンバスを調整し、第1アプリケーションインターフェースのコンテンツの更新効果を実現することができる。
例えば、第2アプリケーションインターフェースに対する操作が平行移動操作である場合、第1端末は、制御パラメータに基づいて第1キャンバスを平行移動し、第2アプリケーションインターフェースに対する操作がスケーリング操作である場合、第1端末は、制御パラメータに基づいて第1キャンバスをスケーリングし、第2アプリケーションインターフェースに対する操作が書き操作である場合、第1端末は、制御パラメータに基づいて第1キャンバスで対応する書き筆跡を生成する。
制御操作が移動操作である場合、第2アプリケーションインターフェースは、移動操作に従って移動し、制御パラメータを第1端末に送信し、第1端末の第1キャンバスは、制御パラメータに基づいて移動する。この移動操作は、ユーザが第2アプリケーションインターフェースを指、タッチペン又は外部制御デバイス(マウスなど)でドラッグすることであってもよい。
第1端末が制御パラメータに基づいて第1キャンバスを移動するように制御する場合、次の2つの状態が分けられる。
第1状態で、第1キャンバスと第1アプリケーションインターフェースの辺が重ならない。図1に示すように、第1アプリケーションインターフェースが第1キャンバスの中央にあることを例とすると、第1キャンバスが複数倍のキャンバスであるため、水平移動の距離が現在のleftより小さく、垂直方向の移動距離が現在のtopより小さい場合、第1アプリケーションインターフェースの辺が第1キャンバスの辺と重ならなく、その効果は、第1アプリケーションインターフェースが第1キャンバスで移動することに相当し、第1キャンバスでレンダリングだれたコンテンツが移動ニーズを満たすため、再レンダリングする必要がない。
第2状態で、第1キャンバスと第1アプリケーションインターフェースのある辺が重なる。図1に示すように、第1キャンバスが右に移動することを例とすると、第1キャンバスが右に移動する距離が現在のleftに達すると、第1キャンバスの右側エッジが第1アプリケーションインターフェースの右側エッジと重なり、このとき、第1キャンバスを右に移動し続ける場合、第1キャンバスは、右に移動し続けることができないが、第2キャンバスの移動に追従するために、第1キャンバスのコンテンツを再レンダリングする必要があり、これにより、第1キャンバスが移動し続けるという効果を感覚的に達成する。
図3a又は図3bに示すように、第1キャンバスは、第1エッジと第3エッジを含み、第1アプリケーションインターフェースは、第2エッジと第4エッジを含み、第1エッジは、第3エッジと平行であり、第2エッジは、第4エッジと平行であり、第1エッジと第2エッジは、同じ方向のエッジに属し、第1キャンバスを右に移動すると第1エッジと第2エッジが重なる場合、第1キャンバスをトリガして再レンダリングし、第3エッジと第4エッジが同じ方向のエッジに属し、第1キャンバスを左に移動すると第3エッジと第4エッジが重なる場合、第1キャンバスをトリガして再レンダリングする。同様に、第1キャンバスと第1アプリケーションインターフェースの上側エッジが重なり、又は第1キャンバスと第1アプリケーションインターフェースの下側エッジが重なる場合、第1キャンバスもトリガして再レンダリングする。
以上のことから分かるように、本出願の実施例では、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示し、第1連携ホワイトボードアプリケーションと第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示し、第2端末によって送信された制御パラメータを受信し、制御パラメータは、第2端末が第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成され、第1端末は、制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新し、制御操作が移動操作であることが確認され、第1キャンバスは、制御パラメータに基づいて移動し、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末は、第1キャンバスのコンテンツを再レンダリングする。上記技術は、複数の端末が連携する場合、追従端末の連携ホワイトボードアプリケーションに複数倍のキャンバスを設定することにより、追従端末が追従対象端末の移動を追従する際に、キャンバスを移動するたびにキャンバスのコンテンツをクリアしてキャンバスを再描画する必要がなくなり、また、追従端末の連携ホワイトボードアプリケーションにおいてキャンバスとアプリケーションインターフェースの同じ方向にある辺が重なる場合、この連携ホワイトボードアプリケーションのキャンバスのコンテンツを再レンダリングすることにより、追従対象端末が連携ホワイトボードアプリケーションにおいて無限キャンバスを移動する際に、追従端末がこの効果を追従することができ、これにより、追従対象端末のキャンバスが無限に拡張する場合、追従端末が追従しにくいという従来技術の問題を解決する。
以下、第1端末が第1キャンバスを再レンダリングする方式について説明する。1つの選択可能な実施例として、第1キャンバスには、平行な第1エッジ及び第3エッジが含まれ、第1アプリケーションインターフェースには、平行な第2エッジ及び第4エッジが含まれ、第1エッジと第2エッジは、同じ側にあり、第3エッジと第4エッジは、同じ側にあり、第1キャンバスは、少なくとも第3エッジに近い第1領域及び前記第1エッジに近い第2領域を含み、第1領域は、第2領域に隣接し、第1領域には、第1コンテンツが描画され、第2領域には、第2コンテンツが描画され、移動操作の移動方向は、第1エッジがある側から第3エッジがある側への移動方向であり、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末が第1キャンバスのコンテンツを再レンダリングするステップは、
第1エッジが第2エッジと重なる場合、第1キャンバスを移動操作の逆方向に沿って第3エッジと第4エッジが重なる位置に移動させ、第1領域を第2コンテンツとしてレンダリングし、第2領域を第3コンテンツとしてレンダリングするようにトリガするステップを含む。
なお、第1エッジと第3エッジは、上下両側のエッジであってもよく、同様に、第2エッジ及び第4エッジも上下両側のエッジであってもよい。キャンバスは、水平方向に移動することができ、垂直方向に移動することもでき、アプリケーションインターフェースと特定の角度をなして移動することもできる。
上記技術は、図4に示されるものと併せて説明される。第1コンテナ(container)は、第3エッジに近い第1領域Aと、第1エッジに近い第2領域Bとを含み、第1領域Aと第2領域Bは、1倍のキャンバスをそれぞれ表し、合わせて2倍のキャンバスになり、第1領域Aと第2領域Bには、それぞれ対応する第1コンテンツ及び第2コンテンツが描画されている。図4に領域Cも含まれ、領域Cのコンテンツが上記第3コンテンツであるが、このとき、Cは、仮想的なものであり、表示されず、表示に合わせるためのものだけである。このとき、移動操作の移動方向は、第1エッジがある側から第3エッジがある側への方向であり、即ち移動方向は、第1コンテナ(container)を右に移動する方向であり、第1コンテナ(container)の第1エッジが第1アプリケーションインターフェースviewの第2エッジと重ならない場合、キャンバスのみが移動し、レンダリングが行われない。移動中、移動のオフセット量に基づいて第1アプリケーションインターフェースviewにおいて対応するコンテンツを表示する。
第1エッジの方向から第3エッジの方向へ移動するように第1キャンバスを制御する場合、第1エッジと第2エッジが重なった後、キャンバスのコンテンツを再レンダリングするようにトリガし、キャンバスは、移動方向の逆方向に移動し、第3エッジと第4エッジが重なる位置に移動する。当然、同じ方向に移動し続ける場合、上記のプロセスを繰り返し、即ち、第1エッジが第2エッジに触れていない場合、キャンバスのコンテンツは、再レンダリングされず、両者が触れた後、キャンバスのコンテンツは、再レンダリングされ、第3エッジと第4エッジが重なる位置まで逆方向に移動する。
例えば、図5に示すように、図4に基づいて第1キャンバスを移動し続ける場合、containerの第1エッジとviewの第2エッジが触れると、キャンバスの再描画動作がトリガされる。具体的には、第1キャンバスは、第3エッジと第4エッジが重なるまで逆方向に移動し、ここで、領域Bは、更新後の第1領域であり、領域Cは、更新後の第2領域であり、即ち、第1領域には、領域Bの第2コンテンツが表示され、第2領域には、領域Cの第3コンテンツが表示され、即ち、このとき、この前のキャンバスABのコンテンツをキャンバスBCのコンテンツとして再レンダリングし、キャンバスのサイズが小さく、再描画速度が速いため、ユーザにとって今回の再描画が何も感じられず、このときのviewは、領域Bと領域Cのコンテンツになり、containerが右に移動し続けると、第1エッジと第2エッジが再度触れるまで、viewには、依然としてBCのコンテンツが表示される。さらに、プロセス全体に領域A及び領域Bのみが含まれていると理解でき、再レンダリングされた後、領域Aのコンテンツは、領域Bのコンテンツとして再描画され、領域Bのコンテンツは、領域Cのコンテンツとして再描画される。
上記技術では、第1キャンバスが右に移動することを例として、第1キャンバスと第1アプリケーションインターフェースの左側エッジが重なるときにどのように再レンダリングするかを説明するが、第1キャンバスが左に移動すると第1キャンバスと第1アプリケーションインターフェースの右側エッジが重なる場合、又は、第1キャンバスが上へ移動すると第1キャンバスと第1アプリケーションインターフェースの下側エッジが重なる場合、又は、第1キャンバスが下へ移動すると第1キャンバスと第1アプリケーションインターフェースの上側エッジが重なる場合、方法は、同様であるため、ここでは説明を省略する。
1つの選択可能な実施例として、第1端末が第1端末の第1アプリケーションインターフェースに第2端末の第2アプリケーションインターフェースと同じコンテンツを表示する前に、上記方法は、少なくとも1つの第1端末と第2端末が同じ仮想ルームに加入するステップをさらに含む。
上記仮想ルームは、連携ホワイトボードアプリケーションにおけるグループを表すために使用され、同じ仮想ルームに加入する複数の端末は、同じグループにある。この連携機能を使用する必要がある場合、1つの仮想ルームを作成し、次にこの仮想ルームの仮想ルーム識別子を生成することができ、他の端末は、この仮想ルーム識別子によってこの仮想ルームに加入することができる。仮想ルーム識別子は、仮想ルーム番号又は仮想ルーム二次元コードなどであってもよく、他の端末は、仮想ルーム番号を入力し、又は仮想ルーム二次元をスキャンすることで仮想ルームに加入することができる。仮想ルームに加入した後、仮想ルーム内の端末は、端末IDが設定されてもよく、例えば、追従端末又は追従対象端末として設定されてもよい。
会議連携実演シナリオを例とすると、端末は、連携ホワイトボードアプリケーションを起動し、1つの会議ルーム(即ち上記仮想ルーム)を生成し、連携ホワイトボードアプリケーションは、その会議ルームに対応する二次元コードを生成する。この端末は、生成された二次元コードを、会議に参加する必要がある他のオブジェクトに共有させ、他のオブジェクトは、それぞれの端末を使用し、この二次元コードをスキャンすることで上記会議ルームに加入し、これにより、多くの端末は、1つの共同の会議ルームに加入する。
複数の端末が同じ仮想ルームに加入し、第1端末及び第2端末のIDが設定された後、第2端末による第1端末への同期表示を行うことができる。
1つの選択可能な実施例として、制御パラメータが、第2端末が第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成されるステップは、第2端末が第2アプリケーションインターフェースで実行される制御操作を受け付けるステップであって、第2キャンバスは、制御操作に応じて変化するステップと、第2端末が、制御操作に応じて生成された第2キャンバスにおける変化の変化パラメータを制御パラメータとして決定するステップと、第2端末が制御パラメータを第1端末に送信するステップと、を含む。
会議連携実演シナリオを例とすると、講演者は、第2端末の第2アプリケーションインターフェースで制御操作を行い、第2連携ホワイトボードアプリケーションは、この制御操作を実行して、第2アプリケーションインターフェースを変化させ、例えば、制御操作が移動操作である場合、第2連携ホワイトボードアプリケーションは、制御操作に応じて第2キャンバスを移動するように制御し、制御操作がスケーリング操作である場合、第2連携ホワイトボードアプリケーションは、制御操作に応じて第2キャンバスをスケーリングするように制御し、制御操作が書き操作である場合、第2連携ホワイトボードアプリケーションは、第2キャンバスで対応する筆跡を生成する。
このプロセスで、第2連携ホワイトボードアプリケーションは、制御操作に応じて、この制御操作に応じて変化するように第2アプリケーションインターフェースを制御するだけでなく、前記変化の変化パラメータを制御パラメータとして第1端末に送信し、これにより、第1端末は、変化パラメータに基づいて第2アプリケーションインターフェースの変化を追従することができる。
例えば、制御操作が移動操作である場合、制御パラメータは、制御操作を実行するときに第2キャンバスによって生成された位置オフセット量であってもよく、制御操作がスケーリング操作である場合、制御パラメータは、第2連携ホワイトボードアプリケーションが制御操作に応じて、スケーリング操作を行うように第2キャンバスを制御するときに生成されたスケーリング比率と位置オフセット量であってもよく、制御操作が書き操作である場合、制御パラメータは、第2連携ホワイトボードアプリケーションが第2キャンバスで対応する筆跡を生成するときの筆跡データであってもよい。
1つの選択可能な実施例として、第1アプリケーションインターフェースの第1解像度パラメータと第2アプリケーションインターフェースの第2解像度パラメータが異なる場合、第1端末が制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するステップは、第1端末が第1解像度パラメータ及び第2解像度パラメータに基づいて制御パラメータを更新するステップと、第1端末が更新後の制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するステップと、を含む。
具体的には、上記第1アプリケーションインターフェースの第1解像度パラメータは、第1アプリケーションインターフェースの縦方向及び横方向における画素点の数を示すために使用され、第2アプリケーションインターフェースの第2解像度は、第2アプリケーションインターフェースの縦方向及び横方向における画素点を示すために使用され、両者の単位は、すべてpxである。
第1アプリケーションインターフェースと第2アプリケーションインターフェースの解像度が同じである場合、第1連携ホワイトボードアプリケーションは、制御パラメータに基づいて第1アプリケーションインターフェースを直接制御することができ、これにより、第1アプリケーションインターフェースは、第2アプリケーションインターフェースに追従する。
しかしながら、第1アプリケーションインターフェースと第2アプリケーションインターフェースの解像度が異なる場合、第1連携ホワイトボードが取得した制御パラメータを直接使用して第1アプリケーションインターフェースを制御すると、2つのアプリケーションインターフェースの解像度が異なるため、制御効果は、第2アプリケーションインターフェースの表示効果と異なり、したがって、第1端末は、第1アプリケーションインターフェースの第1解像度と第2アプリケーションインターフェースの解像度に基づいて制御パラメータを更新し、更新後のパラメータに基づいて第1アプリケーションインターフェースを更新する。
上記の制御パラメータの更新は、制御パラメータを第1表示インターフェースの第1解像度パラメータとマッチングする制御パラメータに調整することであってもよく、第1端末は、追従端末として、第1解像度パラメータと第2解像度パラメータに基づいて、第2端末によって提供される制御パラメータを更新し、これにより、第1端末は、更新後の制御パラメータに基づいて第1アプリケーションインターフェースの表示コンテンツを調整することができ、さらに第1アプリケーションインターフェースは、第2アプリケーションインターフェースの表示コンテンツと一致することができる。
上記技術では、第1端末がその第1アプリケーションインターフェースの第1解像度とマッチングする制御パラメータに基づいて第1キャンバスを調整することにより、追従端末である第1端末の第1アプリケーションインターフェースと追従対象端末である第2端末の第2アプリケーションインターフェースの視角を同期させるという技術的効果が達成される。
1つの選択可能な実施例として、第1端末が第1解像度パラメータと第2解像度パラメータに基づいて制御パラメータを更新するステップは、第1端末が第2端末によって送信された第2解像度パラメータを読み取るステップと、第1端末が第1解像度パラメータと第2解像度パラメータとの比率を取得するステップと、第1端末が比率と制御パラメータとを乗算し、更新後の制御パラメータを得るステップと、を含む。
具体的には、第1解像度パラメータと第2解像度パラメータとの比率は、両者の高さの比率と幅の比率を含み、両者の高さの比率と両者の幅の比率が同じである場合、いずれかの比率を選択して制御パラメータと乗算し、更新後の制御パラメータを得て、両者が異なる場合、小さい方の比率を選択して制御パラメータと乗算し、更新後の比率を得ることができる。
1つの選択可能な実施例では、制御操作は、書き操作であり、制御パラメータは、書き操作によって生成された書き点であり、第2解像度パラメータのうちの幅をA_Width、第1解像度パラメータのうちの幅をB_Width、第2アプリケーションインターフェースのある書き点の座標情報を(X,Y)とすると、第1アプリケーションインターフェースにおける補正された画像点の座標情報(X、Y)は次のとおりである:
=X*(B_Width/A_Width)、Y=Y*(B_Width/A_Width)。
ここで、Xは、第1アプリケーションインターフェースにおける更新後のアイコンの横座標、Yは、第1アプリケーションインターフェースにおける更新後のアイコンの縦座標であり、B_Width/A_Widthは、第1アプリケーションインターフェースと第2アプリケーションインターフェースの幅の比率であり、上記計算により、第1端末は、解像度に基づいて補正して更新された座標データを取得することができる。
本実施例では、第1端末は、第1アプリケーションインターフェースに第2端末の第2アプリケーションインターフェースと同じコンテンツを表示し、第2端末は、第2アプリケーションインターフェースでのユーザの制御操作に応じて制御パラメータを生成し、制御パラメータを第1端末に送信し、第1端末は、第1解像度パラメータ及び第2解像度パラメータに基づいて制御パラメータを更新した後、更新後の制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを調整する。追従端末である第1端末は、第1端末によって送信された元の制御パラメータを、それぞれの解像度パラメータに基づいて更新することにより、第1アプリケーションインターフェースとマッチングする制御パラメータを取得し、これにより、第1端末と第2端末のアプリケーションインターフェースの表示コンテンツが常に一致するように維持するという目的を達成し、さらに追従端末と追従対象端末の等比視角追従を実現し、追従対象端末と追従端末の画素が異なるため、視角追従効果が良くないという問題を解決する。
1つの選択可能な実施例として、制御パラメータは、開始座標パラメータと移動増分とを含み、開始座標には、第1アプリケーションインターフェースの左上隅の座標、第1キャンバスの絶対原点の座標、水平方向の第1偏差及び垂直方向の第2偏差が含まれ、移動増分には、第2キャンバスが第2アプリケーションインターフェースで移動するときの水平方向の第1増分及び垂直方向の第2増分が含まれ、第1キャンバスが制御パラメータに基づいて移動するステップは、
第1端末が第1増分によって第1偏差を更新するステップと、第1端末が第2増分によって第2偏差を更新するステップと、第1偏差及び第1アプリケーションインターフェースの幅に基づいて第1キャンバスの水平オフセット量を決定するステップと、第2偏差及び第1アプリケーションインターフェースの高さに基づいて第1キャンバスの垂直オフセット量を決定するステップと、水平オフセット量で水平方向に移動し、垂直オフセット量で垂直方向に移動するように第1キャンバスを制御するステップと、を含む。
具体的には、上記第1キャンバスの絶対原点は、第1キャンバスの左上隅の点であってもよいし、第1コンテナの左上隅の点であってもよい。開始座標は、移動する前の第1キャンバスの左上隅との原点との偏差であり、水平方向の第1偏差及び垂直方向の第2偏差を含み、移動増分は、第2キャンバスを移動するときに第2アプリケーションインターフェースによって生成された水平方向と垂直方向の2つの方向の増分を表す。
上記技術では、第2キャンバスを移動するときに第2アプリケーションインターフェースによって生成された水平方向と垂直方向の2つの方向の増分に基づいて、第1キャンバスの開始座標(第1偏差及び第2偏差を含む)を更新し、更新後の座標に基づいて第1キャンバスの実際のオフセット量(水平オフセット量と垂直オフセット量を含む)を決定し、実際のオフセット量に基づいて第1キャンバスを、移動するように制御することにより、第1アプリケーションインターフェースによる第2アプリケーションインターフェースにおけるキャンバスの移動操作への追従を実現することができる。
上記技術では、ブラウザのCanvasタグを利用し、hammerオープンソースジェスチャライブラリを使用し、Canvasによってスローされたイベントを傍受し、キャンバスの移動を識別することができる。
1つの選択可能な実施例では、SinglePanStartは、マウス(又はタッチ)がトリガされて移動し始めることを示し、SinglePanMoveは、マウス(又はタッチ)がトリガされて移動していることを示し、SinglePanEndは、マウスの移動(又はタッチ)が終了したことを示す。イベントは、SinglePanStartをトリガし、次にSinglePanMoveをトリガし、最後にSinglePanEndで終了することでなければならない。
第2アプリケーションインターフェースでスペースキーを押しながらマウスを移動させる場合、第2キャンバスは、移動するようにトリガされる。スペースキーを押してSinglePanStartをトリガする場合、moveOriginPointXを使用し、移動を開始する水平座標を一時的に保存し、moveOriginPointYを使用し、移動を開始する垂直座標を一時的に保存し、スペースキーを押してマウスを移動するようにトリガする場合、移動後の位置curOriginPointX‐moveOriginPointXを使用して水平オフセット量dx(即ち上記第1増分)を計算し、移動後の位置curOriginPointY‐moveOriginPoinXを使用して垂直オフセット量dy(即ち上記第2増分)を計算する。dx及びdyが得られた後、保存位置情報の変数drawOriginを使用して保存する。
drawOriginX2=drawOriginX1+dx、drawOriginY2=drawOriginY1+dy、
drawOrigin(drawOriginX1,drawOriginY1)は、第1アプリケーションインターフェースの左上隅から原点までの距離(及び上記開始座標)を表し、新しいdrawOrigin(drawOriginX2,drawOriginY2)が得られた後、キャンバスのオフセット量を再計算する。
1つの選択可能な実施例として、第1偏差及び第1アプリケーションインターフェースの幅に基づいて第1キャンバスの水平オフセット量を決定するステップは、更新後の第1偏差が0より大きい場合、更新後の第1偏差を第1アプリケーションインターフェースの幅で除算した第1余りを水平オフセット量として決定するステップと、更新後の第1偏差が0より小さい場合、更新後の第1偏差を第1アプリケーションインターフェースの幅で除算した第2余りを取得し、第1アプリケーションインターフェースの幅と第2余りとの和を水平オフセット量として決定するステップと、を含み、第2偏差及び第1アプリケーションインターフェースの高さに基づいて第1キャンバスの垂直オフセット量を決定するステップは、更新後の第2偏差が0より大きい場合、更新後の第2偏差を第1アプリケーションインターフェースの高さで除算した第3余りを垂直オフセット量として決定するステップと、更新後の第2偏差が0より小さい場合、更新後の第2偏差を第1アプリケーションインターフェースの高さで除算した第4余りを取得し、第1アプリケーションインターフェースの高さと第4余りとの和を垂直オフセット量として決定するステップと、を含む。
更新後の第1偏差及び第2偏差が得られた後、第1キャンバスのオフセット量を計算する。1つの選択可能な実施例では、第1アプリケーションインターフェースの幅は、baseWidthで表され、第1アプリケーションインターフェースの高さは、baseHeightで表され、第1キャンバスの水平オフセットは、leftで表され、第1キャンバスの垂直オフセットは、topで表される。
drawOriginX>0の場合、left=‐(drawOriginPointX%baseWidth)
drawOriginX<0の場合、left=‐(baseWidth+drawOriginPointX%baseWidth)
drawOriginY>0の場合、top=‐(drawOriginPointY%baseHeight)
drawOriginX<0の場合、top=‐(baseHeight+drawOriginPointY%baseHeight)
最後に、leftとtopは、canvasタグの実際の視角でのオフセット値であり、上記プロセスにより、第1連携ホワイトボードアプリケーションでの制御パラメータによる第2連携ホワイトボードアプリケーションの移動動作の追従が実現される。
1つの選択可能な実施例では、第1キャンバスの任意の隅の横座標が第1アプリケーションインターフェースの任意の隅の横座標と同じであるか、又は第1キャンバスの任意の隅の縦座標が第1アプリケーションインターフェースの任意の隅の縦座標と同じである場合、第1キャンバスと第1アプリケーションインターフェースの同じ方向の辺が重なることを決定する。
上記ステップでは、第1キャンバスの任意の隅の横座標が第1アプリケーションインターフェースの任意の隅の横座標と同じであるか、又は第1キャンバスの任意の隅の縦座標が第1アプリケーションインターフェースの任意の隅の縦座標と同じである場合、第1キャンバスの一辺と第1アプリケーションインターフェースの一辺が重なることを示す。
図6に示すように、第1キャンバス30の左上隅が原点(0,0)であり、第1アプリケーションインターフェース31の左上隅の座標は、(drawOriginPointX,drawOriginPointY)であり、第1キャンバス30の左側エッジと第1アプリケーションインターフェース31の左側エッジが重なる場合、drawOriginPointXは、0であり、即ち、両者の横座標は、同じであり、第1キャンバス30の右側エッジと第1アプリケーションインターフェース31の右側エッジが重なる場合、両者の横座標も同じであるが、第1キャンバス30の右側エッジと第1アプリケーションインターフェース31の上側エッジ又は下側エッジが重なる場合、両者の縦座標は同じである。
1つの選択可能な実施例として、第1キャンバスの幅は、第1アプリケーションインターフェースの幅の予め設定された倍数であり、第1キャンバスの高さは、第1アプリケーションインターフェースの高さの予め設定された倍数であり、予め設定された倍数は、1より大きくかつ3より小さい。
アプリケーションインターフェースは、画面上の連携ホワイトボードアプリケーションを表示するための領域であり、第1キャンバスが低い場合、例えば、アプリケーションインターフェースのサイズの5倍のキャンバスが使用され、アプリケーションインターフェースは、キャンバスの真ん中にあり、キャンバスを移動してオフセット量を計算し、このオフセット量に従ってアプリケーションインターフェースにキャンバスの異なる位置のコンテンツを表示することにより、キャンバス拡張機能を実現する。しかしながら、キャンバスのサイズの拡張を実現するために、キャンバスのサイズを大きくする必要があり、レンダリング又は描画するたびに、無限キャンバスのすべてのコンテンツを先にクリアして再レンダリングする必要があり、その結果、キャンバスが大きくなるにつれて、クリア及び再描画領域が増加し、キャンバスがグラフィックスデータを再描画するときに、遅延が大きくなり、フリーズ現像が著しい。アプリケーションインターフェースのサイズと同じキャンバス(シングルキャンバス)を使用する場合、キャンバスを移動するたびに、各点の位置を再計算し、キャンバスのコンテンツを再描画してキャンバス拡張機能を達成する必要がある。キャンバスを移動するたびに、キャンバスのクリア及び再描画動作を実行するため、キャンバス内のデータ量が多い場合、再描画時間が長くなり、さらにはフリーズが発生し、移動するたびに再描画がトリガされ、効率が低く、スケーラビリティが低い。
上記技術では、1から3の倍数のサイズのキャンバスを選択するため、キャンバスを移動するたびに再レンダリングする必要がなく、また、再描画するときのキャンバスの面積が大きすぎて遅延が大きすぎることもないため、1倍から3倍のキャンバスは、使用体験がより良い。
1つの選択可能な実施例として、第1キャンバスの幅は、第1アプリケーションインターフェースの幅の2倍であり、第1キャンバスの高さは、第1アプリケーションインターフェースの高さの2倍である。
上記技術では、第1キャンバスは、2倍のキャンバスであり、即ち第1キャンバスの幅は、第1アプリケーションインターフェースの幅の2倍であり、第1キャンバスの高さも第1アプリケーションインターフェースの高さの2倍である。
1つの選択可能な実施例では、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重ならない場合、キャンバスのコンテンツの再レンダリングを禁止する。
図3aに示すように、第1エッジの方向から第3エッジの方向へ移動するように第1キャンバスを制御する場合、第1キャンバスの第1エッジが第1アプリケーションインターフェースviewの第2エッジと重ならないと、キャンバスのみが移動し、レンダリングが行われない。移動中、移動オフセット量に基づいて第1アプリケーションインターフェースに対応するコンテンツを表示する。
1つの選択可能な実施例として、制御操作が1つの目標点に基づくスケーリング操作である場合、制御パラメータには、スケーリング比率パラメータとオフセットパラメータが含まれ、オフセットパラメータは、目標点の座標と第2キャンバスの左上隅の座標との偏差であり、第1端末が制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するステップは、原点に基づいて更新後のスケーリング比率パラメータに従ってスケーリングするように第1キャンバスを制御し、原点に基づいてスケーリングされた第1キャンバスを得るステップと、スケーリング比率パラメータとオフセットパラメータに基づいて調整後のオフセットパラメータを決定するステップと、調整後のオフセットパラメータに従って移動するように原点に基づいてスケーリングされた第1キャンバスを制御し、目標点に基づいてスケーリングされた第1キャンバスを得るステップと、目標点に基づいてスケーリングされた第1キャンバスの要素を再レンダリングして、第1アプリケーションインターフェースのコンテンツを更新するステップと、を含む。
具体的には、上記目標点は、第2表示インターフェースの任意の画像点であり、例えば、実演者であるユーザが第2アプリケーションインターフェースのある点をマウスでクリックし、この点に基づいて拡大操作を行う場合、この点は、今回のスケーリング操作の目標点である。上記オフセットパラメータは、目標点の座標と第2キャンバスの左上隅の座標との偏差であり、水平方向と垂直方向の2つの値を含み、通常、第2キャンバスのサイズに関連し、例えば、第2キャンバスの幅と高さは、それぞれxとyであり、オフセットパラメータは、(-x,-y)である。
スケーリング比率パラメータは、スケーリング操作前とスケーリング操作後の画面のスケーリング比率を示し、スケーリング比率パラメータの初期値が1である場合、スケーリング操作後の表示インターフェースの画像の拡大の倍数が操作していないときのインターフェース画像と同じであることを示す。オフセットパラメータには、X方向のオフセット値(即ち目標電気エネルギーの横座標と原点との偏差)とY方向のオフセット値(即ち目標点の縦座標と原点との偏差)が含まれる。
目標点が原点である場合、オフセットパラメータは、0であり、図7aに示すように、第2キャンバス40には、第2アプリケーションインターフェース41があり、点線領域は、拡大操作前の画像の面積であり、スケーリング操作がトリガされた後、図7bに示すように、インターフェースの原点から右下隅に拡大し、インターフェースの左上隅の原点の位置が変化しなく、他の画素点がスケーリング比率パラメータに基づいて拡大されるため、画像の面積領域は、拡大に伴ってインターフェースの原点から遠くなり、図7bに示すように、拡大操作後、第2アプリケーションインターフェースは、拡大された第2キャンバス40で満たされ、画像の拡大が実現される。
目標点が原点でない場合、図8aに示すように、実演者は、第2アプリケーションインターフェース50で目標点Aに基づいて拡大操作を行い、目標点Aは、第2アプリケーションインターフェースの1つの画素点であり、第2アプリケーションインターフェースのスケーリング比率パラメータは、スケーリング比率パラメータcurScaleであり、目標点Aのオフセットパラメータは、X方向のオフセット値canvasTranslateOffsetXとY方向のオフセット値canvasTranslateOffsetYを含む。ここで、curScaleは、毎回0.1ずつ増加し、即ち、0.1、0.2…、1、1.1、1.2、1.3…で増加し、最小値と増分値の両方は、0.1である。
第1解像度パラメータと第2解像度パラメータが異なる場合、第2解像度パラメータの幅A_Widthと第1解像度パラメータの幅B_Widthに基づいて、第1端末のための更新後のスケーリングパラメータcurScale1、更新後のX方向のオフセット値canvasTranslateOffsetX1とY方向のオフセット値canvasTranslateOffsetY1を取得する。
curScale1=curScale*(B_Width/A_Width)、
canvasTranslateOffsetX1=canvasTranslateOffsetX*(B_Width/A_Width)、
canvasTranslateOffsetY1=canvasTranslateOffsetY*(B_Width/A_Width)、
まず、原点に基づいて更新後のスケーリング比率パラメータに従ってスケーリングするように第1キャンバスを制御し、原点に基づいてスケーリングされた第1キャンバスを得て、即ち第1アプリケーションインターフェースの左上隅の原点の位置が変化しなく、更新後のスケーリング比率パラメータcurScale1に基づいてインターフェースの原点を除く他の画像点を拡大し、図8bに示すように、第1キャンバス52の第1アプリケーションインターフェース53で、点線内の画像が拡大された画像として得られる。この時、原点に基づいて拡大した結果が得られるが、このとき、目標点が原点ではないため、原点に基づいて拡大した結果をオフセットする必要がある。
原点に基づく拡大結果をオフセットする場合、まず、スケーリング比率に基づいて目標点のオフセットパラメータを調整し、原点に基づく拡大結果に対応するオフセットパラメータを得て、原点に基づいてスケーリングされた第1キャンバスを、調整後のオフセットパラメータに基づいて移動することにより、スケーリングされた第1キャンバスの位置を得ることができ、スケーリングされた第1キャンバスの位置に基づいて再レンダリングすることにより、第1連携ホワイトボードアプリケーションによる第2連携ホワイトボードアプリケーションのスケーリング操作の追従を実現することができる。
1つの選択可能な実施例として、スケーリング比率パラメータとオフセットパラメータに基づいて、調整後のオフセットパラメータを決定するステップは、第2アプリケーションインターフェースにおける目標点の相対座標を取得するステップと、オフセットパラメータに基づいて目標点をシングルコンテナに投影し、シングルコンテナにおける目標点の絶対座標を取得するステップと、相対座標と第2アプリケーションインターフェースのオフセット座標との和から絶対座標を減算することにより、第1中間値を得るステップであって、第2アプリケーションインターフェースのオフセット座標が第2アプリケーションインターフェースの左上隅の座標と第2キャンバスの原点の座標との差を示すために使用されるステップと、スケーリング比率パラメータと1との差に絶対座標を乗算することにより、第2中間値を得るステップと、第2中間値から第1中間値を減算することにより、調整後のオフセットパラメータを得るステップと、を含む。
具体的には、第2アプリケーションインターフェースにおける上記目標点の相対座標は、スケーリング操作に応じて直接取得された座標であり、例えば、ユーザが第2アプリケーションインターフェースである点をクリックしてスケーリングする場合、この点の第2アプリケーションインターフェースにおける座標は、上記相対座標である。上記シングルコンテナは、スケーリングされていない場合の元のサイズのコンテナである1倍のコンテナを表すために使用される。現在のスケーリング操作を行う場合、この前にスケーリング操作が行われた可能性があるため、オフセットパラメータをシングルコンテナにマッピングして計算する必要がある。
1つの選択可能な実施例では、第2アプリケーションインターフェースでスケーリング操作を行うときの位置が相対位置(clickX,clickY)であり、第2アプリケーションインターフェースの左上隅と第2キャンバスの原点との座標差が(drawOriginPointX,drawOriginPointY)であり、上記オフセットパラメータがcanvasTranslateOffsetXである場合、オフセットパラメータに基づいて目標点をシングルコンテナに投影することは次のとおりである。
posX=(X1+drawOriginPointX+canvasTranslateOffset)/curScale、
posY=X1+drawOriginPointX+canvasTranslateOffset/curScale、
ここで、(posX,posY)は、絶対座標であり、curScaleは、今回のスケーリング操作の前の第1キャンバスのスケーリング比率である。
また、今回のスケーリングのスケーリング比率curScaleと上記絶対座標によってcanvasTranslateOffsetを更新し、canvasTranslateOffset2を得る。
canvasTranslateOffsetX:2=(curScale‐1)*posX‐(clickX+drawOriginPointX‐posX)、
canvasTranslateOffsetY2=(curScale‐1)*posY‐(clickY+drawOriginPointY‐posY、
ここで、clickX+drawOriginPointX-posXが上記第1中間値を構成し、(curScale‐1)*posYが上記第2中間値を構成する。
1つの選択可能な実施例として、制御操作が要素追加操作である場合、制御パラメータには、書き筆跡の座標パラメータが含まれ、第1端末が制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するステップは、第1端末が書き筆跡の座標パラメータに基づいて書き筆跡を生成し、書き筆跡の座標パラメータが書き筆跡を構成するための書き点の座標パラメータを含み、第2端末が新しい書き点を生成するたびに、現在の書き筆跡の生成されたすべての書き点の座標パラメータを第1端末に送信するステップを含む。
具体的には、上記要素追加操作は、実演者が第2表示インターフェースで書く操作であってもよい。1つの選択可能な実施例では、実演者が第2表示インターフェースに絵筆で書くデータは、複数の点(即ち書き点)で構成されるものとして定義され、図9に示すように、実演者が書いた複数の点で構成される線である。実演者が書く場合、書き線を構成する点は、増加し続け、各書き点の座標パラメータは、第1端末にリアルタイムで送信され、第1端末は、各書き点の座標パラメータを受信した後に描画でき、同じ書き筆跡が得られ、要素追加操作への追従が実現される。
なお、第1アプリケーションインターフェースの第1解像度パラメータと第2アプリケーションインターフェースの第2解像度パラメータが異なる場合、第1端末は、第1解像度パラメータのうちの幅A_Widthと第2解像度パラメータのうちの幅B_Widthに基づいて、受信した制御パラメータ(インターフェースの原点座標、ストレッチレート、オフセットパラメータを含む)を更新し、計算により、絵筆線のスケーリング、平行移動などの操作を実現することができ、絵筆の書きの等比視角追従効果が実現される。
1つの選択可能な実施例では、webのcanvas技術を利用して絵筆書き機能を実現するために、データ構造を次のように定義する:Id:要素の一意の識別子を表すために使用され、x:要素のアートボードにおける絶対水平座標、y:要素のアートボードにおける絶対垂直座標であり、width:要素の幅、height:要素の高さ、type:要素のタイプ、例えば絵筆、isDeleted:定義が削除されるか否か、Points:アートボードでの点を定義し、1本の線は、多くの点で構成される。講演者であるユーザが第2表示インターフェースで書き操作を行い、第2表示インターフェースの絵筆データが更新される場合、Points内のデータは、増加し続け、第1端末にリアルタイムで転送され、これにより、データのリアルタイム更新が実現され、データの一貫性を確保するために、毎回のデータ転送にpointsをフル交換する。
本実施例は、web技術に基づいてマルチ端末連携の等比視角追従(講演者モード)機能が実装され、追従端末と追従対象端末の間のデータ転送には、4つの変数のみを使用して異なる解像度を更新し、転送されるデータの量が少なく、技術は、軽量化を図っている。ユーザが感じない場合、限られたインタラクティブホワイトボードでマルチ端末連携の無制限の視角追従(講演者モード)機能が実装され、メンテナンス性が極めて高く、また、書きの視角追従を実現することができ、アートボードレイアウトと書き機能の結合性をより良く分離し、拡張性が極めて高い。
1つの選択可能な実施例では、第1端末が書き筆跡の座標パラメータに基づいて書き筆跡を生成するステップは、書き筆跡が第1アプリケーションインターフェースの任意の辺に接触する場合、接触している辺の逆方向に移動するように前記第1キャンバスをトリガするステップであって、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末が第1キャンバスのコンテンツを再描画するステップを含む。
上記技術では、ユーザが第2アプリケーションインターフェースで書く場合、書き筆跡が第2アプリケーションインターフェースの境界に接触すると、接触している辺の逆方向に移動するように第2アプリケーションインターフェースをトリガし、ユーザにより広い書き範囲を提供する。この場合、第1端末は、第2端末の書き動作を追従するために、書き筆跡を生成すると第1アプリケーションインターフェースの辺に接触し、かつ第1キャンバスも接触している辺の逆方向に移動する。即ち、ユーザが第2キャンバスを直接移動しないが、書き操作により、第2アプリケーションインターフェースの移動がトリガされ、第1アプリケーションインターフェースもこの動作を追従して第1キャンバスを移動する必要がある。
第1キャンバスの移動プロセスでは、第1キャンバスのエッジが第1アプリケーションインターフェースのエッジと重なるか否かを判断する必要があるため、第1キャンバスのコンテンツを再レンダリングする必要があるか否かを判断する。第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末は、第1キャンバスのコンテンツを再描画し、再描画ステップは、上記実施例における再レンダリングステップと同じであり、ここで説明を省略する。
実施例2
本出願の実施例によれば、マルチ端末連携表示更新装置の実施例が提供され、表示更新方法は、第1端末による第2端末への操作の同期表示を実現するために使用され、第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェース、第1連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第1キャンバス、及び第1キャンバスを搬送するための第1コンテナを提供し、第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェース、第2連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第2キャンバス、及び第2キャンバスを搬送するための第2コンテナを提供し、第1キャンバスの第1長さが第1アプリケーションインターフェースの長さより大きく、第1キャンバスの幅が第1アプリケーションインターフェースの幅より大きい。図10は本発明の実施例によるマルチ端末連携表示更新装置の概略図である。図10に示すように、このマルチ端末連携表示更新装置は、第1端末が第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示するために使用され、第1連携ホワイトボードアプリケーションと第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ第2端末が第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示する表示モジュール100と、第2端末によって送信された制御パラメータを受信するために使用され、制御パラメータは、第2端末が第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成される受信モジュール102と、第1端末が制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するための更新モジュール104と、を含み、方法は、制御操作が移動操作であることを確認するために使用され、第1キャンバスが制御パラメータに基づいて移動し、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末が第1キャンバスのコンテンツを再レンダリングする移動モジュールをさらに含む。
1つの選択可能な実施例として、第1キャンバスには、平行な第1エッジ及び第3エッジが含まれ、第1アプリケーションインターフェースには、平行な第2エッジ及び第4エッジが含まれ、第1エッジと第2エッジは、同じ側にあり、第3エッジと第4エッジは、同じ側にあり、第1キャンバスは、少なくとも第3エッジに近い第1領域及び第1エッジに近い第2領域を含み、第1領域は、第2領域に隣接し、第1領域には、第1コンテンツが描画され、第2領域には、第2コンテンツが描画され、移動操作の移動方向は、第1エッジがある側から第3エッジがある側への移動方向であり、更新モジュールは、第1エッジが第2エッジと重なる場合、第1キャンバスを移動操作の逆方向に沿って第3エッジが第4エッジと重なる位置に移動させ、第1領域を第2コンテンツとしてレンダリングし、第2領域を第3コンテンツとしてレンダリングするようにトリガするためのレンダリングサブモジュールを含む。
1つの選択可能な実施例として、上記装置は、第1端末が第1端末の第1アプリケーションインターフェースに第2端末の第2アプリケーションインターフェースと同じコンテンツを表示する前に、少なくとも1つの第1端末と第2端末が同じ仮想ルームに加入するための加入モジュールをさらに含む。
1つの選択可能な実施例として、第2端末が第2アプリケーションインターフェースで実行される制御操作を受け付け、第2キャンバスは、制御操作に応じて変化し、第2端末は、制御操作に応じて生成された第2キャンバスにおける変化の変化パラメータを制御パラメータとして決定し、第2端末は、制御パラメータを第1端末に送信する。
1つの選択可能な実施例として、第1アプリケーションインターフェースの第1解像度パラメータと第2アプリケーションインターフェースの第2解像度パラメータが異なる場合、更新モジュールは、第1端末が第1解像度パラメータと第2解像度パラメータに基づいて制御パラメータを更新するための第1更新サブモジュールと、第1端末が更新後の制御パラメータに基づいて第1アプリケーションインターフェースのコンテンツを更新するための第2更新サブモジュールと、を含む。
1つの選択可能な実施例として、第1更新サブモジュールは、第1端末が第2端末によって送信された第2解像度パラメータを読み取るための読み取りユニットと、第1端末が第1解像度パラメータと第2解像度パラメータとの比率を取得するための取得ユニットと、第1端末が比率と制御パラメータとを乗算し、更新後の制御パラメータを得るための乗算モジュールと、を含む。
1つの選択可能な実施例として、制御パラメータは、開始座標パラメータと移動増分とを含み、開始座標には、第1アプリケーションインターフェースの左上隅の座標、第1キャンバスの絶対原点の座標、水平方向の第1偏差及び垂直方向の第2偏差が含まれ、移動増分には、第2キャンバスが第2アプリケーションインターフェースで移動するときの水平方向の第1増分及び垂直方向の第2増分が含まれ、移動モジュールは、第1端末が第1増分によって第1偏差を更新するための第3更新サブモジュールと、第1端末が第2増分によって第2偏差を更新するための第4更新サブモジュールと、第1偏差及び第1アプリケーションインターフェースの幅に基づいて第1キャンバスの水平オフセット量を決定するための第1決定サブモジュールと、第2偏差及び第1アプリケーションインターフェースの高さに基づいて第1キャンバスの垂直オフセット量を決定するための第2決定サブモジュールと、水平オフセット量で水平方向に移動し、垂直オフセット量で垂直方向に移動するように第1キャンバスを制御するための第1制御サブモジュールと、を含む。
1つの選択可能な実施例として、第1決定サブモジュールは、更新後の第1偏差が0より大きい場合、更新後の第1偏差を第1アプリケーションインターフェースの幅で除算した第1余りを水平オフセット量として決定するための第1決定ユニットと、更新後の第1偏差が0より小さい場合、更新後の第1偏差を第1アプリケーションインターフェースの幅で除算した第2余りを取得し、第1アプリケーションインターフェースの幅と第2余りとの和を水平オフセット量として決定するための第1取得ユニットと、を含み、第2決定サブモジュールは、更新後の第2偏差が0より大きい場合、更新後の第2偏差を第1アプリケーションインターフェースの高さで除算した第3余りを垂直オフセット量として決定するための第2決定ユニットと、更新後の第2偏差が0より小さい場合、更新後の第2偏差を第1アプリケーションインターフェースの高さで除算した第4余りを取得し、第1アプリケーションインターフェースの高さと第4余りとの和を垂直オフセット量として決定するための第2取得ユニットと、を含む。
1つの選択可能な実施例では、第1キャンバスの任意の隅の横座標が第1アプリケーションインターフェースの任意の隅の横座標と同じであるか、又は第1キャンバスの任意の隅の縦座標が第1アプリケーションインターフェースの任意の隅の縦座標と同じである場合、第1キャンバスと第1アプリケーションインターフェースの同じ方向の辺が重なることを決定する。
1つの選択可能な実施例として、第1キャンバスの幅は、第1アプリケーションインターフェースの幅の予め設定された倍数であり、第1キャンバスの高さは、第1アプリケーションインターフェースの高さの予め設定された倍数であり、予め設定された倍数は、1より大きくかつ3より小さい。
1つの選択可能な実施例として、第1キャンバスの幅は、第1アプリケーションインターフェースの幅の2倍であり、第1キャンバスの高さは、第1アプリケーションインターフェースの高さの2倍である。
1つの選択可能な実施例では、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重ならない場合、キャンバスのコンテンツの再レンダリングを禁止する。
1つの選択可能な実施例として、制御操作が1つの目標点に基づくスケーリング操作である場合、制御パラメータには、スケーリング比率パラメータとオフセットパラメータが含まれ、オフセットパラメータは、目標点の座標と第2キャンバスの左上隅の座標との偏差であり、更新モジュールは、原点に基づいて更新後のスケーリング比率パラメータに従ってスケーリングするように第1キャンバスを制御し、原点に基づいてスケーリングされた第1キャンバスを得る第2制御サブモジュールと、スケーリング比率パラメータとオフセットパラメータに基づいて調整後のオフセットパラメータを決定するための第3決定サブモジュールと、調整後のオフセットパラメータに従って移動するように目標点に基づいてスケーリングされた第1キャンバスを制御し、目標点に基づいてスケーリングされた第1キャンバスを得るための移動サブモジュールと、目標点に基づいてスケーリングされた第1キャンバスの要素を再レンダリングして、第1アプリケーションインターフェースのコンテンツを更新するためのレンダリングサブモジュールとを含む。
1つの選択可能な実施例として、第3決定サブモジュールは、第2アプリケーションインターフェースにおける目標点の相対座標を取得するための第3取得ユニットと、オフセットパラメータに基づいて目標点をシングルコンテナに投影し、シングルコンテナにおける目標点の絶対座標を取得するための投影ユニットと、相対座標と第2アプリケーションインターフェースのオフセット座標との和から絶対座標を減算することにより、第1中間値を得るために使用され、第2アプリケーションインターフェースのオフセット座標が第2アプリケーションインターフェースの左上隅の座標と第2キャンバスの原点の座標との差を示すために使用される第1演算ユニットと、スケーリング比率パラメータと1との差に絶対座標を乗算することにより、第2中間値を得るための第2演算ユニットと、第2中間値から第1中間値を減算することにより、調整後のオフセットパラメータを得るための第3演算ユニットと、を含む。
1つの選択可能な実施例として、制御操作が要素追加操作である場合、制御パラメータには、書き筆跡の座標パラメータが含まれ、更新モジュールは、第1端末が書き筆跡の座標パラメータに基づいて書き筆跡を生成し、書き筆跡の座標パラメータが書き筆跡を構成するための書き点の座標パラメータを含み、第2端末が新しい書き点を生成するたびに、現在の書き筆跡の生成されたすべての書き点の座標パラメータを第1端末に送信するための生成サブモジュールを含む。
1つの選択可能な実施例として、生成サブモジュールは、書き筆跡が第1アプリケーションインターフェースの任意の辺に接触する場合、接触している辺の逆方向に移動するように第1キャンバスをトリガするために使用され、第1キャンバスと第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、第1端末は、前記第1キャンバスのコンテンツを再描画するトリガユニットを含む。
実施例3
本出願の実施例によれば、コンピュータ記憶媒体の実施例が提供され、コンピュータ記憶媒体は、複数の命令を記憶し、命令がプロセッサによってロードされて実施例1の任意の1項に記載の方法のステップを実行することに適する。本実施例では、第1端末は、第1表示インターフェースに第2端末の第2表示インターフェースと同じコンテンツを表示し、第2端末は、第2表示インターフェースでのユーザの制御操作に応じて制御パラメータを第1端末に送信し、第1端末は、第1解像度パラメータ及び第2解像度パラメータに基づいて制御パラメータを更新した後、更新後の制御パラメータに基づいて第1表示インターフェースのコンテンツを調整する。追従端末である第1端末は、第1端末によって送信された元の制御パラメータを、それぞれの解像度パラメータに基づいて更新することにより、第1端末とマッチングする制御パラメータを取得し、これにより、第1端末と第2端末の表示インターフェースの表示画像が常に一致するように維持するという目的を達成し、さらに追従端末と追従対象端末の等比視角追従を実現し、追従対象端末と追従端末の画素が異なるため、視角追従効果が良くないという問題を解決する。
実施例4
本出願の実施例によれば、プロセッサとメモリとを含み、メモリには、プロセッサによってロードされて実施例1の任意の1項に記載の方法のステップを実行することに適するコンピュータプログラムが記憶されるインテリジェントインタラクティブタブレットが提供される。
図11は本出願の実施例によるインテリジェントインタラクティブタブレットの概略図である。このインテリジェントインタラクティブタブレットは、上記のインタラクティブデバイス本体とタッチフレームとを含み、図11に示すように、インテリジェントインタラクティブタブレット1000は、少なくとも1つのプロセッサ1001、少なくとも1つのネットワークインターフェース1004、ユーザインターフェース1003、メモリ1005、少なくとも1つの通信バス1002を含むことができる。
ここで、通信バス1002は、これらのコンポーネント間の接続通信を実現するために使用される。
ここで、ユーザインターフェース1003は、ディスプレイ(Display)、カメラ(Camera)を含むことができ、選択可能に、ユーザインターフェース1003は、標準の有線インターフェース、無線インターフェースをさらに含むことができる。
ここで、ネットワークインターフェース1004は、選択可能に、標準インターフェース、無線インターフェース(WI-FIインターフェースなど)を含むことができる。
ここで、プロセッサ1001は、1つ又は複数の処理コアを含むことができる。プロセッサ1001は、様々なインターフェース又は回線を介してインテリジェントインタラクティブタブレット1000全体内の各部分に接続し、メモリ1005に記憶された命令、プログラム、コードセット又は命令セットを動作させ又は実行し、メモリ1005に記憶されたデータを呼び出すことにより、インテリジェントインタラクティブタブレット1000の様々な機能を実行し、データ処理を行う。選択可能に、プロセッサ1001は、デジタル信号処理(DSP:Digital Signal Processing)、フィールドプログラマブルゲートアレイ(FPGA:Field-Programmable Gate Array)、プログラマブルロジックアレイ(PLA:Programmable Logic Array)のうちの少なくとも1つのハードウェア形態を採用して実現されてもよい。プロセッサ1001は、中央処理装置(CPU:Central Processing Unit)、画像プロセッサ(GPU:Graphics Processing Unit)及びモデムなどの1つ又は幾つかの組み合わせを統合することができる。ここで、CPUは、主にオペレーティングシステム、ユーザインターフェース及びアプリケーションプログラムなどを処理し、GPUは、ディスプレイに表示する必要があるコンテンツのレンダリング及び描画のために使用され、モデムは、無線通信を処理するために使用される。上記モデムがプロセッサ1001に統合されず、独立して1つのチップで実現されてもよいことは、理解できる。
ここで、メモリ1005は、ランダムアクセスメモリ(RAM:Random Access Memory)を含むことができ、読み取り専用メモリ(Read-Only Memory)も含むことができる。選択可能に、このメモリ1005は、非一時的コンピュータ可読記憶媒体(non-transitory computer-readable storage medium)を含む。メモリ1005は、命令、プログラム、コード、コードセット又は命令セットを記憶するために使用されてもよい。メモリ1005は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステムを実現するための命令、少なくとも1つの機能(タッチ機能、音声再生機能、画像再生機能など)命令、上記の各方法の実施例を実現するための命令などを記憶することができ、データ記憶領域は、上記の各方法の実施例に係るデータなどを記憶することができる。メモリ1005は、選択可能に、前記プロセッサ1001から離れる少なくとも1つの記憶装置であってもよい。図8に示すように、コンピュータ記憶媒体としてのメモリ1005は、オペレーティングシステム、ネットワーク通信モジュール、ユーザインターフェースモジュール及びインテリジェントインタラクティブタブレットのオペレーティングアプリケーションプログラムを含むことができる。
図8に示すインテリジェントインタラクティブタブレット1000では、ユーザインターフェース1003は、主にユーザに入力インターフェースを提供し、ユーザによって入力されたデータを取得するために使用されるが、プロセッサ1001は、メモリ1005に記憶されたインテリジェントインタラクティブタブレットのオペレーティングアプリケーションプログラムを呼び出し、具体的に実施例1の任意の操作を実行するために使用されてもよい。
上記の本発明の実施例番号は説明のためのものだけであり、実施例の優劣を表すものではない。
本発明の上記実施例では、各実施例の説明について異なる強調を持っているため、ある実施例に詳述されていない部分に対して、他の実施例の関連説明を参照することができる。
本出願で提供される幾つかの実施例では、開示される技術内容は、他の方式で実現されてもよいことが理解できる。ここで、上記の装置の実施例は例示的なものだけであり、例えば前記ユニットの区分は、論理機能的区分であってもよく、実際に実施する時に他の区分方式もあり得て、例えば複数のユニット又はコンポーネントは、組み合わせてもよく、又は別のシステムに統合されてもよく、又は幾つかの特徴は、無視されてもよく、又は実行されなくてもよい。また、示される又は議論される相互結合又は直接結合又は通信接続は、幾つかのインターフェース、ユニット又はモジュールを介した間接的結合又は通信接続であってもよく、電気的又は他の形態であってもよい。
分離部材として説明された前記ユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち1つの箇所に位置してもよく、又は複数のユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の技術の目的を達成することができる。
また、本発明の各実施例における各機能ユニットは、1つの処理ユニットに統合されてもよく、個々のユニットは、単独で物理的に存在してもよく、2つ又は2つ以上のユニットは、1つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。
前記統合されたユニットは、ソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は使用されると、1つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本発明の技術は、本質的に又は従来技術に寄与する部分又はこの技術の全て又は部分がソフトウェア製品の形で実現されてもよく、このコンピュータソフトウェア製品は、コンピュータデバイス(パーソナルコンピュータ、サーバー又はネットワークデバイス等であってもよい)に本発明の様々な実施例に記載される方法のステップの全て又は一部を実行させるための幾つかの命令を含む記憶媒体に記憶される。前記憶媒体は、USBフラッシュドライブ、読み出し専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、モバイルハードディスク、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
以上に説明したものは本発明の好ましい実施形態だけであり、当業者であれば、本発明の原理を逸脱しない前提で、幾つかの改良及び変更を行うことができ,これらの改良及び変更も本発明の保護範囲と見なされるべきである。

Claims (19)

  1. マルチ端末連携表示更新方法であって、
    前記表示更新方法は、第1端末による第2端末への操作の同期表示を実現するために使用され、前記第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェース、前記第1連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第1キャンバス、及び前記第1キャンバスを搬送するための第1コンテナを提供し、前記第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェース、前記第2連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第2キャンバス、及び前記第2キャンバスを搬送するための第2コンテナを提供し、前記第1キャンバスの第1長さが前記第1アプリケーションインターフェースの長さより大きく、前記第1キャンバスの幅が前記第1アプリケーションインターフェースの幅より大きく、前記表示更新方法は、
    第1端末が前記第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示し、前記第1連携ホワイトボードアプリケーションと前記第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ前記第2端末が前記第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示するステップと、
    前記第2端末によって送信された制御パラメータを受信するステップであって、前記制御パラメータは、前記第2端末が前記第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成されるステップと、
    前記第1端末が前記制御パラメータに基づいて前記第1アプリケーションインターフェースのコンテンツを更新するステップであって、前記制御操作が移動操作であることが確認され、前記第1キャンバスが前記制御パラメータに基づいて移動し、前記第1キャンバスと前記第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、前記第1端末が前記第1キャンバスのコンテンツを再レンダリングするステップと、を含むことを特徴とする方法。
  2. 前記第1キャンバスには、平行な第1エッジ及び第3エッジが含まれ、前記第1アプリケーションインターフェースには、平行な第2エッジ及び第4エッジが含まれ、前記第1エッジと前記第2エッジは、同じ側にあり、前記第3エッジと前記第4エッジは、同じ側にあり、前記第1キャンバスは、少なくとも前記第3エッジに近い第1領域及び前記第1エッジに近い第2領域を含み、前記第1領域は、前記第2領域に隣接し、前記第1領域には、第1コンテンツが描画され、前記第2領域には、第2コンテンツが描画され、前記移動操作の移動方向は、前記第1エッジがある側から前記第3エッジがある側への移動方向であり、前記第1キャンバスと前記第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、前記第1端末が前記第1キャンバスのコンテンツを再レンダリングするステップは、
    前記第1エッジが前記第2エッジと重なる場合、前記第1キャンバスを前記移動操作の逆方向に沿って前記第3エッジと前記第4エッジが重なる位置に移動させ、前記第1領域を前記第2コンテンツとしてレンダリングし、前記第2領域を第3コンテンツとしてレンダリングするようにトリガするステップを含むことを特徴とする請求項1に記載の方法。
  3. 第1端末が前記第1端末の第1アプリケーションインターフェースに第2端末の第2アプリケーションインターフェースと同じコンテンツを表示する前に、前記方法は、
    少なくとも1つの前記第1端末と前記第2端末が同じ仮想ルームに加入するステップをさらに含むことを特徴とする請求項1に記載の方法。
  4. 前記制御パラメータが、前記第2端末が前記第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成されるステップは、
    前記第2端末が前記第2アプリケーションインターフェースで実行された前記制御操作を受け付けるステップであって、前記第2キャンバスは、前記制御操作に応じて変化するステップと、
    前記第2端末が、前記制御操作に応じて生成された前記第2キャンバスにおける変化の変化パラメータを制御パラメータとして決定するステップと、
    前記第2端末が前記制御パラメータを前記第1端末に送信するステップと、を含むことを特徴とする請求項1に記載の方法。
  5. 前記第1アプリケーションインターフェースの第1解像度パラメータと前記第2アプリケーションインターフェースの第2解像度パラメータが異なる場合、前記第1端末が前記制御パラメータに基づいて前記第1アプリケーションインターフェースのコンテンツを更新するステップは、
    前記第1端末が前記第1解像度パラメータと前記第2解像度パラメータに基づいて前記制御パラメータを更新するステップと、
    前記第1端末が更新後の制御パラメータに基づいて前記第1アプリケーションインターフェースのコンテンツを更新するステップと、を含むことを特徴とする請求項1に記載の方法。
  6. 前記第1端末が前記第1解像度パラメータと前記第2解像度パラメータに基づいて前記制御パラメータを更新するステップは、
    前記第1端末が前記第2端末によって送信された前記第2解像度パラメータを読み取るステップと、
    前記第1端末が前記第1解像度パラメータと前記第2解像度パラメータとの比率を取得するステップと、
    前記第1端末が前記比率と前記制御パラメータとを乗算し、更新後の制御パラメータを得るステップと、を含むことを特徴とする請求項5に記載の方法。
  7. 前記制御パラメータには、開始座標と移動増分とが含まれ、前記開始座標は、前記第1アプリケーションインターフェースの左上隅の座標と前記第1キャンバスの絶対原点の座標、水平方向の第1偏差と垂直方向の第2偏差を含み、前記移動増分は、前記第2キャンバスが第2アプリケーションインターフェースで移動するときの水平方向の第1増分及び垂直方向の第2増分を含み、前記第1キャンバスが前記制御パラメータに基づいて移動するステップは、
    前記第1端末が前記第1増分によって前記第1偏差を更新するステップと、
    前記第1端末が前記第2増分によって前記第2偏差を更新するステップと、
    前記第1偏差及び前記第1アプリケーションインターフェースの幅に基づいて前記第1キャンバスの水平オフセット量を決定するステップと、
    前記第2偏差及び前記第1アプリケーションインターフェースの高さに基づいて前記第1キャンバスの垂直オフセット量を決定するステップと、
    前記水平オフセット量で水平方向に移動し、前記垂直オフセット量で垂直方向に移動するように前記第1キャンバスを制御するステップと、を含むことを特徴とする請求項1に記載の方法。
  8. 前記第1偏差及び前記第1アプリケーションインターフェースの幅に基づいて前記第1キャンバスの水平オフセット量を決定するステップは、
    更新後の前記第1偏差が0より大きい場合、前記更新後の第1偏差を前記第1アプリケーションインターフェースの幅で除算した第1余りを水平オフセット量として決定するステップと、
    更新後の前記第1偏差が0より小さい場合、前記更新後の第1偏差を前記第1アプリケーションインターフェースの幅で除算した第2余りを取得し、前記第1アプリケーションインターフェースの幅と前記第2余りとの和を水平オフセット量として決定するステップと、を含み、
    前記第2偏差及び前記第1アプリケーションインターフェースの高さに基づいて前記第1キャンバスの垂直オフセット量を決定するステップは、
    更新後の前記第2偏差が0より大きい場合、前記更新後の第2偏差を前記第1アプリケーションインターフェースの高さで除算した第3余りを垂直オフセット量として決定するステップと、
    更新後の前記第2偏差が0より小さい場合、前記更新後の第2偏差を前記第1アプリケーションインターフェースの高さで除算した第4余りを取得し、前記第1アプリケーションインターフェースの高さと前記第4余りとの和を垂直オフセット量として決定するステップと、を含むことを特徴とする請求項7に記載の方法。
  9. 前記第1キャンバスの任意の隅の横座標が前記第1アプリケーションインターフェースの任意の隅の横座標と同じであるか、又は前記第1キャンバスの任意の隅の縦座標が前記第1アプリケーションインターフェースの任意の隅の縦座標と同じである場合、前記第1キャンバスと前記第1アプリケーションインターフェースの同じ方向の辺が重なることを決定することを特徴とする請求項8に記載の方法。
  10. 前記第1キャンバスの幅は、前記第1アプリケーションインターフェースの幅の予め設定された倍数であり、前記第1キャンバスの高さは、前記第1アプリケーションインターフェースの高さの予め設定された倍数であり、前記予め設定された倍数は、1より大きくかつ3より小さいことを特徴とする請求項1に記載の方法。
  11. 前記第1キャンバスの幅は、前記第1アプリケーションインターフェースの幅の2倍であり、前記第1キャンバスの高さは、前記第1アプリケーションインターフェースの高さの2倍であることを特徴とする請求項10に記載の方法。
  12. 前記第1キャンバスと前記第1アプリケーションインターフェースの同じ方向にある辺が重ならない場合、前記第1キャンバスのコンテンツの再レンダリングを禁止することを特徴とする請求項1に記載の方法。
  13. 前記制御操作が1つの目標点に基づくスケーリング操作である場合、前記制御パラメータには、スケーリング比率パラメータとオフセットパラメータが含まれ、前記オフセットパラメータは、前記目標点の座標と前記第2キャンバスの左上隅の座標との偏差であり、前記第1端末が前記制御パラメータに基づいて前記第1アプリケーションインターフェースのコンテンツを更新するステップは、
    前記第1キャンバスの原点に基づいて更新後の前記スケーリング比率パラメータに従ってスケーリングするように前記第1キャンバスを制御し、前記原点に基づいてスケーリングされた第1キャンバスを得るステップと、
    前記スケーリング比率パラメータとオフセットパラメータに基づいて調整後のオフセットパラメータを決定するステップと、
    前記調整後のオフセットパラメータに従って移動するように前記原点に基づいてスケーリングされた第1キャンバスを制御し、前記目標点に基づいてスケーリングされた第1キャンバスを得るステップと、
    前記目標点に基づいてスケーリングされた第1キャンバスの要素を再レンダリングして、前記第1アプリケーションインターフェースのコンテンツを更新するステップと、を含むことを特徴とする請求項1に記載の方法。
  14. 前記スケーリング比率パラメータとオフセットパラメータに基づいて調整後のオフセットパラメータを決定するステップは、
    前記第2アプリケーションインターフェースにおける前記目標点の相対座標を取得するステップと、
    前記オフセットパラメータに基づいて前記目標点をシングルコンテナに投影し、前記シングルコンテナにおける前記目標点の絶対座標を得るステップであって、前記シングルコンテナは、スケーリングされていない場合の元のサイズのコンテナである、ステップと、
    前記相対座標と前記第2アプリケーションインターフェースのオフセット座標との和から前記絶対座標を減算することにより、第1中間値を得るステップであって、前記第2アプリケーションインターフェースのオフセット座標は、前記第2アプリケーションインターフェースの左上隅と前記第2キャンバスの原点の座標との差を示すために使用されるステップと、
    前記スケーリング比率パラメータと1との差を絶対座標で乗算し、第2中間値を得るステップと、
    前記第2中間値から前記第1中間値を減算し、調整後のオフセットパラメータを得るステップと、を含むことを特徴とする請求項13に記載の方法。
  15. 前記制御操作が要素追加操作である場合、前記制御パラメータは、書き筆跡の座標パラメータを含み、前記第1端末が前記制御パラメータに基づいて前記第1アプリケーションインターフェースのコンテンツを更新するステップは、
    前記第1端末が前記書き筆跡の座標パラメータに基づいて書き筆跡を生成し、前記書き筆跡の座標パラメータが書き筆跡を構成するための書き点の座標パラメータを含み、前記第2端末が新しい書き点を生成するたびに、現在の書き筆跡の生成されたすべての書き点の座標パラメータを前記第1端末に送信するステップを含むことを特徴とする請求項1に記載の方法。
  16. 前記第1端末が前記書き筆跡の座標パラメータに基づいて書き筆跡を生成するステップは、
    前記書き筆跡が前記第1アプリケーションインターフェースの任意の辺に接触する場合、接触している辺の逆方向に移動するように前記第1キャンバスをトリガするステップであって、前記第1キャンバスと前記第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、前記第1端末は、前記第1キャンバスのコンテンツを再描画するステップを含むことを特徴とする請求項15に記載の方法。
  17. マルチ端末連携表示更新装置であって、
    前記表示更新装置は、第1端末による第2端末への操作の同期表示を実現するために使用され、前記第1端末は、第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェース、前記第1連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第1キャンバス、及び前記第1キャンバスを搬送するための第1コンテナを提供し、前記第2端末は、第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェース、前記第2連携ホワイトボードアプリケーションの描画コンテンツを搬送するための第2キャンバス、及び前記第2キャンバスを搬送するための第2コンテナを提供し、前記第1キャンバスの第1長さが前記第1アプリケーションインターフェースの長さより大きく、前記第1キャンバスの幅が前記第1アプリケーションインターフェースの幅より大きく、前記マルチ端末連携表示更新装置は、
    第1端末が前記第1連携ホワイトボードアプリケーションの第1アプリケーションインターフェースを表示するために使用され、前記第1連携ホワイトボードアプリケーションと前記第2端末の第2連携ホワイトボードアプリケーションが連携モードにあり、かつ前記第2端末が前記第2連携ホワイトボードアプリケーションの第2アプリケーションインターフェースを表示する表示モジュールと、
    前記第2端末によって送信された制御パラメータを受信するために使用され、前記制御パラメータは、前記第2端末が前記第2アプリケーションインターフェースに対する制御操作を受け付けたときに生成される受信モジュールと、
    前記第1端末が前記制御パラメータに基づいて前記第1アプリケーションインターフェースのコンテンツを更新するために使用され、前記制御操作が移動操作であることが確認され、前記第1キャンバスが前記制御パラメータに基づいて移動し、前記第1キャンバスと前記第1アプリケーションインターフェースの同じ方向にある辺が重なる場合、前記第1端末が前記第1キャンバスのコンテンツを再レンダリングする更新モジュールと、を含むことを特徴とする装置。
  18. コンピュータ記憶媒体であって、
    複数の命令を記憶しており、前記命令がプロセッサによってロードされて請求項1から請求項16の任意の1項に記載の方法のステップを実行することに適することを特徴とするコンピュータ記憶媒体。
  19. インテリジェントインタラクティブタブレットであって、
    プロセッサとメモリとを含み、前記メモリには、前記プロセッサによってロードされて請求項1から請求項16の任意の1項に記載の方法のステップを実行することに適するコンピュータプログラムが記憶されることを特徴とするインテリジェントインタラクティブタブレット。
JP2023561125A 2021-04-12 2021-04-12 マルチ端末連携表示更新方法及び装置 Active JP7635500B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/086634 WO2022217433A1 (zh) 2021-04-12 2021-04-12 多端协同的显示更新方法及装置

Publications (2)

Publication Number Publication Date
JP2024512164A JP2024512164A (ja) 2024-03-18
JP7635500B2 true JP7635500B2 (ja) 2025-02-26

Family

ID=83639361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023561125A Active JP7635500B2 (ja) 2021-04-12 2021-04-12 マルチ端末連携表示更新方法及び装置

Country Status (6)

Country Link
US (1) US12260149B2 (ja)
EP (1) EP4325344B1 (ja)
JP (1) JP7635500B2 (ja)
KR (1) KR102915272B1 (ja)
CN (1) CN115552364A (ja)
WO (1) WO2022217433A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301532A (zh) * 2023-01-06 2023-06-23 深圳市易检车服科技有限公司 信息的显示方法、装置、电子设备及存储介质
CN116382613A (zh) * 2023-06-05 2023-07-04 江西格如灵科技股份有限公司 虚拟现实环境下的白板同步方法、装置、设备及介质
CN119475290A (zh) * 2024-10-28 2025-02-18 广州朗国电子科技股份有限公司 一种电子白板的多角色管理方法、装置、设备及存储介质
CN121349395B (zh) * 2025-12-19 2026-03-13 数字青岛建设有限公司 一种跨设备协同处理方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108911A (ja) 2004-10-01 2006-04-20 Canon Inc 画像処理装置及び画像処理方法
WO2016024330A1 (ja) 2014-08-12 2016-02-18 株式会社 東芝 情報を表示するための電子機器および方法
WO2017138233A1 (ja) 2016-02-12 2017-08-17 株式会社リコー 画像処理装置、画像処理システム及び画像処理方法
US20200301644A1 (en) 2019-03-19 2020-09-24 Cisco Technology, Inc. Active area of interest tracking in a multiuser digital whiteboard session

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126758A (ja) * 1996-10-15 1998-05-15 Ricoh Co Ltd 電子会議システム
US9142192B2 (en) 2011-09-26 2015-09-22 Intel Corporation Simulation of web applications and secondary devices in a web browser, web application development tools, and methods using the same
US10282067B2 (en) * 2013-06-04 2019-05-07 Sony Corporation Method and apparatus of controlling an interface based on touch operations
JP2015076068A (ja) * 2013-10-11 2015-04-20 アプリックスIpホールディングス株式会社 表示装置とその表示制御方法及びプログラム
CN103747027B (zh) 2013-11-12 2018-01-09 广州三人行壹佰教育科技有限公司 白板信息同步显示方法和系统
KR101718046B1 (ko) * 2015-09-30 2017-03-20 엘지전자 주식회사 동적 해상도 제어를 수행하는 이동 단말기 및 그 제어방법
US9864732B2 (en) * 2016-05-02 2018-01-09 Google Inc. User interfaces that facilitate management of formatting of digital content
CN108762628B (zh) * 2018-04-23 2020-10-02 广州视源电子科技股份有限公司 页面元素移动显示方法、装置、终端设备及存储介质
CN110716680B (zh) * 2019-10-09 2021-05-07 广州视源电子科技股份有限公司 智能交互平板的控制方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108911A (ja) 2004-10-01 2006-04-20 Canon Inc 画像処理装置及び画像処理方法
WO2016024330A1 (ja) 2014-08-12 2016-02-18 株式会社 東芝 情報を表示するための電子機器および方法
WO2017138233A1 (ja) 2016-02-12 2017-08-17 株式会社リコー 画像処理装置、画像処理システム及び画像処理方法
US20200301644A1 (en) 2019-03-19 2020-09-24 Cisco Technology, Inc. Active area of interest tracking in a multiuser digital whiteboard session

Also Published As

Publication number Publication date
KR20230145478A (ko) 2023-10-17
WO2022217433A1 (zh) 2022-10-20
EP4325344A1 (en) 2024-02-21
CN115552364A (zh) 2022-12-30
US20240303026A1 (en) 2024-09-12
EP4325344A4 (en) 2024-07-17
JP2024512164A (ja) 2024-03-18
KR102915272B1 (ko) 2026-01-22
EP4325344B1 (en) 2026-04-29
US12260149B2 (en) 2025-03-25

Similar Documents

Publication Publication Date Title
JP7635500B2 (ja) マルチ端末連携表示更新方法及び装置
Reipschläger et al. Designar: Immersive 3d-modeling combining augmented reality with interactive displays
US9582142B2 (en) System and method for collaborative computing
CN109375980B (zh) 基于Andriod系统的触控绘图方法
Li et al. Cognitive issues in mobile augmented reality: an embodied perspective
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
WO2017101441A1 (zh) 远程批注移动、缩放的同步方法与系统
US10855481B2 (en) Live ink presence for real-time collaboration
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
Cotting et al. Interactive environment-aware display bubbles
CN105354031A (zh) 基于Leap Motion的3D商品展示方法
CN104598035B (zh) 基于3d立体图像显示的光标显示方法、智能设备及系统
Nakashima et al. A 2D-3D integrated environment for cooperative work
CN114138141B (zh) 显示方法、装置和电子设备
Baldauf et al. Snap target: Investigating an assistance technique for mobile magic lens interaction with large displays
CN111046207A (zh) 互动图像显示方法、装置、设备和存储介质
CN115514736B (zh) 屏幕共享方法、装置及智能交互平板
CN114168060A (zh) 电子白板渲染方法、装置、设备和存储介质
CN116136733A (zh) 多屏显示方法、显示控制装置、设备以及多屏显示系统
US20240345712A1 (en) Method and system for summoning adaptive toolbar items and digital assets associated therewith on a large format screen within a digital collaboration environment
CN116681793A (zh) 元素绘制方法、装置、存储介质及电子设备
CN120599117A (zh) 一种渲染方法、装置、设备及存储介质
CN114764294A (zh) 电子白板的页面元素操作方法、装置及设备
TW202423096A (zh) 雲端系統及雲端系統的控制方法
Markusiewicz ’From AR to Architecture: Searching for New Ways of Grasping the Digital’

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250123

R150 Certificate of patent or registration of utility model

Ref document number: 7635500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150