JP2024512171A - 表示デバイスと端末デバイスとのインタラクション方法、記憶媒体、及び電子デバイス - Google Patents

表示デバイスと端末デバイスとのインタラクション方法、記憶媒体、及び電子デバイス Download PDF

Info

Publication number
JP2024512171A
JP2024512171A JP2022566226A JP2022566226A JP2024512171A JP 2024512171 A JP2024512171 A JP 2024512171A JP 2022566226 A JP2022566226 A JP 2022566226A JP 2022566226 A JP2022566226 A JP 2022566226A JP 2024512171 A JP2024512171 A JP 2024512171A
Authority
JP
Japan
Prior art keywords
display device
display
terminal device
terminal
cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022566226A
Other languages
English (en)
Inventor
星星 ▲趙▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of JP2024512171A publication Critical patent/JP2024512171A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0382Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、データインタラクションの技術分野に関し、具体的に、表示デバイスと端末デバイスとのインタラクション方法、コンピュータ読み取り可能な記憶媒体及び電子デバイスに関し、表示デバイスと端末デバイスとのインタラクション方法は、ユーザーがマルチデバイスアクセス機能に対するオン操作に応答し、表示デバイスのアクセスアドレスを生成することと、複数の端末デバイスがアクセスアドレスに基づいて生成して送信したアクセス要求を受信し、端末デバイスと表示デバイスとの通信接続を確立することと、各端末デバイスに一対一対応する複数のカーソルを生成し、表示デバイスの表示画面にカーソルを表示することと、端末デバイスにより送信されたカーソル制御指令を受信し、制御指令に基づいてカーソルの表示画面上の表示位置を制御することとを含む。本開示の実施例の技術案により、ユーザーが端末デバイスでカーソルの表示デバイスの表示画面上の表示位置を制御し、端末デバイスでカーソルの位置を制御してインタラクションを行い、指示が明らかであり、複数のカーソルを制御し、インタラクションが便利であり、ユーザー体験を向上させる。

Description

本開示は、データインタラクションの技術分野に関し、具体的に、表示デバイスと端末デバイスとのインタラクション方法、コンピュータ読み取り可能な記憶媒体及び電子デバイスに関する。
表示技術の発展に伴い、多くのシーンで大きい表示デバイスが使用され、例えば、LEDスプライシングや大型プロジェクターなどであり、この時、インタラクションが必要である場合、通常、レーザーポインターなどのポインターを使用してインタラクションを行う。
しかし、レーザーポインターなどのポインターは、LED、LCD、OLEDにおいてより良い表示効果を達成することはできなく、また、表示デバイスにレーザースポットが部分的に表示されても、その位置を同期させることができないため、他の視聴位置にいる参加者はスポット表示の正確な位置を示すことができず、テレビ会議などの場外参加者と共有することはできないため、体験に大きな影響を与える。
なお、上記の背景技術で開示した情報は、本開示の文脈の理解を深めることのみを目的としており、したがって、当業者にとって既知の先行技術に該当しない情報を含んでいる可能性がある。
本開示の第1の態様は、表示デバイスと端末デバイスとのインタラクション方法を提供し、前記表示デバイスがマルチデバイスアクセス機能を有し、前記方法は、
複数の前記端末デバイスがアクセスアドレスに基づいて生成して送信したアクセス要求を受信し、前記端末デバイスと前記表示デバイスとの通信接続を確立することと、
各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示することと、
前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御することとを含む。
本開示の第2の態様は、表示デバイスと端末デバイスとのインタラクション方法を提供し、
複数の前記表示デバイスが同期に表示することを含み、
各前記表示デバイスが上記の表示デバイスと端末デバイスとのインタラクション方法を実行することができる。
本開示の第3の態様は、表示デバイスと端末デバイスとのインタラクション方法を提供し、
前記端末デバイスと前記表示デバイスとの通信接続を確立するように、表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信することと、
前記表示デバイスが前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御するように、ユーザーが表示デバイスの表示画面に表示される端末デバイスに一対一対応するカーソルに対する制御操作に応答し、制御指令を生成して前記表示デバイスに送信することとを含む。
本開示の第4の態様は、表示デバイスと端末デバイスとのインタラクション方法を提供し、前記表示デバイスがマルチデバイスアクセス機能を有し、前記方法は、
表示デバイスがユーザーが前記マルチデバイスアクセス機能に対するオン操作に応答し、前記表示デバイスのアクセスアドレスを生成することと、
前記端末デバイスと前記表示デバイスとの通信接続を確立するように、端末デバイスが表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信することと、
前記表示デバイスが各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示することと、
前記端末デバイスがユーザーが表示デバイスの表示画面に表示される端末デバイスに一対一対応するカーソルに対する制御操作に応答し、操作指令を生成して前記表示デバイスに送信することと、
前記表示デバイスが前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御することとを含む。
本開示の第5の態様は、コンピュータプログラムが格納されたコンピュータ可読媒体を提供し、コンピュータプログラムは、プロセッサによって実行されると、上記した方法を実現する。
本開示の第6の態様は、プロセッサとメモリとを含む電子デバイスを提供し、
メモリは、1つ又は複数のプログラムを記憶し。
前記1つ又は複数のプロセッサによって前記1つ又は複数のプログラムが実行されると、前記1つ又は複数のプロセッサに前記方法を実行させる。
なお、上記の一般的な説明及び後の詳細な説明は、例示的及び説明的なものに過ぎず、本開示を限定するものではない。
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示と一致する実施形態を示し、説明と共に本開示の原理を説明するのに役立つ。明らかに、以下の説明における図面は、本開示のいくつかの実施形態にすぎず、当業者にとって、創造的な努力なしにこれらの図面から他の図面を取得することもできる。
本開示の実施例が応用されるシステムアーキテクチャの模式図である。 本開示の実施例が応用される電子デバイスの模式図である。 本開示の例示的な実施例における表示デバイスサーバーが実行する表示デバイスと端末デバイスとのインタラクション方法のフローチャートである。 本開示の例示的な実施例における表示デバイスの表示コンテンツの模式図である。 本開示の例示的な実施例における複数の表示デバイスと複数の端末デバイスとのインタラクションの模式図である。 本開示の例示的な実施例における表示デバイスと端末デバイスとのインタラクションのデータの流れの模式図である。 本開示の例示的な実施例における端末デバイスが実行する表示デバイスと端末デバイスとのインタラクション方法のフローチャートである。 本開示の例示的な実施例における表示デバイスサーバーと端末デバイスが同時に実行する表示デバイスと端末デバイスとのインタラクション方法のフローチャートである。
次に、例示した実施形態について、添付の図面を参照しながらより詳細に説明する。しかしながら、例示的な実施形態は様々な形態で実施することができ、本明細書に記載された例に限定されると解釈されるべきではなく、むしろ、これらの実施形態の提供により本開示がより包括的かつ完全になり、当業者に対して例示的実施形態の考えを包括的に伝達することができる。 記載された特徴、構造又は特性は、1つ又は複数の実施形態において、任意の適切な方法で組み合わせることができる。
また、添付の図面は、本開示を模式的に示したものに過ぎず、必ずしも縮尺通りに描かれているわけではない。図面中の同一の付記は、同一又は類似の部品を示すので、それらの重複した説明は省略する。図面に示されたブロック図の一部は、機能的な実体であり、必ずしも物理的又は論理的に分離した実体に対応する必要はない。これらの機能エンティティは、ソフトウェアの形態で実装されてもよいし、1つ以上のハードウェアモジュール又は集積回路で実装されてもよいし、異なるネットワークデバイス及び/又はプロセッサデバイス及び/又はマイクロコントローラデバイスで実装されてもよい。
図1に示すように、システムアーキテクチャ100は、端末デバイス101、102、103のうちの1つ以上、ネットワーク104、及びサーバー105を含み得る。ネットワーク104は、端末デバイス101、102、103とサーバー105との間の通信リンクのための媒体を提供するために使用される。ネットワーク104は、特に、有線、無線通信リンク、又は光ファイバーケーブルなどの様々な接続タイプを含んでもよい。端末デバイス101、102、103は、デスクトップコンピュータ、ポータブルコンピュータ、スマートフォン、タブレット端末など、データインタラクション機能を有する様々な電子デバイスであってよいが、これらに限定されない。なお、図1における端末デバイス、ネットワーク、サーバーの数は、単なる模式図に過ぎない。端末デバイス、ネットワーク、サーバーは、実装の必要性に応じていくつでも存在し得る。例えば、サーバー105は、複数のサーバーからなるサーバークラスタ等であってもよい。
本開示の実施例における表示デバイスと端末デバイスとのインタラクション方法は、表示デバイスに設けられたプロセッサ105が実行し、例え、例示的な実施例では、ユーザーが端末デバイス101、102、103を介して、前記端末デバイスと前記表示デバイスとの通信接続を確立するように、表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信し、ユーザーが表示デバイスの表示画面に表示される端末デバイスに一対一対応するカーソルに対する制御操作に応答し、制御指令を生成して前記表示デバイスのプロセッサ105に送信し、サーバーが本開示の実施例における表示デバイスと端末デバイスとのインタラクション方法で端末デバイス101、102、103等のインタラクションを行う。
本開示の例示的な実施形態は、表示デバイスと端末デバイスとのインタラクション方法の実現する表示デバイスを提供する。該電子機器は、少なくともプロセッサとメモリと表示画面とを含み、前記メモリは、前記プロセッサの実行可能命令を格納するためのものであり、前記プロセッサは、前記実行可能命令を実行することにより表示デバイスと端末デバイスとのインタラクション方法を行うように構成される。
以下、電子デバイスの構成について、図2の表示デバイス200を例に挙げて例示的に説明する。図2の構造は、特に移動目的で使用される部品に加えて、固定タイプの機器にも適用できることは、当業者には理解されるはずである。他の実施形態では、移動端末200は、図示されているよりも多い又は少ない構成要素で構成されてもよいし、特定の構成要素の組み合わせ、又は特定の構成要素の分割、又は構成要素の異なる配置で構成されてもよい。図示した構成要素は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせとして実装することができる。構成要素間のインターフェース接続関係は模式的に示しただけであり、表示デバイス200の構造上の制限を構成するものではない。他の実施形態では、表示デバイス200は、図2とは異なるインターフェース接続で実装されてもよいし、インターフェース接続の組み合わせで実装されてもよい。
図2に示すように、表示デバイス200は、具体的には、プロセッサ210、内部メモリ221、外部メモリインターフェース222、ユニバーサルシリアルバス(Universal Serial Bus、USB)インターフェース230、充電管理モジュール240、電源管理モジュール241、電池242、アンテナ1、アンテナ2、移動通信モジュール250、無線通信モジュール260、音声モジュール270、スピーカ271、受信機272、マイク273、ヘッドホンインターフェース274、センサーモジュール280、ディスプレイ290、カメラモジュール291、指示器292、モータ293、キー294及びユーザー識別子(subscriber identification module、SIM)カードインターフェース295を含んでいてよい。ここで、センサーモジュール280は、深度センサー2801、圧力センサー2802、ジャイロセンサー2803等から構成されてもよい。
プロセッサ210は、1つ以上の処理ユニットを含んでもよく、例えば、プロセッサ210は、アプリケーションプロセッサ(Application Processor、AP)、モデムプロセッサ、グラフィック処理ユニット(Graphics Processing Unit、GPU)、画像信号処理装置(Image Signal Processor、ISP)、コントローラ、ビデオコーデック、デジタル信号プロセッサ(digital Signal Processor、DSP)、ベースバンドプロセッサ及び/又はニューラル-ネットワーク処理ユニット(Neural-Network Processing Unit、NPU)を含んでいてもよい。ここで、異なる処理ユニットは、独立した装置であってもよいし、1つ又は複数のプロセッサに統合されていてもよい。
NPUはNN(Neural-Network)コンピューティングプロセッサーであり、人間の脳のニューロン間の伝達パターンなど、生物の神経ネットワークの構造を参考にすることで入力情報を高速に処理し、また継続的に自己学習することが可能である。NPUは、表示デバイス200において、画像認識、顔認識、音声認識、テキスト理解などのインテリジェントなコグニティブアプリケーションを可能にする。
プロセッサ210には、メモリが設けられている。メモリは、検出命令、接続命令、情報管理命令、解析命令、データ転送命令、通知命令の6つのモジュール機能を実現するための命令を格納でき、プロセッサ210により実行されて制御される。
充電管理モジュール240は、充電器から充電入力を受けるために使用される。電源管理モジュール241は、電池242、充電管理モジュール240及びプロセッサ210を接続するために使用される。電源管理モジュール241は、電池242及び/又は充電管理モジュール240から入力を受け、プロセッサ210、内部メモリ221、ディスプレイ290、カメラモジュール291及び無線通信モジュール260等に電力を供給する。
表示デバイス200の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール250、無線通信モジュール260、モデムプロセッサ及びベースバンドプロセッサによって実現することができる。ここで、アンテナ1及びアンテナ2は、電磁波信号を送受信するために用いられ、移動通信モジュール250は、移動端末200に適用される2G/3G/4G/5G等を含む無線通信のためのソリューションを提供してもよく、モデムプロセッサは、変調器及び復調器を含んでもよく、無線通信モジュール260は、表示デバイス200に適用されるWLAN(Wireless Local Area Networks)(例えば、Wi-Fi(Wireless Fidelity)ネットワーク)、Bluetooth(BT)、その他の無線通信ソリューションを提供する。いくつかの実施形態では、表示デバイス200のアンテナ1は移動通信モジュール250に結合され、アンテナ2は無線通信モジュール260に結合され、表示デバイス200は無線通信技術によってネットワークだけでなく他のデバイスと通信することが可能になる。
表示デバイス200は、GPU、ディスプレイ290、アプリケーションプロセッサ等を介して表示機能を実現する。GPUは、ディスプレイ290とアプリケーションプロセッサを接続する画像処理用のマイクロプロセッサである。GPUは、グラフィックスレンダリングのための数学計算や幾何計算を実行するために用いられる。プロセッサ210は、表示情報を生成又は変更するプログラム命令を実行する1つ又は複数のGPUで構成されてもよい。
表示デバイス200は、ISP、カメラモジュール291、ビデオコーデック、GPU、ディスプレイ290及びアプリケーションプロセッサを通じて撮影機能を実現することができる。ここで、ISPはカメラモジュール291からフィードバックされるデータを処理するために用いられ、カメラモジュール291は静止画又は動画を撮影するために用いられ、デジタル信号処理器はデジタル信号を処理するために用いられ、デジタル画像信号に加えて他のデジタル信号も処理でき、ビデオコーデックはデジタル動画を圧縮又は解凍するために用いられ、表示デバイス200は1つ以上のビデオコーデックをサポートすることも可能である。
外部メモリインターフェース222を利用して、Micro SDカードなどの外部メモリカードを接続することで、表示デバイス200の記憶容量の拡張を実現することができる。外部メモリカードは、外部メモリインターフェース222を介してプロセッサ210と通信し、データ記憶機能を実現する。例えば、音楽や動画などのファイルを外部メモリカードに保存する。
内部メモリ221は、コンピュータ実行可能なプログラムコードを格納するために使用されてもよく、実行可能なプログラムコードは、命令を含んでいる。内部メモリ221は、プログラム格納領域とデータ格納領域とで構成されてもよい。 ここで、プログラム格納領域は、オペレーティングシステム、少なくとも一つの機能(例えば、音声再生機能、画像再生機能など)に必要なアプリケーションなどを格納することができる。データ格納領域は、表示デバイス200の使用中に作成されたデータ(例えば、音声データ、電話帳等)等を保存することができる。さらに、内部メモリ221は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも1つのディスクメモリ装置、フラッシュメモリ装置、UFS(Universal Flash Storage)等の不揮発性メモリを含んでもよい。プロセッサ210は、内部メモリ221に格納された命令及び/又はプロセッサに設けられたメモリに格納された命令を実行することにより、表示デバイス200の各種機能アプリケーションを実行するとともに、データ処理も行う。
表示デバイス200は、音声モジュール270、スピーカ271、受話器272、マイク273、ヘッドホンインターフェース274、及びアプリケーションプロセッサを介してオーディオ機能を実装することができる。例えば、音楽再生、録音などである。
深度センサー2801は、シーンの深度情報を取得するために使用される。 いくつかの実施形態では、深度センサーは、カメラモジュール291に設けられてもよい。
圧力センサー2802は、圧力信号を感知するために使用され、圧力信号を電気信号に変換することができる。いくつかの実施形態では、圧力センサー2802は、ディスプレイ290に設けることができる。圧力センサー2802には、抵抗性圧力センサー、誘導性圧力センサー、容量性圧力センサーなど、多くのタイプがある。
ジャイロセンサー2803は、移動端末200の運動姿勢を決定するために用いられてもよい。いくつかの実施形態では、3つの軸(すなわち、x、y及びz軸)の周りの移動端末200の角速度は、ジャイロセンサー2803によって決定され得る。ジャイロセンサー2803は、手ぶれ防止、ナビゲーション、物理ゲームシナリオなどの撮影に使用することができる。
さらに、実際のニーズに応じて、気圧センサー、磁気センサー、加速度センサー、距離センサー、近接光センサー、指紋センサー、温度センサー、タッチセンサー、環境光センサー、骨伝導センサーなど、他の機能センサーをセンサーモジュール280に設けることができる。
また、補助的な機能を提供する他の装置が表示デバイス200に含まれていてもよい。 例えば、キー294は、電源オンキー、ボリュームキーなどを含み、ユーザーは、キー入力を使用して、ユーザー設定及び表示デバイス200の機能制御に関連するキー信号入力を生成することができる。 さらに例として、指示器292、モータ293、SIMカードインターフェース295などがある。
関連技術では、現在のLEDスプライシング、大型LCDの価格が徐々に低下し、機器の会議室のシーンは徐々に従来のプロジェクターを置き換えるが、LEDスプライシング、レーザーポインターのLCDなどの従来の表示機器の効果は明らかでない。 LEDスプライシングブラックマトリックスは、レーザーポインターの明るさよりもはるかに大きいレーザー輝度の多くを吸収し、レーザーポインターよりも表示部分が再び明るくなり、レーザースポットが明らかでない。LEDの偏光の影響により、レーザー光の反射はほとんどなく、光点も非常に弱い。 複数の参加者のシーンでは、レーザーポインターの使用は、空気マウスや他のデバイスは、単一のデバイス単一のデバイスのコントロールにのみ、複数人が同時に指示を出したい場合、複数のエアマウスを接続するか、レーザーポインターを渡し合う必要があり、ユーザー体験に影響する。
以下、本開示の実施形態の表示デバイスと端末デバイスとのインタラクション方法を詳細に説明する。
図3は、この実施形態における表示デバイスと端末デバイスとのインタラクション方法のフローチャートを示し、以下のステップを含み、
ステップS310において、複数の前記端末デバイスがアクセスアドレスに基づいて生成して送信したアクセス要求を受信し、前記端末デバイスと前記表示デバイスとの通信接続を確立し、
ステップS320において、各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示し、
ステップS330において、前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御する。
従来の技術と比べ、本願において表示デバイスに複数の端末がアクセスし、端末デバイスに対応するカーソルを生成し、同時に、ユーザーが端末デバイスでカーソルの表示デバイスの表示画面上の表示位置を制御し、端末デバイスでカーソル位置を制御してインタラクションを行い、指示が明らかになり、また、複数のカーソルを制御し、インタラクションが便利になり、ユーザー体験を向上させる。
ステップS310において、複数の前記端末デバイスがアクセスアドレスに基づいて生成して送信したアクセス要求を受信し、前記端末デバイスと前記表示デバイスとの通信接続を確立する。
本開示の一例示的な実施形態では、表示デバイスがマルチデバイスアクセス機能を有し、ユーザーがマルチデバイスアクセス機能に対するオン操作に応答し、表示デバイスのアクセスアドレスを生成し、ここで、上記オン操作は、ユーザーが表示デバイスの音声認識機能によってオンすることであり、ユーザーが表示デバイスに設定されたオンアイコンに対するトリガー操作であり、又は、ユーザーがマウス又はキーボードによって上記マルチデバイスアクセス機能をオンすることであってもよい。この例示的な実施形態では限定されない。
この例示的な実施形態では、上記アクセスアドレスが、例えば、QRコード(登録商標)、バーコードなどの符号化画像の形態で表示される場合があるが、この例示的な実施形態では、特に限定されるものではない。
この例示的な実施形態では、表示デバイスが上記の端末デバイスにより上記のアクセスアドレスに基づいて生成されて送信されたアクセス要求を受信し、端末デバイスユーザーと表示デバイスとの通信接続を確立する。ここで、ローカルエリアネットワークで端末デバイスと表示デバイスとの通信接続を確立し、又は、クラウドサーバーで端末デバイスと表示デバイスとの通信接続を確立する。
具体的には、上記アクセスアドレスが符号化画像である場合、端末デバイスは、上記符号化画像を復号してアクセス要求を生成してもよく、例えば、符号化画像がQRコード(登録商標)である場合、端末デバイスは、QRコード(登録商標)をスキャンしてアクセス要求を生成し、それによって端末デバイスと上記表示デバイスとの間に通信接続を確立してもよい。
上記端末デバイスは、サードパーティプラットフォームを利用してQRコード(登録商標)をスキャンすることができ、このサードパーティプラットフォームは、例えば、WeChat、QQなどの既存の共通サードパーティプラットフォームであってもよいし、自主開発したAPPを利用してスキャンしてもよく、この実施形態では特に限定しないが、具体的には、端末デバイスと表示デバイスとの間の通信接続を確立するために自主開発したAPPであり、このAPPを介して、上記符号化画像を復号してアクセス要求を生成し、端末デバイスがアクセス要求を上記表示デバイスに送って端末デバイスが表示デバイスとの通信接続を確立できるようになる。
ステップS320において、各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示する。
本開示の一例示的な実施形態では、上記端末デバイスと表示デバイスと通信接続を確立した後、表示デバイスのプロセッサが各端末デバイスに一対一対応する複数のカーソルを生成し、表示デバイスの表示画面に上記カーソルを表示する。
本開示の一例示的な実施形態では、各前記端末デバイスに一対一対応する複数のカーソルを生成する時に、上記表示デバイスにカーソル表示アイコンが設けられ、ユーザーが上記カーソル表示アイコンをトリガーした後、表示デバイスに端末デバイスに対応するカーソルを生成する。ここで、各端末デバイスが1つのカーソル表示アイコンに対応し、例えば、該端末デバイスの端末アイコンに下に該端末デバイスに対応するカーソル表示アイコンが設けられ、複数の端末デバイスが1つのカーソル表示アイコンに対応しても良く、全ての端末デバイスが1つのカーソル表示アイコンが対応しても良い。ここで、上記カーソル表示アイコンの表示位置は、ユーザーにより要求に応じて設けてもよいが、この例示的な実施形態では限定されない。
本開示の一例示的な実施形態では、表示デバイスが端末デバイスからのカーソル表示要求を受信し、表示デバイスに端末デバイスに対応するカーソルを生成しても良い。ここで、カーソル表示要求は、ユーザーが上記端末デバイスを操作して生成し上記表示デバイスに送信してものであっても良い。例えば、端末デバイスにカーソル表示スイッチが設けられ、ユーザーが上記カーソル表示スイッチに対するトリガー操作に応答し、カーソル表示要求を生成して上記表示デバイスに送信する。
この例示的な実施形態では、最初にカーソルを生成する時に、カーソルは、表示デバイスの表示画面の所定の領域に表示され、例えば、表示画面の左上の設定領域、右下の設定領域等であっても良いが、この例示的な実施形態では限定されない。
この例示的な実施形態では、上記カーソルの形状は、矢印、円などの他、指、三角形などでもよく、また、ユーザーのニーズに応じてカスタマイズすることも可能である。
この例示的な実施形態では、図4を参照して、生成された複数の端末デバイスのカーソル401は、区別して表示しても良く、例えば、異なる端末デバイスでは、表示デバイスに対応するカーソル401は異なる色を有し、又は、異なる端末デバイスでは、表示デバイスに対応するカーソル401は異なる形状を有し、又は、異なる端末デバイスでは、表示デバイスに対応するカーズル401は、異なるID番号を有し、例えば、カーソル401には使用しないID番号が含まれており、例えば、端末デバイスに対応するID番号がカーソル401に含まれており、例えば、カーソル401の右下に数字の形で番号を付け、カーソル401が異なる端末デバイスに属していることを区別しているが、この例示的な実施形態では限定されない。
本開示の一例示的な実施形態では、未使用の端末デバイスに対して権限レベルを設定することができ、その後、端末デバイスを介して前記表示デバイスを操作するユーザーの操作権限を権限レベルに基づいて決定することができる。
例えば、端末デバイスの利用者に応じて、具体的には、司会者、上級参加者及び一般参加者に権限レベルを分類することができ、権限レベルは、司会者が全ての権限、上級参加者がコントロール権限、一般参加者がカーソル権限のみという基本ルールで分類することが可能である。
例示的な実施形態において、権限レベルの分けは、表示デバイスのプロセッサによって設定されるルールに従って行い、例えば、上記表示デバイスにアクセスする第1の端末デバイスに対応する端末デバイスを司会者とし、上記表示デバイスにアクセスする第2から第Nの端末デバイスに対応する端末デバイスを上級参加者とし、第Nの後に上記表示デバイスにアクセスする端末デバイスに対応する端末デバイスを一般参加者とする。別の実施例では、権限レベルの分けは、ユーザーによって設定することができ、すなわち、ユーザーは、各端末デバイスに対応する人の種類を設定することができる。それに対応する権限レベルが人に与えられる。具体的な分けとそれに対応する権限は、以下の表で確認する。
Figure 2024512171000002
すなわち、全ての権限を持つ司会者は、端末デバイスを用いて、端末デバイスに対応するカーソル401を制御して、表示デバイス上でページめくり、コメント、退出、権限設定などの操作を行うことができ、権限の制御に用いられる上級参加者は、上級参加者の端末デバイスに対応するカーソル401を用いて、表示デバイス上でページめくり、コメントなどの操作を行い、カーソル401の権限を持つ一般参加者は端末デバイスを通じて表示デバイスの表示画面上の対応カーソル401の表示位置を制御することができる。
この例示的な実施形態では、上記ページめくり操作は、表示画面に現在表示されているコンテンツを切り替えるために行うことができ、コメント操作は、現在表示されているコンテンツにコンテンツの一部を追加するために行うことができ、退出操作は、現在表示されているコンテンツに対して表示デバイスの表示を消すために行うことができ、権限設定操作は、各端末デバイスの権限レベルを変更するために行うことができる。
この例示的な実施形態では、図4を参照して、通信接続が確立された後、端末デバイスに一対一対応する端末アイコン402を生成して表示画面上の所定の位置に表示してもよく、ここで、上記所定の位置は表示画面の右上隅又は表示画面の上部であってもよく、本実施例では特に制限なく、ユーザーのニーズに応じてカスタマイズすることも可能である。
この例示的な実施形態では、端末アイコン402は、端末デバイスの属性に関する情報を含んでもよく、例えば、端末アイコン402は、個々の端末アイコン402が表す異なる端末デバイスを区別するために、端末デバイスに対応してユーザーが設定したアバター情報を含んでもよい。
この例示的な実施形態では、表示デバイスと上記端末デバイスとの間で音声インタラクションが可能であり、表示デバイスは端末デバイスから送信されたボイス情報を受け付けて再生することができ、表示デバイスが端末デバイスから送信されたボイス情報を再生する際、現在の端末デバイスに対応する端末アイコン402を区別して表示しても良く、例えば、該端末デバイスに対応する端末アイコン402の右下にホーンのアイコンを設定するか、又は、この端末アイコン402の周囲にボーダーを設定するか、ユーザーのニーズに応じてカスタマイズすることもでき、この例示的な実施形態では限定されない。
この例示的な実施形態では、表示デバイスが端末デバイスからのボイス情報を受けて再生してもよく、表示デバイスが端末デバイスからのボイス情報を再生する時に、現在の端末デバイスに対応するカーソルに再生マークを生成して、他のユーザーがボイス情報のソースを知らせ、ユーザー体験を改善させる。
ステップS340において、前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御する。
この例示的な実施形態では、ユーザーが端末デバイスで表示デバイスのサーバーにカーソル401制御指令を送信してもよく、サーバーが上記カーソル401制御指令に基づいて上記カーソル401の表示画面上の表示位置を制御する。
本開示の一例示的な実施形態では、上記端末デバイスは、マウス、ノートパソコン、携帯電話、又はインタラクション制御機能を有する他の装置であってもよく、端末デバイスはジャイロスコープを含み、上記及び制御指令は、ジャイロスコープによって収集された装置の端末のデータ情報を含み、端末デバイスはデータ情報を表示デバイスに送り、表示デバイスは上記データ情報に基づいて表示画面上のカーソル401の表示位置の制御を行う。
具体的には、ジャイロセンサーは、端末デバイスの座標系におけるx、y、z方向の3軸の加速度を取得し、サンプリング周波数を設定することができ、端末デバイスが移動すると3つのパラメータはすべて変化し、まず、加速度の値は初期値すなわち重力加速度gを有する。重力加速度に垂直な平面で分解した加速度a’がカーソル移動時の加速度となり、ジャイロセンサーは誤差を生じるので、加速度をデータフィルタリングし、加速度a'を時間積分して移動距離を取得し、最後に移動距離が正規化されて移動画素数に転化される。次に、移動画素数すなわち移動データを表示デバイスのサーバーに送信し、表示デバイスのサーバーは、移動データに基づいて、上記カーソルの表示位置を制御する。
本開示の別の実施形態では、上記端末デバイスは表示機能を有し、端末デバイスに表示されるコンテンツは、上記表示デバイスの表示コンテンツと同期しており、端末デバイスと表示デバイスとの間に通信接続が確立された後、ユーザーは、端末デバイスを介して該端末デバイスに対応するカーソルの表示位置を移動することができ、これにより、上記表示デバイスにおいて該端末デバイスに対応するカーソルの表示位置を移動する。
本開示の一例示的な実施形態では、本実施形態は、表示デバイス510と端末デバイス520との間のインタラクション方法も提供し、この方法は、図5を参照して示すように複数の表示デバイス510を含んでもよく、複数の表示デバイス510は同期して表示し、すなわち複数の表示デバイス510に表示されるコンテンツは同一で同期しており、各表示デバイス510は端末デバイス520とのインタラクションを完了することが可能である。例えば、場所Aには表示デバイス510と複数の端末デバイス520があり、場所Bには表示デバイス510と端末デバイス520があり、2つの表示デバイス510の表示コンテンツが同一で同期しており、このとき、場所Aの複数の端末デバイス520は、場所Aの表示デバイス510と通信接続を確立した後、場所Aの表示デバイス510の表示コンテンツを制御し、2つの表示デバイス510の表示コンテンツを完全に同期させるため、場所Bの表示デバイス510の表示コンテンツを制御することも可能である。
別の例示的な実施形態では、上記複数の表示デバイスの表示コンテンツを部分的に同期させてもよく、例えば、複数の表示デバイス510は、同一のアプリケーションに対応する表示ウィンドウを含み、当該表示ウィンドウ内の表示コンテンツを完全に同期させ、表示ウィンドウ外のコンテンツを同期させずに表示しても、同期させてもよく、この例示的な実施形態では限定されない。
この例示的な実施形態では、複数の異なる表示デバイスに表示された同一の端末デバイス520に対応するカーソルを同一のカーソルとして識別することができ、複数の表示デバイス510が全て上記の表示デバイスと端末デバイスのインタラクション方法を実行する場合、複数の表示デバイスに表示されるものが位置し、各表示デバイスに表示されるカーソル数が、当該表示デバイス510に接続した端末デバイス520の総数であり、例えば、場所Aの表示デバイス510にアクセスする端末デバイス520の数は3、場所Bの表示デバイス510にアクセスする端末デバイス520の数は5であり、このとき、場所Aの表示デバイス510と場所Bの表示デバイス510は同じ数のカーソルを表示して、ともに8である。 場所Aの表示デバイス510にアクセスする端末デバイス520の数は2、場所Bの表示デバイス510にアクセスする端末デバイス520の数は7であり、このとき場所Aの表示デバイス510と場所Bの表示デバイス510は同じ数のカーソルを表示し、ともに9である。 各表示デバイス510にアクセス可能な端末デバイスの数は、ユーザーのニーズに応じてカスタマイズすることができ、この例示的な実施形態では限定されない。
この例示的な実施形態では、同じ領域に位置する表示デバイス510と端末デバイス520の間のインタラクションは、上記で詳細に説明されているので、ここで説明を省略する。
本開示の一例示的な実施形態では、図5を参照すると、複数の表示デバイス510は、クラウドサーバー530を使用して表示コンテンツを同期させてもよく、具体的には、複数の表示デバイス510が同一のクラウドサーバー530に接続され、スマート端末は、クラウドサーバー530を使用して表示デバイス510の対応するカーソルの表示位置も制御してもよい。
この例示的な実施形態では、図6を参照し、具体的な実施形態により本解決策を詳細に説明する。具体的には、表示デバイス510がマルチデバイスアクセス機能の表示を開始した後、表示デバイス510のプロセッサ511がアクセスアドレスを生成してQRコード(登録商標)の形式で表示し、端末デバイス520がQRコード(登録商標)をスキャンしてアクセス要求を送信して表示デバイス510との通信接続を確立し、この時、端末デバイス520に一対一対応するカーソルを表示デバイス510に表示させることができる。次に、プロセッサ511が権限レベル分けを行い、端末デバイス520のジャイロスコープが端末デバイス520のデータ情報を検出した後、次に、プロセッサ511にデータ情報を送信し、プロセッサ511がデータ情報に従って予約データを取得し、移動後のカーソル位置を決定し、最後に上記表示デバイス510によりカーソルが指定位置に表示される。 ここで、端末デバイス520の数は、3つ、4つなどの複数を含んでいてもよく、また、それ以上であってもよく、この実施形態では特に限定されない。
さらに、本開示は、表示デバイスと端末デバイスとのインタラクション方法を提供し、図7に示すように、上記端末デバイスに実行され、具体的に、以下のステップを含み、
ステップS710において、前記端末デバイスと前記表示デバイスとの通信接続を確立するように、表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信し、
ステップS720において、前記表示デバイスが前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御するように、ユーザーが表示デバイスの表示画面に表示される端末デバイスに一対一対応するカーソルに対する制御操作に応答し、制御指令を生成して前記表示デバイスに送信する。
この例示的な実施形態では、端末デバイスが実行するステップは、上記表示デバイスが実行するステップで説明したので、ここで説明を省略する。
さらに、本開示は、また、表示デバイスと端末デバイスとのインタラクション方法を実行し、図8に示すように、以下のステップを含み、
ステップS810において、表示デバイスがユーザーが前記マルチデバイスアクセス機能に対するオン操作に応答し、前記表示デバイスのアクセスアドレスを生成し、
ステップS820において、前記端末デバイスと前記表示デバイスとの通信接続を確立するように、端末デバイスが表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信し、
ステップS830において、前記表示デバイスが各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示し、
ステップS840において、前記端末デバイスがユーザーが表示デバイスの表示画面に表示される端末デバイスに一対一対応するカーソルに対する制御操作に応答し、操作指令を生成して前記表示デバイスに送信し、
ステップS850において、前記表示デバイスが前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御する。
上記各のステップは、上記に詳細に説明したので、ここで説明を省略する。
以上のように、本願において表示デバイスに複数の端末がアクセスし、端末デバイスに対応するカーソルを生成し、同時に、ユーザーが端末デバイスでカーソルの表示デバイスの表示画面上の表示位置を制御し、端末デバイスでカーソル位置を制御してインタラクションを行い、指示が明らかになり、また、複数のカーソルを制御し、インタラクションが便利になり、ユーザー体験を向上させる。
なお、上記の添付図面は、本開示の例示的な実施形態による方法に含まれる工程を模式的に示したものに過ぎず、限定することを意図していない。なお、上記添付図面に示された処理は、当該処理の時間的順序を示したり、限定したりするものではないことは容易に理解されよう。また、これらの処理は、例えば、複数のモジュールで、同期又は非同期に実行されてもよいことが容易に理解される。
当業者は、本開示の態様が、システム、方法又はプログラム製品として実施され得ることを理解するであろう。このように、本開示の態様は、完全にハードウェアの実装、完全にソフトウェアの実装(ファームウェア、マイクロコードなどを含む)、又はハードウェアとソフトウェアの態様の組み合わせの形態で具体的に実装されてよく、本明細書では、まとめて「回路」、「モジュール」又は「システム」と称される。
本開示の例示的な実施形態はまた、本明細書の上述の方法を実施することができるプログラム製品が格納されるコンピュータ可読記憶媒体を提供する。いくつかの可能な実装では、本開示の様々な態様は、プログラムコードを含むプログラム製品の形で実装することもでき、プログラム製品が端末デバイス上で実行されるとき、プログラムコードは端末デバイスを実行させるために使用される。本明細書における上述の手順本開示の様々な例示的な実施形態によるステップは、「方法の例」セクションに記載されている。
なお、本開示に示されるコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、あるいはこれらの任意の組み合わせであってよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、デバイス、装置、又はこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例としては、1本以上のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光記憶装置、磁気メモリデバイス、又は上記の任意の適切な組み合わせであっても良い。
本開示において、コンピュータ可読記憶媒体は、命令実行システム、デバイス又は装置によって又はこれらと関連して使用され得るプログラムを含む又は格納する任意の有形媒体であり得る。そして、本開示の目的のために、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードを運ぶベースバンド又は搬送波の一部として伝搬するデータ信号を含むことができる。このような伝搬データ信号は、電磁信号、光信号、又は前述の任意の適切な組み合わせを含むが、これらに限定されない様々な形態を取ることができる。また、コンピュータ可読信号媒体は、命令実行システム、装置又は機器によって使用するためのプログラムを送信、伝播又は伝送するコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。コンピュータ可読媒体に含まれるプログラムコードは、無線、有線、光ファイバーケーブル、RFなど、又は前述の任意の適切な組み合わせなど、任意の適切な媒体を用いて伝送することができる。
さらに、本開示の動作を実行するためのプログラムコードは、オブジェクト指向プログラミング言語-Java、C++など-、また従来の手続き型プログラミング言語-「C」など-を含む1つ以上のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、ユーザーコンピューティング装置で完全に実行されてもよいし、ユーザー装置で部分的に、スタンドアロンパッケージとして実行されてもよいし、ユーザーコンピューティング装置で部分的に、リモートコンピューティング装置で部分的に、又はリモートコンピューティング装置又はサーバーで全体的に実行されてもよい。リモートコンピューティング装置を含む場合、リモートコンピューティング装置は、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザーコンピューティング装置に接続されてもよく、あるいは、(例えば、インターネットサービスプロバイダを使用してインターネットを介して接続する)外部のコンピューティング装置に接続されてもよい。
本開示の他の実施形態は、本明細書に開示された発明の明細書及び実施例を考慮すれば、当業者に容易に想到されるであろう。本出願は、本開示の一般原則に従った、本明細書に開示されていない当該技術分野において一般的に知られている又は慣習的な技術手段を含む、本開示のあらゆる変形、使用又は適応を対象とすることを意図している。本説明及び実施形態は例示に過ぎないと考えられ、本開示の真の範囲及び精神は特許請求の範囲によって示される。
本開示は、既に上述し、添付図面に図示した正確な構成に限定されるものではなく、その範囲を逸脱することなく、様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ限定される。
200 表示デバイス
210 プロセッサ
221 内部メモリ
222 外部メモリインターフェース
230 USBインターフェース230
240 充電管理モジュール
250 移動通信モジュール
260 無線通信モジュール
270 音声モジュール
280 センサーモジュール
290 ディスプレイ

Claims (21)

  1. 複数の端末デバイスがアクセスアドレスに基づいて生成して送信したアクセス要求を受信し、前記端末デバイスと表示デバイスとの通信接続を確立することと、
    各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示することと、
    前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御することとを含む、
    ことを特徴とする表示デバイスと端末デバイスとのインタラクション方法。
  2. 前記表示デバイスがマルチデバイスアクセス機能を有し、前記方法は、さらに、
    ユーザーが前記マルチデバイスアクセス機能に対するオン操作に応答し、前記表示デバイスのアクセスアドレスを生成することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  3. 前記表示デバイスの表示画面に前記カーソルを表示することは、
    前記表示画面に各前記端末デバイスに一対一対応するカーソルを区別して表示することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  4. 前記方法は、さらに、
    前記端末デバイスに一対一対応する端末アイコンを生成して前記表示画面の所定の位置に表示することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  5. 複数の前記端末デバイスがアクセスアドレスに基づいて生成して送信したアクセス要求を受信することは、
    前記アクセスアドレスに基づいて符号化画像を生成することと、
    前記端末デバイスが符号化画像を復号して生成したアクセス要求を受信することとを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  6. 前記端末デバイスと前記表示デバイスとの通信接続を確立することは、
    ローカルエリアネットワークで前記端末デバイスと前記表示デバイスとの通信接続を確立すること、又は、
    クラウドサーバーで前記端末デバイスと前記表示デバイスとの通信接続を確立することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  7. 前記表示デバイスにカーソル表示アイコンが含まれ、
    各前記端末デバイスに一対一対応する複数のカーソルを生成することは、
    ユーザーが前記カーソル表示アイコンに対するトリガー操作に応答し、各前記端末デバイスに対する複数のカーソルを生成することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  8. 各前記端末デバイスに一対一対応する複数のカーソルを生成することは、
    各端末デバイスにより送信されたカーソル表示要求を受信し、各前記端末デバイスに対応する複数のカーソルを生成することを含む、
    ことを特徴とする請求項1~6のいずれか1項に記載の表示デバイスと端末デバイスとのインタラクション方法。
  9. 前記方法は、さらに、
    前記端末デバイスにより送信されたボイス情報をリアルタイムに検出し、前記ボイス情報を受信して再生する場合、前記端末デバイスに対応するカーソルに再生マークを生成することを含む、
    ことを特徴とする請求項1~6のいずれか1項に記載の表示デバイスと端末デバイスとのインタラクション方法。
  10. 前記方法は、さらに、
    各前記端末デバイスに対して権限レベル設定を行い、前記権限レベルに基づいてユーザーが前記端末デバイスを介して前記表示デバイスに対して行うことができる操作権限を決定することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  11. 前記方法は、さらに、
    ユーザーが前記端末デバイスを介して送信した操作指令を受信し、前記操作指令に対応する操作を実行することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  12. 前記端末デバイスがジャイロスコープを含み、前記カーソル制御指令が前記ジャイロスコープで収集された端末デバイスのデータ情報を含み、
    前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御することは、
    端末デバイスのジャイロスコープで収集されたデータ情報を受信し、前記データ情報に基づいて前記カーソルの前記表示画面上の表示位置を制御することを含む、
    ことを特徴とする請求項1に記載の表示デバイスと端末デバイスとのインタラクション方法。
  13. 複数の前記表示デバイスが同期に表示することを含み、
    各前記表示デバイスが請求項1~9のいずれか1項に記載の表示デバイスと端末デバイスとのインタラクション方法を実行することができる、
    ことを特徴とする表示デバイスと端末デバイスとのインタラクション方法。
  14. 複数の前記表示デバイスがクラウドサーバーで接続されて、複数の前記表示デバイスが同期に表示する、
    ことを特徴とする請求項13に記載の表示デバイスと端末デバイスとのインタラクション方法。
  15. 端末デバイスと表示デバイスとの通信接続を確立するように、前記表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信することと、
    前記表示デバイスが制御指令に基づいてカーソルの表示画面上の表示位置を制御するように、ユーザーが前記表示デバイスの前記表示画面に表示される前記端末デバイスに一対一対応する前記カーソルに対する制御操作に応答し、前記制御指令を生成して前記表示デバイスに送信することとを含む、
    ことを特徴とする表示デバイスと端末デバイスとのインタラクション方法。
  16. 前記アクセスアドレスが符号化画像を含み、
    前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信することは、
    前記符号化画像を復号し、復号された信息に基づいてアクセス要求を生成して前記表示デバイスに送信することを含む、
    ことを特徴とする請求項15に記載の表示デバイスと端末デバイスとのインタラクション方法。
  17. 前記方法は、さらに、
    前記表示デバイスがカーソル表示要求に基づいて前記端末デバイスに対応するカーソルを生成するように、前記表示デバイスにカーソル表示要求を送信することを含む、
    ことを特徴とする請求項15に記載の表示デバイスと端末デバイスとのインタラクション方法。
  18. 前記表示デバイスのアクセスアドレスを取得することは、
    サードパーティプラットフォームで前記表示デバイスのアクセスアドレスを取得することを含む、
    ことを特徴とする請求項15に記載の表示デバイスと端末デバイスとのインタラクション方法。
  19. 表示デバイスがマルチデバイスアクセス機能を有し、
    前記表示デバイスがユーザーが前記マルチデバイスアクセス機能に対するオン操作に応答し、前記表示デバイスのアクセスアドレスを生成することと、
    端末デバイスと前記表示デバイスとの通信接続を確立するように、前記端末デバイスが表示デバイスのアクセスアドレスを取得し、前記アクセスアドレスに基づいてアクセス要求を生成して前記表示デバイスに送信することと、
    前記表示デバイスが各前記端末デバイスに一対一対応する複数のカーソルを生成し、前記表示デバイスの表示画面に前記カーソルを表示することと、
    前記端末デバイスがユーザーが表示デバイスの表示画面に表示される端末デバイスに一対一対応するカーソルに対する制御操作に応答し、操作指令を生成して前記表示デバイスに送信することと、
    前記表示デバイスが前記端末デバイスにより送信されたカーソル制御指令を受信し、前記制御指令に基づいて前記カーソルの前記表示画面上の表示位置を制御することとを含む、
    ことを特徴とする表示デバイスと端末デバイスとのインタラクション方法。
  20. 表示画面と、プロセッサとを含む表示デバイスであって、
    前記プロセッサは、請求項1~12のいずれか1項に記載の表示デバイスと端末デバイスとのインタラクション方法を実行する、
    ことを特徴とする表示デバイス。
  21. コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、
    前記プログラムがプロセッサによって実行されると、請求項1~12、又は13~14、又は15~18、又は19のいずれか1項に記載の表示デバイスと端末デバイスとのインタラクション方法を実行する、
    ことを特徴とするコンピュータ可読記憶媒体。
JP2022566226A 2021-03-12 2021-03-12 表示デバイスと端末デバイスとのインタラクション方法、記憶媒体、及び電子デバイス Pending JP2024512171A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/080438 WO2022188145A1 (zh) 2021-03-12 2021-03-12 显示设备与终端设备的交互方法、存储介质及电子设备

Publications (1)

Publication Number Publication Date
JP2024512171A true JP2024512171A (ja) 2024-03-19

Family

ID=83227263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022566226A Pending JP2024512171A (ja) 2021-03-12 2021-03-12 表示デバイスと端末デバイスとのインタラクション方法、記憶媒体、及び電子デバイス

Country Status (6)

Country Link
US (2) US11861257B2 (ja)
EP (1) EP4113262A4 (ja)
JP (1) JP2024512171A (ja)
KR (1) KR20230154786A (ja)
CN (1) CN115605835A (ja)
WO (1) WO2022188145A1 (ja)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620900B2 (en) * 2000-04-27 2009-11-17 Sony Corporation System and method for accessing data using a plurality of independent pointing devices
JP4246528B2 (ja) 2003-03-26 2009-04-02 富士通コンポーネント株式会社 切替器
US20100081375A1 (en) 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
JP4508077B2 (ja) * 2005-10-24 2010-07-21 株式会社デンソー 車載マルチカーソルシステム
GB2458297B (en) * 2008-03-13 2012-12-12 Performance Designed Products Ltd Pointing device
JP5120136B2 (ja) 2008-08-05 2013-01-16 ブラザー工業株式会社 表示制御装置及びそれに用いるリモコン並びにテレビ会議システム。
CN101739137B (zh) 2008-11-05 2013-01-09 北京广利核系统工程有限公司 一种实现快速切换的kvm装置
JP2010181978A (ja) * 2009-02-03 2010-08-19 Seiko Epson Corp 共同作業装置及び共同作業の制御方法
JP5531750B2 (ja) * 2010-04-16 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
TWI443641B (zh) * 2011-02-11 2014-07-01 Awind Inc 發送裝置、接收裝置、螢幕畫面傳輸系統及方法
US11082466B2 (en) * 2013-12-20 2021-08-03 Avaya Inc. Active talker activated conference pointers
CN104159149A (zh) 2014-08-26 2014-11-19 吴松珀 一种基于多用户鼠标的屏幕信息交互方法、装置及系统
KR20160063834A (ko) * 2014-11-27 2016-06-07 삼성전자주식회사 포인팅 장치, 인터페이스 장치 및 디스플레이 장치
EP3293955A4 (en) 2015-05-07 2018-03-21 Ricoh Company, Ltd. Information processing device, information processing method and information processing program
CN107483726A (zh) 2017-08-03 2017-12-15 成都弈览科技有限公司 一种手机仿真空鼠控制使用终端设备的方法
CN107506052A (zh) 2017-08-03 2017-12-22 成都弈览科技有限公司 一种通过智能手机的虚拟空鼠的方法及设备
US20190075456A1 (en) * 2017-09-07 2019-03-07 Bae Systems Information And Electronic Systems Integration Inc. Secure wireless pairing of master slave devices withqr codes

Also Published As

Publication number Publication date
EP4113262A4 (en) 2023-10-04
US20240078071A1 (en) 2024-03-07
EP4113262A1 (en) 2023-01-04
US20230161540A1 (en) 2023-05-25
KR20230154786A (ko) 2023-11-09
WO2022188145A1 (zh) 2022-09-15
US11861257B2 (en) 2024-01-02
CN115605835A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
US11635873B2 (en) Information display method, graphical user interface, and terminal for displaying media interface information in a floating window
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
CN106060378B (zh) 用于设置拍摄模块的装置和方法
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
CN103631768B (zh) 协作数据编辑和处理系统
WO2021244443A1 (zh) 分屏显示方法、电子设备及计算机可读存储介质
KR20160026317A (ko) 음성 녹음 방법 및 장치
WO2021115103A1 (zh) 显示控制方法和终端设备
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
CN112527174B (zh) 一种信息处理方法及电子设备
US20240119082A1 (en) Method, apparatus, device, readable storage medium and product for media content processing
US20220159197A1 (en) Image special effect processing method and apparatus, and electronic device and computer readable storage medium
KR20140136349A (ko) 대화 기록 장치 및 그 방법
CN111459363A (zh) 信息展示方法、装置、设备及存储介质
CN114035721B (zh) 触控屏显示方法、装置及存储介质
WO2021254113A1 (zh) 一种三维界面的控制方法和终端
CN113014960B (zh) 一种在线制作视频的方法、装置及存储介质
WO2014168030A1 (ja) 通信端末及び通信方法
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
CN109714628B (zh) 播放音视频的方法、装置、设备、存储介质及系统
CN110070617B (zh) 数据同步方法、装置、硬件装置
JP2024512171A (ja) 表示デバイスと端末デバイスとのインタラクション方法、記憶媒体、及び電子デバイス
WO2021073204A1 (zh) 对象的显示方法、装置、电子设备及计算机可读存储介质
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
JP7386583B1 (ja) プログラム、情報処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240308