JP2024500546A - 協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体 - Google Patents

協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2024500546A
JP2024500546A JP2023539744A JP2023539744A JP2024500546A JP 2024500546 A JP2024500546 A JP 2024500546A JP 2023539744 A JP2023539744 A JP 2023539744A JP 2023539744 A JP2023539744 A JP 2023539744A JP 2024500546 A JP2024500546 A JP 2024500546A
Authority
JP
Japan
Prior art keywords
terminal device
display
display area
area
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023539744A
Other languages
English (en)
Inventor
ジ、ウェイ
リン、ジェンチャオ
カン、ビン
ル、シュエ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2024500546A publication Critical patent/JP2024500546A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • G09G2340/145Solving problems related to the presentation of information to be displayed related to small screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/16Details of telephonic subscriber devices including more than one display unit

Abstract

本願は、端末技術の分野、特に、協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体に適用可能である。方法において、第2端末デバイスにおける第1端末デバイスのホームスクリーンの第1表示領域及び第2端末デバイスにおける仮想スクリーンの第2表示領域が決定され得、その結果、第2端末デバイスは、第1表示領域内にホームスクリーンを表示し、第2表示領域内に内に仮想スクリーンを表示し得る。第1端末デバイスの表示状態が変化する場合、ホームスクリーンのコンテンツ表示方式、第1表示領域、及び第2表示領域のみが動的に調整され得、仮想スクリーンのコンテンツ表示方式及び第2表示領域における仮想スクリーンの相対的な位置は、調整される必要がない。したがって、仮想スクリーン上に表示されたアプリケーションのコンテンツは、再びレイアウト又はリフレッシュされる必要がなく、これは、第2表示領域内に表示されるコンテンツを表示することの遅延を低減し、ユーザエクスペリエンスを向上させ改善する。このように、有用性及び実行可能性が高い。

Description

本願は、2020年12月28日に中国国家知識産権局に出願された「協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体(COLLABORATIVE DISPLAY METHOD, TERMINAL DEVICE, AND COMPUTER-READABLE STORAGE MEDIUM)」と題する、中国特許出願第202011596431.0号に基づく優先権を主張し、参照によりその全体が本明細書に組み込まれる。
本願は、端末技術の分野に関し、特に、協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体に関する。
協同表示は、2又はそれより多くの端末デバイスが協同で一貫して表示サービスを完了させるプロセスである。既存の協同表示では、第1端末デバイス(例えば、携帯電話)の複数のアプリケーションを表示するために、複数の表示ウィンドウが第2端末デバイス(例えば、タブレットコンピュータ)上にセットされる場合がある。しかしながら、第1端末デバイスの表示状態が変化する場合(例えば、ポートレートモード表示状態からランドスケープモード表示状態に変化する場合)には、第2端末デバイスの表示ウィンドウも対応して変化する(例えば、ポートレートウィンドウからランドスケープウィンドウに変化する)。したがって、各表示ウィンドウに表示されたコンテンツは、再びレイアウトされ、リフレッシュされる必要がある。その結果、第2端末デバイスにおいてコンテンツを表示することに遅延が生じ、ユーザエクスペリエンスに影響する。
本願の実施形態は、協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体を提供し、その結果、協同表示において、第1端末デバイスの表示状態が変化する場合、コンテンツを再びレイアウト及びリフレッシュする回数を低減して、第2端末デバイスにおいてコンテンツを表示することにおける遅延を低減し、ユーザエクスペリエンスを改善することができる。
第1態様によれば、本願の一実施形態は、第1端末デバイスに適用される協同表示方法を提供する。方法は、
第1端末デバイスの第1表示状態に基づいて、第2端末デバイスにおける第1端末デバイスの第1ホームスクリーンの第1表示領域及び第2端末デバイスにおける第1端末デバイスの仮想スクリーンの第2表示領域を決定する段階;
第2端末デバイスに第1ホームスクリーンを投影する段階、及び第2端末デバイスに第1表示領域の第1位置情報を送信する段階、ここで、第1位置情報は、第1表示領域内に第1ホームスクリーンを表示するために第2端末デバイスによって使用される;
第2端末デバイスに仮想スクリーンを投影する段階、及び第2端末デバイスに第2表示領域の第2位置情報を送信する段階、ここで、第2位置情報は、第2表示領域内に仮想スクリーンを表示するために第2端末デバイスによって使用される;
第1端末デバイスが第1表示状態から第2表示状態に調整されたことが検出された場合に、第2表示状態に基づいて、第1ホームスクリーンのコンテンツ表示方式を調整して、第2ホームスクリーンを取得し、第2表示状態に基づいて、第1表示領域及び第2表示領域を再編成する段階;及び
第2端末デバイスに第2ホームスクリーン及び仮想スクリーンを投影し、再編成された第1表示領域の第3位置情報及び再編成された第2表示領域の第4位置情報を第2端末デバイスに送信する段階、ここで、第3位置情報は、再編成された第1表示領域内に第2ホームスクリーンを表示するために第2端末デバイスによって使用され、第4位置情報は、再編成された第2表示領域内に仮想スクリーンを表示するために第2端末デバイスによって使用される
を備え得る。
協同表示方法において、第1端末デバイスは、第1端末デバイスの表示状態に基づいて、第2端末デバイスにおける第1端末デバイスのホームスクリーンの第1表示領域及び第2端末デバイスにおける仮想スクリーンの第2表示領域を決定し得、その結果、第2端末デバイスは、第1表示領域内にホームスクリーンを表示し、第2表示領域内に仮想スクリーンを表示することができる。第1端末デバイスの表示状態が変化する場合、第1端末デバイスは、ホームスクリーンのコンテンツ表示方式、第1表示領域、及び第2表示領域のみを動的に調整してよく、仮想スクリーンのコンテンツ表示方式及び第2表示領域における仮想スクリーンの相対的な位置を調整する必要がない。したがって、仮想スクリーン上に表示されるアプリケーションのコンテンツは、再びレイアウト又はリフレッシュされる必要がなくて、第2表示領域内に表示されるコンテンツを表示することにおける遅延を低減し、ユーザエクスペリエンスを改善する。このように、有用性及び実行可能性が高い。
必要に応じて、第2端末デバイスに仮想スクリーンを投影する段階の前に、方法は、
アプリケーションに対する、且つ第2端末デバイスから送信された開始命令が取得された場合に、第1ホームスクリーンに基づいて、仮想スクリーンを作成する段階、及び仮想スクリーン上にアプリケーションのアプリケーションインタフェースを表示する段階、ここで、仮想スクリーンは、第1端末デバイスに表示されない
を備え得る。
本実装において提供される協同表示方法において、ユーザが第2端末デバイスの第1ホームスクリーン上でアプリケーションをタップした場合、第2端末デバイスは、アプリケーションを開けるための命令を第1端末デバイスに送信し得る。この場合、第1端末デバイスは、仮想スクリーンを作成し、仮想スクリーン上にアプリケーションのアプリケーションインタフェースを表示し、第2端末デバイスの第2表示領域上に仮想スクリーンを投影し得、その結果、第2端末デバイスは、第1端末デバイスの複数のウィンドウ同時に開くことで、ユーザの閲覧を促進し、ユーザエクスペリエンスを改善することができる。
第1態様の実行可能な実装形態において、第1端末デバイスの第1表示状態に基づいて、第2端末デバイスにおける第1端末デバイスの第1ホームスクリーンの第1表示領域及び第2端末デバイスにおける第1端末デバイスの仮想スクリーンの第2表示領域を決定する段階は、
第2端末デバイスのインタフェース情報を取得する段階;及び
第1端末デバイスの第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階
を有し得る。
本実装において提供される協同表示方法において、第1端末デバイスは、第2端末デバイスのインタフェース情報及び第1端末デバイスの第1表示状態に基づいて、第1表示領域及び第2表示領域を正確に決定して、第2端末デバイスが第1端末デバイスのより多くのウィンドウを表示し、第2端末デバイスの表示インタフェースの利用を改善し、ユーザの閲覧体験を改善することができることを保証し得る。
例えば、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み、第1端末デバイスの第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第1表示状態がポートレートモード表示状態である場合に、第1表示領域の第1領域高さが第2表示領域の第2領域高さと同じであり、第1領域高さ及び第2領域高さがインタフェース高さと同じであると決定する段階;及び
第1表示領域の第1領域幅が第1ホームスクリーンのスクリーン幅と同じであると決定する段階
を有し得る。
例えば、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み、第1端末デバイスの第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第1表示状態がランドスケープモード表示状態である場合に、第1表示領域の第1領域幅が第2表示領域の第2領域幅と同じであり、第1領域幅及び第2領域幅がインタフェース幅と同じであると決定する段階;及び
第1表示領域の第1領域高さが第1ホームスクリーンのスクリーン高さと同じであると決定する段階
を有し得る。
第1態様の別の実行可能な実装形態において、第1端末デバイスは、折り畳み可能なディスプレイを有する端末デバイスであり、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み;及び
第1端末デバイスの第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第1表示状態が折り畳まれていないスクリーンの表示状態である場合に、インタフェース高さ及びインタフェース幅に基づいて、第2端末デバイスの第3表示状態を決定する段階;及び
第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階
を有し得る。
本実装において提供される協同表示方法において、折り畳み可能なディスプレイを有する第1端末デバイスが折り畳まれていないスクリーンの表示状態である場合、第1端末デバイスのホームスクリーンは、それに対応して増大し、第1表示領域のエリアもまたそれに応じて増大する必要がある。第1端末デバイスは更に、表示状態及び第2端末デバイスのインタフェース情報を参照して第1表示領域及び第2表示領域を決定して、第2端末デバイスの表示インタフェースを完全に使用して、第2端末デバイスの表示インタフェースの利用を改善し得る。
必要に応じて、第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第3表示状態がランドスケープモード表示状態である場合に、第1表示領域の第1領域高さが第2表示領域の第2領域高さと同じであり、第1領域高さ及び第2領域高さがインタフェース高さと同じであると決定する段階;及び
第1表示領域の第1領域幅が第1ホームスクリーンのスクリーン幅又は第1ホームスクリーンのスクリーン高さと同じであると決定する段階
を有し得る。
必要に応じて、第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第3表示状態がポートレートモード表示状態である場合に、第1表示領域の第1領域幅が第2表示領域の第2領域幅と同じであり、第1領域幅及び第2領域幅がインタフェース幅と同じであると決定する段階;及び
第1表示領域の第1領域高さが第1ホームスクリーンのスクリーン高さ又は第1ホームスクリーンのスクリーン幅と同じであると決定する段階
を有し得る。
第2態様によれば、本願の一実施形態は、第2端末デバイスに適用される協同表示方法を提供する。方法は、
第1端末デバイスの第1表示状態を取得する段階、及び第1表示状態に基づいて、第2端末デバイスにおける第1端末デバイスの第1ホームスクリーンの第1表示領域及び第2端末デバイスにおける第1端末デバイスの仮想スクリーンの第2表示領域を決定する段階;
第1端末デバイスによって投影された第1ホームスクリーンを取得する段階、及び第1表示領域内に第1ホームスクリーンを表示する段階;
第1端末デバイスによって投影された仮想スクリーンを取得する段階、及び第2表示領域内に仮想スクリーンを表示する段階;
第1端末デバイスが第1表示状態から第2表示状態に調整されたと決定された場合に、第2表示状態に基づいて、第1表示領域及び第2表示領域を再編成する段階;及び
第1端末デバイスによって投影された第2ホームスクリーン及び仮想スクリーンを取得する段階、再編成された第1表示領域内に第2ホームスクリーンを表示する段階、及び再編成された第2表示領域内に仮想スクリーンを表示する段階、ここで、第2ホームスクリーンのコンテンツ表示方式は、第2表示状態に対応する
を備え得る。
協同表示方法において、第2端末デバイスは、第1端末デバイスの表示状態に基づいて、第2端末デバイスにおける第1端末デバイスのホームスクリーンの第1表示領域及び第2端末デバイスにおける仮想スクリーンの第2表示領域を決定し得、第1表示領域内にホームスクリーンを表示し、第2表示領域内に仮想スクリーンを表示し得る。第1端末デバイスの表示状態が変化する場合、第2端末デバイスは、第1表示領域、及び第2表示領域のみを動的に調整してよく、仮想スクリーンのコンテンツ表示方式及び第2表示領域における仮想スクリーンの相対的な位置を調整する必要がない。したがって、仮想スクリーン上に表示されたアプリケーションのコンテンツは、再びレイアウト又はリフレッシュされる必要がなく、これは、第2表示領域内に表示されるコンテンツを表示することの遅延を低減し、ユーザエクスペリエンスを改善する。このように、有用性及び実行可能性が高い。
必要に応じて、第1端末デバイスによって投影された仮想スクリーンを取得する段階の前に、方法は、
第1ホームスクリーン上のアプリケーションに対して実行された起動操作に応答して、アプリケーションを開始するための開始命令を第1端末デバイスに送信する段階、ここで、開始命令は、アプリケーションを開始し、仮想スクリーン上にアプリケーションのアプリケーションインタフェースを表示するために第1端末デバイスによって使用される
を備え得る。
第2態様の実行可能な実装形態において、第1表示状態に基づいて、第2端末デバイスにおける第1端末デバイスの第1ホームスクリーンの第1表示領域及び第2端末デバイスにおける第1端末デバイスの仮想スクリーンの第2表示領域を決定する段階は、
第2端末デバイスのインタフェース情報を取得する段階;及び
第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階
を有し得る。
例えば、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み、第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第1表示状態がポートレートモード表示状態である場合に、第1表示領域の第1領域高さが第2表示領域の第2領域高さと同じであり、第1領域高さ及び第2領域高さがインタフェース高さと同じであると決定する段階;及び
第1表示領域の第1領域幅が第1ホームスクリーンのスクリーン幅と同じであると決定する段階
を有し得る。
例えば、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み、第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第1表示状態がランドスケープモード表示状態である場合に、第1表示領域の第1領域幅が第2表示領域の第2領域幅と同じであり、第1領域幅及び第2領域幅がインタフェース幅と同じであると決定する段階;及び
第1表示領域の第1領域高さが第1ホームスクリーンのスクリーン高さと同じであると決定する段階
を有し得る。
第2態様の別の実行可能な実装形態において、第1端末デバイスは、折り畳み可能なディスプレイを有する端末デバイスであり、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み;及び
第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第1表示状態が折り畳まれていないスクリーンの表示状態である場合に、インタフェース高さ及びインタフェース幅に基づいて、第2端末デバイスの第3表示状態を決定する段階;及び
第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階
を有し得る。
必要に応じて、第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第3表示状態がランドスケープモード表示状態である場合に、第1表示領域の第1領域高さが第2表示領域の第2領域高さと同じであり、第1領域高さ及び第2領域高さがインタフェース高さと同じであると決定する段階;及び
第1表示領域の第1領域幅が第1ホームスクリーンのスクリーン幅又は第1ホームスクリーンのスクリーン高さと同じであると決定する段階
を有し得る。
必要に応じて、第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定する段階は、
第3表示状態がポートレートモード表示状態である場合に、第1表示領域の第1領域幅が第2表示領域の第2領域幅と同じであり、第1領域幅及び第2領域幅がインタフェース幅と同じであると決定する段階;及び
第1表示領域の第1領域高さが第1ホームスクリーンのスクリーン高さ又は第1ホームスクリーンのスクリーン幅と同じであると決定する段階
を有し得る。
第3態様によれば、本願の一実施形態は、第1端末デバイスに適用される協同表示装置を提供する。装置は、
第1端末デバイスの第1表示状態に基づいて、第2端末デバイスにおける第1端末デバイスの第1ホームスクリーンの第1表示領域及び第2端末デバイスにおける第1端末デバイスの仮想スクリーンの第2表示領域を決定するように構成された表示領域決定モジュール;
第2端末デバイスに第1ホームスクリーンを投影し、第2端末デバイスに第1表示領域の第1位置情報を送信するように構成されたホームスクリーン投影モジュール、ここで、第1位置情報は、第1表示領域内に第1ホームスクリーンを表示するために第2端末デバイスによって使用される;
第2端末デバイスに仮想スクリーンを投影し、第2端末デバイスに第2表示領域の第2位置情報を送信するように構成された仮想スクリーン投影モジュール、ここで、第2位置情報は、第2表示領域内に仮想スクリーンを表示するために第2端末デバイスによって使用される;
第1端末デバイスが第1表示状態から第2表示状態に調整されたことが検出された場合に、第2表示状態に基づいて、第1ホームスクリーンのコンテンツ表示方式を調整して、第2ホームスクリーンを取得し、第2表示状態に基づいて、第1表示領域及び第2表示領域を再編成するように構成された表示領域再編成モジュール;及び
第2端末デバイスに第2ホームスクリーン及び仮想スクリーンを投影し、再編成された第1表示領域の第3位置情報及び再編成された第2表示領域の第4位置情報を第2端末デバイスに送信するように構成された協同表示モジュール、ここで、第3位置情報は、再編成された第1表示領域内に第2ホームスクリーンを表示するために第2端末デバイスによって使用され、第4位置情報は、再編成された第2表示領域内に仮想スクリーンを表示するために第2端末デバイスによって使用される
を備え得る。
必要に応じて、装置は、更に、
アプリケーションに対する、且つ第2端末デバイスから送信された開始命令が取得された場合に、第1ホームスクリーンに基づいて、仮想スクリーンを作成し、仮想スクリーン上にアプリケーションのアプリケーションインタフェースを表示するように構成されている仮想スクリーン作成モジュール、ここで、仮想スクリーンは、第1端末デバイスに表示されない
を備え得る。
第3態様の実行可能な実装形態において、表示領域決定モジュールは、
第2端末デバイスのインタフェース情報を取得するように構成されたインタフェース情報取得ユニット;及び
第1端末デバイスの第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定するように構成された表示領域決定ユニット
を有し得る。
例えば、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み;及び
表示領域決定ユニットは、第1表示状態がポートレートモード表示状態である場合に、第1表示領域の第1領域高さが第2表示領域の第2領域高さと同じであり、第1領域高さ及び第2領域高さがインタフェース高さと同じであると決定し;及び第1表示領域の第1領域幅が第1ホームスクリーンのスクリーン幅と同じであると決定するように構成されている。
例えば、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み;及び
表示領域決定ユニットは、第1表示状態がランドスケープモード表示状態である場合に、第1表示領域の第1領域幅が第2表示領域の第2領域幅と同じであり、第1領域幅及び第2領域幅がインタフェース幅と同じであると決定し;及び第1表示領域の第1領域高さが第1ホームスクリーンのスクリーン高さと同じであると決定するように更に構成されている。
第3態様の別の実行可能な実装形態において、第1端末デバイスは、折り畳み可能なディスプレイを有する端末デバイスであり、インタフェース情報は、インタフェース高さ及びインタフェース幅を含み;及び
表示領域決定ユニットは、
第1表示状態が折り畳まれていないスクリーンの表示状態である場合に、インタフェース高さ及びインタフェース幅に基づいて、第2端末デバイスの第3表示状態を決定するように構成されている表示状態決定サブユニット;及び
第3表示状態及びインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定するように構成されている表示領域決定サブユニット
を有し得る。
必要に応じて、表示領域決定サブユニットは、第3表示状態がランドスケープモード表示状態である場合に、第1表示領域の第1領域高さが第2表示領域の第2領域高さと同じであり、第1領域高さ及び第2領域高さがインタフェース高さと同じであると決定し;及び第1表示領域の第1領域幅が第1端末デバイスのスクリーン高さ又は第1端末デバイスのスクリーン幅と同じであると決定するように構成されている。
必要に応じて、表示領域決定サブユニットは、第3表示状態がポートレートモード表示状態である場合に、第1表示領域の第1領域幅が第2表示領域の第2領域幅と同じであり、第1領域幅及び第2領域幅がインタフェース幅と同じであると決定し;及び第1表示領域の第1領域高さが第1端末デバイスのスクリーン高さ又は第1端末デバイスのスクリーン幅と同じであると決定するように更に構成されている。
第4様態によれば、本願の一実施形態は、第2端末デバイスに適用される協同表示装置を提供する。装置は、
第1端末デバイスの第1表示状態を取得し、第1表示状態に基づいて、第2端末デバイスにおける第1端末デバイスの第1ホームスクリーンの第1表示領域及び第2端末デバイスにおける第1端末デバイスの仮想スクリーンの第2表示領域を決定するように構成されている表示領域決定モジュール;
第1端末デバイスによって投影された第1ホームスクリーンを取得し、第1表示領域内に第1ホームスクリーンを表示するように構成されているホームスクリーン取得モジュール;
第1端末デバイスによって投影された仮想スクリーンを取得し、第2表示領域内に仮想スクリーンを表示するように構成されている仮想スクリーン取得モジュール;
第1端末デバイスが第1表示状態から第2表示状態に調整されたと決定された場合に、第2表示状態に基づいて、第1表示領域及び第2表示領域を再編成するように構成されている表示領域再編成モジュール;及び
第1端末デバイスによって投影された第2ホームスクリーン及び仮想スクリーンを取得し、再編成された第1表示領域内に第2ホームスクリーンを表示し、再編成された第2表示領域内に仮想スクリーンを表示するように構成されている協同表示モジュール、ここで、第2ホームスクリーンのコンテンツ表示方式は、第2表示状態に対応する
を備え得る。
必要に応じて、装置は更に、
第1ホームスクリーン上のアプリケーションに対して実行された起動操作に応答して、アプリケーションを開始するための開始命令を第1端末デバイスに送信するように構成されている開始命令送信モジュール、ここで、開始命令は、アプリケーションを開始し、仮想スクリーン上にアプリケーションのアプリケーションインタフェースを表示するために第1端末デバイスによって使用される
を備え得る。
第5態様によれば、本願の一実施形態は、メモリ、プロセッサ、及びメモリに格納されプロセッサ上で実行してよいコンピュータプログラムを備える端末デバイスを提供する。プロセッサがコンピュータプログラムを実行した場合に、端末デバイスは、第1態様の任意の実行可能な実装形態に係る方法を実装することが可能である。
第6態様によれば、本願の一実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータプログラムを格納するコンピュータ可読記憶媒体であって、コンピュータプログラムがコンピュータによって実行された場合に、コンピュータは、第1態様の任意の実行可能な実装形態に係る方法を実装することが可能である。
第7態様によれば、本願の一実施形態はコンピュータプログラム製品を提供する。コンピュータプログラム製品が端末デバイス上で実行した場合、端末デバイスは、第1態様の任意の実行可能な実装形態に係る方法を実行することが可能である。
本願の一実施形態に係る協同表示方法を適用可能な端末デバイスの構造の概略図である。
本願の一実施形態に係る協同表示方法を適用可能なソフトウェアアーキテクチャの概略図である。
本願の一実施形態に係るシステムの概略図である。
第1端末デバイス及び第2端末デバイスの間の接続を確立する概略図である。 第1端末デバイス及び第2端末デバイスの間の接続を確立する概略図である。 第1端末デバイス及び第2端末デバイスの間の接続を確立する概略図である。
第1表示領域及び第2表示領域を決定する例示的なダイヤグラム1である。
第1表示領域及び第2表示領域を決定する例示的なダイヤグラム2である。
第1表示領域及び第2表示領域を決定する例示的なダイヤグラム3である。
第1表示領域及び第2表示領域を決定する例示的なダイヤグラム4である。
第1表示領域及び第2表示領域を再編成する例示的なダイヤグラム1である。
第1表示領域及び第2表示領域を再編成する例示的なダイヤグラム2である。
第1表示領域及び第2表示領域を再編成する例示的なダイヤグラム3である。
第1表示領域及び第2表示領域を再編成する例示的なダイヤグラム4である。
第1表示領域及び第2表示領域を再編成する例示的なダイヤグラム5である。
本願の一実施形態に係る適用シナリオの概略図1である。 本願の一実施形態に係る適用シナリオの概略図1である。 本願の一実施形態に係る適用シナリオの概略図1である。 本願の一実施形態に係る適用シナリオの概略図1である。 本願の一実施形態に係る適用シナリオの概略図1である。
本願の一実施形態に係る適用シナリオの概略図2である。 本願の一実施形態に係る適用シナリオの概略図2である。 本願の一実施形態に係る適用シナリオの概略図2である。 本願の一実施形態に係る適用シナリオの概略図2である。
本願の一実施形態に係る協同表示方法の概略フローチャートである。
本願の明細書及び添付の特許請求の範囲において使用される用語「含む(include)」は、1つ又は複数の他の機能、全体、ステップ、操作、要素、コンポーネント、及び/又はそれらの組み合わせの存在又は追加が除外されない状態で、説明された機能、全体、ステップ、操作、要素、及び/又はコンポーネントの存在を示すことを理解されたい。
本願の明細書及び添付の特許請求の範囲において使用される用語「及び/又は(and/or)」は、関連付けて列挙される1つ又は複数の要素の任意の組み合わせ及び全の考え得る組み合わせを示し、その組み合わせを含むことを更に理解されたい。
本願の明細書及び添付の特許請求の範囲において使用される場合、用語「場合」は、文脈によって、「とき」又は「したら」又は「決定したことに応答して」又は「検出したことに応答して」として解釈され得る。同様に、フレーズ「と決定した場合」又は「(説明された条件又はイベント)が検出された場合」は、文脈によって、「と決定されたら」又は「決定したことに応答して」又は「(説明された条件又はイベント)が検出されたら」又は「(説明された条件又はイベント)を検出したことに応答して」の意味であるとして解釈され得る。
更に、本願の明細書及び添付の特許請求の範囲の記載において、用語「第1」、「第2」、及び「第3」等が記載を区別するために使用されるのみであり、相対的な重要度を示すもの又は示唆するものであると理解され得ない。
本願の明細書において説明される「一実施形態」又は「いくつかの実施形態」等についての言及は、本願の1つ又は複数の実施形態が、当該実施形態を参照して説明される特定の機能、構造又は特徴を含むことを示す。したがって、本明細書の様々な箇所に現れる「一実施形態において」、「いくつかの実施形態において」、「いくつかの他の実施形態において」、及び「他の実施形態において」等の記述は、必ずしも同じ実施形態への言及を意味しているわけではない。その代わりに、そのような記述は、別の方式で別段特に強調されない限り、「実施形態の1つ又は複数であって、その全てではない」ことを意味している。別の方式で別段特に強調されない限り、「含む(include)」、「備える(comprise)」、「有する(have)」という用語及びこれらの用語の変形は全て、「を含むがそれに限定されない」を意味する。
更に、本願の実施形態において述べられる「複数の」は、2又はそれより多くのものであると解釈されたい。
本願の実施形態において提供される協同表示方法でのステップは、例に過ぎない。全てのステップが必須のステップではなく、又は各情報又はメッセージ内のコンテンツも必須ではない。使用プロセスにおいて、要件によって、ステップ又はコンテンツは、追加又は除去され得る。異なる実施形態において、本願の実施形態における同じステップ又は同じ機能を有すステップ又はメッセージに対しては、相互参照が行われる。
本願の実施形態において説明されるサービスシナリオは、本願の実施形態における技術的解決手段をより明確に説明することを目的としており、本願の実施形態において提供される技術的解決手段を制限するものとはならない。当業者は、ネットワークアーキテクチャの発展及び新たなサービスシナリオの出現と共に、本願の実施形態において提供される技術的解決手段もまた、同様の技術的問題に適用可能であることを理解し得る。
背景部分において説明されたように、既存の協同表示においては、第1端末デバイス(例えば、携帯電話)の複数のアプリケーションを表示するために、複数の表示ウィンドウが第2端末デバイス(例えば、タブレットコンピュータ)上にセットされたときに、第1端末デバイスの表示状態が変化する場合(例えば、ポートレートモード表示状態からランドスケープモード表示状態に変化する場合)には、第2端末デバイスの表示ウィンドウも対応して変化する(例えば、ポートレートモードウィンドウからランドスケープモードウィンドウに変化する)。したがって、各表示ウィンドウに表示されたコンテンツは、再びレイアウトされ、リフレッシュされる必要がある。その結果、第2端末デバイスにおいてコンテンツを表示するのに遅延が生じ、ユーザエクスペリエンスに影響する。
前述の問題を解決するために、本願の一実施形態は、協同表示方法を提供する。協同表示する間、第1端末デバイスは、ホームスクリーンから独立した仮想スクリーンを作成し得、ホームスクリーン及び仮想スクリーンの表示情報を第2端末デバイスに個別に送信し得る。第2端末デバイスは、第1表示領域内にホームスクリーンを表示し得、第2表示領域内に仮想スクリーンを表示し得る。第1端末デバイスの表示状態が変化する場合、ホームスクリーンのコンテンツ表示方式、第1表示領域、及び第2表示領域のみが動的に調整され得、仮想スクリーンのコンテンツ表示方式及び第2表示領域における仮想スクリーンの相対的な位置は、調整される必要がない。したがって、仮想スクリーン上に表示されたアプリケーションのコンテンツは、再びレイアウト又はリフレッシュされる必要がなく、これは、第2表示領域内に表示されるコンテンツを表示することの遅延を低減し、ユーザエクスペリエンスを改善する。このように、有用性及び実行可能性が高い。
本願の本実施形態において提供される協同表示方法は、端末デバイスに適用され得る。端末デバイスは、ディスプレイを有する端末デバイス、例えば、携帯電話、タブレットコンピュータ、ウェアラブルデバイス、車載デバイス、拡張現実(augmented reality,AR)/仮想現実(virtual reality,VR)デバイス、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ(ultra-mobile personal computer,UMPC)、ネットブック、パーソナルデジタルアシスタント(personal digital assistant,PDA(登録商標))、デスクトップコンピュータ、又はスマートテレビであってよい。
図1は、端末デバイス100の構造の概略図である。端末デバイス100は、プロセッサ110、外部メモリインタフェース120、内部メモリ121、ユニバーサルシリアルバス(universal serial bus,USB)ポート130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、ボタン190、モータ191、インジケータ192、カメラ193、ディスプレイ194、及び加入者識別モジュール(subscriber identity module,SIM)カードインタフェース195等を含み得る。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周辺光センサ180L、及び骨伝導センサ180M等を含み得る。
本願の本実施形態において示される構造は、端末デバイス100に具体的に制限するものとはならないことを理解され得る。本願のいくつかの他の実施形態において、端末デバイス100は、図に示されているより多くの又はより少ないコンポーネントを含んでもよく、又は、いくつかのコンポーネントが組み合わされてもよく、又は、いくつかのコンポーネントが分割されてもよく、又は、異なるコンポーネントの配置が使用されてもよい。図に示されるコンポーネントは、ハードウェア、ソフトウェア、又は、ソフトウェア及びハードウェアの組み合わせによって実装され得る。
プロセッサ110は1つ又は複数の処理ユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ(application processor,AP)、モデムプロセッサ、グラフィックス処理ユニット(graphics processing unit,GPU)、画像信号プロセッサ(image signal processor,ISP)、コントローラ、ビデオコーデック、デジタル信号プロセッサ(digital signal processor,DSP)、ベースバンドプロセッサ、及び/又はニューラルネットワーク処理ユニット(neural-network processing unit,NPU)、等を含み得る。複数の異なる処理ユニットは、独立したコンポーネントであってもよいし、又は1つ又は複数のプロセッサに統合されてもよい。
コントローラは、命令オペレーションコード及び時系列信号に基づきオペレーション制御信号を生成して、命令の読み取り及び命令の実行の制御を完了し得る。
メモリが、プロセッサ110内に更に配置され得、命令及びデータを格納するように構成されている。いくつかの実施形態において、プロセッサ110におけるメモリはキャッシュである。メモリは、プロセッサ110によって使用されたばかりの、又は定期的に使用される命令又はデータを格納し得る。プロセッサ110が命令又はデータを再び使用する必要がある場合、プロセッサ110は、命令又はデータをメモリから直接呼び出し得る。これにより、アクセスの繰り返しが回避されてプロセッサ110の待機時間が低減することで、システム効率が改善する。
いくつかの実施形態において、プロセッサ110は、1つ又は複数のインタフェースを含み得る。インタフェースは、集積回路間(inter-integrated circuit,I2C)インタフェース、集積回路間サウンド(inter-integrated circuit sound,I2S)インタフェース、パルス符号変調(pulse code modulation,PCM)インタフェース、汎用非同期式送受信機(universal asynchronous receiver/transmitter,UART)インタフェース、モバイルインダストリプロセッサインタフェース(mobile industry processor interface,MIPI)、汎用入出力(general purpose input/output,GPIO)インタフェース、加入者識別モジュール(subscriber identity module,SIM)インタフェース、及び/又はユニバーサルシリアルバス(universal serial bus,USB)ポート等を含み得る。
I2Cインタフェースは、双方向同期シリアルバスであり、1つのシリアルデータライン(serial data line,SDA)及び1つのシリアルクロックライン(serial clock line,SCL)を含む。いくつかの実施形態において、プロセッサ110は、複数のグループのI2Cバスを含み得る。プロセッサ110は、タッチセンサ180K、充電器、フラッシュ、カメラ193等に、異なるI2Cバスインタフェースを通じて個別に連結され得る。例えば、プロセッサ110は、I2Cインタフェースを通じてタッチセンサ180Kに連結され得、その結果、プロセッサ110は、I2Cバスインタフェースを通じてタッチセンサ180Kと通信して、端末デバイス100のタッチ機能を実装する。
I2Sインタフェースは、オーディオ通信を実行するように構成されていてよい。いくつかの実施形態において、プロセッサ110は複数のグループのI2Sバスを含み得る。プロセッサ110は、I2Sバスを通じてオーディオモジュール170に連結され、プロセッサ110及びオーディオモジュール170の間の通信を実装し得る。いくつかの実施形態において、オーディオモジュール170は、I2Sインタフェースを通じて無線通信モジュール160にオーディオ信号を転送して、Bluetooth(登録商標)ヘッドセットを通じて着信に応答する機能を実装し得る。
PCMインタフェースはまた、オーディオ通信、アナログ信号サンプリング、量子化、及び符号化に使用されてもよい。いくつかの実施形態において、オーディオモジュール170は、PCMバスインタフェースを通じて無線通信モジュール160に連結され得る。いくつかの実施形態において、オーディオモジュール170は代替的に、PCMインタフェースを通じて無線通信モジュール160にオーディオ信号を伝送し、Bluetoothヘッドセットによって着信に応答する機能を実装してよい。I2Sインタフェース及びPCMインタフェースの両方は、オーディオ通信に使用されてよい。
UARTインタフェースは汎用シリアルデータバスであり、非同期通信に使用される。バスは、双方向の通信バスであり得る。バスは、送信対象データをシリアル通信及びパラレル通信の間で変換する。いくつかの実施形態において、UARTインタフェースは通常、プロセッサ110及び無線通信モジュール160を接続するように構成されている。例えば、プロセッサ110は、UARTインタフェースを通じて無線通信モジュール160内のBluetoothモジュールと通信して、Bluetooth機能を実装する。いくつかの実施形態において、オーディオモジュール170は、UARTインタフェースを通じてオーディオ信号を無線通信モジュール160へ伝送し、Bluetoothヘッドセットを使用することによって音楽を再生する機能を実装し得る。
MIPIインタフェースは、プロセッサ110及びディスプレイ194又はカメラ193等のペリフェラルコンポーネントを接続するように構成されていてよい。MIPIインタフェースは、カメラシリアルインタフェース(camera serial interface,CSI)、及びディスプレイシリアルインタフェース(display serial interface,DSI)等を含む。いくつかの実施形態において、プロセッサ110は、CSIを通じてカメラ193と通信して、端末デバイス100の撮影機能を実装する。プロセッサ110は、DSIインタフェースを通じてディスプレイ194と通信して、端末デバイス100の表示機能を実装する。
GPIOインタフェースは、ソフトウェアで構成されていてよい。GPIOインタフェースは、制御信号又はデータ信号として構成されていてよい。いくつかの実施形態において、GPIOインタフェースは、プロセッサ110及びカメラ193、ディスプレイ194、無線通信モジュール160、オーディオモジュール170、又はセンサモジュール180等を接続するように構成されていてよい。GPIOインタフェースは代替的に、I2Cインタフェース、I2Sインタフェース、UARTインタフェース、又はMIPIインタフェース等として構成されていてよい。
USBポート130は、USB標準仕様に適合するインタフェースであり、具体的には、mini USBポート、micro USBポート又はUSB Type Cポート等であってよい。USBポート130は、端末デバイス100を充電するために充電器と接続するように構成されていてもよいし、又は端末デバイス100及びペリフェラルデバイス間でデータを伝送するように構成されていてもよいし、又はヘッドセットと接続して、ヘッドセットを使用することによってオーディオを再生するように構成されていてもよい。インタフェースは、別の端末デバイス、例えば、ARデバイスと接続するように更に構成されていてもよい。
本願の本実施形態に示されているモジュール間のインタフェース接続関係は、説明のための一例に過ぎず、端末デバイス100の構造に対して制限するものとはならないことを理解され得る。本願のいくつかの他の実施形態において、前述の実施形態における異なるインタフェース接続方式又は複数のインタフェース接続方式の組み合わせは、端末デバイス100のために代替的に使用され得る。
充電管理モジュール140は、充電器から充電入力を受信するように構成されている。充電器は無線充電器であり得る、又は、有線充電器であり得る。有線充電のいくつかの実施形態において、充電管理モジュール140は、USBポート130を通じて有線充電器から充電入力を受信し得る。無線充電のいくつかの実施形態において、充電管理モジュール140は、端末デバイス100の無線充電コイルを通じて無線充電入力を受信し得る。バッテリ142を充電しながら、充電管理モジュール140は、電力管理モジュール141を使用することによって、端末デバイスに電力を更に供給してよい。
電力管理モジュール141は、バッテリ142、充電管理モジュール140、及びプロセッサ110に接続するように構成されている。電力管理モジュール141は、バッテリ142及び/又は充電管理モジュール140の入力を受信し、プロセッサ110、内部メモリ121、ディスプレイ194、カメラ193及び無線通信モジュール160等に電力を供給する。電力管理モジュール141は、バッテリ容量、バッテリサイクル数、及び、バッテリ健康状態(電気漏洩又はインピーダンス)等のパラメータをモニタリングするように構成されていてよい。いくつかの他の実施形態において、電力管理モジュール141は代替的に、プロセッサ110に配置されてもよい。いくつかの他の実施形態において、電力管理モジュール141及び充電管理モジュール140は代替的に、同じデバイスに配置され得る。
端末デバイス100の無線通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、モデムプロセッサ、及びベースバンドプロセッサ等を通じて実装され得る。
アンテナ1及びアンテナ2は、電磁波信号を送受信するように構成されている。端末デバイス100における各アンテナは、1つ又は複数の通信周波数帯をカバーするように構成されていてよい。異なるアンテナを多重化して、アンテナの利用を改善し得る。例えば、アンテナ1は、無線ローカルエリアネットワーク内のダイバーシティアンテナとして多重化され得る。いくつかの他の実施形態において、アンテナは、チューニングスイッチと組み合わせて使用されてよい。
モバイル通信モジュール150は、端末デバイス100に適用され且つ2G/3G/4G/5Gを含む無線通信ソリューションを提供し得る。モバイル通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器(low noise amplifier,LNA)等を含み得る。モバイル通信モジュール150は、アンテナ1を通じて電磁波を受信してよく、受信した電磁波に対するフィルタリング及び増幅等の処理を実行してよく、受信した電磁波を復調のためにモデムプロセッサへ伝送してよい。モバイル通信モジュール150は更に、モデムプロセッサによって変調された信号を増幅し、アンテナ1を通じた放射のために信号を電磁波に変換し得る。いくつかの実施形態において、モバイル通信モジュール150の少なくともいくつかの機能モジュールはプロセッサ110に配置され得る。いくつかの実施形態において、モバイル通信モジュール150の少なくともいくつかの機能モジュールはプロセッサ110における少なくともいくつかのモジュールと同じデバイス内に配置され得る。
モデムプロセッサは、変調器及び復調器を含み得る。変調器は、送信対象の低周波数ベースバンド信号を中又は高周波数信号に変調するように構成されている。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成されている。その後、復調器は、復調を通じて取得された低周波数ベースバンド信号を、処理のためにベースバンドプロセッサに転送する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、次にアプリケーションプロセッサに伝送される。アプリケーションプロセッサは、オーディオデバイス(スピーカ170A及びレシーバ170B等に限定されない)を使用することによって音信号を出力するか、又は、ディスプレイ194に画像又は映像を表示する。いくつかの実施形態において、モデムプロセッサは、独立のコンポーネントであり得る。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ110から独立し得、モバイル通信モジュール150又は別の機能モジュールと同じデバイス内に配置される。
無線通信モジュール160は、端末デバイス100に適用され、且つ無線ローカルエリアネットワーク(wireless local area network,WLAN)(例えば、ワイヤレスフィデリティ(wireless fidelity,Wi-Fi(登録商標))ネットワーク)、Bluetooth(Bluetooth,BT)、全球測位衛星システム(global navigation satellite system,GNSS)、周波数変調(frequency modulation,FM)、近距離無線通信(near field communication,NFC)技術、又は赤外線(infrared,IR)技術等を含む無線通信ソリューションを提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールを統合する1つ又は複数のコンポーネントであり得る。無線通信モジュール160は、アンテナ2を介して電磁波を受信し、この電磁波信号に対して周波数変調及びフィルタリング処理を行い、処理した信号をプロセッサ110に送る。無線通信モジュール160は更に、送信対象の信号をプロセッサ110から受信し、信号に対して周波数変調及び増幅を実行し、アンテナ2を通じた放射のために信号を電磁波に変換し得る。
いくつかの実施形態において、端末デバイス100内のアンテナ1及びモバイル通信モジュール150は、連結され、端末デバイス100内のアンテナ2及び無線通信モジュール160は、連結され、その結果、端末デバイス100は、無線通信技術を使用することによってネットワーク及び別のデバイスと通信し得る。無線通信技術は、グローバルシステム・フォー・モバイルコミュニケーションズ(global system for mobile communications,GSM(登録商標))、汎用パケット無線サービス(general packet radio service,GPRS)、符号分割多元接続(code division multiple access,CDMA)、広帯域符号分割多元接続(wideband code division multiple access,WCDMA(登録商標))、時分割符号分割多元接続(time-division code division multiple access,TD-SCDMA)、ロングタームエボリューション(long term evolution,LTE)、BT、GNSS、WLAN、NFC、FM、及び/又はIR技術等を含み得る。GNSSは、全地球測位システム(global positioning system,GPS)、全球測位衛星システム(global navigation satellite system,GLONASS)、北斗衛星導航系統(beidou navigation satellite system,BDS)、準天頂衛星システム(quasi-zenith satellite system,QZSS)、及び/又は衛星航法補強システム(satellite based augmentation system,SBAS)を含み得る。
端末デバイス100は、GPU、ディスプレイ194、及びアプリケーションプロセッサ等を使用することによって表示機能を実装する。GPUは、画像処理のためのマイクロプロセッサであり、ディスプレイ194及びアプリケーションプロセッサに接続される。GPUは、数学的及び幾何学的計算を実行し、画像をレンダリングするように構成されている。プロセッサ110は、1つ又は複数のGPUを含み、プログラム命令を実行して、表示情報を生成又は変更してよい。
ディスプレイ194は、画像及びビデオ等を表示するように構成されている。ディスプレイ194は表示パネルを含む。表示パネルは、液晶ディスプレイ(liquid Crystal display,LCD)、有機発光ダイオード(organic light-emitting diode,OLED)、アクティブマトリクス式有機発光ダイオード(active-matrix organic light-emitting diode,AMOLED)、フレキシブル発光ダイオード(flexible light-emitting diode,FLED)、ミニLED、マイクロLED、マイクロOLED、又は量子ドット発光ダイオード(quantum dot light-emitting diode,QLED)等であり得る。いくつかの実施形態において、端末デバイス100は、1又はN個のディスプレイ194を含み得、Nは1より大きい正の整数である。
端末デバイス100は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、及びアプリケーションプロセッサ等を使用することによって、撮影機能を実装し得る。
ISPは、カメラ193によってフィードバックされたデータを処理するように構成されている。例えば、撮影中に、シャッタが押され、光がレンズを通じてカメラの感光素子に伝搬される。光信号が電気信号に変換され、カメラの感光素子は、電気信号を可視画像に変換する処理のために、電気信号をISPに伝送する。ISPは、更に、画像のノイズ、輝度、及び色に対してアルゴリズム最適化を実行し得る。ISPは更に、撮影シナリオの露光及び色温度等のパラメータを最適化し得る。いくつかの実施形態において、ISPはカメラ193内に配置され得る。
カメラ193は、静止画像又は映像を撮像するように構成されている。物体の光学画像は、レンズを介して生成され、感光素子に投影される。感光素子は、電荷結合素子(charge coupled device,CCD)又は相補型金属酸化物半導体(complementary metal-oxide-semiconductor,CMOS)フォトトランジスタであり得る。感光素子は、光信号を電気信号に変換し、その後、電気信号をデジタル画像信号に変換すべく、電気信号をISPに伝送する。ISPは、処理のためにデジタル画像信号をDSPに出力する。DSPは、デジタル画像信号を、RGB又はYUV等の標準形式の画像信号に変換する。いくつかの実施形態において、端末デバイス100は、1又はN個のカメラ193を含み得、Nは1より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成され、上記デジタル画像信号に加えて別のデジタル信号を処理してよい。例えば、端末デバイス100が周波数を選択した場合、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を実行するように構成されている。
ビデオコーデックは、デジタル映像を圧縮又は展開するように構成されている。端末デバイス100は1つ又は複数のビデオコーデックをサポートし得る。したがって、端末デバイス100は、複数のコーディング形式、例えば、ムービングピクチャエキスパーツグループ(moving picture experts group,MPEG)-1、MPEG-2、MPEG-3、及びMPEG-4で映像を再生又は記録し得る。
NPUは、生物学的ニューラルネットワークの構造を参照することにより、例えば、人の脳神経細胞間の伝達モードを参照することにより、入力情報を迅速に処理するニューラルネットワーク(neural-network,NN)コンピューティングプロセッサであり、更には、自己学習を継続的に実行し得る。NPUは、端末デバイス100のインテリジェント認知、例えば、画像認識、顔認識、音声認識、及びテキスト理解等の用途を実装するために使用され得る。
外部メモリインタフェース120は、端末デバイス100の記憶能力を拡張するために、外部記憶カード、例えば、マイクロSDカードに接続するように構成されていてよい。外部メモリカードは、外部メモリインタフェース120を介してプロセッサ110と通信し、データ記憶機能を実装する。例えば、音楽及びビデオ等のファイルは、外部記憶カードに格納される。
内部メモリ121は、コンピュータ実行可能プログラムコードを格納するように構成されていてよく、実行可能プログラムコードは命令を含む。内部メモリ121は、プログラム記憶エリア及びデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、及び少なくとも1つの機能(例えば、音声再生機能又は画像再生機能)に必要なアプリケーション等を格納してよい。データ記憶エリアは、端末デバイス100等を使用するプロセスで作成されたデータ(例えば、オーディオデータ又はアドレス帳)を格納してよい。更に、内部メモリ121は、高速ランダムアクセスメモリを含んでよく、更には、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュ記憶デバイス、又はユニバーサルフラッシュストレージ(universal flash storage,UFS)を含んでよい。プロセッサ110は、内部メモリ121に格納された命令及び/又はプロセッサに配置されたメモリに格納された命令を実行して、様々な機能アプリケーション及び端末デバイス100のデータ処理を実行する。
端末デバイス100は、例えば、オーディオモジュール170、スピーカ170A、レシーバ170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサ等を使用することによって、音楽再生又は録音等のオーディオ機能を実装し得る。
オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成されており、アナログオーディオ入力をデジタルオーディオ信号に変換するように更に構成されている。オーディオモジュール170は、オーディオ信号を符号化及び復号するように更に構成されていてよい。いくつかの実施形態において、オーディオモジュール170はプロセッサ110に配置され得るか、又は、オーディオモジュール170におけるいくつかの機能モジュールはプロセッサ110に配置される。
「ホーン」とも称されるスピーカ170Aは、電気オーディオ信号を音信号に変換するように構成されている。端末デバイス100は、スピーカ170Aを使用することによって、音楽を聴くか、又はハンズフリーモードでの着信に応答するように構成されていてよい。
「イヤーピース」とも称されるレシーバ170Bは、電気オーディオ信号を音信号に変換するように構成されている。端末デバイス100を使用することによって着信に応答する、又は音声情報を受信するとき、レシーバ170Bは、音声を聴くために、人間の耳の近くに持ってこられ得る。
マイクロフォン170Cは、「mike(マイク)」又は「mic(マイク)」とも称され、音信号を電気信号に変換するように構成されている。ユーザは、電話する又はオーディオ情報を送信するとき、ユーザの口を通じてマイクロフォン170Cの近くで音を発して、音信号をマイクロフォン170Cに入力してよい。少なくとも1つのマイクロフォン170Cが端末デバイス100に配置され得る。いくつかの他の実施形態において、2つのマイクロフォン170Cが端末デバイス100に配置されて、音信号を収集することに加えて、ノイズ低減機能を実装し得る。いくつかの他の実施形態において、3、4、又はそれ以上のマイクロフォン170Cが端末デバイス100に代替的に配置され、音信号を収集し、ノイズ低減を実装し、音源を識別し、指向性録音機能等を実装し得る。
ヘッドセットジャック170Dは有線ヘッドセットに接続するように構成されている。ヘッドセットジャック170Dは、USBポート130であってもよいし、又は3.5mmのオープンモバイル端末プラットフォーム(open mobile terminal platform,OMTP)標準インタフェース又は米国セルラー通信工業会(cellular telecommunications industry association of the USA,CTIA)標準インタフェースであってもよい。
圧力センサ180Aは圧力信号を検知するように構成され、圧力信号を電気信号に変換し得る。いくつかの実施形態において、圧力センサ180Aは、ディスプレイ194上に配置されてよい。抵抗圧力センサ、誘導圧力センサ、及び静電容量式圧力センサ等の複数のタイプの圧力センサ180Aが存在する。静電容量式圧力センサは、導電材料で作られた少なくとも2つの平行なプレートを含み得る。圧力センサ180Aに力がかけられた場合、電極間の静電容量が変化する。端末デバイス100は、静電容量の変化に基づいて、圧力の強さを決定する。タッチ操作がディスプレイ194に対して実行された場合、端末デバイス100は、圧力センサ180Aを通じてタッチ操作の強さを検出する。端末デバイス100はまた、圧力センサ180Aの検出信号に基づいてタッチ位置を計算し得る。いくつかの実施形態において、同じタッチ位置で実行されるが、異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応し得る。例えば、タッチ操作強度が第1圧力閾値より低いタッチ操作がメッセージアプリケーションアイコンに対して実行されるとき、SMSメッセージを見るための命令が実行される。タッチ操作強度が第1圧力閾値より大きい、又はそれに等しいタッチ操作がメッセージアプリケーションアイコンに対して実行されるとき、SMSメッセージを新たに作成するための命令が実行される。
ジャイロセンサ180Bは、端末デバイス100の移動姿勢を判定するように構成されていてよい。いくつかの実施形態において、3軸(すなわち、x、y、z軸)を中心とした端末デバイス100の角速度が、ジャイロセンサ180Bを使用することによって判定され得る。ジャイロセンサ180Bは、撮影時の手ぶれ補正を実装するように構成されていてよい。例えば、シャッタが押されるとき、ジャイロセンサ180Bは、端末デバイス100が揺れる角度を検出し、角度に基づいて、レンズモジュールが補償する必要がある距離を計算し、レンズが逆の動きを通じて端末デバイス100の揺れを相殺することを可能にし、手ぶれ補正を実装する。ジャイロセンサ180Bは更に、ナビゲーションシナリオ及び動作検知ゲームシナリオにおいて使用され得る。
気圧センサ180Cは気圧を測定するように構成されている。いくつかの実施形態において、端末デバイス100は、気圧センサ180Cによって測定された気圧値を使用することによって高度を計算し、測位及びナビゲーションを支援する。
磁気センサ180Dはホールセンサを含む。端末デバイス100は、磁気センサ180Dを使用することによって、フリップ型レザーケースの開閉を検出し得る。いくつかの実施形態において、端末デバイス100がフリップ型電話である場合、端末デバイス100は、磁気センサ180Dに基づいて、フリップカバーの開閉を検出し、更に、検出されたフリップ型レザーケースの開閉状態又は検出されたフリップカバーの開閉状態に基づいて、フリップカバーの自動ロック解除等の機能をセットし得る。
加速度センサ180Eは、様々な方向(通常3軸)で端末デバイス100の加速度の値を検出し得る。端末デバイス100が静止している場合、重力の大きさ及び方向が検出され得る。加速度センサ180Eは、端末デバイスの姿勢を認識するように更に構成されていてよく、ランドスケープモード及びポートレートモード間の切り替え等のアプリケーション又は歩数計に適用される。
距離センサ180Fは、距離を測定するように構成されている。端末デバイス100は、赤外線方式又はレーザ方式で距離を測定し得る。いくつかの実施形態において、撮影シナリオでは、端末デバイス100は、素早い合焦を実装するために、距離センサ180Fを使用することによって距離を測定し得る。
光学式近接センサ180Gは、例えば、発光ダイオード(LED)及び光検出器、例えばフォトダイオードを含み得る。発光ダイオードは赤外線発光ダイオードであり得る。端末デバイス100は、発光ダイオードを使用することによって赤外線を放出する。端末デバイス100は、フォトダイオードを使用することによって、近くの物体からの赤外線反射光を検出する。十分な反射光が検出された場合、端末デバイス100は、端末デバイス100の近くに物体が存在すると決定し得る。検出される反射光が不十分であるとき、端末デバイス100は、端末デバイス100の近くに物体が無いと判定し得る。端末デバイス100は、光学式近接センサ180Gを使用することによって、ユーザが電話するために耳の近くに端末デバイス100を把持していることを検出して、節電のために自動的にスクリーンオフを実行し得る。光学式近接センサ180Gは、スマートカバーモード又はポケットモードにも使用され、スクリーンのロック解除又はロックを自動的に実行し得る。
周辺光センサ180Lは、周辺光輝度を検知するように構成されている。端末デバイス100は、検知された周辺光輝度に基づいて、ディスプレイ194の輝度を適合的に調整し得る。周辺光センサ180Lはまた、撮影時にホワイトバランスを自動的に調整するように構成されてよい。周辺光センサ180Lは更に、光学式近接センサ180Gと連携して、端末デバイス100がポケットに入っているかどうかを検出し、偶発的なタッチを回避し得る。
指紋センサ180Hは指紋を収集するように構成されている。端末デバイス100は、収集される指紋の特徴を使用して、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの撮影、及び指紋ベースの着信応答等を実装し得る。
温度センサ180Jは、温度を検出するように構成されている。いくつかの実施形態において、端末デバイス100は、温度センサ180Jにより検出される温度に基づいて、温度処理ポリシーを実行する。例えば、温度センサ180Jによって報告された温度が閾値を超える場合、端末デバイス100は、温度センサ180Jの近くのプロセッサのパフォーマンスを下げて、電力消費を低減し、熱保護を実装する。いくつかの他の実施形態において、温度が別の閾値より小さい場合、端末デバイス100は、バッテリ142を加熱して、端末デバイス100が低温に起因して異常にシャットダウンすることを防止する。いくつかの他の実施形態において、温度がまた別の閾値より小さい場合、端末デバイス100は、バッテリ142の出力電圧を昇圧して、低温に起因する異常なシャットダウンを回避する。
タッチセンサ180Kは、「タッチデバイス」とも称される。タッチセンサ180Kはディスプレイ194上に配置され得る。タッチセンサ180K及びディスプレイ194は、「タッチスクリーン」とも称されるタッチスクリーンを形成する。タッチセンサ180Kは、タッチセンサ180K上又はタッチセンサ180Kの近くで実行されるタッチ操作を検出するように構成されている。タッチセンサは、タッチイベントタイプを判定するために、検出したタッチ操作をアプリケーションプロセッサに転送してよい。ディスプレイ194は、タッチ操作に関連する視覚的出力を提供するように構成されていてよい。いくつかの他の実施形態において、タッチセンサ180Kはまた、ディスプレイ194とは異なる位置にある端末デバイス100の表面に配置され得る。
骨伝導センサ180Mは振動信号を取得し得る。いくつかの実施形態において、骨伝導センサ180Mは、人の声帯部分の振動骨の振動信号を取得し得る。骨伝導センサ180Mもまた人の脈に接触して、血圧鼓動信号を受信し得る。いくつかの実施形態において、骨伝導センサ180Mは代替的に、ヘッドセットに配置され、骨伝導ヘッドセットへと組み合わされ得る。オーディオモジュール170は、骨伝導センサ180Mによって取得される、声帯部分の振動骨の振動信号に基づいて、解析を通じてスピーチ信号を取得し、スピーチ機能を実装し得る。アプリケーションプロセッサは、骨伝導センサ180Mにより取得される血圧鼓動信号に基づいて心拍数情報を解析し、心拍数検出機能を実装し得る。
ボタン190は、電源ボタン及び音量ボタン等を含む。ボタン190は機械的ボタンであり得る、又はタッチボタンであり得る。端末デバイス100は、キー入力を受信し、ユーザ設定及び端末デバイス100の機能制御に関するキー信号入力を生成し得る。
モータ191は、振動プロンプトを生成し得る。モータ191は、着信振動プロンプト及びタッチ振動フィードバックを提供するように構成されてよい。例えば、異なるアプリケーション(例えば、撮影又はオーディオ再生)で実行されるタッチ操作は、異なる振動フィードバック効果に対応し得る。モータ191はまた、ディスプレイ194の異なる領域に対して実行されたタッチ操作についての異なる振動フィードバック効果に対応し得る。異なる適用シナリオ(例えば、時間リマインダー、受信情報、目覚まし時計、及びゲーム)もまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は、代替的にカスタマイズされ得る。
インジケータ192はインジケータライトであってよく、充電状態及び電力変化を示すように構成されてもよいし、メッセージ、不在着信、通知等を示すように構成されてもよい。
SIMカードインタフェース195は、SIMカードに接続するように構成されている。SIMカードは、端末デバイス100との接触又は端末デバイス100からの分離を実装すべく、SIMカードインタフェース195に挿入されてもよく、又は、SIMカードインタフェース195から取り外されてもよい。端末デバイス100は、1又はN個のSIMカードインタフェースをサポートし得、Nは1より大きい正の整数である。SIMカードインタフェース195は、ナノSIMカード、マイクロSIMカード、SIMカード等をサポートし得る。複数のカードが同じSIMカードインタフェース195へと共に挿入され得る。複数のカードは、同じタイプであってもよく、又は異なるタイプであってもよい。SIMカードインタフェース195は、異なるタイプのSIMカードと互換性があり得る。SIMカードインタフェース195はまた、外部メモリカードと互換性があり得る。端末デバイス100は、SIMカードを使用することによってネットワークとやり取りし、通話及びデータ通信等の機能を実装する。いくつかの実施形態において、eSIM、すなわち組み込SIMカードは、端末デバイス100のために使用される。eSIMカードは、端末デバイス100に組み込まれ得、端末デバイス100から分離されることはできない。
階層型アーキテクチャ、イベントドリブンアーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャは、端末デバイス100のソフトウェアシステムのために使用され得る。本願の本実施形態において、階層型アーキテクチャを有するAndroid(登録商標)システムは、端末デバイス100のソフトウェア構造を示すための一例として使用されている。
図2は、本願の本実施形態による端末デバイス100のソフトウェア構造のブロック図である。
階層型アーキテクチャにおいて、ソフトウェアは複数の層に分割され、各層は明確な役割及びタスクを有する。層はソフトウェアインタフェースを通じて互いに通信する。いくつかの実施形態において、Androidシステムは、4つの層、すなわち、上から下に、アプリケーション層、アプリケーションフレームワーク層、Androidランタイム(Android runtime)及びシステムライブラリ、及びカーネル層に分割される。
アプリケーション層は一連のアプリケーションパッケージを含み得る。
図2に示すように、アプリケーションパッケージは、カメラ、ギャラリー、カレンダー、電話、マップ、ナビゲーション、WLAN、Bluetooth、ミュージック、ビデオ、及びメッセージ等のアプリケーションを含み得る。
アプリケーションフレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーションプログラミングインタフェース(application programming interface,API)及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの事前定義された機能を含む。
図2に示すように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、及び通知マネージャ等を含み得る。
ウィンドウマネージャはウィンドウプログラムを管理するように構成されている。ウィンドウマネージャは、ディスプレイのサイズを取得し、ステータスバー、ロックスクリーン、又はスクリーンキャプチャ等が存在するかどうかを決定してよい。
コンテンツプロバイダは、データを格納及び取得するように構成され、その結果、データがアプリケーションによってアクセスされ得る。データは、映像、画像、オーディオ、かかってきた着信、応答した着信、閲覧履歴及びブックマーク、及び電話帳等を含んでよい。
ビューシステムは、テキストを表示するためのコントロール、及び画像を表示するためのコントロール等の視覚的なコントロールを含む。ビューシステムは、アプリケーションを構築するように構成されていてよい。表示インタフェースは1つ又は複数のビューを含み得る。例えば、メッセージ通知アイコンを含む表示インタフェースは、テキスト表示ビュー及び画像表示ビューを含み得る。
電話マネージャは、端末デバイス100に通信機能、例えば、着信状態の管理(応答又は拒否等を含む)を提供するように構成されている。
リソースマネージャは、アプリケーションのための様々なリソース、例えば、ローカライズされたストリング、アイコン、ピクチャ、レイアウトファイル、及び映像ファイルを提供する。
通知マネージャは、アプリケーションが通知情報をステータスバーに表示することを可能にし、通知タイプのメッセージを伝達するように構成されていてよい。表示された通知情報は、ユーザインタラクションを実行する必要なく、短い休止後に自動的に消失してよい。例えば、通知マネージャは、ダウンロード完了を通知すること、及び、メッセージ通知を提供すること等を行うように構成されている。更に、通知マネージャは、グラフ又はスクロールバーテキストの形態でシステムの上部ステータスバーに現れる通知、例えば、背景で実行されているアプリケーションの通知であってよく、又はダイアログウィンドウの形態でスクリーンに現れる通知であってよい。例えば、テキスト情報は、ステータスバーにおいてプロンプトされ、プロンプト音が生成され、端末デバイスが振動し、又はインジケータが明滅する。
Androidランタイムは、コアライブラリ及び仮想マシンを含む。Androidランタイムは、Androidシステムのスケジューリング及び管理を担う。
コアライブラリは、一方の部分がjava(登録商標)言語で呼び出される必要がある関数、他方の部分がAndroidのコアライブラリである2つの部分を含む。
アプリケーション層及びアプリケーションフレームワーク層は仮想マシン上で実行する。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層におけるjavaファイルを実行のためのバイナリファイルに変換する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び異常の管理、及びガベージコレクション等の機能を実装するように構成されている。
システムライブラリは、サーフェースマネージャ(surface manager)、メディアライブラリ(Media Library)、3次元グラフィックス処理ライブラリ(例えば、OpenGL ES)、及び2Dグラフィックスエンジン(例えば、SGL)等の複数の機能モジュールを含んでよい。
サーフェースマネージャは、表示サブシステムを管理し、複数のアプリケーションについて2D及び3D層の融合を提供するように構成されている。
メディアライブラリは、複数の一般的なオーディオ及びビデオ形式、静止画像ファイル等のプレイバック及び記録をサポートする。メディアライブラリは、複数のオーディオ及び映像符号化形式、例えば、MPEG-4、H.264、MP3、AAC、AMR、JPG、及びPNGをサポートすることができる。
3次元グラフィックス処理ライブラリは、3次元グラフィックス描画、画像レンダリング、合成、及び層処理等を実装するように構成されている。
2Dグラフィックスエンジンは、2D描画のための描画エンジンである。
カーネル層はハードウェア及びソフトウェアの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ、及びセンサドライバを含む。
撮像及び撮影が実行されるシナリオを参照して、以下では、端末デバイス100のソフトウェア及びハードウェアの動作プロシージャの一例を説明する。
タッチセンサ180Kがタッチ操作を受信した場合、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を処理して元の入力イベント(タッチ操作のタッチ座標及びタイムスタンプ等の情報を含む)にする。元の入力イベントはカーネル層に格納される。アプリケーションフレームワーク層は元の入力イベントをカーネル層から取得し、入力イベントに対応する制御を識別する。例えば、タッチ操作はシングルタップのタッチ操作であり、シングルタップ操作に対応するコントロールは、カメラアプリケーションアイコンのコントロールである。カメラアプリケーションは、アプリケーションフレームワーク層におけるインタフェースを呼び出し、その結果、カメラアプリケーションが開かれる。その後、カメラドライバは、カーネル層を呼び出すことによって開始され、静止画像又は映像は、カメラ193を通じて撮像される。
以下では、添付図面を参照して、本願の実施形態において提供される協同表示方法を詳細に説明する。
図3に示すように、本願の一実施形態において提供されている協同表示方法は、通信システム300に適用され得る。通信システム300は、第1端末デバイス301及び第2端末デバイス302を含み得る。第1端末デバイス301及び第2端末デバイス302はそれぞれ、ディスプレイを有する端末デバイス、例えば、携帯電話、タブレットコンピュータ、ウェアラブルデバイス、車載デバイス、AR/VRデバイス、ノートブックコンピュータ、UMPC、ネットブック、PDA、デスクトップコンピュータ、又はスマートテレビであり得る。第2端末デバイス302のディスプレイのサイズは、第1端末デバイス301のディスプレイのサイズより大きく、その結果、第2端末デバイス302は、第1端末デバイス301において複数のアプリケーションを同時に且つ協同で表示することができる。
協同表示する間、第1端末デバイス301及び第2端末デバイス302の間でのデータ交換を実装するために、第1端末デバイス301及び第2端末デバイス302の間の接続が確立される必要があり、その結果、第2端末デバイス302は、第1端末デバイス301においてアプリケーションを協同で表示することができる。例えば、第1端末デバイス301及び第2端末デバイス302は、ワンタップ、近距離オートディスカバリー、又はスキャン等を通じて接続を確立し得る。
図4及び図5-1及び図5-2は、第1端末デバイス及び第2端末デバイスの間の接続を確立する概略図である。ワンタップを通じて確立された接続において、第1端末デバイス301及び第2端末デバイス302はそれぞれ、NFCチップを有する端末デバイスである。第1端末デバイス301のNFC機能及び第2端末デバイス302のNFC機能の両方が使用可能である場合、ユーザは、第1端末デバイス301のNFCチップが位置する第1の予め設定された領域を使用して、第2端末デバイス302のNFCチップが位置する第2の予め設定された領域にタッチし得る。図4に示すように、この場合、第1端末デバイス301は、「第2端末デバイス302への接続を確立することを確かに望んでいますか」というポップアップ接続ボックス400をポップアップし得、ポップアップ接続ボックス400は、更に「接続」ボタン401及び「キャンセル」ボタン402を表示し得る。「接続」ボタン401は、第2端末デバイス302に接続要求を送信するように構成されていてよい。「キャンセル」ボタン402は、第1端末デバイス301及び第2端末デバイス302の間の接続操作をキャンセルするように構成されていてよい。ユーザが「接続」ボタン401を第1端末デバイス301において、タップ又はタッチした場合、第1端末デバイス301は、第2端末デバイス302に接続要求を送信し得る。図5-1及び図5-2内の(a)に示すように、第2端末デバイス302は、「第1端末デバイス301への接続を許可することを確かに望みますか」というポップアップ確認ボックス500をポップアップし得、ポップアップ確認ボックス500は更に、「許可」ボタン501及び「拒否」ボタン502を表示し得る。「許可」ボタン501は、第1端末デバイス301への接続を確立するように構成されていてよい。「拒否」ボタン502は、第1端末デバイス301への接続を拒否するように構成されていてよい。ユーザが「許可」ボタン501を第2端末デバイス302においてタップ又はタッチした場合、第2端末デバイス302は、第1端末デバイス301への接続を確立することを確認する。第1端末デバイス301が第2端末デバイス302への接続を確立した後、図5-1及び図5-2内の(b)に示すように、第2端末デバイス302の表示インタフェースは、第1端末デバイス301内に表示されたコンテンツ、例えば、第1端末デバイス301のホームスクリーンを表示し得る。ホームスクリーンは、時計、カレンダー、ギャラリー、ノートパッド、ファイル、メール、ミュージック、計算機、Huaweiビデオ、ヘルス、天気、カメラ、及びメッセージ等のアプリケーションのアプリケーションアイコンを含み得る。更に、ユーザは、第2端末デバイス302において第1端末デバイス301を協同で操作し得、例えば、第1端末デバイス301のアプリケーションを開くために、第2端末デバイス302の表示インタフェースにおいて第1端末デバイス301のアプリケーションアイコンをタップ又はタッチし得る。
同様に、近距離オートディスカバリーを通じて確立された接続において、第1端末デバイス301及び第2端末デバイス302の間の距離が予め設定された距離より小さい場合、第1端末デバイス301及び第2端末デバイス302の間の接続は、図4及び図5-1及び図5-2における操作に基づいて確立される。同様に、スキャンを通じて確立された接続において、第1端末デバイス301が、第2端末デバイス302内の、接続のために使用される二次元コードをスキャンした後、第1端末デバイス301及び第2端末デバイス302の間の接続は、図4及び図5-1及び図5-2における操作に基づいて確立される。
一例において、ユーザが第1端末デバイス301及び第2端末デバイス302の間の接続を確立するために、第1端末デバイス301のマルチスクリーンコラボレーションを使用可能にした後、第1端末デバイス301は、第2端末デバイス302の表示インタフェースにおける第1端末デバイス301のホームスクリーンの第1表示領域を決定し得、ホームスクリーンの表示情報及び第1表示領域の位置情報を第2端末デバイス302に送信し得る。第2端末デバイス302は、第2端末デバイス302の表示インタフェースにおける第1表示領域内に第1端末デバイス301のホームスクリーンを表示し得る。言い換えると、第1端末デバイス301は、第2端末デバイス302における第1表示領域上にホームスクリーンを投影し得る。ホームスクリーンは、第1端末デバイス301がその上にコンテンツを表示するスクリーンである。言い換えると、第2端末デバイス302の表示インタフェースにおける第1表示領域は、第1端末デバイス301の表示インタフェースに現在表示されているコンテンツを同期的に表示し得、例えば、第1端末デバイス301のホームスクリーンを同期的に表示し得る。
ユーザが第2端末デバイス302において第1端末デバイス301のアプリケーション(例えば、Huaweiビデオアプリケーション)を開く場合、第2端末デバイス302は、Huaweiビデオアプリケーションを開くためのユーザの命令を第1端末デバイス301に送信し得る。命令を受信した後、第1端末デバイス301は、仮想スクリーンを作成し得、第2端末デバイス302の表示インタフェースにおける仮想スクリーンの第2表示領域を決定し得る。更に、第1端末デバイス301は、Huaweiビデオアプリケーションのアプリケーションデータを取得し、Huaweiビデオアプリケーションのアプリケーションデータをレンダリングしてウィンドウデータを取得し得、ウィンドウデータを組み合わせ、その後、仮想スクリーン上にウィンドウデータを表示し得、つまり、第1端末デバイス301の仮想スクリーン上でHuaweiビデオアプリケーションを開き得る。続いて、第1端末デバイス301は、仮想スクリーンの表示情報及び第2表示領域の位置情報を第2端末デバイス302に送信し得る。第2端末デバイス302は、第2端末デバイス302の表示インタフェースにおける第2表示領域内に仮想スクリーンを表示し得る。例えば、Huaweiビデオアプリケーションのアプリケーションインタフェースは、第2端末デバイス302の表示インタフェースにおける第2表示領域内に表示され得る。言い換えると、第1端末デバイス301は、第2端末デバイス302における第2表示領域上に仮想スクリーンを投影し得る。
別の例において、ユーザが第1端末デバイス301及び第2端末デバイス302の間の接続を確立するために、第1端末デバイス301のマルチスクリーンコラボレーションを使用可能にした後、第1端末デバイス301は、ホームスクリーンの表示情報を第2端末デバイス302に送信し得る。第2端末デバイス302は、第2端末デバイス302の表示インタフェースにおける第1端末デバイス301のホームスクリーンの第1表示領域を決定し得、その後、第2端末デバイス302の表示インタフェースにおける第1表示領域内にホームスクリーンを表示し得る。
ユーザが第2端末デバイス302において第1端末デバイス301のアプリケーションを開く場合、第2端末デバイス302は、アプリケーションを開くためのユーザの命令を第1端末デバイス301に送信し得る。命令を受信した後、第1端末デバイス301は、仮想スクリーンを作成し、アプリケーションのアプリケーションデータを取得し、アプリケーションのアプリケーションデータをレンダリングしてウィンドウデータを取得し、ウィンドウデータを組み合わせ、その後、仮想スクリーン上に組み合わせたウィンドウデータを表示する、つまり、第1端末デバイス301の仮想スクリーン上でアプリケーションを開き得る。続いて、第1端末デバイス301は、仮想スクリーンの表示情報を第2端末デバイス302に送信し得る。第2端末デバイス302は、第2端末デバイス302の表示インタフェースにおける第1端末デバイス301の仮想スクリーンの第2表示領域を決定し得、その後、第2端末デバイス302の表示インタフェースにおける第2表示領域内に仮想スクリーンを表示し得、つまり、第2端末デバイス302の表示インタフェースにおける第2表示領域内にアプリケーションのアプリケーションインタフェースを表示し得る。
仮想スクリーン上に表示されたコンテンツは、第1端末デバイス301のホームスクリーン上で表示されなくてもよい。言い換えると、仮想スクリーンは、第1端末デバイス301において表示されなくてもよい。第1端末デバイス301は、ホームスクリーンの現在のスクリーンパラメータに基づいて、仮想スクリーンを作成し得る。スクリーンパラメータは、スクリーンサイズ、及びスクリーンの表示状態等を含み得る。ホームスクリーンの現在のスクリーンパラメータは、仮想スクリーンが作成されるときに存在する、ホームスクリーンのスクリーンパラメータである。しかしながら、仮想スクリーンは、ホームスクリーンから独立する。具体的には、仮想スクリーンは、ホームスクリーンのスクリーンパラメータに基づいて、作成されるが、仮想スクリーンのスクリーンパラメータは、ホームスクリーンのスクリーンパラメータから独立する。言い換えると、仮想スクリーンのスクリーンパラメータは、ホームスクリーンのスクリーンパラメータによって変化しない。例えば、ポートレートモード表示状態である仮想スクリーンがポートレートモード表示状態であるホームスクリーンに基づいて、作成された後、ホームスクリーンがポートレートモード表示状態からランドスケープモード表示状態に変化する場合、仮想スクリーンのスクリーンパラメータは、依然として、仮想スクリーンの現在のスクリーンパラメータを保持し得る。言い換えると、ランドスケープモード表示状態に変化する代わりに、仮想スクリーンは、依然として、現在のポートレートモード表示状態を保持し得る。
第2端末デバイス302において表示されるときに、ホームスクリーン及び仮想スクリーンが互いに妨害しないことを保証し、第2端末デバイス302による協同表示を実行することの表示効果を改善し、ユーザエクスペリエンスを改善するために、第1表示領域及び第2表示領域の間には重複関係が存在しないことに留意されたい。
本願の本実施形態において、第1表示領域及び第2表示領域が、第1端末デバイス301によって決定されてもよく、又は第2端末デバイス302によって決定されてもよいことが前述の説明から認識し得る。第1端末デバイス301によって第1表示領域及び第2表示領域を決定する原理は、第2端末デバイス302によって第1表示領域及び第2表示領域を決定する原理と基本的に同じである。以下では、第1端末デバイス301が第1表示領域及び第2表示領域を決定する一例を使用することによって説明を提供する。
本願の本実施形態において、第1端末デバイス301は、第1端末デバイス301の表示状態及び第2端末デバイス302の表示インタフェースのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定し得る。折り畳み不可能な第1端末デバイス301の場合、表示状態は、ランドスケープモード表示状態及びポートレートモード表示状態を含み得る。折り畳み可能な第1端末デバイス301の場合、表示状態は更に、折り畳まれたスクリーン表示状態及び折り畳まれていないスクリーンの表示状態を含み得る。以下では以下のステップを個別に説明する:(1)折り畳み不可能な第1端末デバイス301がランドスケープモード表示状態である場合に、第1表示領域及び第2表示領域を決定する段階。(2)折り畳み不可能な第1端末デバイス301がポートレートモード表示状態である場合に、第1表示領域及び第2表示領域を決定する段階。(3)折り畳み可能な第1端末デバイス301が折り畳まれたスクリーン表示状態である場合に、第1表示領域及び第2表示領域を決定する段階。(4)折り畳み可能な第1端末デバイス301が折り畳まれていないスクリーンの表示状態である場合に、第1表示領域及び第2表示領域を決定する段階。
第1端末デバイス301の表示状態は、既存の方法で取得され得る。本願の本実施形態において、これについて特に限定しない。例えば、第1端末デバイス301の表示状態は、第1端末デバイス301におけるウィンドウマネージャを使用することによって、第1端末デバイス301におけるアクティビティタスクマネージャーサービス(activity task manager service,ATMS)から取得され得る。ATMSは、システムにおける全てのアクティビティ(activity)の状態を管理するように構成されている。
(1)折り畳み不可能な第1端末デバイス301がポートレートモード表示状態である場合に、第1表示領域及び第2表示領域を決定する。
具体的に、折り畳み不可能な第1端末デバイス301がポートレートモード表示状態である場合、第1端末デバイス301が第2端末デバイス302への接続を確立した後、第1端末デバイス301は、第2端末デバイス302の表示インタフェースのインタフェース情報を取得し得、表示インタフェースのインタフェース情報は、表示インタフェースの現在のインタフェース高さ及び現在のインタフェース幅等を含み得、第1端末デバイス301のホームスクリーンの現在のスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを鉛直方向に分割して、左右に配置された第1表示領域及び第2表示領域を取得し得る。第1表示領域の領域高さ及び第2表示領域の領域高さは、同じであり、その両方は、第2端末デバイス302の現在のインタフェース高さと同じであり、第1表示領域の領域幅及び第2表示領域の領域幅の和は、第2端末デバイス302の現在のインタフェース幅である。必要に応じて、第1表示領域の領域幅は、第1端末デバイス301のホームスクリーンの現在のスクリーン幅と同じであり得る。
第1端末デバイス301のホームスクリーンの現在のスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて第2端末デバイス302の表示インタフェースを鉛直方向に分割することによって取得された、左右に配置された第1表示領域及び第2表示領域は、図6における(a)及び図7における(a)に示すように、第1表示領域が右側に、第2表示領域が左側に存在するものであってもよいし;又は図6における(b)及び図7における(b)に示すように、第1表示領域が左側に、第2表示領域が右側に存在するものであってもよいことを理解されたい。図6における(a)及び図6における(b)は、第1端末デバイス301がポートレートモード表示状態にあり、第2端末デバイス302がランドスケープモード表示状態である場合の第1表示領域及び第2表示領域の例示的なダイヤグラムである。図7における(a)及び図7における(b)は、第1端末デバイス301がポートレートモード表示状態にあり、第2端末デバイス302がポートレートモード表示状態である場合の第1表示領域及び第2表示領域の例示的なダイヤグラムである。
分割を通じて第1表示領域及び第2表示領域を取得した後、第1端末デバイス301は、第1表示領域の左上頂点及び右下頂点の座標情報を使用することによって、第1表示領域の位置情報を表し得、第2表示領域の左上頂点及び右下頂点の座標情報を使用することによって、第2表示領域の位置情報を表し得る。座標情報は、第2端末デバイス302の表示インタフェースの左上頂点を座標の原点として使用し(又は第2端末デバイス302の表示インタフェースの上部エッジ及び表示インタフェースの左エッジの間の交点を座標の原点として使用し)、第2端末デバイス302の表示インタフェースの上部エッジをX軸として使用し、第2端末デバイス302の表示インタフェースの左エッジをY軸として使用することによって確立された座標系における座標情報である。
したがって、第1表示領域の位置情報は、[(第2表示領域の領域幅,0),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]であり得、第2表示領域の位置情報は、[(0,0),(第2表示領域の領域幅,表示インタフェースのインタフェース高さ)]である。代替的に、第1表示領域の位置情報は、[(0,0),(第1表示領域の領域幅、表示インタフェースのインタフェース高さ)]であり得、第2表示領域の位置情報は、[(第1表示領域の領域幅,0),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]である。ここで、表示インタフェースは、第2端末デバイス302の表示インタフェースである。
例えば、図6における(a)に示すように、第1端末デバイス301がポートレートモード表示状態にあり、第2端末デバイス302がランドスケープモード表示状態である場合、第1表示領域は、第2端末デバイス302の表示インタフェースにおける右側領域であり得、第2表示領域は、第2端末デバイス302の表示インタフェースにおける左領域であり得る。言い換えると、ホームスクリーン及び仮想スクリーンは、第2端末デバイス302の表示インタフェースにおいて左右に水平方向に配置され得る。第1表示領域の領域高さheight1=第2表示領域の領域高さheight2=表示インタフェースのインタフェース高さheightであり、第1表示領域の領域幅width1+第2表示領域の領域幅width2=表示インタフェースのインタフェース幅widthであり、第1表示領域の領域幅width1=第1端末デバイス301のホームスクリーンの現在のスクリーン幅である。したがって、第1表示領域の位置情報は、[(width2,0),(width,height)]であり得、第2表示領域の位置情報は、[(0,0),(width2,height)]であり得る。
例えば、図7における(b)に示すように、第1端末デバイス301がポートレートモード表示状態にあり、第2端末デバイス302がポートレートモード表示状態である場合、第1表示領域は、第2端末デバイス302の表示インタフェースにおける左領域であり得、第2表示領域は、第2端末デバイス302の表示インタフェースにおける右側領域であり得る。したがって、第1表示領域の位置情報は、[(0,0),(width1,height)]であり得、第2表示領域の位置情報は、[(width1,0),(width,height)]であり得る。
表示領域(第1表示領域及び第2表示領域を含む)の左上頂点及び右下頂点の座標情報が表示領域の位置情報を表すために使用されることは、例示的な説明のために使用されているに過ぎず、本願の本実施形態に対する制限であるとして解釈されるべきでないことに留意されたい。本願の本実施形態において、表示領域の位置情報は、表示領域の4つの頂点の座標情報、又は表示領域の左下頂点及び右上頂点の座標情報等を使用することによって表され得る。
(2)折り畳み不可能な第1端末デバイス301がランドスケープモード表示状態である場合に、第1表示領域及び第2表示領域を決定する。
具体的に、折り畳み不可能な第1端末デバイス301がランドスケープモード表示状態である場合、第1端末デバイス301が第2端末デバイス302への接続を確立した後、第1端末デバイス301は、第2端末デバイス302の表示インタフェースのインタフェース情報を取得し得、表示インタフェースのインタフェース情報は、表示インタフェースの現在のインタフェース高さ及び現在のインタフェース幅等を含み得、第1端末デバイス301のホームスクリーンの現在のスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを水平方向に分割して、上下に配置された第1表示領域及び第2表示領域を取得し得る。第1表示領域の領域幅及び第2表示領域の領域幅は、同じであり、その両方は、第2端末デバイス302の現在のインタフェース幅と同じであり、第1表示領域の領域高さ及び第2表示領域の領域高さの和は、第2端末デバイス302の現在のインタフェース高さである。必要に応じて、第1表示領域の領域高さは、第1端末デバイス301のホームスクリーンの現在のスクリーン高さと同じであり得る。
第1端末デバイス301のホームスクリーンの現在のスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて第2端末デバイス302の表示インタフェースを水平方向に分割することによって取得された、上下に配置された第1表示領域及び第2表示領域は、図8における(a)及び図9における(a)に示すように、第1表示領域が上側に、第2表示領域が下側に存在するものであってよいし、又は図8における(b)及び図9における(b)に示すように、第1表示領域が下側に、第2表示領域が上側に存在するものであってもよいことを理解されたい。図8における(a)及び図8における(b)は、第1端末デバイス301がランドスケープモード表示状態であるにあり、第2端末デバイス302がランドスケープモード表示状態である場合の第1表示領域及び第2表示領域の例示的なダイヤグラムである。図9における(a)及び図9における(b)は、第1端末デバイス301がランドスケープモード表示状態であるにあり、第2端末デバイス302がポートレートモード表示状態である場合の第1表示領域及び第2表示領域の例示的なダイヤグラムである。
(1)と同様に、分割を通じて第1表示領域及び第2表示領域を取得した後、第1端末デバイス301は、第1表示領域の左上頂点及び右下頂点の座標情報を使用することによって第1表示領域の位置情報を表し得、第2表示領域の左上頂点及び右下頂点の座標情報を使用することによって第2表示領域の位置情報を表し得る。同様に、座標情報は、第2端末デバイス302の表示インタフェースの左上頂点を座標の原点として使用し(又は第2端末デバイス302の表示インタフェースの上部エッジ及び表示インタフェースの左エッジの間の交点を座標の原点として使用し)、第2端末デバイス302の表示インタフェースの上部エッジをX軸として使用し、第2端末デバイス302の表示インタフェースの左エッジをY軸として使用することによって確立された座標系における座標情報である。
したがって、第1表示領域の位置情報は、[(0,0),(表示インタフェースのインタフェース幅,第1表示領域の領域高さ)]であり得、第2表示領域の位置情報は、[(0,第1表示領域の領域高さ),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]である。代替的に、第1表示領域の位置情報は、[(0,第2表示領域の領域高さ),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]であり得、第2表示領域の位置情報は、[(0,0),(表示インタフェースのインタフェース幅,第2表示領域の領域高さ)]である。ここで、表示インタフェースは、第2端末デバイス302の表示インタフェースである。
例えば、図8における(a)に示すように、第1端末デバイス301がランドスケープモード表示状態にあり、第2端末デバイス302がランドスケープモード表示状態である場合、第1表示領域は、第2端末デバイス302の表示インタフェースにおける上方領域であり得、第2表示領域は、第2端末デバイス302の表示インタフェースにおける下方領域であり得る。言い換えると、ホームスクリーン及び仮想スクリーンは、第2端末デバイス302の表示インタフェースにおいて上下に鉛直方向に配置され得る。第1表示領域の領域幅width1=第2表示領域の領域幅width2=表示インタフェースのインタフェース幅widthであり、第1表示領域の領域高さheight1+第2表示領域の領域高さheight2=表示インタフェースのインタフェース高さheightであり、第1表示領域の領域高さheight1=第1端末デバイス301のホームスクリーンの現在のスクリーン高さである。したがって、第1表示領域の位置情報は、[(0,0),(width,height1)]であり得、第2表示領域の位置情報は、(0,height1),(width,height)であり得る。
例えば、図9における(b)に示すように、第1端末デバイス301がランドスケープモード表示状態にあり、第2端末デバイス302がポートレートモード表示状態である場合、第1表示領域は、第2端末デバイス302の表示インタフェースにおける下方領域であり得、第2表示領域は、第2端末デバイス302の表示インタフェースにおける上方領域であり得る。したがって、第1表示領域の位置情報は、[(0,height2),(width,height)]であり得、第2表示領域の位置情報は、[(0,0),(width,height2)]であり得る。
(3)折り畳み可能な第1端末デバイス301が折り畳まれたスクリーン表示状態である場合に、第1表示領域及び第2表示領域を決定する。
折り畳み可能な第1端末デバイス301が折り畳まれたスクリーン表示状態であるシナリオにおいて、折り畳み可能な第1端末デバイス301がポートレートモード表示状態である場合、第1端末デバイス301は、(1)における方式で第1表示領域及び第2表示領域を決定し得ることを理解されたい。具体的には、第1端末デバイス301は、第1端末デバイス301のホームスクリーンの現在のスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを鉛直方向に分割して、左右に配置された第1表示領域及び第2表示領域を取得し得る。
折り畳み可能な第1端末デバイス301がランドスケープモード表示状態である場合、第1端末デバイス301は、(2)における方式で第1表示領域及び第2表示領域を決定し得る。具体的には、第1端末デバイス301は、第1端末デバイス301のホームスクリーンの現在のスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを水平方向に分割して、上下に配置された第1表示領域及び第2表示領域を取得し得る。
(4)折り畳み可能な第1端末デバイス301が折り畳まれていないスクリーンの表示状態である場合に、第1表示領域及び第2表示領域を決定する。
具体的に、折り畳み可能な第1端末デバイス301が折り畳まれていないスクリーンの表示状態である場合、第1端末デバイス301のホームスクリーンは、それに対応して大きくなり、第1表示領域のエリアもまたそれに対応して大きくなる必要がある。第1端末デバイス301は、第2端末デバイス302の表示インタフェースを完全に使用し、第2端末デバイス302の表示インタフェースの利用を改善するために、第2端末デバイス302の表示状態を参照して、第1表示領域及び第2表示領域を決定し得る。
第2端末デバイス302の表示状態は、第2端末デバイス302の表示インタフェースのインタフェース情報に基づいて決定され得る。例えば、表示インタフェースの現在のスクリーン幅が現在のスクリーン高さより大きい場合、第2端末デバイス302がランドスケープモード表示状態であると決定され得る。表示インタフェースの現在のスクリーン幅が現在のスクリーン高さより小さい場合、第2端末デバイス302がポートレートモード表示状態であると決定され得る。
一例において、第2端末デバイス302がランドスケープモード表示状態である場合、第1端末デバイス301は、(1)における方式を参照して第1表示領域及び第2表示領域を決定し得る。具体的には、第1端末デバイス301は、第1端末デバイス301のホームスクリーンの現在のスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを鉛直方向に分割して、左右に配置された第1表示領域及び第2表示領域を取得し、その結果、第2表示領域の表示エリアが保証され、より多くの仮想スクリーンが第2表示領域内に表示されることができて、第2端末デバイス302の表示インタフェースの利用を改善し、ユーザエクスペリエンスを改善し得る。(1)と同様に、第1端末デバイス301のホームスクリーンの現在のスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて第2端末デバイス302の表示インタフェースを鉛直方向に分割することによって取得された、左右に配置された第1表示領域及び第2表示領域は、第1表示領域が左側に、第2表示領域が右側に存在するものであってもよく;又は第1表示領域が右側に、第2表示領域が左側に存在するものであってもよい。
したがって、第1表示領域の位置情報は、[(0,0),(第1表示領域の領域幅、表示インタフェースのインタフェース高さ)]であり得、第2表示領域の位置情報は、[(第1表示領域の領域幅,0),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]である。代替的に、第1表示領域の位置情報は、[(第2表示領域の領域幅,0),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]であり得、第2表示領域の位置情報は、[(0,0),(第2表示領域の領域幅,表示インタフェースのインタフェース高さ)]である。
別の例において、第2端末デバイス302がポートレートモード表示状態である場合、第1端末デバイス301は、(2)における方式を参照して第1表示領域及び第2表示領域を決定し得る。具体的には、第1端末デバイス301は、第1端末デバイス301のホームスクリーンの現在のスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを水平方向に分割して、上下に配置された第1表示領域及び第2表示領域を取得してよく、その結果、第2表示領域の表示エリアが保証され、より多くの仮想スクリーンが第2表示領域内に表示されることができて、第2端末デバイス302の表示インタフェースの利用を改善し、ユーザエクスペリエンスを改善する。(2)と同様に、第1端末デバイス301のホームスクリーンの現在のスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて第2端末デバイス302の表示インタフェースを水平方向に分割することによって取得された、上下に配置された第1表示領域及び第2表示領域は、第1表示領域が表示インタフェースにおける上側に、第2表示領域が表示インタフェースにおける下側に存在するものであってもよく;又は第1表示領域が表示インタフェースにおける下側に、第2表示領域が表示インタフェースにおける上側に存在するものであってもよい。
したがって、第1表示領域の位置情報は、[(0,0),(表示インタフェースのインタフェース幅,第1表示領域の領域高さ)]であり得、第2表示領域の位置情報は、[(0,第1表示領域の領域高さ),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]である。代替的に、第1表示領域の位置情報は、[(0,第2表示領域の領域高さ),(表示インタフェースのインタフェース幅,表示インタフェースのインタフェース高さ)]であり得、第2表示領域の位置情報は、[(0,0),(表示インタフェースのインタフェース幅,第2表示領域の領域高さ)]である。
実行可能な実装形態において、第1端末デバイス301が折り畳まれていないスクリーンの表示状態であるシナリオにおいて、ホームスクリーンのスクリーン幅及びホームスクリーンのスクリーン高さの間の差分が予め設定された閾値より小さい場合、第1端末デバイス301は、ホームスクリーンのスクリーン幅及びホームスクリーンのスクリーン高さのうち、より大きな一方に基づいて、第1表示領域の領域幅を直接決定し得る。言い換えると第1端末デバイス301がランドスケープモード表示状態である場合、第1端末デバイス301は、ホームスクリーンの現在のスクリーン高さ及び現在のスクリーン高さのうち、より大きな値(例えば、ホームスクリーンの現在のスクリーン高さ)を第1表示領域の領域幅として決定し得る。第1端末デバイス301がポートレートモード表示状態である場合、第1表示領域及び第2表示領域は、第1端末デバイス301がランドスケープモード表示状態であるときに存在する第1表示領域及び第2表示領域と同じままである。したがって、第1端末デバイス301がランドスケープモード表示状態からポートレートモード表示状態に変化する場合、第1表示領域及び第2表示領域は、操作遅延を低減させ、表示効果を改善するために、再編成される必要がない。予め設定された閾値は、実際のシチュエーションに基づいて具体的に設定され得る。
本願の本実施形態において、第1表示領域及び第2表示領域が決定された後、第2端末デバイス302は、第1表示領域内にホームスクリーンを表示し得、第2表示領域内に仮想スクリーンを表示し得る。ホームスクリーンが第1表示領域内に表示される場合、第1表示領域におけるホームスクリーンの相対的な位置がまず決定される必要があり、その結果、第2端末デバイス302は、相対的な位置に基づいて、第1表示領域内にホームスクリーンを表示することができることを理解されたい。
第1表示領域におけるホームスクリーンの相対的な位置は、第1端末デバイス301又は第2端末デバイス302によってデフォルトで設定されてもよく、又は第1端末デバイス301又は第2端末デバイス302においてユーザによってカスタマイズされてもよい。第1表示領域におけるホームスクリーンの相対的な位置が第1端末デバイス301によってデフォルトで設定される又は第1端末デバイス301においてユーザによってカスタマイズされる場合、第1端末デバイス301は、ホームスクリーンの表示情報又はホームスクリーンの表示情報及び第1表示領域の位置情報を第2端末デバイス302に送信するときに、第1表示領域におけるホームスクリーンの相対的な位置を第2端末デバイス302に送信してよい。
同様に、仮想スクリーンが第2表示領域内に表示される場合、第2表示領域における仮想スクリーンの相対的な位置がまず決定される必要があり、その結果、第2端末デバイス302は、相対的な位置に基づいて、第2表示領域内に仮想スクリーンを表示することができる。第2表示領域における仮想スクリーンの相対的な位置は、第1端末デバイス301又は第2端末デバイス302によってデフォルトで設定されてもよく、又は第1端末デバイス301又は第2端末デバイス302においてユーザによってカスタマイズされてもよい。第2表示領域における仮想スクリーンの相対的な位置が第1端末デバイス301によってデフォルトで設定される又は第1端末デバイス301においてユーザによってカスタマイズされる場合、第1端末デバイス301は、仮想スクリーンの表示情報又は仮想スクリーンの表示情報及び第2表示領域の位置情報を第2端末デバイス302に送信するときに、第2表示領域における仮想スクリーンの相対的な位置を送信し得る。
実行可能な実装形態において、第2表示領域における仮想スクリーンの相対的な位置は代替的に、第2表示領域における仮想スクリーンの配列順序に基づいて決定されてもよい。配列順序は、第1端末デバイス301又は第2端末デバイス302によってデフォルトで設定されてもよく、又は第1端末デバイス301又は第2端末デバイス302においてユーザによってカスタマイズされてもよい。例えば、第2端末デバイス302は、仮想スクリーンが左から右への配列順序で表示されることをデフォルトで設定してよい。したがって、第1端末デバイス301から送信された、第1仮想スクリーンの表示情報を第2端末デバイス302が受信した場合、第2端末デバイス302は、第2表示領域内において最も左の位置において第1仮想スクリーンを表示し得る。続いて、第1端末デバイス301から送信された、第2仮想スクリーンの表示情報を第2端末デバイス302が受信した場合、第2端末デバイス302は、第1仮想スクリーンの右側に第2仮想スクリーンを表示し得、これは、表示のために第2表示領域に追加され得る仮想スクリーンがなくなるまで、又は第2表示領域内に表示される仮想スクリーンの数が予め設定された最大数に達するまで、同じように続く。予め設定された最大数は、ユーザによってカスタマイズされ得る。
本願の本実施形態において、第2端末デバイス302を使用することによって協同表示を実行する間、第1端末デバイス301の表示状態が変化する場合、第2端末デバイス302において表示されるホームスクリーンの状態もそれに対応して変化する。したがって、第2端末デバイス302におけるホームスクリーンの表示効果を改善し、ユーザエクスペリエンスを改善するために、第1表示領域及び第2表示領域は、再編成され得、ホームスクリーンは、再編成された第1表示領域内に表示され得、仮想スクリーンは、再編成された第2表示領域内に表示され得る。第1表示領域及び第2表示領域は、第1端末デバイス301又は第2端末デバイス302によって再編成され得る。以下では、第1端末デバイス301が第1表示領域及び第2表示領域を再編成する一例を使用することによって説明を提供する。
具体的に、第1端末デバイス301がポートレートモード表示状態からランドスケープモード表示状態に変化する場合、第1端末デバイス301は、(2)における方式を参照して第1表示領域及び第2表示領域を再編成し得る。具体的には、左右に配置された第1表示領域及び第2表示領域は、上下に配置された第1表示領域及び第2表示領域へと再編成され得る。再編成の前に存在した第1表示領域の領域幅は、再編成された第1表示領域の領域高さに等しい。例えば、第1端末デバイス301は、図10における(a)における左右に配置された第1表示領域及び第2表示領域を、図10における(b)における上下に配置された第1表示領域及び第2表示領域へと再編成し得る。図10における(b)に示す第1表示領域の領域高さheight1は、図10における(a)に示す第1表示領域の領域幅width1に等しい。
第1端末デバイス301がランドスケープモード表示状態からポートレートモード表示状態に変化する場合、第1端末デバイス301は、(1)における方式を参照して第1表示領域及び第2表示領域を再編成し得る。具体的には、上下に配置された第1表示領域及び第2表示領域は、左右に配置された第1表示領域及び第2表示領域へと再編成される。再編成の前に存在した第1表示領域の領域高さは、再編成された第1表示領域の領域幅に等しい。例えば、第1端末デバイス301は、図11における(a)における上下に配置された第1表示領域及び第2表示領域を、図11における(b)における左右に配置された第1表示領域及び第2表示領域へと再編成し得る。図11における(b)に示す第1表示領域の領域幅width1は、図11における(a)に示す第1表示領域の領域高さheight1に等しい。
第1端末デバイス301が折り畳まれたスクリーン表示状態から折り畳まれていないスクリーンの表示状態に変化する場合、第1端末デバイス301は、(4)における方式を参照して第1表示領域及び第2表示領域を再編成し得る。具体的には、第2端末デバイス302がランドスケープモード表示状態である場合、第1端末デバイス301は、折り畳まれていないホームスクリーンのスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを鉛直方向に分割して、左右に配置された第1表示領域及び第2表示領域を取得し得る。第2端末デバイス302がポートレートモード表示状態である場合、第1端末デバイス301は、折り畳まれていないホームスクリーンのスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを水平方向に分割して、上下に配置された第1表示領域及び第2表示領域を取得し得る。
例えば、第2端末デバイス302がランドスケープモード表示状態である場合、第1端末デバイス301は、図12における(a)における第1表示領域及び第2表示領域を、図12における(b)における第1表示領域及び第2表示領域へと再編成し得る。再編成の前に存在した第1表示領域の領域幅width1は、第1端末デバイス301が折り畳まれた後に存在するホームスクリーンのスクリーン幅に等しく、再編成された第1表示領域の領域幅width1'は、第1端末デバイス301が折り畳まれていないようにされた後に存在するホームスクリーンのスクリーン幅に等しい。例えば、第2端末デバイス302がポートレートモード表示状態である場合、第1端末デバイス301は、図13における(a)における第1表示領域及び第2表示領域を、図13における(b)における第1表示領域及び第2表示領域へと再編成し得る。再編成の前に存在した第1表示領域の領域幅width1は、第1端末デバイス301が折り畳まれた後に存在するホームスクリーンのスクリーン幅に等しく、再編成された第1表示領域の領域高さheight1は、第1端末デバイス301が折り畳まれていないようにされた後に存在するホームスクリーンのスクリーン高さに等しい。
実行可能な実装形態において、第1端末デバイス301が折り畳まれていないスクリーンの表示状態であるシナリオにおいて、第1端末デバイス301がランドスケープモード表示状態からポートレートモード表示状態に変化する場合、第1端末デバイス301は、(1)における方式を参照して第1表示領域及び第2表示領域を再編成し得る。第1端末デバイス301がポートレートモード表示状態からランドスケープモード表示状態に変化する場合、第1端末デバイス301は、(2)における方式を参照して第1表示領域及び第2表示領域を再編成し得る。
別の実行可能な実装形態において、第1端末デバイス301が折り畳まれていないスクリーンの表示状態であるシナリオにおいて、折り畳まれていないホームスクリーンのスクリーン幅及びスクリーン高さのうち、より大きな一方に基づいて、第1表示領域及び第2表示領域を第1端末デバイス301が決定した場合、例えば、第1端末デバイス301が、ホームスクリーンのスクリーン高さ、すなわち、より大きな一方に基づいて第1表示領域の領域幅を決定した場合、折り畳まれていない第1端末デバイス301がランドスケープモード表示状態である場合、第1端末デバイス301がランドスケープモード表示状態からポートレートモード表示状態に変化する場合、協同表示の操作遅延を低減させ、表示効果を改善するために、第1端末デバイス301は、第1表示領域及び第2表示領域を再編成する必要がなくてもよく、ランドスケープモード表示状態において決定された第1表示領域及び第2表示領域内に、ポートレートモード表示状態である第1端末デバイス301におけるコンテンツを直接表示し得る。
第1端末デバイス301が折り畳まれていないスクリーンの表示状態から折り畳まれたスクリーン表示状態に変化する場合、第1端末デバイス301は、(3)における方式を参照して第1表示領域及び第2表示領域を再編成し得る。具体的には第1端末デバイス301がランドスケープモード表示状態である場合、第1端末デバイス301は、折り畳まれた第1端末デバイス301のホームスクリーンのスクリーン高さ及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを水平方向に分割して、上下に配置された第1表示領域及び第2表示領域を取得し得る。第1端末デバイス301がポートレートモード表示状態である場合、第1端末デバイス301は、折り畳まれた第1端末デバイス301のホームスクリーンのスクリーン幅及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを鉛直方向に分割して、左右に配置された第1表示領域及び第2表示領域を取得し得る。
例えば、折り畳まれていない第1端末デバイス301及び折り畳まれた第1端末デバイス301がランドスケープモード表示状態である場合、第1端末デバイス301は、図14における(a)における第1表示領域及び第2表示領域を、図14における(b)における第1表示領域及び第2表示領域へと再編成し得る。再編成の前に存在した第1表示領域の領域高さheight1は、第1端末デバイス301の折り畳まれていないホームスクリーンのスクリーン高さに等しく、再編成された第1表示領域の領域高さheight1'は、第1端末デバイス301の折り畳まれたホームスクリーンのスクリーン高さに等しい。例えば、折り畳まれていない第1端末デバイス301及び折り畳まれた第1端末デバイス301は、ポートレートモード表示状態である場合、第1端末デバイス301は、図14における(c)における第1表示領域及び第2表示領域を、図14における第1表示領域及び第2表示領域へと再編成し得る。再編成の前に存在した第1表示領域の領域高さheight1は、第1端末デバイス301の折り畳まれていないホームスクリーンのスクリーン高さに等しく、再編成された第1表示領域の領域幅width1は、第1端末デバイス301の折り畳まれたホームスクリーンのスクリーン幅に等しい。
必要に応じて、第1端末デバイス301の表示状態が変化する場合、第1端末デバイス301のホームスクリーンのコンテンツ表示方式は、それに対応して変化せず、第1表示領域及び第2表示領域が再編成された場合、第2端末デバイス302におけるホームスクリーンのコンテンツの表示効果が影響され、ユーザにとって閲覧するのに不便である。したがって、第1端末デバイス301の表示状態が変化する場合、ホームスクリーンのコンテンツ表示方式が第1端末デバイス301の表示状態と共に変化する場合、第1端末デバイス301は、第1表示領域及び第2表示領域を再編成し得る。ホームスクリーンのコンテンツ表示方式が第1端末デバイス301の表示状態と共に変化しない場合、第1端末デバイス301は、第1表示領域及び第2表示領域を再編成しなくてよい。
ホームスクリーンのコンテンツ表示方式は、既存の方法で決定されてよい。本願の本実施形態において、これについて特に限定しない。例えば、第1端末デバイス301におけるアクティビティマネージャサービス(activity manager service,AMS)は、ホームスクリーンに対応するアクティビティのランドスケープ/ポートレートモード状態を取得して、そのアクティビティのランドスケープ/ポートレートモード状態に基づいて、ホームスクリーンのコンテンツ表示方式を決定するために使用され得る。
必要に応じて、第1端末デバイス301の表示状態が変化しないが、第1端末デバイス301のホームスクリーンのコンテンツ表示方式は変化する場合、例えば、ユーザが、ホームスクリーン上に表示されたアプリケーションのランドスケープ/ポートレートモード切り替えボタンをタップしてホームスクリーンのコンテンツ表示方式を変化させるが、第1端末デバイス301は、それに対応して回転されていない場合、第1端末デバイス301は、第2端末デバイス302におけるホームスクリーンのコンテンツの表示効果を改善し、ユーザが第2端末デバイス302においてコンテンツを閲覧することを助け、ユーザの閲覧体験を改善するために、代替的に、コンテンツ表示方式の変化に基づいて、第1表示領域及び第2表示領域を再編成し得る。
コンテンツ表示方式は、ランドスケープモード表示及びポートレートモード表示を含み得る。本願の本実施形態において、コンテンツ表示方式に基づいて第1表示領域及び第2表示領域を再編成するケースの場合は、(1)及び(2)における方式を参照されたい。具体的に、ホームスクリーンのコンテンツ表示方式がポートレートモード表示からランドスケープモード表示に変化する場合、第1端末デバイス301は、(2)における方法を参照して第1表示領域及び第2表示領域を再編成し得る。具体的には、第1端末デバイス301は、第2端末デバイス302の表示インタフェースのインタフェース情報を取得してよく、第1端末デバイス301のホームスクリーンの現在のスクリーン幅(つまり、ポートレートモード表示状態でのスクリーン幅)及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを水平方向に分割して、上下に配置された第1表示領域及び第2表示領域を取得してよい。ホームスクリーンのコンテンツ表示方式がランドスケープモード表示からポートレートモード表示に変化する場合、第1端末デバイス301は、(1)における方法で第1表示領域及び第2表示領域を再編成し得る。具体的には、第1端末デバイス301は、第2端末デバイス302の表示インタフェースのインタフェース情報を取得してよく、第1端末デバイス301のホームスクリーンの現在のスクリーン高さ(つまり、ランドスケープモード表示状態でのスクリーン高さ)及び第2端末デバイス302のインタフェース情報に基づいて、第2端末デバイス302の表示インタフェースを鉛直方向に分割して、左右に配置された第1表示領域及び第2表示領域を取得してよい。
本願の本実施形態において、第1表示領域及び第2表示領域が再編成された後、コンテンツ表示方式及び第1表示領域におけるホームスクリーンの相対的な位置は、第1端末デバイス301の表示状態又はホームスクリーンのコンテンツ表示方式と共に変化し得るが、第2表示領域における仮想スクリーンは、依然として、再編成の前に存在したコンテンツ表示方式及び相対的な位置に基づいて表示される。例えば、第2表示領域における第1仮想スクリーン及び第2仮想スクリーンが再編成の前に左から右への配列順序でポートレートモードで第2表示領域内に表示されている場合、第1表示領域及び第2表示領域が再編成された後、第1仮想スクリーン及び第2仮想スクリーンは、依然として、左から右への配列順序でポートレートモードで再編成された第2表示領域内に表示されて、仮想スクリーンにおいてコンテンツを再びリフレッシュ及びレイアウトする回数を低減し、第2表示領域における表示遅延を低減し、表示効果を改善し、ユーザエクスペリエンスを改善する。
再編成された第2表示領域の領域高さが仮想スクリーンのスクリーン高さより小さい又は再編成された第2表示領域の領域幅が仮想スクリーンのスクリーン幅より小さい場合、第2表示領域内に仮想スクリーンを表示する前に、第2端末デバイス302は、再編成された第2表示領域に基づいて仮想スクリーンを比例関係で低減し得、その後、再編成の前に存在した、第2表示領域内の仮想スクリーンの相対的な位置に基づいて、第2端末デバイス302の第2表示領域内に比例関係で低減された仮想スクリーンを完全に表示してもよく;又は第1端末デバイス301は、再編成された第2表示領域に基づいて仮想スクリーンを比例関係で低減し得、比例関係で低減された仮想スクリーンの表示情報を第2端末デバイス302に送信し得、第2端末デバイス302は、再編成前に存在した、第2表示領域内の仮想スクリーンの相対的な位置に基づいて、第2表示領域内に仮想スクリーンを完全に表示してもよいことが理解され得る。このように、仮想スクリーンが第2端末デバイス302に完全に表示されることができることが保証あれ得る。
以下では、具体的な適用シナリオを参照して、本願の実施形態において提供される協同表示方法の例示的な説明を提供する。以下の適用シナリオにおいて、第1端末デバイス301が第1表示領域及び第2表示領域を決定及び再編成する一例を使用することによって、例示的な説明が提供される。
例えば、第1端末デバイス301がポートレートモード表示状態であり、第2端末デバイス302がランドスケープモード表示状態であるシナリオにおいて、第1端末デバイス301及び第2端末デバイス302がマルチスクリーンコラボレーションを実行した後、第1端末デバイス301は、第1表示領域及び第2表示領域が左右に水平方向に配置されることを決定し得る。例えば、第1表示領域は、右側に、第2表示領域は、左側に存在する。第1端末デバイス301は、第1端末デバイス301のホームスクリーンの表示情報及び第1表示領域の位置情報を第2端末デバイス302に送信し得る。図15-1及び図15-2における(a)に示すように、ホームスクリーンの表示情報及び第1表示領域の位置情報を受信した後、第2端末デバイス302は、第2端末デバイス302の表示インタフェースにおける第1表示領域内にホームスクリーン1500を表示し得る。
ユーザが第2端末デバイス302におけるホームスクリーン1500上でメッセージアプリケーション1501をタップ又はタッチした場合、第2端末デバイス302は、ユーザがメッセージアプリケーションをタップ又はタッチしたことを示す命令を第1端末デバイス301に送信し得る。命令を受信した後、第1端末デバイス301は、第1仮想スクリーンを作成し、メッセージアプリケーションのアプリケーションデータを取得し、メッセージアプリケーションのアプリケーションデータをレンダリングしてウィンドウデータを取得し、ウィンドウデータを組み合わせ、その後、第1仮想スクリーン上で組み合わせたウィンドウデータを表示し得る。続いて、第1端末デバイス301は、第1仮想スクリーンの表示情報及び第2表示領域の位置情報を第2端末デバイス302に送信し得る。図15-1及び図15-2における(b)に示すように、第1仮想スクリーンの表示情報及び第2表示領域の位置情報を受信した後、第2端末デバイス302は、左から右への配列順序で第2端末デバイス302の表示インタフェースにおける第2表示領域内に第1仮想スクリーンを表示し得、言い換えると、メッセージアプリケーションのコンテンツを第2表示領域における最も左の位置において表示し得る。
ユーザが続けて第2端末デバイス302におけるホームスクリーン1500上でHuaweiビデオアプリケーション1502をタップ又はタッチした場合、第2端末デバイス302は、ユーザがHuaweiビデオアプリケーションをタップ又はタッチしたことを示す命令を第1端末デバイス301に送信し得る。命令を受信した後、第1端末デバイス301は、第2仮想スクリーンを作成し、Huaweiビデオアプリケーションのアプリケーションデータを取得し、Huaweiビデオアプリケーションのアプリケーションデータをレンダリングしてウィンドウデータを取得し、ウィンドウデータを組み合わせ、その後、第2仮想スクリーン上で組み合わせたウィンドウデータを表示し得る。続いて、第1端末デバイス301は、第2仮想スクリーンの表示情報を第2端末デバイス302に送信し得る。図16-1及び図16-2における(a)に示すように、第2仮想スクリーンの表示情報を受信した後、第2端末デバイス302は、左から右への表示順序で第2表示領域内でメッセージアプリケーションの右側に第2仮想スクリーンを表示し得る。
ユーザが第1端末デバイス301におけるギャラリーアプリケーションをタップ又はタッチした場合、第1端末デバイス301は、ホームスクリーン上でギャラリーアプリケーションを開き得、ホームスクリーンの表示情報を第2端末デバイス302に送信し得る。図16-1及び図16-2における(b)に示すように、ホームスクリーンの表示情報を受信した後、第2端末デバイス302は、ギャラリーアプリケーションのコンテンツを第1表示領域内に表示し得る。
メッセージアプリケーション、Huaweiビデオアプリケーション、及びギャラリーアプリケーションが開かれているシナリオにおいて、ユーザが第1端末デバイス301を回転させ、それに応じて第1端末デバイス301のホームスクリーンのコンテンツ表示方式が変化する場合、具体的には、ユーザが第1端末デバイス301をポートレートモード表示状態からランドスケープモード表示状態に切り替えて、第1端末デバイス301において表示されたコンテンツもポートレートモード表示からランドスケープモード表示に変化する場合、第1端末デバイス301は、左右に水平方向に配置された第1表示領域及び第2表示領域を、上下に鉛直方向に配置された第1表示領域及び第2表示領域へと再編成し得る。例えば、再編成された第1表示領域は、上側に、再編成された第2表示領域は、下側に存在する。続いて、第1端末デバイス301は、回転されたホームスクリーンの表示情報及び再編成された第1表示領域の位置情報を第2端末デバイス302に送信し、再編成された第2表示領域の位置情報及び第1仮想スクリーン及び第2仮想スクリーンの表示情報を第2端末デバイス302に送信し得る。第1仮想スクリーン及び第2仮想スクリーンは、第1端末デバイス301の表示状態と共に変化せず、第2表示領域における第1仮想スクリーン及び第2仮想スクリーンの相対的な位置も変化しないままである。図17に示すように、回転されたホームスクリーンの表示情報、再編成された第1表示領域の位置情報、再編成された第2表示領域の位置情報、第1仮想スクリーン及び第2仮想スクリーンの表示情報を受信した後、第2端末デバイス302は、再編成された第1表示領域内にホームスクリーンを表示し得、再編成前に存在した第2表示領域における第1仮想スクリーン及び第2仮想スクリーンの相対的な位置に基づいて、依然としてポートレートモード表示方式で再編成された第2表示領域内に第1仮想スクリーン及び第2仮想スクリーンを表示し得る。
ユーザが第1端末デバイス301を回転した場合で、仮想スクリーン(第1仮想スクリーン及び第2仮想スクリーンのうち少なくとも1つを含む)のコンテンツが変化しない場合、第1端末デバイス301は、仮想スクリーンの表示情報を第2端末デバイス302に送信する必要がなくてよく、第2端末デバイス302は、以前に取得された仮想スクリーンの表示情報及び第2表示領域における仮想スクリーンの相対的な位置に基づいて、再編成された第2表示領域内に仮想スクリーンを直接表示して、仮想スクリーンの表示効率を改善してよいことが理解され得る。
例えば、第1端末デバイス301が折り畳まれており、ポートレートモード表示状態であり、第2端末デバイス302がポートレートモード表示状態であるシナリオにおいて、第1端末デバイス301及び第2端末デバイス302がマルチスクリーンコラボレーションを実行した後、第1端末デバイス301は、第1表示領域及び第2表示領域が左右に水平方向に配置されることを決定し得る。例えば、第1表示領域は、右側に、第2表示領域は、左側に存在する。第1端末デバイス301は、第1端末デバイス301のホームスクリーン1800の表示情報及び第1表示領域の位置情報を第2端末デバイス302に送信し得る。図18に示すように、ホームスクリーン1800の表示情報及び第1表示領域の位置情報を受信した後、第2端末デバイス302は、第2端末デバイス302の表示インタフェースにおける第1表示領域内にホームスクリーン1800を表示し得る。
ユーザが第2端末デバイス302におけるホームスクリーン1800上でHuaweiビデオアプリケーション1801をタップした場合、第2端末デバイス302は、ユーザがHuaweiビデオアプリケーションをタップしたことを示す命令を第1端末デバイス301に送信し得る。命令を受信した後、第1端末デバイス301は、第1仮想スクリーンを作成し、Huaweiビデオアプリケーションのアプリケーションデータを取得し、Huaweiビデオアプリケーションのアプリケーションデータをレンダリングしてウィンドウデータを取得し、ウィンドウデータを組み合わせ、その後、第1仮想スクリーン上で組み合わせたウィンドウデータを表示し得る。続いて、第1端末デバイス301は、第1仮想スクリーンの表示情報及び第2表示領域の位置情報を第2端末デバイス302に送信し得る。図19に示すように、第1仮想スクリーンの表示情報及び第2表示領域の位置情報を受信した後、第2端末デバイス302は、右から左への表示順序で第2端末デバイス302の表示インタフェースにおける第2表示領域内に第1仮想スクリーンを表示し、具体的には、Huaweiビデオアプリケーションを第2表示領域内の右側に表示し得る。
ユーザが第1端末デバイス301におけるメッセージアプリケーションをタップ又はタッチした場合、第1端末デバイス301は、ホームスクリーン上でメッセージアプリケーションを開き、ホームスクリーンの表示情報を第2端末デバイス302に送信し得る。図20に示すように、ホームスクリーンの表示情報を受信した後、第2端末デバイス302は、メッセージアプリケーションのコンテンツを第1表示領域内に表示し得る。
メッセージアプリケーション及びHuaweiビデオアプリケーションが開かれているシナリオにおいて、ユーザが第1端末デバイス301を折り畳まれていないようにした場合、第1端末デバイス301は、左右に水平方向に配置された第1表示領域及び第2表示領域を、上下に鉛直方向に配置された第1表示領域及び第2表示領域へと再編成し得る。例えば、再編成された第1表示領域は、上側に、再編成された第2表示領域は、下側に存在する。続いて、第1端末デバイス301は、折り畳まれていないホームスクリーンの表示情報及び再編成された第1表示領域の位置情報を第2端末デバイス302に送信し、再編成された第2表示領域の位置情報及び第1仮想スクリーンの表示情報を第2端末デバイス302に送信し得る。第1仮想スクリーンは、第1端末デバイス301の表示状態と共に変化せず、第2表示領域における第1仮想スクリーンの相対的な位置も変化しないままである。図21に示すように、折り畳まれていないホームスクリーンの表示情報、再編成された第1表示領域の位置情報、再編成された第2表示領域の位置情報、第1仮想スクリーンの表示情報を受信した後、第2端末デバイス302は、再編成された第1表示領域内にホームスクリーンを表示し得、再編成前に存在した第2表示領域における第1仮想スクリーンの相対的な位置に基づいて、依然としてポートレートモード表示方式で再編成された第2表示領域内に第1仮想スクリーンを表示し、つまり、依然としてポートレートモード表示方式で再編成された第2表示領域内の右側に第1仮想スクリーンを表示し得る。
ユーザが第1端末デバイス301を回転した場合で、第1仮想スクリーンのコンテンツが変化しない場合、第1端末デバイス301は、第1仮想スクリーンの表示情報を第2端末デバイス302に送信する必要がなくてよく、第2端末デバイス302は、以前に取得された第1仮想スクリーンの表示情報及び第2表示領域における第1仮想スクリーンの相対的な位置に基づいて、再編成された第2表示領域内に第1仮想スクリーンを直接表示して、仮想スクリーンの表示効率を改善してよいことが理解され得る。
前述の説明に基づいて、以下では、本願の実施形態において提供される協同表示方法を簡潔に説明する。図22は、本願の一実施形態に係る協同表示方法の概略フローチャートである。図22に示すように、方法は以下のステップを備え得る。
1.ユーザは、第1端末デバイスにおいてマルチスクリーンコラボレーションを使用可能にする。
2.第1端末デバイスは、第2端末デバイスへの接続を確立する。
ユーザは、第1端末デバイスにおいてNFCチップが位置する第1の予め設定された領域を使用することによって、第2端末デバイスにおいてNFCチップが位置する第2の予め設定された領域にタッチして、マルチスクリーンコラボレーションを使用可能にし得ることを理解され得る。この場合、第1端末デバイスは、「第2端末デバイスへの接続を確立することを確かに望んでいますか」というポップアップ接続ボックスをポップアップし得、ポップアップ接続ボックスは、「接続」ボタン及び「キャンセル」ボタンを含み得る。ユーザが第1端末デバイスにおいて「接続」ボタンをタップした場合、第1端末デバイスは、第2端末デバイスに接続要求を送信し得る。接続要求を受信した後、第2端末デバイスは、「第1端末デバイスへの接続を許可することを確かに望みますか」というポップアップ確認ボックスをポップアップし得、ポップアップ確認ボックスは、「許可」ボタン及び「拒否」ボタンを含み得る。ユーザが第2端末デバイスにおいて「許可」ボタンをタップした場合、第2端末デバイスは、第1端末デバイスへの接続を確立する。この場合、第2端末デバイスは、第1端末デバイスのコンテンツを協同で表示し得る。
3.第1端末デバイスは、第1端末デバイスの第1表示状態に基づいて、第2端末デバイスにおけるホームスクリーンの第1表示領域を決定し、ホームスクリーンの表示情報及び第1表示領域の第1位置情報を第2端末デバイスに送信する。
4.第2端末デバイスは、第1表示領域内にホームスクリーンを表示する。
5.ユーザは、第2端末デバイスにおいて、第1端末デバイスにおけるアプリケーションをタップし、開く。
6.第2端末デバイスは、アプリケーションを開くための命令を第1端末デバイスに送信する。
7.命令を受信した後、第1端末デバイスは、仮想スクリーンを作成し、仮想スクリーン上にアプリケーションを表示し、第2端末デバイスにおける仮想スクリーンの第2表示領域を決定し、仮想スクリーンの表示情報及び第2表示領域の第2位置情報を第2端末デバイスに送信する。
具体的に、第1端末デバイスは、第1端末デバイスの第1表示状態及び第2端末デバイスの表示インタフェースのインタフェース情報を取得し得、第1端末デバイスの第1表示状態及び第2端末デバイスのインタフェース情報に基づいて、第2端末デバイスの表示インタフェースにおけるホームスクリーンの第1表示領域及び第2端末デバイスの表示インタフェースにおける仮想スクリーンの第2表示領域を決定し得る。
第1端末デバイス301の表示状態は、既存の方法で取得され得る。本願の本実施形態において、これについて特に限定しない。例えば、第1端末デバイス301の表示状態は、第1端末デバイス301におけるウィンドウマネージャを使用することによって、第1端末デバイス301におけるATMSから取得され得る。更に、ホームスクリーンに対応する第1表示領域及び仮想スクリーンに対応する第2表示領域を決定した後、ウィンドウマネージャは、第1表示領域の位置情報及び第2表示領域の位置情報を取得及び格納し得る。
例えば、第1端末デバイスが折り畳み不可能な端末デバイスであり、第1端末デバイスがポートレートモード表示状態である場合、又は第1端末デバイスが折り畳み可能な端末デバイスであり、第1端末デバイスが折り畳まれており、ポートレートモード表示状態である場合、第1端末デバイスは、第1表示領域及び第2表示領域が左右に水平方向に配置されており、第1表示領域及び第2表示領域の領域高さの両方が第2端末デバイスの表示インタフェースのインタフェース高さと同じであり、第1表示領域及び第2表示領域の領域幅の和が第2端末デバイスの表示インタフェースのインタフェース幅に等しいと決定し得る。
例えば、第1端末デバイスが折り畳み不可能な端末デバイスであり、第1端末デバイスがランドスケープモード表示状態である場合、又は第1端末デバイスが折り畳み可能な端末デバイスであり、第1端末デバイスが折り畳まれており、ランドスケープモード表示状態である場合、第1端末デバイスは、第1表示領域及び第2表示領域が上下に鉛直方向に配置されており、第1表示領域及び第2表示領域の領域幅の両方が第2端末デバイスの表示インタフェースのインタフェース幅と同じであり、第1表示領域及び第2表示領域の領域高さの和が第2端末デバイスの表示インタフェースのインタフェース高さに等しいと決定し得る。
例えば、第1端末デバイスが折り畳み可能な端末デバイスであり、第1端末デバイスが折り畳まれていないスクリーンの表示状態である場合、第1端末デバイスは、第2端末デバイスのインタフェース情報に基づいて、第1表示領域及び第2表示領域を決定し得る。第2端末デバイスのインタフェース情報に基づいて、第2端末デバイスがランドスケープモード表示状態であると決定した場合、第1端末デバイスは、第1表示領域及び第2表示領域が左右に水平方向に配置されており、第1表示領域及び第2表示領域の領域高さの両方が第2端末デバイスの表示インタフェースのインタフェース高さと同じであり、第1表示領域及び第2表示領域の領域幅の和が第2端末デバイスの表示インタフェースのインタフェース幅に等しいと決定し得る。第2端末デバイスのインタフェース情報に基づいて、第2端末デバイスがポートレートモード表示状態であると決定した場合、第1端末デバイスは、第1表示領域及び第2表示領域が上下に鉛直方向に配置されており、第1表示領域及び第2表示領域の領域幅の両方が第2端末デバイスの表示インタフェースのインタフェース幅と同じであり、第1表示領域及び第2表示領域の領域高さの和が第2端末デバイスの表示インタフェースのインタフェース高さに等しいと決定し得る。
8.第2端末デバイスは、第2表示領域内に仮想スクリーンを表示する。
9.ユーザは、第1端末デバイスを第1表示状態から第2表示状態に調整する。
10.第1端末デバイスは、第2表示状態に基づいて、第1表示領域及び第2表示領域を再編成し、ホームスクリーンの表示情報、再編成された第1表示領域の第3位置情報、仮想スクリーンの表示情報、及び再編成された第2表示領域の第4位置情報を第2端末デバイスに送信する。
本願の本実施形態において、ユーザは、第1端末デバイスを回転して、第1端末デバイスを第1表示状態から第2表示状態に調整し得る。第2表示状態は、ポートレートモード表示状態、ランドスケープモード表示状態、折り畳まれたスクリーン表示状態、又は折り畳まれていないスクリーンの表示状態のいずれか1つである。例えば、第1端末デバイスは、ポートレートモード表示状態からランドスケープモード表示状態に調整されてもよく、又はランドスケープモード表示状態からポートレートモード表示状態に調整されてもよく;又は折り畳まれたスクリーン表示状態から折り畳まれていないスクリーンの表示状態に調整されてもよく;又は折り畳まれていないスクリーンの表示状態から折り畳まれたスクリーン表示状態に調整される等してよい。
第1端末デバイスの表示状態が変化する場合、それに対応して、第1端末デバイスにおけるAMSの構成ファイルが変化する。AMSは、第1端末デバイスの表示状態が変化したことを示すメッセージを第1端末デバイスにおけるウィンドウマネージャに送信し得る。メッセージを受信した後、ウィンドウマネージャは、第1表示領域の位置情報及び第2表示領域の位置情報を再び取得及び格納し得る。
第1表示領域及び第2表示領域が再編成された後、第1端末デバイスは、第1端末デバイスのホームスクリーンの表示情報、再編成された第1表示領域の第3位置情報、仮想スクリーンの表示情報、及び再編成された第2表示領域の第4位置情報を第2端末デバイスに送信し得、その結果、第2端末デバイスは、第1端末デバイスのホームスクリーン及び仮想スクリーンを表示する。
11.第2端末デバイスは、再編成された第1表示領域内にホームスクリーンを表示し、再編成された第2表示領域内に仮想スクリーンを表示する。
ホームスクリーンのコンテンツ表示方式は、第1端末デバイスの表示状態と共に変化し得るが、仮想スクリーンのコンテンツ表示方式は、変化しないままである。つまり、仮想スクリーンのコンテンツ表示方式は、第1端末デバイスの表示状態と共に変化しない。例えば、ホームスクリーン及び仮想スクリーンの両方がポートレートモードを表示し、第1端末デバイスが、ポートレートモード表示状態からランドスケープモード表示状態に変化する場合、ホームスクリーンは、ポートレートモード表示からランドスケープモード表示に変化し得るが、仮想スクリーンは、依然として、ポートレートモードで表示され得る。
更に、再編成された第2表示領域における仮想スクリーンの相対的な位置は、再編成前に存在した第2表示領域における仮想スクリーンの相対的な位置と同じである。言い換えると、第1端末デバイスの表示状態が変化する場合、仮想スクリーン上に表示されるアプリケーションのコンテンツは、再びリフレッシュ及びレイアウトされる必要がなくてよい。言い換えると、第2端末デバイスは、依然として、再編成の前に存在した第2表示領域における仮想スクリーンの相対的な位置及び仮想スクリーンの元のコンテンツ表示方式に基づいて、仮想スクリーンを表示することを続け得る。
本願の本実施形態において、第2端末デバイスにおける第1端末デバイスのホームスクリーンの第1表示領域及び第2端末デバイスにおける仮想スクリーンの第2表示領域は、第1端末デバイスの表示状態に基づいて、決定され得、その結果、第2端末デバイスは、ホームスクリーンを第1表示領域内に表示し、仮想スクリーンを第2表示領域内に表示し得る。しかしながら、第1端末デバイスの表示状態が変化する場合、ホームスクリーンのコンテンツ表示方式、第1表示領域、及び第2表示領域のみが動的に調整され得、仮想スクリーンのコンテンツ表示方式及び第2表示領域内における仮想スクリーンの相対的な位置は、調整される必要がない。したがって、仮想スクリーン上に表示されたアプリケーションのコンテンツは、再びレイアウト又はリフレッシュされる必要がなく、第2表示領域内に表示されるコンテンツを表示することにおける遅延は、低減され、ユーザエクスペリエンスは、改善する。このように、有用性及び実行可能性は、高い。
ステップの順序番号は、実施形態における実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部論理に基づいて決定される必要があり、本願の実施形態の実装プロセスに対していかなる制限するものとはならないべきである。
本願の一実施形態は更に、端末デバイスを提供する。端末デバイスは、少なくとも1つのメモリ、少なくとも1つのプロセッサ、及び少なくとも1つのメモリに格納され、少なくとも1つのプロセッサ上で実行し得るコンピュータプログラムを含む。プロセッサがコンピュータプログラムを実行した場合、端末デバイスは、前述の方法の実施形態のいずれか1つにおけるステップを実装することが可能である。例えば、端末デバイスの構造は、図1に示され得る。
本願の一実施形態は更に、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータプログラムを格納し、コンピュータプログラムがコンピュータによって実行された場合、コンピュータは、前述の方法の実施形態のいずれか1つにおけるステップを実装することが可能である。
本願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が端末デバイス上で実行する場合、端末デバイスは、前述の方法の実施形態のいずれか1つにおけるステップを実装することが可能である。
統合されたユニットがソフトウェア機能ユニットの形式で実装され、独立した製品として販売されるか又は使用される場合、統合されたユニットはコンピュータ可読記憶媒体に格納されてよい。そのような理解に基づいて、本願において、前述の実施形態における方法のプロシージャの全て又はいくつかは、関連するハードウェアを命令するコンピュータプログラムによって実装され得る。コンピュータプログラムは、コンピュータ可読記憶媒体に格納され得る。コンピュータプログラムがプロセッサによって実行された場合、方法の実施形態におけるステップふぁ実装され得る。コンピュータプログラムは、コンピュータプログラムコードを含む。コンピュータプログラムコードは、ソースコード形式、オブジェクトコード形式、実行可能ファイル形式、又はいくつかの中間形式等であり得る。コンピュータ可読記憶媒体は、コンピュータプログラムコードを装置/端末デバイスに搬送し得る任意のエンティティ又は装置、記録媒体、コンピュータメモリ、リードオンリメモリ(read-only memory,ROM)、ランダムアクセスメモリ(random access memory,RAM)、電気キャリア信号、電気通信信号、ソフトウェア配布媒体、例えば、USBフラッシュドライブ、リムーバブルハードディスク、磁気ディスク、又は光学ディスクを少なくとも含み得る。いくつかの管轄区域において、コンピュータ可読媒体は、法令及び特許実務による電気キャリア信号又は電気通信信号であり得ない。
前述の実施形態において、実施形態の全ての説明は、それぞれのフォーカスを有する。一実施形態において詳細に説明されていない部分については、別の実施形態における関連する説明を参照されたい。
当業者は、本明細書において開示された実施形態において説明された例との組み合わせで、ユニット及びアルゴリズムステップは、電子的ハードウェア又はコンピュータソフトウェア及び電子的ハードウェアの組み合わせによって実装され得ることを認識し得る。これらの機能がハードウェア又はソフトウェアのどちらで実行されるかどうかは、技術的解決手段の具体的な用途及び設計上の制約で決まる。当業者は、異なる方法を使用して、各特定のアプリケーションの説明した機能を実装し得るが、その実装が本願の範囲を超えるものと考えられるべきではない。
本願において提供される実施形態において、開示される装置/端末デバイス及び方法は、別の方式で実装され得ることが理解されたい。例えば、説明される装置/端末デバイスの実施形態は、一例に過ぎない。例えば、モジュール又はユニットへの分割は、論理的機能的な分割に過ぎず、実際の実装における他の分割であってもよい。例えば、複数のユニット又はコンポーネントが、別のシステムに組み合わせられても、又は統合されてもよく、又は一部の機能が無視されても、又は行われなくてもよい。更に、表示又は説明された相互連結又は直接的連結又は通信接続は、いくつかのインタフェースを通じて実装されてよい。装置間又はユニット間の間接的連結又は通信接続は、電子的形態、機械的形態、又は他の形態で実装されてよい。
分離した部分として説明されるユニットは、物理的に分離していてもいなくてもよく、ユニットとして表示されている部分は、物理的なユニットであってもなくてもよく、1つの箇所に位置していてもよく、又は複数のネットワークユニットに分散していてもよい。これらの実施形態の解決策の目的を達成するために、これらのユニットのいくつか又は全てが実際の要件に基づいて選択されてよい。
前述の実施形態は、本願の技術的解決手段を説明するために使用されたに過ぎず、技術的解決手段を制限することを目的としていない。上述の実施形態に関連して本願が詳細に説明されているが、当業者であれば更に、本願の実施形態の技術的解決法の趣旨及び範囲から逸脱することなく、上述の実施形態において説明された技術的解決法に対して変更を施し得、又は、それらのいくつかの技術的特徴に対して等価な置き換えを行い得ることを当業者は理解すべきである。修正又は置換は、本願の保護範囲に含まれるものとする。

Claims (16)

  1. 第1端末デバイスに適用される協同表示方法であって、
    前記第1端末デバイスの第1表示状態に基づいて、第2端末デバイスにおける前記第1端末デバイスの第1ホームスクリーンの第1表示領域及び前記第2端末デバイスにおける前記第1端末デバイスの仮想スクリーンの第2表示領域を決定する段階;
    前記第2端末デバイスに前記第1ホームスクリーンを投影する段階、及び前記第2端末デバイスに前記第1表示領域の第1位置情報を送信する段階、ここで、前記第1位置情報は、前記第1表示領域内に前記第1ホームスクリーンを表示するために前記第2端末デバイスによって使用される;
    前記第2端末デバイスに前記仮想スクリーンを投影する段階、及び前記第2端末デバイスに前記第2表示領域の第2位置情報を送信する段階、ここで、前記第2位置情報は、前記第2表示領域内に前記仮想スクリーンを表示するために前記第2端末デバイスによって使用される;
    前記第1端末デバイスが前記第1表示状態から第2表示状態に調整されたことが検出された場合に、前記第2表示状態に基づいて、前記第1ホームスクリーンのコンテンツ表示方式を調整して、第2ホームスクリーンを取得し、前記第2表示状態に基づいて、前記第1表示領域及び前記第2表示領域を再編成する段階;及び
    前記第2端末デバイスに前記第2ホームスクリーン及び前記仮想スクリーンを投影し、再編成された第1表示領域の第3位置情報及び再編成された第2表示領域の第4位置情報を前記第2端末デバイスに送信する段階、ここで、前記第3位置情報は、前記再編成された第1表示領域内に前記第2ホームスクリーンを表示するために前記第2端末デバイスによって使用され、前記第4位置情報は、前記再編成された第2表示領域内に前記仮想スクリーンを表示するために前記第2端末デバイスによって使用される
    を備える、協同表示方法。
  2. 前記第2端末デバイスに前記仮想スクリーンを投影する前記段階の前に、
    アプリケーションに対する、且つ前記第2端末デバイスから送信された開始命令が取得された場合に、前記第1ホームスクリーンに基づいて、前記仮想スクリーンを作成する段階、及び前記仮想スクリーン上に前記アプリケーションのアプリケーションインタフェースを表示する段階、ここで、前記仮想スクリーンは、前記第1端末デバイスに表示されない
    を備える、請求項1に記載の協同表示方法。
  3. 前記第1端末デバイスの第1表示状態に基づいて、第2端末デバイスにおける前記第1端末デバイスの第1ホームスクリーンの第1表示領域及び前記第2端末デバイスにおける前記第1端末デバイスの仮想スクリーンの第2表示領域を決定する前記段階は、
    前記第2端末デバイスのインタフェース情報を取得する段階;及び
    前記第1端末デバイスの前記第1表示状態及び前記第2端末デバイスの前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する段階
    を有する、請求項1又は2に記載の協同表示方法。
  4. 前記インタフェース情報は、インタフェース高さ及びインタフェース幅を含み、前記第1端末デバイスの前記第1表示状態及び前記第2端末デバイスの前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する前記段階は、
    前記第1表示状態がポートレートモード表示状態である場合に、前記第1表示領域の第1領域高さが前記第2表示領域の第2領域高さと同じであり、前記第1領域高さ及び前記第2領域高さが前記インタフェース高さと同じであると決定する段階
    を有する、請求項3に記載の協同表示方法。
  5. 前記第1表示領域の第1領域幅が前記第1ホームスクリーンのスクリーン幅と同じであると決定する段階
    を更に備える、請求項4に記載の協同表示方法。
  6. 前記インタフェース情報は、インタフェース高さ及びインタフェース幅を含み、前記第1端末デバイスの前記第1表示状態及び前記第2端末デバイスの前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する前記段階は、
    前記第1表示状態がランドスケープモード表示状態である場合に、前記第1表示領域の第1領域幅が前記第2表示領域の第2領域幅と同じであり、前記第1領域幅及び前記第2領域幅が前記インタフェース幅と同じであると決定する段階
    を有する、請求項3に記載の協同表示方法。
  7. 前記第1表示領域の第1領域高さが前記第1ホームスクリーンのスクリーン高さと同じであると決定する段階
    を更に備える、請求項6に記載の協同表示方法。
  8. 前記第1端末デバイスは、折り畳み可能なディスプレイを有する端末デバイスであり、前記インタフェース情報は、インタフェース高さ及びインタフェース幅を含み;及び
    前記第1端末デバイスの前記第1表示状態及び前記第2端末デバイスの前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する前記段階は、
    前記第1表示状態が折り畳まれていないスクリーンの表示状態である場合に、前記インタフェース高さ及び前記インタフェース幅に基づいて、前記第2端末デバイスの第3表示状態を決定する段階;及び
    前記第3表示状態及び前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する段階
    を有する、請求項3に記載の協同表示方法。
  9. 前記第3表示状態及び前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する前記段階は、
    前記第3表示状態がランドスケープモード表示状態である場合に、前記第1表示領域の第1領域高さが前記第2表示領域の第2領域高さと同じであり、前記第1領域高さ及び前記第2領域高さが前記インタフェース高さと同じであると決定する段階
    を有する、請求項8に記載の協同表示方法。
  10. 前記第1表示領域の第1領域幅が前記第1ホームスクリーンのスクリーン幅又は前記第1ホームスクリーンのスクリーン高さと同じであると決定する段階
    を更に備える、請求項9に記載の協同表示方法。
  11. 前記第3表示状態及び前記インタフェース情報に基づいて、前記第1表示領域及び前記第2表示領域を決定する前記段階は、
    前記第3表示状態がポートレートモード表示状態である場合に、前記第1表示領域の第1領域幅が前記第2表示領域の第2領域幅と同じであり、前記第1領域幅及び前記第2領域幅が前記インタフェース幅と同じであると決定する段階
    を有する、請求項8に記載の協同表示方法。
  12. 前記第1表示領域の第1領域高さが前記第1ホームスクリーンのスクリーン高さ又は前記第1ホームスクリーンのスクリーン幅と同じであると決定する段階
    を更に備える、請求項11に記載の協同表示方法。
  13. 第2端末デバイスに適用される協同表示方法であって、
    第1端末デバイスの第1表示状態を取得する段階、及び前記第1表示状態に基づいて、前記第2端末デバイスにおける前記第1端末デバイスの第1ホームスクリーンの第1表示領域及び前記第2端末デバイスにおける前記第1端末デバイスの仮想スクリーンの第2表示領域を決定する段階;
    前記第1端末デバイスによって投影された前記第1ホームスクリーンを取得する段階、及び前記第1表示領域内に前記第1ホームスクリーンを表示する段階;
    前記第1端末デバイスによって投影された前記仮想スクリーンを取得する段階、及び前記第2表示領域内に前記仮想スクリーンを表示する段階;
    前記第1端末デバイスが前記第1表示状態から第2表示状態に調整されたと決定された場合に、前記第2表示状態に基づいて、前記第1表示領域及び前記第2表示領域を再編成する段階;及び
    前記第1端末デバイスによって投影された第2ホームスクリーン及び前記仮想スクリーンを取得する段階、再編成された第1表示領域内に前記第2ホームスクリーンを表示する段階、及び再編成された第2表示領域内に前記仮想スクリーンを表示する段階、ここで、前記第2ホームスクリーンのコンテンツ表示方式は、前記第2表示状態に対応する
    を備える、協同表示方法。
  14. 前記第1端末デバイスによって投影された前記仮想スクリーンを取得する前記段階の前に、
    前記第1ホームスクリーン上のアプリケーションに対して実行された起動操作に応答して、前記アプリケーションを開始するための開始命令を前記第1端末デバイスに送信する段階、ここで、前記開始命令は、前記アプリケーションを開始し、前記仮想スクリーン上に前記アプリケーションのアプリケーションインタフェースを表示するために前記第1端末デバイスによって使用される
    を備える、請求項13に記載の協同表示方法。
  15. メモリ、プロセッサ、及び前記メモリに格納され前記プロセッサ上で実行してよいコンピュータプログラムを備える端末デバイスであって、前記プロセッサが前記コンピュータプログラムを実行した場合に、前記端末デバイスは、請求項1から14のいずれか1項に記載の協同表示方法を実装することが可能である、端末デバイス。
  16. コンピュータに、請求項1から14のいずれか1項に記載の協同表示方法を実装させるための、コンピュータプログラム。
JP2023539744A 2020-12-28 2021-12-15 協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体 Pending JP2024500546A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011596431.0A CN114756184A (zh) 2020-12-28 2020-12-28 协同显示方法、终端设备及计算机可读存储介质
CN202011596431.0 2020-12-28
PCT/CN2021/138496 WO2022143180A1 (zh) 2020-12-28 2021-12-15 协同显示方法、终端设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
JP2024500546A true JP2024500546A (ja) 2024-01-09

Family

ID=82260223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023539744A Pending JP2024500546A (ja) 2020-12-28 2021-12-15 協同表示方法、端末デバイス、及びコンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US20230342106A1 (ja)
EP (1) EP4254165A4 (ja)
JP (1) JP2024500546A (ja)
CN (1) CN114756184A (ja)
WO (1) WO2022143180A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116339900B (zh) * 2023-05-30 2023-07-18 北京麟卓信息科技有限公司 一种跨运行环境的多窗口融合显示方法
CN117130573B (zh) * 2023-10-26 2024-02-20 北京世冠金洋科技发展有限公司 一种多屏幕的控制方法、装置、设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936075B1 (ko) * 2012-09-21 2019-01-08 삼성전자주식회사 이동통신 단말기를 이용한 디스플레이 장치의 데이터 표시 방법 및 상기 장치들
CN104731545B (zh) * 2015-03-30 2017-12-08 北京奇艺世纪科技有限公司 一种多媒体文件多终端协同显示方法、装置及系统
KR20170096408A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
CN109032485A (zh) * 2018-07-10 2018-12-18 广州视源电子科技股份有限公司 显示方法、装置、电子设备、智能平板及存储介质
CN110471639B (zh) * 2019-07-23 2022-10-18 华为技术有限公司 显示方法及相关装置
CN111399789B (zh) * 2020-02-20 2021-11-19 华为技术有限公司 界面布局方法、装置及系统

Also Published As

Publication number Publication date
CN114756184A (zh) 2022-07-15
EP4254165A4 (en) 2023-12-06
EP4254165A1 (en) 2023-10-04
US20230342106A1 (en) 2023-10-26
WO2022143180A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
US11595566B2 (en) Camera switching method for terminal, and terminal
AU2018430381B2 (en) Flexible screen display method and terminal
EP3952285A1 (en) Photographing method and terminal
EP3974970A1 (en) Full-screen display method for mobile terminal, and apparatus
EP3944063A1 (en) Screen capture method and electronic device
EP4131911A1 (en) Application interface interaction method, electronic device, and computer readable storage medium
JP7081048B2 (ja) システムナビゲーションバー表示方法、システムナビゲーションバー制御方法、グラフィカルユーザインターフェース、および電子機器
EP4012544A1 (en) Split-screen processing method and terminal device
EP4024209A1 (en) Theme switching method and theme switching apparatus
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
US20230117194A1 (en) Communication Service Status Control Method, Terminal Device, and Readable Storage Medium
JP7400095B2 (ja) 表示要素の表示方法及び電子機器
CN113448382B (zh) 多屏幕显示电子设备和电子设备的多屏幕显示方法
EP4145809A1 (en) Display control method, electronic device, and computer-readable storage medium
EP4199499A1 (en) Image capture method, graphical user interface, and electronic device
US20230342106A1 (en) Collaborative display method, terminal device, and computer-readable storage medium
EP4020965A1 (en) Photography method and electronic device
EP4180918A1 (en) Method for moving control and electronic device
CN117692693A (zh) 多屏显示方法以及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230801