JP2024518333A - マルチスクリーンインタラクション方法及び機器、端末装置、及び車両 - Google Patents

マルチスクリーンインタラクション方法及び機器、端末装置、及び車両 Download PDF

Info

Publication number
JP2024518333A
JP2024518333A JP2023566400A JP2023566400A JP2024518333A JP 2024518333 A JP2024518333 A JP 2024518333A JP 2023566400 A JP2023566400 A JP 2023566400A JP 2023566400 A JP2023566400 A JP 2023566400A JP 2024518333 A JP2024518333 A JP 2024518333A
Authority
JP
Japan
Prior art keywords
display
image
sub
gesture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023566400A
Other languages
English (en)
Inventor
マ，ルォイ
グオ，ズホン
シ，ジィア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2024518333A publication Critical patent/JP2024518333A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • B60K35/22—
    • B60K35/81—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/119—
    • B60K2360/1464—
    • B60K35/10—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

マルチスクリーンインタラクション方法及び機器、端末装置、及び車両が、提供され、インテリジェント車両技術の分野に関する。この方法では、カメラによって撮影した画像に特定のジェスチャが含まれることが検出された後に、第１のディスプレイに表示されているコンテンツがサブ画像に変換され、サブ画像を表示可能な別のディスプレイの識別子と第１のディスプレイに対する向き情報とが第１のディスプレイに提供されるので、ユーザは、その後のジェスチャの移動方向を直感的に把握することができる。次に、特定のジェスチャの移動方向に基づいて第２のディスプレイが決定され、特定のジェスチャが第１のディスプレイ上で移動するのに合わせて、サブ画像が移動するように制御される。特定のジェスチャの移動距離が指定した閾値よりも大きいことが検出された場合に、サブ画像は第２のディスプレイに移動する。従って、マルチスクリーンインタラクション機能が実現される。

Description

本願は、インテリジェント車両の分野に関し、特に、マルチスクリーンインタラクション（interaction：相互作用、対話）方法及び機器、端末装置、及び車両に関する。
インテリジェンスの発展に伴い、車両のインテリジェンスは益々高くなり、インテリジェントキャビンの機能に対する消費者の関心が高まっている。運転者のエクスペリエンスを向上させるために、車両には複数のディスプレイがある。あるディスプレイは車両の速度、燃料消費量、走行距離等の情報を表示するため、あるディスプレイはナビゲーションルートを表示するため、あるディスプレイは音楽及びラジオ放送等の娯楽ビデオを表示するためであり、及び他の機能を含むディスプレイがある。一般に、各ディスプレイは固定コンテンツを表示し、別のディスプレイに表示すべきコンテンツを表示することができない。プロジェクション及び画面共有等の技術の発展に伴い、ディスプレイがこのディスプレイに表示されているコンテンツを別のディスプレイにプッシュして表示し、表示されるコンテンツを共有する技術は、ユーザの重要な要件となり、及びメーカの研究対象となっている。
複数のディスプレイで構成された車種に関して、従来の技術では、運転者が、あるディスプレイに表示されているコンテンツを別のディスプレイにプッシュしたい場合に、その運転者は、ディスプレイ上の特定のボタンをタップするか、又はディスプレイ上のターゲットコンテンツをドラッグしてスライド操作を行う必要がある。このようにして、運転者はディスプレイに対する操作を行う必要があり、これは運転者の注意力を分散させ、車両走行の安全性に問題が生じる。
前述の問題を解決するために、本願の実施形態は、マルチスクリーンインタラクション方法及び機器、端末装置、及び車両を提供する。
第１の態様によれば、本願は、マルチスクリーンインタラクション方法を提供する。この方法は、感知情報を取得するステップであって、感知情報にはジェスチャ情報が含まれる、ステップと；ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるステップであって、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向がジェスチャ情報に関連付けられる、ステップと；サブ画像をトリガして第２のディスプレイに表示させるステップと；を含む。
この実施態様では、感知情報を取得してジェスチャ情報を取得し、次に、ジェスチャ情報に基づいて、ディスプレイをトリガしてインターフェイス画像を表示させ、サブ画像がディスプレイに表示される。サブ画像にはジェスチャ情報が関連付けられているので、ジェスチャの動きに合わせてサブ画像が移動する。特定の条件がトリガされ、例えば、ジェスチャの移動距離が指定した閾値よりも大きい場合に、サブ画像をトリガして別のディスプレイに移動させる。従って、マルチスクリーンインタラクション機能が実現される。
一実施態様では、ジェスチャ情報に５本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツが、第１のインターフェイス画像の全てのコンテンツである。
一実施態様では、ジェスチャ情報に２本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツが、第１のインターフェイス画像において第１のアプリケーションによって提示されるインターフェイスであり、第１のアプリケーションは、ユーザが選択したアプリケーション又は実行中のアプリケーションである。
一実施態様では、第１のインターフェイス画像には位置情報がさらに含まれ、位置情報は、サブ画像を表示可能な他の少なくとも１つのディスプレイの識別子、及び第１のディスプレイに対するその少なくとも１つのディスプレイの向き情報である。
この実施態様では、サブ画像を表示可能な別のディスプレイの識別子と、第１のディスプレイに対する向き情報とがディスプレイに表示されるため、ユーザは、後続のジェスチャの移動方向を直感的に把握（see：理解）することができる。これにより、後続のマルチスクリーンインタラクション操作が容易になる。
一実施態様では、サブ画像をトリガして第２のディスプレイに表示させる（triggering the sub-image to be displayed on a second display：サブ画像を第２のディスプレイに表示させる）前に、この方法は、第１の位置情報、第２の位置情報、及び第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報に基づいて、第２のディスプレイを決定するステップをさらに含み、第１の位置情報は、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるときに使用されるジェスチャの位置情報であり、第２の位置情報は、現時点でのジェスチャの位置情報であり、少なくとも１つのディスプレイには第２のディスプレイが含まれる。
この実施態様では、インタラクションのターゲットディスプレイが事前に決定されるため、その後サブ画像をトリガしてターゲットディスプレイに移動させるときに、サブ画像はターゲットディスプレイに迅速に移動する。これにより処理時間が短縮され、ユーザエクスペリエンスが向上する。
一実施態様では、第２のディスプレイを決定するステップは、第１の位置情報及び第２の位置情報に基づいて、第１の位置情報に対する第２の位置情報の第１の向き情報を決定するステップと；第１の向き情報を、第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報と比較するステップと；第１の向き情報が、第１のディスプレイに対する第２のディスプレイの向き情報と同じである場合に、第２のディスプレイを決定するステップと；を含む。
この実施態様では、ジェスチャの向き情報がディスプレイ同士の間の向き情報に関連付けられているため、ユーザは単に空間内を移動して向きの変化を生じさせるだけでマルチスクリーンインタラクションを実施できるため、この機能を実現するための操作はシシンプルであり、実装が容易である。
一実施態様では、サブ画像をトリガして第２のディスプレイに表示させるステップは、第１の位置情報と第２の位置情報との間の距離が指定した閾値よりも大きいことが検出されると、サブ画像をトリガして第２のディスプレイに表示させるステップを含む。
この実施態様では、ジェスチャの移動距離がマルチスクリーンインタラクションに関連付けられるため、ユーザは単に空間内を移動して比較的大きな距離差を生じさせるだけでマルチスクリーンインタラクションを実施できるため、この機能を実現するための操作はシンプルであり、実装が容易である。
一実施態様では、サブ画像がアプリケーションアイコンである場合に、サブ画像をトリガして第２のディスプレイに表示させるステップは、サブ画像によって示される画像をトリガして第２のディスプレイに表示させる（triggering an image indicated by the sub-image to be displayed on
the second display：サブ画像によって示される画像を第２のディスプレイに表示させる）ステップを含む。
この実施態様では、サブ画像がアプリケーションの画像である場合に、サブ画像がターゲットディスプレイに移動した後に、ユーザの利便性を高めるために、ユーザによる操作を行わずにアプリケーションが直接実行され、そしてユーザは、アプリケーションを実行するためにディスプレイ上で操作を積極的に行う必要はない。
一実施態様では、サブ画像が元のインターフェイス画像を完全に覆い、ユーザが元のインターフェイス画像のコンテンツを閲覧できないのを回避するために、サブ画像のサイズが第１のディスプレイのサイズよりも小さい。
一実施態様では、位置情報は、第１のディスプレイのエッジ位置に表示されるため、ユーザは、別のディスプレイの相対位置をより直観的に把握することができる。
一実施態様では、第１のディスプレイの解像度が第２のディスプレイの解像度と異なる場合に、この方法は、ピクセルの問題によりサブ画像をターゲットディスプレイに画像を表示することができないことを回避するために、サブ画像の解像度を第２のディスプレイの解像度に設定ステップをさらに含む。
一実施態様では、第１のディスプレイのサイズが第２のディスプレイのサイズと異なる場合に、この方法は、サイズの問題によりサブ画像をターゲットディスプレイに表示できないことを回避するために、サブ画像のサイズを第２のディスプレイのサイズに設定するステップをさらに含む。
一実施態様では、第２のディスプレイの長辺のサイズ又は短辺のサイズが、第１のディスプレイの長辺のサイズ又は短辺のサイズよりも小さい場合に、この方法は、サブ画像を縮小して、サブ画像の長辺のサイズを第２のディスプレイの長辺のサイズと同じにするステップ、又はサブ画像を縮小して、サブ画像の短辺のサイズを第２のディスプレイの短辺のサイズと同じにするステップをさらに含む。
この実施態様では、サブ画像の縦横比がターゲットディスプレイの縦横比と異なる場合に、サブ画像をディスプレイに表示することができるように、サブ画像の長辺をターゲットディスプレイに合わせ（aligned with）てもよく、又はサブ画像の短辺をターゲットディスプレイに合わせてもよい。
第２の態様によれば、本願の一実施形態は、マルチスクリーンインタラクション機器を提供する。この機器は、感知情報を取得するように構成された送受信ユニットであって、感知情報にはジェスチャ情報が含まれる、送受信ユニットと；ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成された処理ユニットであって、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向がジェスチャ情報に関連付けられる、処理ユニットと；を含み、処理ユニットは、サブ画像をトリガして第２のディスプレイに表示させる。
一実施態様では、ジェスチャ情報に５本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツは、第１のインターフェイス画像の全てのコンテンツである。
一実施態様では、ジェスチャ情報に２本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツが、第１のインターフェイス画像において第１のアプリケーションによって提示されるインターフェイスであり、第１のアプリケーションは、ユーザが選択したアプリケーション又は実行中のアプリケーションである。
一実施態様では、第１のインターフェイス画像には位置情報がさらに含まれ、位置情報は、サブ画像を表示可能な他の少なくとも１つのディスプレイの識別子、及び第１のディスプレイに対するその少なくとも１つのディスプレイの向き情報である。
一実施態様では、処理ユニットは、第１の位置情報、第２の位置情報、及び第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報に基づいて、第２のディスプレイを決定するようにさらに構成され、第１の位置情報は、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるときに使用されるジェスチャの位置情報であり、第２の位置情報は現時点でのジェスチャの位置情報であり、少なくとも１つのディスプレイには第２のディスプレイが含まれる。
一実施態様では、処理ユニットは、第１の位置情報及び第２の位置情報に基づいて、第１の位置情報に対する第２の位置情報の第１の向き情報を決定すること；第１の向き情報を、第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報と比較すること；及び第１の向き情報が、第１のディスプレイに対する第２のディスプレイの向き情報と同じである場合に、第２のディスプレイを決定すること；を行うように特に構成される。
一実施態様では、処理ユニットは、第１の位置情報と第２の位置情報との間の距離が指定した閾値よりも大きいことが検出されると、サブ画像をトリガして第２のディスプレイを表示させるように特に構成される。
一実施態様では、サブ画像がアプリケーションアイコンである場合に、処理ユニットは、サブ画像によって示される画像をトリガして第２のディスプレイに表示させるように特に構成される。
一実施態様では、サブ画像のサイズが、第１のディスプレイのサイズよりも小さい。
一実施態様では、位置情報は、第１のディスプレイのエッジ位置に表示される。
一実施態様では、第１のディスプレイの解像度が第２のディスプレイの解像度と異なる場合に、処理ユニットは、サブ画像の解像度を第２のディスプレイの解像度に設定するようにさらに構成される。
一実施態様では、第１のディスプレイのサイズが第２のディスプレイのサイズと異なる場合に、処理ユニットは、サブ画像のサイズを第２のディスプレイのサイズに設定するようにさらに構成される。
一実施態様では、第２のディスプレイの長辺のサイズ又は短辺のサイズが、第１のディスプレイの長辺のサイズ又は短辺のサイズよりも小さい場合に、処理ユニットは、サブ画像を縮小して、サブ画像の長辺のサイズを第２のディスプレイの長辺のサイズと同じにする、又はサブ画像を縮小して、サブ画像の短辺のサイズを第２のディスプレイの短辺のサイズと同じにするようにさらに構成される。
第３の態様によれば、本願の実施形態は、マルチスクリーンインタラクションシステムを提供する。このシステムは、プロセッサ及び少なくとも２つのディスプレイを含み、実現できる第１の態様の実施形態を実行するように構成される。
第４の態様によれば、本願の実施形態は、車両を提供する。この車両は、少なくとも１つのカメラ、少なくとも２つのディスプレイ、少なくとも１つのメモリ、及び実現できる第１の態様の実施形態を実行するように構成される少なくとも１つのプロセッサを含む。
第５の態様によれば、本願の実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムがコンピュータで実行されると、コンピュータは、実現できる第１の態様の実施形態を実行できるようになる。
第６の態様によれば、本願の実施形態は、メモリ及びプロセッサを含むコンピュータ装置を提供し、メモリは実行可能コードを格納し、プロセッサが実行可能コードを実行すると、実現できる第１の態様の実施形態が実施される。
第７の態様によれば、コンピュータ装置が提供され、コンピュータ装置はプロセッサ及びインターフェイス回路を含み、プロセッサはインターフェイス回路を使用してメモリに結合され、プロセッサは、メモリ内のプログラムコードを実行して、第２の態様～第４の態様のいずれか１つで提供される技術的解決策、又は第２の態様～第４の態様の可能な実施態様を実現するように構成される。
本願のこの実施形態では、運転者が、ディスプレイに表示されているコンテンツを別のディスプレイにプッシュして表示したい場合に、ディスプレイ上の特定のボタンをタップする又は、ディスプレイ上のターゲットコンテンツをドラッグしてスライドする等の運転者の操作方法によって引き起こされる潜在的な安全上の危険を回避する。本願では、運転者は非常に自然な方法で手をソースディスプレイの横に置き、手のひらを広げる操作を実行するだけで済む。起動ジェスチャが認識された後に、指が徐々につままれる（pinched）と、ソースディスプレイはフライスクリーン（fly screen）起動状態に入る。プロセス全体は、現在の画面を手でキャプチャすることに相当する。次に、ソースディスプレイは、インターフェイスプロンプトに基づいて対応する方向に移動するだけで済む。移動プロセスでは、ソースディスプレイが飛んでいる方向をインターフェイスでリアルタイムに確認できる。移動距離が閾値に達した後に、指を広げてフライスクリーン操作を行う。プロセス全体は、ソースディスプレイをキャプチャし、ソースディスプレイをターゲットディスプレイにスローする（throw：投げる）ことに相当する。操作がシンプルであり、運転者の手間をかけずにマルチスクリーンインタラクション機能を実現することができる。従って、車両の走行過程における安全性を確保することができる。
以下では、実施形態の説明に使用する添付図面又は従来技術について簡潔に説明する。
本願の一実施形態による車両の構造を示す概略図である。 本願の一実施形態による、車両の前部座席のディスプレイ及びカメラが配置される位置を示す概略図である。 本願の一実施形態による、車両の後部座席のディスプレイ及びカメラが配置される位置を示す概略図である。 本願の一実施形態によるマルチスクリーンインタラクション方法を実施する概略フローチャートである。 本願の一実施形態による、５本指キャプチャを実施してディスプレイのキャスト機能を実現するためのジェスチャ変化を示す概略図である。 本願の一実施形態による、２本指キャプチャを実施してアプリケーション共有機能を実現するためのジェスチャ変化を示す概略図である。 本願の一実施形態による、画像内のジェスチャを認識する概略図である。 本願の一実施形態による、５本指キャプチャを実施してディスプレイのキャスト機能を実現するプロセスにおいてサブ画像が取得されるときの、ソースディスプレイに表示されている画像及び対応するジェスチャを示す概略図である。 本願の一実施形態による、２本指キャプチャを実施してアプリケーション共有機能を実現するプロセスにおいてサブ画像が取得されるときの、ソースディスプレイに表示されている画像及び対応するジェスチャを示す概略図である。 本願の一実施形態による、ソースディスプレイ上の一部のサブ画像が外に移動した後の表示効果を示す概略図である。 本願の一実施形態による、一部のサブ画像がターゲットディスプレイに移動した後の表示効果を示す概略図である。 本願の一実施形態による、ターゲットディスプレイ上にサブ画像を表示する表示効果を示す概略図１である。 本願の一実施形態による、ターゲットディスプレイ上にサブ画像を表示する表示効果を示す概略図２である。 本願の一実施形態による、ターゲットディスプレイ上にサブ画像を表示する表示効果を示す概略図３である。 本願の一実施形態による、ソースディスプレイが２つのターゲットディスプレイに対してマルチスクリーン共有を同時に実行するときの、２つのサブ画像の移動効果を示す概略図である。 本願の一実施形態による、５本指キャプチャを使用してディスプレイのキャスト機能とサブ画像の移動処理とを実現するジェスチャを示す概略図である。 本願の一実施形態によるマルチスクリーンインタラクション機器の構造を示す概略図である。 本願の一実施形態による別のマルチスクリーンインタラクション機器の構造を示す概略図である。
発明を実施すための形態
以下では、本願の実施形態における添付図面を参照して、本願の実施形態における技術的解決策について説明する。
図１は、本願の一実施形態による車両の構造を示す概略図である。図１に示されるように、車両１００は、少なくとも２つのディスプレイ１０１（例えば、図１に示されるディスプレイ１０１－１～ディスプレイ１０１－Ｎ）、少なくとも１つのカメラ１０２（例えば、図１に示されるカメラ１０２－１～カメラ１０２－Ｍ）、プロセッサ１０３、メモリ１０４、及びバス１０５を含む。ディスプレイ１０１、カメラ１０２、プロセッサ１０３、及びメモリ１０４は、バス１０５を用いて通信接続を確立することができる。Ｎは１より大きい整数であり、Ｍは正の整数である。
ディスプレイ１０１の種類には、タッチ感応ディスプレイ又は非タッチ感応ディスプレイのうちの１つ又は複数が含まれ得る。例えば、ディスプレイ１０１は、全てタッチ感応ディスプレイであってもよく、又は全て非タッチ感応ディスプレイであってもよい。あるいはまた、ディスプレイ１０１は、タッチ感応ディスプレイ及び非タッチ感応ディスプレイの２種類のディスプレイを含んでもよい。ディスプレイ１０１は、燃料レベル、車速、及び走行距離等のメータデータと、ナビゲーションルート、音楽、ビデオ、及び画像（車両の周囲の環境の画像等）等のデータとを表示するように構成され得る。コストを削減するために、非タッチ感応ディスプレイは、燃料レベル、車速、及び走行距離等のメータデータを表示するように構成することができ、タッチ感応ディスプレイは、ナビゲーションルート、音楽、ビデオ、及び画像等のデータを表示することができる。タッチ感応ディスプレイは、燃料レベル、車速、及び走行距離等のメータデータを表示するように構成してもよいことを理解されたい。上記ディスプレイコンテンツは単なる一例である。本願では、ディスプレイに表示されるコンテンツは限定されない。
例えば、ディスプレイ１０１の位置構成については、図２（ａ）又は図２（ｂ）を参照されたい。図２（ａ）に示される車両１００の前部座席では、ディスプレイ１０１－１は、ハンドル（steering wheel）の中央に配置され得、音楽を再生するための音量ボタン、再生／一時停止ボタン、及び承諾／拒否ボタン等を表示するように構成されるため、運転者が運転中により便利な操作を行うことで、運転者の視線と体の角度との間の切り替えが軽減され、運転の安全性が向上する。ディスプレイ１０１－２は、車両１００のフロントガラスの下及びハンドルの上の車体に配置され、燃料レベル、車速、及び走行距離等のデータを表示する。ディスプレイ１０１－３は、運転席と助手席との間に配置され、音楽、ビデオ、及びナビゲーションルート等のデータを表示する。助手席に関して、ディスプレイ１０１－４は、助手席の前方に位置する車体に配置され得、助手席の乗員が観たいコンテンツを表示するように構成され得る。図２（ｂ）に示される車両１００の後部座席に関して、ディスプレイ１０１－５及びディスプレイ１０１－６は、各前部座席の後方の上部に配置され得る。この２つのディスプレイは、後部座席の乗員が観たい任意のコンテンツ、例えば、映画、ナビゲーション情報、天気等を表示することができる。
本願のこの実施形態では、ディスプレイ１０１の数量及びディスプレイ１０１の位置は、図２（ａ）及び図２（ｂ）に示される数量及び位置関係に限定されない。本願は、読者による解決策の理解を容易にするために、例を用いて説明しているだけである。車両１００に配置されるディスプレイ１０１の具体的な数量及びディスプレイ１０１の具体的な位置は、実際の状況に基づいて決定される。
カメラ１０２は、静止画像又はビデオをキャプチャするように構成され得る。例えば、物体の光学像が、レンズを通して生成され、感光素子に投影される。感光素子は、電荷結合素子（charge coupled device, CCD）又は相補型金属酸化物半導体（complementary
metal-oxide-semiconductor, CMOS）フォトトランジスタであってもよい。感光素子は、光信号を電気信号に変換し、次に、電気信号をプロセッサ（例えば、画像プロセッサ）に送信して、電気信号をデジタル画像信号に変換する。デジタル画像信号は、処理のためにデジタル信号プロセッサ（digital signal processor, DSP）に出力される。ＤＳＰは、デジタル画像信号を、赤、緑、青（red green blue, RGB）、又は輝度帯域幅クロミナンス（luminance
bandwidth chrominance, YUV）等の標準フォーマットの画像信号に変換する。カメラ１０２は、車両内の異なる位置に配置され得、車両内のカメラ１０２は、車両１００内のユーザの身体情報（例えば、手のひら情報）を収集するように構成され得る。カメラ１０２の動作方式は、定期的に撮影してもよく、ビデオストリームを取得するために連続撮影してもよい。本願では、定期的な撮影を例として用いて、本願の技術的解決策について引き続き説明する。
本願では、車両１００内のカメラ１０２の位置が図２（ａ）及び図２（ｂ）に示される。前部座席位置に関して、カメラ１０２－１がバックミラーに配置され得、カメラ１０２－１の撮影範囲は運転席及び助手席をカバーする。カメラ１０２－１は、運転席にいるユーザの手のひら情報と助手席にいるユーザの手のひら情報とを収集するように構成される。後部座席位置に関して、カメラ１０２－３及びカメラ１０２－４が、ディスプレイ１０１－５及びディスプレイ１０１－６の上部に別々に配置され得、カメラ１０２－２及びカメラ１０２－５が、前部座席に近い２つの後部ドアフレームに別々に配置され、後部座席のユーザの手のひら情報を収集する。
同様に、本願のこの実施形態では、カメラ１０２の数量及びカメラ１０２の位置は、図２（ａ）及び図２（ｂ）に示される数量及び位置関係に限定されない。本願は、読者による解決策の理解を容易にするために、例を用いて説明しているだけである。車両１００に配置されるカメラ１０２の具体的な数量及び具体的な位置は、実際の状況に基づいて決定される。
カメラ１０２によって収集される手のひら情報には、主に、５本の指によって提示されるジェスチャと、カメラ１０２に対する手のひらの位置情報とが含まれる。本願では、手のひらの位置情報が両眼式の測距原理を用いて決定される場合に、２つのカメラを各位置に配置する必要がある。
プロセッサ１０３は、オンボードコントローラ、中央処理装置（central processing unit, CPU）、又はクラウドサーバ等であってもよい。プロセッサ１０３は、カメラ１０２がキャプチャした画像を処理し、画像内のユーザの手のひらに対応するジェスチャの種類と手のひらの位置情報とを認識し、次に、あるディスプレイに表示されているコンテンツを別のディスプレイに移動するべく制御するように構成される。
メモリ１０４は、揮発性メモリ（volatile memory）、例えばランダムアクセスメモリ（random-access
memory, RAM）を含んでもよい。あるいはまた、メモリ１０４は、不揮発性メモリ（non-volatile
memory）、例えば、読み取り専用メモリ（read-only memory, ROM）、フラッシュメモリ、ハードディスクドライブ（hard disk drive, HDD）、又はソリッドステートドライブ（solid state
drive, SSD）を含んでもよい。あるいはまた、メモリ１０４は、前述の種類のメモリの組合せを含んでもよい。メモリ１０４に格納されるデータには、カメラ１０２がキャプチャした画像、及びジェスチャ種類のデータベース等が含まれるだけでなく、マルチスクリーンインタラクションを実行する方法に対応する様々な命令、及びアプリケーション等も含まれる。
図３は、本願の一実施形態によるマルチスクリーンインタラクション方法を示す概略フローチャートである。マルチスクリーンインタラクション方法は、コンピュータ装置によって実行してもよく、又はコンピュータ装置に適用される処理機器によって実行してもよく、又は図１に示されるシステムによって実行してもよい。コンピュータ装置は、端末、例えば、車両又は車載機器（車載インフォテインメント、車載プロセッサ、又は車載コンピュータ等）であってもよく、又はサーバ等のクラウド機器であってもよい。処理機器は、チップ、処理回路、又はプロセッサ等であってもよい。説明を容易にするために、プロセッサがマルチスクリーンインタラクション方法を実行する例を用いて、本願について詳細に説明する。図３に示されるように、マルチスクリーンインタラクション方法は以下のステップを含む。
Ｓ３０１：感知情報を取得する。
感知情報には、センサを用いて取得される情報が含まれ得る。例えば、カメラセンサ及びレーダセンサのうちの１つ又は複数を用いて取得され得るジェスチャ情報、及び環境情報等、或いは環境音情報は、例えばユーザの指示等の音センサを用いて取得してもよい。感知情報は、センサが収集した情報であってもよく、又はセンサ及びプロセッサ等の１つ又は複数のコンポーネントが処理した情報であってもよい。例えば、センサを用いて画像情報に対してノイズ低減を行う。
特定の実施態様のプロセスでは、ユーザが、ディスプレイ（以降、このディスプレイを「ソースディスプレイ」と呼ぶ）に表示されるユーザインターフェイス（user interface, UI）、又はアプリケーション（application,
APP）が提示するインターフェイスを別のディスプレイ（以降、このディスプレイを「ターゲットディスプレイ」と呼ぶ）キャスト（cast）する必要がある場合に、ユーザは、車室内カメラを用いて、マルチスクリーンインタラクションをトリガして特定の身体動作、例えばジェスチャ（これはウェイクアップ（wake-up：起動）ジェスチャとしても理解され得る）を検出させることができる。あるいはまた、マルチスクリーンインタラクション機能は、音声ウェイクアップ、又はディスプレイ上の仮想ボタンウェイクアップ等を用いてトリガしてもよい。
具体的な実施態様のプロセスでは、ウェイクアップジェスチャ及び操作ジェスチャ等のジェスチャは、複数の方法、例えば左スワイプジェスチャ、右スワイプジェスチャ、手のひらホバリングジェスチャで実施してもよく、及び動的ジェスチャ（又は動的トレンド（trend：傾向）ジェスチャと呼ばれる）であってもよく、又は静的ジェスチャであってもよい。ジェスチャを認識するように構成されたプロセッサは、インターフェイス回路を用いて感知情報を取得し、ユーザがジェスチャした現在のジェスチャ又はアクションを決定することができる。本願では、２つの解決策、「ディスプレイキャストを実施するための５本指キャプチャ」、及び「アプリケーション共有を実施するための２本指キャプチャ」を用いて、ジェスチャについて以下に詳しく説明する。本願は２つの解決策に限定されないことを理解されたい。
ジェスチャアクションについて、例として「ディスプレイキャストを実施するための５本指キャプチャ」の解決策を用いて説明する。図４（ａ）に示されるように、キャプチャを開始するときに、ユーザは、まず５本の指を広げ、ソースディスプレイに近づける。キャプチャ中に、５本の指が徐々につままれる。キャスト中に、つまんだ５本の指が、ソースディスプレイの位置からターゲットディスプレイの位置まで移動し、次に、ターゲットディスプレイに徐々に近づき、５本の指が徐々に広げられる。
ジェスチャアクションについて、例として「アプリケーション共有を実施するための２本指キャプチャ」の解決策を用いて説明する。図４（ｂ）に示されるように、キャプチャを開始するときに、ユーザは、まず５本の指を広げ（又は親指及び人差し指を広げ、他の指を手のひらの中心に向けて曲げ）、ソースディスプレイに近づける。キャプチャ中に、親指及び人差し指は徐々につままれ、他の指が手のひらの中心に向けて曲げられる。キャスト中に、つまんだ２本の指が、ソースディスプレイの位置からターゲットディスプレイの位置まで移動し、次に、ターゲットディスプレイに徐々に近づき、親指及び人差し指が徐々に広げられる。
本願のこの実施形態におけるマルチスクリーンインタラクション機能を有効にするためのジェスチャは、前述の「５本の指を広げる」ジェスチャであってもよく、又は前述の「５本の指を広げてディスプレイに徐々に近づける」ジェスチャであってもよく、又は別のジェスチャであってもよいことを理解されたい。説明を簡単にするために、以下では説明の例として前述のジェスチャを使用する。
ジェスチャ情報の決定は、カメラによって撮影した画像（又はビデオストリーム）を用いて取得することができ、例えば、画像内の人物の指と各指によって提示されるジェスチャとが、ジェスチャ認識アルゴリズムを用いて認識される、又は（ジェスチャ情報の決定は、）レーダ情報を用いて取得することができ、例えば、３次元点群画像を取得した後に、画像内の人物の指の特徴がニューラルネットワークを用いて抽出され、次に、指の特徴に基づいて、指によって提示されたジェスチャが決定される。あるいはまた、他の情報を用いて決定を行ってもよい。これは、本願では限定されない。以下では、カメラによって撮影した画像又はビデオストリームを例として用いて、本願の技術的解決策について説明する。
マルチスクリーンインタラクション機能が有効になった後に、ソースディスプレイの位置に基づいて、対応する位置の感知情報が取得される。対応する位置の感知情報は、ソースディスプレイの制御位置をカバーする収集範囲を有するカメラ又はレーダ等のセンサによって収集又は処理された情報であってもよい。例えば、図２（ａ）に示されるように、ディスプレイ１０１－２によって送信され、インタラクション機能を有効にするための命令を受信した後に、プロセッサは、車両内の全てのカメラが動作可能になることを回避し、車両の消費電力を削減し、及び車両１００の別の座席の乗員のプライバシーを保護するように、カメラを動作できるようにする。
感知情報を受信した後に、プロセッサは、感知情報に対して手ターゲット検出及びジェスチャ認識を実行し、ユーザの手のひらによって提示されたジェスチャを認識する。例えば、プロセッサは、カメラによってキャプチャした手のひらを含む画像を受け取る。図５に示されるように、キャプチャした画像は、最初に前処理してもよく、前処理には、画像に対してノイズ低減及び情報強調を実行することが含まれてもよい。次に、手ターゲット検出アルゴリズムを使用して画像内のターゲットジェスチャを取得し、手の２１自由度（degree of freedoms, DOFS）又は２６ＤＯＦＳ（又はそれ以上）の２次元（2 dimension, 2D）座標でキーポイント推定を実行して、現在のジェスチャの分類及び説明を取得する。最後に、ジェスチャ認識アルゴリズムを用いて、ターゲットジェスチャを認識して、画像内で手のひらによって提示されたジェスチャが認識される。
本願では、プロセッサは、取得した画像又はビデオストリーム内のフレームの画像から、ウェイクアップジェスチャ又は操作ジェスチャ等の特定のジェスチャを認識する。インタラクション機能が有効になった後に、カメラは画像又はビデオストリームを継続的に撮影し、プロセッサは、処理のために画像又はビデオストリームを継続的に取得する。従って、取得した画像又はビデオストリーム内の画像の時系列を表示するために、本願の説明では、プロセッサは、取得した画像又はビデオストリーム内の画像に時系列に番号を付け、この中で取得した画像を、ビデオストリーム内のｊ番目のフレームの画像又はｉ番目の画像として規定し、ここで、ｉ及びｊは両方とも０より大きい正の整数である。
図４（ａ）及び図４（ｂ）を参照して、特定のジェスチャは、動的トレンドジェスチャである。特定のジェスチャを決定するプロセスにおいて、プロセッサは、現時点において取得した画像内の指と以前の時点において取得した画像内の指との間の距離を比較することができる。５本の指の間の距離が徐々に減少する場合に、それは「５本指でつまむ」ジェスチャを示す。５本の指の間の距離が徐々に減少し、中指、薬指、及び小指が曲がる場合に、それは、「親指及び人差し指が徐々につままれ、他の指が手のひらの中心に向けて曲げられる」というジェスチャを示す。
特定のジェスチャを検出すると、プロセッサは、ソースディスプレイを制御してマルチスクリーンインタラクション状態に入れるようにし、それによって、ソースディスプレイは、ジェスチャの変化に基づいて、表示されるインターフェイス、又は表示されるアプリケーションによって提示されるインターフェイスを抽出する。プロセッサは、カメラによってキャプチャした画像に基づいて、手の３次元（3 dimension, 3D）位置付けアルゴリズムを用いて、カメラに対する特定のジェスチャの空間座標（ｘ０，ｙ０，ｚ０）をさらに計算することができる。
図２（ａ）に示されるように、カメラが飛行時間型（time of flight, TOF）カメラヘッド及び双眼カメラ等の深度を測定できるカメラである場合に、カメラによって撮影した画像と、カメラによって提供される深度情報とを取得した後に、プロセッサは、カメラの内部パラメータ及び外部パラメータを用いて、カメラの光学中心に対する特定のジェスチャの空間座標を直接計算する。ＴＯＦカメラは、光パルスをターゲット物体に連続的に送信し、センサを用いてターゲット物体から戻ってくる光を受信することにより検出した光パルスの往復飛行時間に基づいて、ターゲット物体の距離を取得することができる。
カメラが深度を測定できない単眼カメラである場合に、プロセッサは、深度推定方法を用いてジェスチャの深度又は距離を計算することができる。ここでは、いくつかの可能な深度推定方法が例として提供される。これは、本願では限定されない。例えば：
（１）パースペクティブｎポイント（perspective-n-point, PNP）ベースのアルゴリズム。手のモデルに基づく事前分布を使用して手のひら上のキーポイントを検出し、カメラモデルと組み合わせて、ＰＮＰアルゴリズムに基づいて手の位置を大まかに推定する。拳を握るジェスチャの位置のみを推定する必要があるため、キーポイント検出モデルは拳を握るジェスチャに対して深度の最適化を行うことができる。このようにして得られるキーポイントの３次元位置の絶対精度は個人差により高くはないが、ジェスチャの方向を決定するために使用される位置精度は厳密なものではない。従って、この方法は、方向の動きの相対量を決定するためにも使用することができる。
（２）深層学習に基づく単眼深度推定ネットワークモデル。カメラによって撮影した画像を取得した後に、深層学習のための単眼深度推定ネットワークモデルを用いて単眼カメラ上で深度推定を直接実行し、仮想３Ｄカメラを生成し、ハードウェア３Ｄカメラの不足を補償し、取得した感知情報の画像のうち、次のフレーム又は複数のフレームの画像における特定のジェスチャの深度情報を予測することができる。
最後に、プロセッサは、カメラによって取得した画像及び画像の予測される深度情報に基づいて、カメラの内部パラメータ及び外部パラメータを用いて、カメラの光学中心に対する特定のジェスチャの空間座標を計算する。
Ｓ３０２：ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させる。第１のディスプレイはソースディスプレイであり、第１のインターフェイス画像は、ソースディスプレイによって表示されるインターフェイス画像である。第１のインターフェイス画像はサブ画像をさらに含む。サブ画像は、縮小した第１のインターフェイス画像であってもよく、又はアプリのアイコン等であってもよい。ディスプレイコンテンツは、第１のインターフェイス画像に表示される全ての画像であってもよく、又は第１のインターフェイス画像に表示される一部の画像であってもよい。
特定のジェスチャを検出した後に、プロセッサは、現時点でソースディスプレイに提示されている画像の一部又は全てを、ソースディスプレイのサイズよりも小さいサブ画像に変換するか、又はソースディスプレイに表示されているアプリのアイコンをサブ画像に変換し、そのサブ画像をソースディスプレイに表示することができる。例えば、サブ画像は、ソースディスプレイの中央位置、又は左位置等に表示される。オプションで、特定のジェスチャを検出した後に、プロセッサは代わりにサブ画像を再生成してもよく、その場合に、サブ画像のサイズはソースディスプレイのサイズより小さく、表示されるコンテンツはソースディスプレイに元々表示されていたインターフェイスと同期される。
例えば、図６に示されるように、ソースディスプレイの上部にはタイムバーが配置され得、中央部分は再生されるビデオが位置する領域である。特定のジェスチャが「５本指でつまむ」ジェスチャの場合に、プロセッサは、現時点でソースディスプレイに表示されているインターフェイス全体（タイムバー及びビデオが配置されている領域を含む）のスクリーンショットをキャプチャし、そのスクリーンショットをソースディスプレイの中央位置に表示する。
図７に示されるように、特定のジェスチャが「親指及び人差し指が徐々につままれ、他の指が手のひらの中心に向けて曲げられる」ジェスチャである場合に、プロセッサは、現時点でソースディスプレイにビデオが表示されている領域のスクリーンショットをキャプチャし、そのスクリーンショットをソースディスプレイの中央位置に表示する。
図７において、タイムバーをサブ画像に変換するか、又はビデオ再生領域をサブ画像に変換するかどうかを決定する具体的な実施態様のプロセスには複数の実施態様がある。理解を容易にするために、以下では、例としていくつかの可能な実施態様について説明する。これは、本願では限定されない。例えば：
アプリケーションには優先順位が設定される。例えば、ナビゲーションアプリが第１の優先順位に設定され、ビデオ、音楽、及びワイヤレスブロードキャスト等のアプリが第２の優先順位に設定され、時刻及び天気予報等の基本的なアプリが第３の優先順位に設定される等である。異なるアプリケーションに対して異なる優先順位が設定される。サブ画像変換中に、ソースディスプレイに表示されている最も優先順位の高いアプリケーションのコンテンツがサブ画像に変換され、サブ画像に表示されるコンテンツが、ユーザがプッシュしたいコンテンツとなるのを保証する。
別の例として、それ（優先順位）は、特定のジェスチャの位置とソースディスプレイ上の各領域との間の距離に基づいて決定される。特定のジェスチャがビデオの再生位置に比較的近い場合に、ビデオの再生領域がサブ画像に変換される。特定のジェスチャが、タイムバーが配置される位置に比較的近い場合に、タイムバーはサブ画像に変換される。本願は、上記２つの解決策に限定されるものではなく、他の解決策であってもよい。
ソースディスプレイに表示されるサブ画像のサイズは、固定値又は可変値とすることができる。オプションで、プロセッサは、その後、カメラによってキャプチャした画像を継続的に取得する。認識した特定のジェスチャにおける指同士の間の距離が継続的に減少する場合に、プロセッサは、ソースディスプレイに表示されるサブ画像のサイズを、それに応じて継続的に減少するように制御することができる。
さらに、プロセッサは、ソースディスプレイを制御して、サブ画像を提示するだけでなく、サブ画像を受信可能な別のディスプレイの識別子、及びソースディスプレイに対する別のディスプレイの向き情報等の位置情報も表示する。各ディスプレイの位置が車両を工場から出荷するときに固定されているため、ディスプレイ毎に、ディスプレイの周りの他のディスプレイの向き情報が固定されており、ディスプレイとディスプレイとの間の向き情報を予めメモリに格納してもよい。
オプションとして、ディスプレイとディスプレイとの間の向き情報は、２つのディスプレイの位置同士の間で形成されるベクトルによって表すことができる。図２（ａ）を例として使用する。ディスプレイ１０１－２について、ディスプレイ１０１－２の中心を空間座標（Ｘ０，Ｙ０，Ｚ０）の原点として使用する。各ディスプレイの位置が固定されるため、ディスプレイ同士の間の座標位置を予め格納してもよい。ディスプレイ１０１－２の中心を空間座標の原点として使用する座標系における互いのディスプレイの座標（Ｘ、Ｙ、Ｚ）を決定し、次に、ディスプレイ１０１－２に対する互いのディスプレイのベクトルＭを計算し、計算したベクトルＭを、ディスプレイ１０１－２に対する互いのディスプレイの向きとして使用する。
プロセッサは、ソースディスプレイを制御して、別のディスプレイの位置情報を表示することができるため、ユーザは、サブ画像をターゲットディスプレイに移動する方法を直観的に学ぶことができる。図６を例として使用し、図２（ａ）を参照すると、ソースディスプレイが、再生するビデオを別のディスプレイに共有するものであり、車両の別のディスプレイがビデオを表示することができるため、ディスプレイのパターンがソースディスプレイ上で仮想化され、ソースディスプレイに対する各ディスプレイの向き及び名前がテキスト形式で表示され、各ディスプレイに対応するパターンが、向き関係に基づいて物理ディスプレイに近いソースディスプレイのエッジに配置される。
プロセッサがソースディスプレイを制御してサブ画像を生成し、そのサブ画像をソースディスプレイの中央位置に表示するときに、マッピング関係は、ソースディスプレイ上のサブ画像の位置とジェスチャの空間座標との間の、対応する時点で取得したカメラ画像内のジェスチャの空間座標を取得することによって確立され、それによって、ジェスチャがその後移動すると、サブ画像は、ジェスチャの移動向きと移動距離とに基づいて、対応する向き及びサブ画像の現在位置に対して比例した距離で移動する。
ここで、プロセッサは、カメラによって撮影した各画像又はビデオストリームの各フレームをリアルタイムで受信することができ、又はカメラによって撮影した画像又はビデオストリームを一旦間隔を空けて受信することができることに留意されたい。これは、本願では限定されない。従って、以下で説明する「次の画像又は次のフレームの画像」とは、カメラによって撮影した連続する２つの画像又は２つのフレームの画像を表すものではなく、２つの画像の間にある数枚（フレーム）又は数十枚（フレーム）の画像であり得る。
特定のジェスチャを検出した後に、プロセッサは、特定のジェスチャが後続のフレーム又は複数のフレームの画像で連続的に検出されない場合に、サブ画像及び位置情報を表示しないようにソースディスプレイを制御することができる。例えば、特定のジェスチャを初めて検出した後に、プロセッサが次のフレーム又は複数のフレームの画像で特定のジェスチャを認識しない場合に、ユーザのジェスチャが変化するため、次のフレーム又は複数のフレームの画像には特定のジェスチャが存在せず、ジェスチャがカメラの撮影範囲を超えてしまう場合等がある。この場合に、プロセッサは、制御命令をソースディスプレイに送信して、サブ画像及び位置情報を表示しないようにソースディスプレイを制御してもよい。
オプションで、インタラクション機能の誤ったトリガを回避するために、特定のジェスチャが特定の回数を超えたことを検出した後に、プロセッサは、特定のジェスチャに対応する機能をトリガすることを決定する。例えば、プロセッサが予め設定した時間内に感知情報から特定のジェスチャを複数回取得した場合に、プロセッサは、有効なジェスチャを取得したとみなして、対応する機能をトリガすることができる。別の例として、特定のジェスチャが予め設定した時間内にカメラによって取得した複数のフレームの画像において検出され、その特定のジェスチャが予め設定した閾値を超える。プロセッサは、ソースディスプレイがサブ画像及び位置情報を表示するように、制御命令をソースディスプレイに送信することができる。特定のジェスチャを含む画像の数量が予め設定した閾値未満であることが検出された場合に、プロセッサは、後続の動作を実行せず、検出結果を破棄又は削除する。
プロセッサが次のフレーム又は複数のフレームの画像に特定のジェスチャがさらに含まれることを検出したとき、及び特定のジェスチャの位置が以前のフレームの画像又は特定のジェスチャを初めて検出した画像（すなわち、ビデオストリーム内の画像のｊ番目のフレームの画像又はｉ番目の画像）と比較して変化したときに、特定のジェスチャの空間座標（ｘ０，ｙ０，ｚ０）は、検出した次のフレーム又は複数のフレームの画像に基づいて計算され得る。特定のジェスチャの空間座標（ｘ，ｙ，ｚ）は、以前のフレームの画像、又は特定のジェスチャを初めて検出した画像に対して計算され、特定のジェスチャの動きベクトルｍ＝（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）が計算される。次に、動きベクトルｍが向きベクトルＭと比較され、比較結果に基づいて、ベクトルｍに平行である又は最小夾角を有する向きベクトルＭに対応するディスプレイをターゲットディスプレイとして決定する。
Ｓ３０３：サブ画像をトリガして第２のディスプレイに表示させる。サブ画像をトリガして第２のディスプレイに表示させるための条件は、第１の位置情報と第２の位置情報との間の距離が指定した閾値よりも大きいことを検出することである。
第１の位置情報は、特徴的なジェスチャを最初に検出した画像（すなわち、ビデオストリーム内のｊ番目のフレームの画像又はｉ番目の画像）内のカメラに対する特定のジェスチャの空間座標を指し、第２の位置情報は、次のフレーム又は複数のフレームの後の画像（つまり、ビデオストリーム内の（ｊ＋ｎ）番目のフレームの画像又は（ｉ＋ｎ）番目の画像、ここで、ｎは０より大きい正の整数である）内のカメラに対する特定のジェスチャの空間座標を指す。具体的な実施態様のプロセスは次の通りである。
例えば、カメラが次のフレーム又は複数のフレームを撮影した後の画像内の特定のジェスチャの動きベクトルｍを計算した後に、プロセッサは、ソースディスプレイ面の法線ベクトルｎを参照して、ソースディスプレイ面にキャストされる動きベクトルｍの並進ベクトルｍ１を計算する。次に、プロセッサは、並進ベクトルｍ１の方向に基づいてソースディスプレイ上でのサブ画像の移動方向を決定し、並進ベクトルｍ１の大きさと、ソースディスプレイ上のサブ画像の移動距離と大きさとの間の予め設定した比例関係とに基づいて、ソースディスプレイ上でのサブ画像の移動距離を決定することができる。最後に、プロセッサは、ユーザのジェスチャの動きに合わせてサブ画像が移動するように、並進ベクトルｍ１の大きさに比例して、ソースディスプレイ上のサブ画像を制御して、平面の中心から並進ベクトルｍ１の方向に沿って移動させることができる。
ユーザの特定のジェスチャが連続的に移動すると、プロセッサは、サブ画像がソースディスプレイ上の異なる位置に表示されるように、毎回受信した画像処理結果に基づいてソースディスプレイに制御命令を送信することができ、それにより、特定のジェスチャの動きに合わせてサブ画像が動くのを実現する。特定のジェスチャの動きに合わせてサブ画像が移動した後に、プロセッサが、インターフェイスの一部又は全てがソースディスプレイに表示されていないことを検出すると、プロセッサは、制御命令をターゲットディスプレイに同時に送信することができ、それによってターゲットディスプレイは、ソースディスプレイには表示されないサブ画像のインターフェイスを表示するようにする。
オプションで、サブ画像がアプリ・アイコンである場合に、プロセッサは、特定のジェスチャの移動距離に基づいて、サブ画像が表示のためにターゲットディスプレイに移動することを決定することができ、コントローラは制御命令をターゲットディスプレイに送信する。ここで、制御命令は、ターゲットディスプレイがアプリ・アイコンを表示できるようにするか、又はアプリを実行した後にターゲットディスプレイがインターフェイスを表示できるようにするために使用される。
サブ画像をソースディスプレイからターゲットディスプレイに移動させるための判定条件をどのように決定するかについて、本願では例として２つの判定条件を与える。これは、本願では限定されない。例えば：
１．並進ベクトルｍ１の大きさ。本願では、閾値が予め設定される。動きベクトルｍに基づいてターゲットディスプレイを決定した後に、プロセッサは、動きベクトルｍに基づいて並進ベクトルｍ１の大きさを計算することができる。その大きさが指定した閾値より大きい場合に、サブ画像はターゲットディスプレイに移動する。或いは、その大きさが指定した閾値より大きくない場合に、サブ画像は依然としてソースディスプレイ上で移動する。
２．サブ画像の中心点がソースディスプレイの外に移動する（move out of：はみ出る）。本願では、サブ画像の中心点がソースディスプレイの外に移動することが境界となる。サブ画像が特定のジェスチャとともに移動するプロセスにおいて、プロセッサは、ソースディスプレイ上のサブ画像の位置をリアルタイムで検出することができる。サブ画像の中心点がソースディスプレイの境界上にある、又はソースディスプレイ上にないことが検出された場合に、それは、サブ画像の領域の半分がソースディスプレイの外に移動し、サブ画像がターゲットディスプレイに移動したことを示す。サブ画像の中心点がソースディスプレイ上にあることが検出された場合に、それは、サブ画像の領域の半分がソースディスプレイから出ていないことを示し、サブ画像は依然としてソースディスプレイ上で移動する。
もちろん、本願では、代わりに、サブ画像のムーブアウト領域（move-out area：はみ出し領域）、又はサブ画像の長辺の大きさ等を判定条件としてもよい。これは本明細書では限定されない。
サブ画像がソースディスプレイ上で移動し、サブ画像の中心点がソースディスプレイの外に移動していない場合に、この場合のソースディスプレイのインターフェイス上での表示効果は図８に示される。しかしながら、ターゲットディスプレイでは、図９に示されるように、ソースディスプレイの外に移動したサブ画像の一部が表示されない場合がある、又はソースディスプレイの外に移動したサブ画像の一部が表示される場合があるので、ユーザは、サブ画像の移動先の表示及び移動効果をより直感的に把握することができる。
ターゲットディスプレイの解像度がソースディスプレイの解像度と異なる場合に、サブ画像がターゲットディスプレイに移動した後に、プロセッサは、サブ画像がターゲットディスプレイに移動して異常表示されるのを防ぐために、サブ画像の解像度をターゲットの解像度に増加又は減少させ、次に、サブ画像を表示のためにターゲットディスプレイに送信することができる。
サブ画像のサイズ又は縦横比がターゲットディスプレイのサイズ又は縦横比と異なる場合に、或いはソースディスプレイのサイズ又は縦横比がターゲットディスプレイのサイズ又は縦横比と異なる場合に、サブ画像がターゲットディスプレイに移動すると判定すると、プロセッサは、サブ画像のサイズ又は縦横比とターゲットディスプレイのサイズ又は縦横比とを比較して、サブ画像のサイズ又は縦横比を調整することができ、それによってサブ画像をターゲットディスプレイ画面上に正常に表示させることができる。例えば、図１０に示されるように、ターゲットディスプレイのサイズ、長辺のサイズ、及び短辺のサイズが全てソースディスプレイのサイズ、長辺のサイズ、及び短辺のサイズよりも大きい場合に、プロセッサは、サブ画像をターゲットインターフェイスに元のサイズで表示できるようにする、又は図１１に示されるようにサブ画像がターゲットディスプレイに最大サイズで表示されるようにサブ画像のサイズを拡大することができる。ターゲットディスプレイのサイズ、長辺のサイズ、及び短辺のサイズが全てソースディスプレイ又はサブ画像のサイズより小さい場合に、プロセッサは、サブ画像をターゲットディスプレイ内に正常に表示できるように、ターゲットディスプレイのサイズを縮小することができる。ターゲットディスプレイの長辺のサイズ及び短辺のサイズの一方がソースディスプレイ又はサブ画像のサイズより小さい場合に、プロセッサは、サブ画像のサイズをターゲットディスプレイの長辺のサイズに一致する長辺のサイズに縮小し、又はサブ画像のサイズをターゲットディスプレイの短辺のサイズに一致する短辺のサイズに縮小してから、図１２に示されるように、サブ画像をターゲットディスプレイに表示することができる。
サブ画像がターゲットディスプレイに移動した後に、カメラによってキャプチャされ、プロセッサによって受信したカメラ画像に、特定のジェスチャが含まれない場合がある。この場合に、ユーザに関して、ジェスチャの変化を、特定のジェスチャから「５本の指を広げる」及び「親指及び人差し指を広げる」等の非特定のジェスチャに変換させる必要がある。例えば、プロセッサが、指定した時間内に特定のジェスチャを含むカメラ画像を受信しなかった場合、又は「５本の指を広げてターゲットディスプレイに徐々に近づける」等の特定のジェスチャを検出した場合に、又はターゲットディスプレイ上で３回連続したタップを受信した場合に、消費電力及び計算コストを削減するために、「マルチスクリーンインタラクション」機能が無効になる場合がある。
サブ画像がターゲットディスプレイに移動した後に、カメラによってキャプチャされ、プロセッサによって受信したカメラ画像に、特定のジェスチャがさらに含まれる場合に、それは、デフォルトで、ユーザがソースディスプレイに表示されたコンテンツに対してマルチスクリーン共有を２回実行したとみなしてもよい。この場合に、プロセッサは、ステップＳ３０１～ステップＳ３０３の実装処理を再び実行すればよい。
ステップＳ３０１～ステップＳ３０３を実行するプロセスにおいて、プロセッサが、カメラによって撮影した画像内に２つ以上の特定のジェスチャがあることを検出した場合に、ユーザは、ソースディスプレイに表示されているコンテンツを２つ以上のターゲットディスプレイに共有するとみなしてもよい。プロセッサは、まず２つの特定のジェスチャをマークし、次に、マークした複数の特定のジェスチャに基づいてステップＳ３０１～ステップＳ３０３の実施態様のプロセスを実行して、ソースディスプレイに表示されているコンテンツの複数のターゲットディスプレイへのマルチスクリーン共有を同時に実施してもよい。例えば、図１３に示されるように、プロセッサがソースディスプレイに表示されているコンテンツを２つのターゲットディスプレイに共有する場合に、ソースディスプレイは、２つの特定のジェスチャに対応するサブ画像及びサブ画像の移動方向等の情報を同時に表示することができ、それによって、ユーザは、２つのサブ画像の移動プロセスを直感的に把握することができる。
本願のこの実施形態では、カメラによって撮影した画像に特定のジェスチャが含まれることを検出した後に、プロセッサは、ソースディスプレイに表示されているコンテンツをサブ画像に変換し、サブ画像を表示可能な別のディスプレイの識別子、及びソースディスプレイに対する向き情報をソースディスプレイ上に表示することができ、それによって、ユーザは、後続のジェスチャの移動方向を直観的に把握できる。次に、ターゲットディスプレイが特定のジェスチャの移動方向に基づいて決定され、特定のジェスチャがソースディスプレイ上で移動するのに合わせてサブ画像が移動するように制御され、特定のジェスチャの移動距離が指定した閾値より大きいことが検出された場合に、サブ画像はターゲットディスプレイに移動する。従って、マルチスクリーンインタラクション機能が実現される。
図１４は、本願の一実施形態による、５本指キャプチャを使用してディスプレイのキャスト機能とサブ画像の移動処理とを実現するジェスチャを示す概略図である。図１４に示されるように、運転者がソースディスプレイに表示されているコンテンツをターゲットディスプレイに一度プッシュするプロセスにおいて、ジェスチャの変化及び移動プロセスは次の通りである。
まず、図１４の（ａ）に示されるように、片手をソースディスプレイの前に置き、手の５本の指を広げた状態にする。次に、図１４の（ｂ）に示されるように、５本の指を徐々につまみ（そしてソースディスプレイから離れる方向に動かし）、ソースディスプレイをアクティブにして、フライスクリーンモードが有効になり、現在のインターフェイスに表示されているコンテンツがサブ画像に変換される。次に、図１４の（ｃ）に示されるように、つまんだ指は左（又はターゲットディスプレイに向かう方向）に移動し、指によって提示されるジェスチャは変化せず、ソースディスプレイ上のサブ画像は指の移動に合わせて移動し、その方向は同じである。最後に、サブ画像の移動距離が指定条件を満たした後に、サブ画像はターゲットディスプレイに自動的に表示される。図１４の（ｄ）に示されるジェスチャは、依然として図１４の（ｃ）に示される状態のままであってもよく、又はつまんだ５本の指が徐々に広がる（そしてターゲットディスプレイに近づく方向に移動する）ことであってもよい。
ディスプレイのキャスト機能を実現するプロセスは次の通りである。
図１４の（ａ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０１を実行して、カメラによってキャプチャした画像を取得し、認識を行う。ソースディスプレイに関して、サブ画像、別のディスプレイの識別子、及び向き情報等の情報は表示されない。ターゲットディスプレイに関して、サブ画像は表示されない。ユーザに関して、ユーザは５本の指を広げてソースディスプレイに近づける。
図１４の（ｂ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０２を実行し、カメラによって撮影した画像に特定のジェスチャが含まれることが検出された後に、ソースディスプレイは、サブ画像、別のディスプレイの識別子、及び向き情報等の情報を表示するように制御される。ソースディスプレイに関して、インターフェイスの中央に縮小されたサブ画像と、インターフェイス上に位置する別のディスプレイの識別子及び向き情報等の情報が表示される。ターゲットディスプレイに関して、サブ画像は表示されない。ユーザに関して、ユーザのジェスチャは、広げた５本の指を徐々につまむ過程から変換される。
図１４の（ｃ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０２を実行し、特定のジェスチャの動きが検出した後に、移動方向及び移動距離に基づいて、ターゲットディスプレイが決定され、ソースディスプレイ上のサブ画像が、特定のジェスチャの移動に合わせて移動するように制御される。ソースディスプレイに関して、サブ画像が動きながら表示される。ターゲットディスプレイに関して、サブ画像は表示されない（又は一部のサブ画像が表示される）。ユーザに関して、ユーザのジェスチャは、ソースディスプレイからターゲットディスプレイに移動する。
図１４の（ｄ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０３を実行し、特定のジェスチャの移動距離が指定した閾値よりも大きいことが検出された後に、サブ画像はターゲットディスプレイに移動するように制御される。ソースディスプレイに関して、サブ画像、別のディスプレイの識別子、及び向き情報等の情報は表示されない。ターゲットディスプレイに関して、サブ画像が表示される。ユーザに関して、ユーザのジェスチャは、カメラの撮影領域から外れる（又はつまんだ５本の指を広げる）ことになる。
プロセッサの内部実行の観点から、マルチスクリーンインタラクション機能が有効になった後に、プロセッサは、カメラによってキャプチャした画像を継続的に認識する。まず、手ターゲット検出器が実行され、次にターゲット検出器によって検出した手をさらに分類して、フライスクリーントリガジェスチャ（つまり、上記の特定のジェスチャが「５本の指を広げる」ジェスチャである）があるかどうかを判定する。トリガジェスチャがある場合に、ターゲット追跡アルゴリズムがトリガジェスチャに対して実行され、トリガハンド（手）の位置及び状態が追跡され、フライスクリーンを起動することができるというプロンプトがソースディスプレイに表示される。追跡ハンドが起動ジェスチャに切り替えられた場合に（つまり、上記の特定のジェスチャが「５本指でつまむ」又は「２本指で摘む」である）、フライスクリーンは起動ジェスチャに基づいてアクティブにされる。この場合に、図３のステップＳ３０２が実行される。フライスクリーンを実行できるターゲット方向がソースディスプレイに表示される。この場合に、起動ハンドが移動すると、動きベクトル（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）が、現在の手の座標（ｘ，ｙ，ｚ）に基づいて計算される。次に、スクリーンキャスト面の並進ベクトルｍ１が、スクリーン面の法線ベクトルｎに基づいて計算される。ソースディスプレイには、ｍ１ベクトルの距離及び係数に基づいた移動距離の効果が表示される。移動距離、つまりｍ１の係数が閾値より大きい場合に、フライスクリーンアクションがターゲットディスプレイ上で実行される。起動ジェスチャが閾値以内に放棄された場合に、現在のフライスクリーン操作はキャンセルされ得る。
図１５は、本願の一実施形態によるマルチスクリーンインタラクション機器の構造を示す概略図である。マルチスクリーンインタラクション機器は、コンピュータ装置又は電子装置（例えば、端末）であってもよく、又は電子装置内の機器（例えば、ＩＳＰ又はＳｏＣ）であってもよい。さらに、図３～図１４に示されるマルチスクリーンインタラクション方法、及び前述のオプションの実施形態を実施してもよい。図１５に示されるように、マルチスクリーンインタラクション機器１５００は、送受信ユニット１５０１及び処理ユニット１５０２を含む。
本願では、マルチスクリーンインタラクション機器１５００の具体的な実施態様のプロセスは以下の通りである。送受信ユニット１５０１は、ジェスチャ情報を含む感知情報を取得するように構成される。そして、処理ユニット１５０２は、ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成され、ここで、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向は、ジェスチャ情報に関連付けられる。そして、処理ユニット１５０２は、サブ画像をトリガして第２のディスプレイに表示させる。
送受信ユニット１５０１は、前述のマルチスクリーンインタラクション方法におけるＳ３０１の一例、及び前述のマルチスクリーンインタラクション方法におけるオプションの例のいずれか１つを実行するように構成される。処理ユニット１５０２は、前述のマルチスクリーンインタラクション方法におけるＳ３０２及びＳ３０３の一例、及び前述のマルチスクリーンインタラクション方法におけるオプションの例のいずれか１つを実行するように構成される。詳細については、方法例の詳細な説明を参照されたい。詳細については、ここでは再び説明しない。
本願のこの実施形態におけるマルチスクリーンインタラクション機器はソフトウェアによって実現してもよいことを理解されたい。例えば、前述の機能を有するコンピュータプログラム又は命令、及び対応するコンピュータプログラム又は対応する命令は、端末内のメモリに格納され得る。プロセッサは、メモリ内の対応するコンピュータプログラム又は対応する命令を読み取って、前述の機能を実行する。あるいはまた、本願のこの実施形態におけるマルチスクリーンインタラクション機器は、ハードウェアによって実現してもよい。処理ユニット１５０２は、プロセッサ（例えば、ＮＰＵ、ＧＰＵ、又はシステムチップ内のプロセッサ）である。送受信ユニット１５０１は、送受信回路又はインターフェイス回路である。あるいはまた、本願のこの実施形態におけるマルチスクリーンインタラクション機器は、プロセッサ及びソフトウェアモジュールの組合せによって実現してもよい。
本願のこの実施形態における機器の処理の詳細については、図４（ａ）及び図４（ｂ）～図１４の関連する説明を参照すべきことを理解されたい。本願のこの実施形態では、詳細については再び説明しない。
図１６は、本願の一実施形態による別のマルチスクリーンインタラクション機器の構造を示す概略図である。マルチスクリーンインタラクション機器は、コンピュータ装置又は電子装置（例えば、端末）であってもよく、又は電子装置内の機器（例えば、ＩＳＰ又はＳｏＣ）であってもよい。さらに、図３～図１４に示されるマルチスクリーンインタラクション方法、及び前述のオプションの実施形態を実施することができる。図１６に示されるように、マルチスクリーンインタラクション機器１６００は、プロセッサ１６０１と、プロセッサ１６０１に結合したインターフェイス回路１６０２とを含む。図１６には、１つのプロセッサ及び１つのインターフェイス回路のみが示されていることを理解されたい。マルチスクリーンインタラクション機器１６００は、別の数量のプロセッサ及びインターフェイス回路を含んでもよい。
本願では、マルチスクリーンインタラクション機器１６００の具体的な実施態様のプロセスは以下の通りである。インターフェイス回路１６０２は、ジェスチャ情報を含む感知情報を取得するように構成される。そして、プロセッサ１６０１は、ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成され、ここで、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向は、ジェスチャ情報に関連付けられる。そして、プロセッサ１６０１は、サブ画像をトリガして第２のディスプレイに表示させる。
インターフェイス回路１６０２は、端末の別のコンポーネント、例えばメモリ又は別のプロセッサと通信するように構成される。プロセッサ１６０１は、インターフェイス回路１６０２を介して別のコンポーネントとの信号インタラクションを実行するように構成される。インターフェイス回路１６０２は、プロセッサ１６０１の入出力インターフェイスであってもよい。
例えば、プロセッサ１６０１は、インターフェイス回路１６０２を介して、プロセッサ１６０１に結合したメモリ内のコンピュータプログラム又は命令を読み取り、コンピュータプログラム又は命令を復号化して実行する。コンピュータプログラム又は命令は、前述の端末機能プログラムを含むことができ、又は端末に適用されるマルチスクリーンインタラクション機器の前述の機能プログラムを含むことができることを理解されたい。対応する機能プログラムがプロセッサ１６０１によって復号化され実行されると、端末又は端末内のマルチスクリーンインタラクション機器は、本願の実施形態で提供されるマルチスクリーンインタラクション方法における解決策を実現することが可能になり得る。
オプションで、これらの端末機能プログラムは、マルチスクリーンインタラクション機器１６００の外部のメモリに格納される。端末機能プログラムがプロセッサ１６０１によって復号化され実行されると、端末機能プログラムの一部又は全てのコンテンツがメモリに一時的に格納される。
オプションで、これらの端末機能プログラムは、マルチスクリーンインタラクション機器１６００の内部のメモリに格納される。マルチスクリーンインタラクション機器１６００の内部のメモリが端末機能プログラムを格納する場合に、マルチスクリーンインタラクション機器１６００は、本願の実施形態では、端末内に配置することができる。
オプションで、端末機能プログラムの一部のコンテンツは、マルチスクリーンインタラクション機器１６００の外部のメモリに格納され、端末機能プログラムの他のコンテンツは、マルチスクリーンインタラクション機器１６００の内部のメモリに格納される。
図１５～図１６のいずれか１つに示されるマルチスクリーンインタラクション機器は、互いに組み合わせてもよいことを理解されたい。図１、図２（ａ）、図２（ｂ）、図２１、及び図２２のいずれか１つに示されるマルチスクリーンインタラクション機器、及びオプションの実施形態の関連する設計の詳細は、互いに参照される。あるいはまた、図１０又は図１８のいずれか１つに示されるマルチスクリーンインタラクション方法、及びオプションの実施形態の関連する設計の詳細を参照されたい。詳細についてはここでは説明しない。
図３に示されるマルチスクリーンインタラクション方法及びオプションの実施形態、図１５～図１６のいずれか１つに示されるマルチスクリーンインタラクション機器及びオプションの実施形態は、撮影中にビデオ又は画像を処理するために使用され得るだけでなく、撮影したビデオ又は画像を処理するために使用され得ることを理解されたい。これは、本願では限定されない。
本願は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムがコンピュータで実行されると、コンピュータは前述の方法のいずれか１つを実行することができる。
本願は、メモリ及びプロセッサを含むコンピュータ装置を提供し、メモリは実行可能コードを格納し、プロセッサが実行可能コードを実行すると、前述の方法のいずれか１つが実施される。
当業者は、本明細書で開示した実施形態を参照して説明される例におけるユニット及びアルゴリズムステップが、電子ハードウェア、又はコンピュータソフトウェア及び電子ハードウェアの組合せによって実装してもよいことに気づくであろう。機能がハードウェアによって実行されるか又はソフトウェアによって実行されるかは、特定のアプリケーションと技術解決策の設計制約とに依存する。当業者は、特定のアプリケーション毎に説明した機能を実現するために異なる方法を使用することができるが、その実施態様が本願の実施形態の範囲を超えるものと考えるべきではない。
さらに、本願の実施形態における態様又は特徴は、標準的なプログラミング及び／又はエンジニアリング技術を使用する方法、機器、又は製品として実現することができる。本願で使用される「製品」という用語は、任意のコンピュータ可読コンポーネント、キャリア、又は媒体からアクセスできるコンピュータプログラムをカバーする場合がある。例えば、コンピュータ可読媒体には、磁気記憶コンポーネント（例えば、ハードディスク、フロッピーディスク、又は磁気テープ）、光ディスク（例えば、コンパクトディスク（compact disc, CD）又はデジタル多用途ディスク（digital
versatile disc, DVD））、スマートカード、及びフラッシュメモリコンポーネント（例えば、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory, EPROM）、カード）、スティック、又はキードライブ）が含まれるが、これらに限定されない。さらに、本明細書で説明する様々な記憶媒体は、情報を記憶するように構成された１つ又は複数の装置及び／又は他の機械可読媒体を示し得る。「機械可読媒体」という用語には、命令及び／又はデータを記憶、含む、及び／又は搬送できる無線チャネル及び他の様々な媒体が含まれるが、これらに限定されない。
前述の実施形態では、図１５のマルチスクリーンインタラクション機器１５００は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せを用いて、全体又は一部を実現することができる。ソフトウェアを使用して実施形態を実現する場合に、実施形態の全て又は一部をコンピュータプログラム製品の形式で実現することができる。コンピュータプログラム製品には、１つ又は複数のコンピュータ命令が含まれる。コンピュータプログラム命令がコンピュータにロードされて実行されると、本願の実施形態における全て又は一部の手順又は機能が生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は別のプログラム可能な機器であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶してもよく、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信してもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイト、コンピュータ、サーバ、又はデータセンタに有線（例えば、同軸ケーブル、光ファイバ、又はデジタル加入者線回線（ＤＳＬ））又は無線（例えば、赤外線、無線、又はマイクロ波）方式で送信され得る。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、或いは１つ又は複数の使用可能な媒体を統合するサーバ又はデータセンタ等のデータ記憶装置であってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、又は磁気テープ）、光媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、ソリッドステートディスク（ＳＳＤ））等であってもよい。
前述のプロセスのシーケンス番号は、本願の様々な実施形態における実行シーケンスを意味するものではないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部ロジックに従って決定すべきであり、本願の実施形態の実施態様のプロセスに対するいかなる制限として解釈すべきでもない。
当業者であれば、便宜的且つ簡潔な説明を目的として、前述のシステム、機器、及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照すべきことを明確に理解できるだろう。詳細については、ここでは再び説明しない。
本願で提供するいくつかの実施形態では、開示したシステム、機器、及び方法は他の方法で実現してもよいことを理解されたい。例えば、説明した機器の実施形態は単なる例である。例えば、ユニットの分割は論理的な機能分割に過ぎず、実際の実装中には他の分割となる場合もある。例えば、複数のユニット又はコンポーネントを別のシステムに結合又は統合してもよく、一部の機能を無視する又は実行しない場合がある。さらに、表示又は議論した相互結合、直接結合、又は通信接続は、いくつかのインターフェイスを用いて実現してもよい。機器同士又はユニット同士の間の間接的な結合又は通信接続は、電子的、機械的、又は別の形式で実現してもよい。
別個の部分として説明したユニットは、物理的に別個であってもなくてもよく、ユニットとして表示した部分は、物理的ユニットであってもなくてもよく、１つの位置に配置してもよく、又は複数のネットワークユニットに分散してもよい。ユニットの一部又は全ては、実施形態の解決策の目的を達成するための実際の要件に基づいて選択され得る。
機能がソフトウェア機能ユニットの形式で実現され、独立した製品として販売又は使用される場合に、機能はコンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本願の実施形態の技術的解決策は本質的に、又は従来の技術に寄与する部分は、又は技術的解決策の一部は、ソフトウェア製品の形態で実現され得る。コンピュータソフトウェア製品は、記憶媒体に格納されており、コンピュータ装置（パーソナルコンピュータ、サーバ、又はアクセスネットワーク装置であり得る）に、本願の実施形態で説明した方法のステップの全て又は一部を実行するように指示するためのいくつかの命令を含む。前述の記憶媒体には、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（ROM, Read-Only Memory）、ランダムアクセスメモリ（RAM,
Random Access Memory）、磁気ディスク、又は光ディスク等の、プログラムコードを記憶できる任意の媒体が含まれる。
前述の説明は、本願の実施形態の単に特定の実施態様であり、本願の実施形態の保護範囲を限定することを意図したものではない。本願の実施形態に開示した技術的範囲内で当業者が容易に想起するあらゆる変形又は置換は、本願の実施形態の保護範囲内に含まれるものとする。
本願は、インテリジェント車両の分野に関し、特に、マルチスクリーンインタラクション（interaction：相互作用、対話）方法及び機器、端末装置、及び車両に関する。
インテリジェンスの発展に伴い、車両のインテリジェンスは益々高くなり、インテリジェントキャビンの機能に対する消費者の関心が高まっている。運転者のエクスペリエンスを向上させるために、車両には複数のディスプレイがある。あるディスプレイは車両の速度、燃料消費量、走行距離等の情報を表示するため、あるディスプレイはナビゲーションルートを表示するため、あるディスプレイは音楽及びラジオ放送等の娯楽ビデオを表示するためであり、及び他の機能を含むディスプレイがある。一般に、各ディスプレイは固定コンテンツを表示し、別のディスプレイに表示すべきコンテンツを表示することができない。プロジェクション及び画面共有等の技術の発展に伴い、ディスプレイがこのディスプレイに表示されているコンテンツを別のディスプレイにプッシュして表示し、表示されるコンテンツを共有する技術は、ユーザの重要な要件となり、及びメーカの研究対象となっている。
複数のディスプレイで構成された車種に関して、従来の技術では、運転者が、あるディスプレイに表示されているコンテンツを別のディスプレイにプッシュしたい場合に、その運転者は、ディスプレイ上の特定のボタンをタップするか、又はディスプレイ上のターゲットコンテンツをドラッグしてスライド操作を行う必要がある。このようにして、運転者はディスプレイに対する操作を行う必要があり、これは運転者の注意力を分散させ、車両走行の安全性に問題が生じる。
前述の問題を解決するために、本願の実施形態は、マルチスクリーンインタラクション方法及び機器、端末装置、及び車両を提供する。
第１の態様によれば、本願は、マルチスクリーンインタラクション方法を提供する。この方法は、感知情報を取得するステップであって、感知情報にはジェスチャ情報が含まれる、ステップと；ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるステップであって、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向がジェスチャ情報に関連付けられる、ステップと；サブ画像をトリガして第２のディスプレイに表示させるステップと；を含む。
この実施態様では、感知情報を取得してジェスチャ情報を取得し、次に、ジェスチャ情報に基づいて、ディスプレイをトリガしてインターフェイス画像を表示させ、サブ画像がディスプレイに表示される。サブ画像にはジェスチャ情報が関連付けられているので、ジェスチャの動きに合わせてサブ画像が移動する。特定の条件がトリガされ、例えば、ジェスチャの移動距離が指定した閾値よりも大きい場合に、サブ画像をトリガして別のディスプレイに移動させる。従って、マルチスクリーンインタラクション機能が実現される。
一実施態様では、ジェスチャ情報に５本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツが、第１のインターフェイス画像の全てのコンテンツである。
一実施態様では、ジェスチャ情報に２本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツが、第１のインターフェイス画像において第１のアプリケーションによって提示されるインターフェイスであり、第１のアプリケーションは、ユーザが選択したアプリケーション又は実行中のアプリケーションである。
一実施態様では、第１のインターフェイス画像には位置情報がさらに含まれ、位置情報は、サブ画像を表示可能な他の少なくとも１つのディスプレイの識別子、及び第１のディスプレイに対するその少なくとも１つのディスプレイの向き情報である。
この実施態様では、サブ画像を表示可能な別のディスプレイの識別子と、第１のディスプレイに対する向き情報とがディスプレイに表示されるため、ユーザは、後続のジェスチャの移動方向を直感的に把握（see：理解）することができる。これにより、後続のマルチスクリーンインタラクション操作が容易になる。
一実施態様では、サブ画像をトリガして第２のディスプレイに表示させる（triggering the sub-image to be displayed on a second display：サブ画像を第２のディスプレイに表示させる）前に、この方法は、第１の位置情報、第２の位置情報、及び第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報に基づいて、第２のディスプレイを決定するステップをさらに含み、第１の位置情報は、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるときに使用されるジェスチャの位置情報であり、第２の位置情報は、現時点でのジェスチャの位置情報であり、少なくとも１つのディスプレイには第２のディスプレイが含まれる。
この実施態様では、インタラクションのターゲットディスプレイが事前に決定されるため、その後サブ画像をトリガしてターゲットディスプレイに移動させるときに、サブ画像はターゲットディスプレイに迅速に移動する。これにより処理時間が短縮され、ユーザエクスペリエンスが向上する。
一実施態様では、第２のディスプレイを決定するステップは、第１の位置情報及び第２の位置情報に基づいて、第１の位置情報に対する第２の位置情報の第１の向き情報を決定するステップと；第１の向き情報を、第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報と比較するステップと；第１の向き情報が、第１のディスプレイに対する第２のディスプレイの向き情報と同じである場合に、第２のディスプレイを決定するステップと；を含む。
この実施態様では、ジェスチャの向き情報がディスプレイ同士の間の向き情報に関連付けられているため、ユーザは単に空間内を移動して向きの変化を生じさせるだけでマルチスクリーンインタラクションを実施できるため、この機能を実現するための操作はシシンプルであり、実装が容易である。
一実施態様では、サブ画像をトリガして第２のディスプレイに表示させるステップは、第１の位置情報と第２の位置情報との間の距離が指定した閾値よりも大きいことが検出されると、サブ画像をトリガして第２のディスプレイに表示させるステップを含む。
この実施態様では、ジェスチャの移動距離がマルチスクリーンインタラクションに関連付けられるため、ユーザは単に空間内を移動して比較的大きな距離差を生じさせるだけでマルチスクリーンインタラクションを実施できるため、この機能を実現するための操作はシンプルであり、実装が容易である。
一実施態様では、サブ画像がアプリケーションアイコンである場合に、サブ画像をトリガして第２のディスプレイに表示させるステップは、サブ画像によって示される画像をトリガして第２のディスプレイに表示させる（triggering an image indicated by the sub-image to be displayed on
the second display：サブ画像によって示される画像を第２のディスプレイに表示させる）ステップを含む。
この実施態様では、サブ画像がアプリケーションの画像である場合に、サブ画像がターゲットディスプレイに移動した後に、ユーザの利便性を高めるために、ユーザによる操作を行わずにアプリケーションが直接実行され、そしてユーザは、アプリケーションを実行するためにディスプレイ上で操作を積極的に行う必要はない。
一実施態様では、サブ画像が元のインターフェイス画像を覆い、ユーザが元のインターフェイス画像のコンテンツを閲覧できないのを回避するために、サブ画像のサイズが第１のディスプレイのサイズよりも小さい。
一実施態様では、位置情報は、第１のディスプレイのエッジ位置に表示されるため、ユーザは、別のディスプレイの相対位置をより直観的に把握することができる。
一実施態様では、第１のディスプレイの解像度が第２のディスプレイの解像度と異なる場合に、この方法は、ピクセルの問題によりサブ画像をターゲットディスプレイに画像を表示することができないことを回避するために、サブ画像の解像度を第２のディスプレイの解像度に設定ステップをさらに含む。
一実施態様では、第１のディスプレイのサイズが第２のディスプレイのサイズと異なる場合に、この方法は、サイズの問題によりサブ画像をターゲットディスプレイに表示できないことを回避するために、サブ画像のサイズを第２のディスプレイのサイズに設定するステップをさらに含む。
一実施態様では、第２のディスプレイの長辺のサイズ又は短辺のサイズが、第１のディスプレイの長辺のサイズ又は短辺のサイズよりも小さい場合に、この方法は、サブ画像を縮小して、サブ画像の長辺のサイズを第２のディスプレイの長辺のサイズと同じにするステップ、又はサブ画像を縮小して、サブ画像の短辺のサイズを第２のディスプレイの短辺のサイズと同じにするステップをさらに含む。
この実施態様では、サブ画像の縦横比がターゲットディスプレイの縦横比と異なる場合に、サブ画像をディスプレイに表示することができるように、サブ画像の長辺をターゲットディスプレイに合わせ（aligned with）てもよく、又はサブ画像の短辺をターゲットディスプレイに合わせてもよい。
第２の態様によれば、本願の一実施形態は、マルチスクリーンインタラクション機器を提供する。この機器は、感知情報を取得するように構成された送受信ユニットであって、感知情報にはジェスチャ情報が含まれる、送受信ユニットと；ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成された処理ユニットであって、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向がジェスチャ情報に関連付けられる、処理ユニットと；を含み、処理ユニットは、サブ画像をトリガして第２のディスプレイに表示させる。
一実施態様では、ジェスチャ情報に５本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツは、第１のインターフェイス画像の全てのコンテンツである。
一実施態様では、ジェスチャ情報に２本指キャプチャジェスチャが含まれる場合に、サブ画像に表示されるコンテンツが、第１のインターフェイス画像において第１のアプリケーションによって提示されるインターフェイスであり、第１のアプリケーションは、ユーザが選択したアプリケーション又は実行中のアプリケーションである。
一実施態様では、第１のインターフェイス画像には位置情報がさらに含まれ、位置情報は、サブ画像を表示可能な他の少なくとも１つのディスプレイの識別子、及び第１のディスプレイに対するその少なくとも１つのディスプレイの向き情報である。
一実施態様では、処理ユニットは、第１の位置情報、第２の位置情報、及び第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報に基づいて、第２のディスプレイを決定するようにさらに構成され、第１の位置情報は、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるときに使用されるジェスチャの位置情報であり、第２の位置情報は現時点でのジェスチャの位置情報であり、少なくとも１つのディスプレイには第２のディスプレイが含まれる。
一実施態様では、処理ユニットは、第１の位置情報及び第２の位置情報に基づいて、第１の位置情報に対する第２の位置情報の第１の向き情報を決定すること；第１の向き情報を、第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報と比較すること；及び第１の向き情報が、第１のディスプレイに対する第２のディスプレイの向き情報と同じである場合に、第２のディスプレイを決定すること；を行うように特に構成される。
一実施態様では、処理ユニットは、第１の位置情報と第２の位置情報との間の距離が指定した閾値よりも大きいことが検出されると、サブ画像をトリガして第２のディスプレイを表示させるように特に構成される。
一実施態様では、サブ画像がアプリケーションアイコンである場合に、処理ユニットは、サブ画像によって示される画像をトリガして第２のディスプレイに表示させるように特に構成される。
一実施態様では、サブ画像のサイズが、第１のディスプレイのサイズよりも小さい。
一実施態様では、位置情報は、第１のディスプレイのエッジ位置に表示される。
一実施態様では、第１のディスプレイの解像度が第２のディスプレイの解像度と異なる場合に、処理ユニットは、サブ画像の解像度を第２のディスプレイの解像度に設定するようにさらに構成される。
一実施態様では、第１のディスプレイのサイズが第２のディスプレイのサイズと異なる場合に、処理ユニットは、サブ画像のサイズを第２のディスプレイのサイズに設定するようにさらに構成される。
一実施態様では、第２のディスプレイの長辺のサイズ又は短辺のサイズが、第１のディスプレイの長辺のサイズ又は短辺のサイズよりも小さい場合に、処理ユニットは、サブ画像を縮小して、サブ画像の長辺のサイズを第２のディスプレイの長辺のサイズと同じにする、又はサブ画像を縮小して、サブ画像の短辺のサイズを第２のディスプレイの短辺のサイズと同じにするようにさらに構成される。
第３の態様によれば、本願の実施形態は、マルチスクリーンインタラクションシステムを提供する。このシステムは、プロセッサ及び少なくとも２つのディスプレイを含み、実現できる第１の態様の実施形態を実行するように構成される。
第４の態様によれば、本願の実施形態は、車両を提供する。この車両は、少なくとも１つのカメラ、少なくとも２つのディスプレイ、少なくとも１つのメモリ、及び実現できる第１の態様の実施形態を実行するように構成される少なくとも１つのプロセッサを含む。
第５の態様によれば、本願の実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムがコンピュータで実行されると、コンピュータは、実現できる第１の態様の実施形態を実行できるようになる。
第６の態様によれば、本願の実施形態は、メモリ及びプロセッサを含むコンピュータ装置を提供し、メモリは実行可能コードを格納し、プロセッサが実行可能コードを実行すると、実現できる第１の態様の実施形態が実施される。
第７の態様によれば、コンピュータ装置が提供され、コンピュータ装置はプロセッサ及びインターフェイス回路を含み、プロセッサはインターフェイス回路を使用してメモリに結合され、プロセッサは、メモリ内のプログラムコードを実行して、第２の態様～第４の態様のいずれか１つで提供される技術的解決策、又は第２の態様～第４の態様の可能な実施態様を実現するように構成される。
本願のこの実施形態では、運転者が、ディスプレイに表示されているコンテンツを別のディスプレイにプッシュして表示したい場合に、ディスプレイ上の特定のボタンをタップする又は、ディスプレイ上のターゲットコンテンツをドラッグしてスライドする等の運転者の操作方法によって引き起こされる潜在的な安全上の危険を回避する。本願では、運転者は非常に自然な方法で手をソースディスプレイの横に置き、手のひらを広げる操作を実行するだけで済む。起動ジェスチャが認識された後に、指が徐々につままれる（pinched）と、ソースディスプレイはフライスクリーン（fly screen）起動状態に入る。プロセス全体は、現在の画面を手でキャプチャすることに相当する。次に、ソースディスプレイは、インターフェイスプロンプトに基づいて対応する方向に移動するだけで済む。移動プロセスでは、ソースディスプレイが飛んでいる方向をインターフェイスでリアルタイムに確認できる。移動距離が閾値に達した後に、指を広げてフライスクリーン操作を行う。プロセス全体は、ソースディスプレイをキャプチャし、ソースディスプレイをターゲットディスプレイにスローする（throw：投げる）ことに相当する。操作がシンプルであり、運転者の手間をかけずにマルチスクリーンインタラクション機能を実現することができる。従って、車両の走行過程における安全性を確保することができる。
以下では、実施形態の説明に使用する添付図面について簡潔に説明する。
本願の一実施形態による車両の構造を示す概略図である。 本願の一実施形態による、車両の前部座席のディスプレイ及びカメラが配置される位置を示す概略図である。 本願の一実施形態による、車両の後部座席のディスプレイ及びカメラが配置される位置を示す概略図である。 本願の一実施形態によるマルチスクリーンインタラクション方法を実施する概略フローチャートである。 本願の一実施形態による、５本指キャプチャを実施してディスプレイのキャスト機能を実現するためのジェスチャ変化を示す概略図である。 本願の一実施形態による、２本指キャプチャを実施してアプリケーション共有機能を実現するためのジェスチャ変化を示す概略図である。 本願の一実施形態による、画像内のジェスチャを認識する概略図である。 本願の一実施形態による、５本指キャプチャを実施してディスプレイのキャスト機能を実現するプロセスにおいてサブ画像が取得されるときの、ソースディスプレイに表示されている画像及び対応するジェスチャを示す概略図である。 本願の一実施形態による、２本指キャプチャを実施してアプリケーション共有機能を実現するプロセスにおいてサブ画像が取得されるときの、ソースディスプレイに表示されている画像及び対応するジェスチャを示す概略図である。 本願の一実施形態による、ソースディスプレイ上の一部のサブ画像が外に移動した後の表示効果を示す概略図である。 本願の一実施形態による、一部のサブ画像がターゲットディスプレイに移動した後の表示効果を示す概略図である。 本願の一実施形態による、ターゲットディスプレイ上にサブ画像を表示する表示効果を示す概略図１である。 本願の一実施形態による、ターゲットディスプレイ上にサブ画像を表示する表示効果を示す概略図２である。 本願の一実施形態による、ターゲットディスプレイ上にサブ画像を表示する表示効果を示す概略図３である。 本願の一実施形態による、ソースディスプレイが２つのターゲットディスプレイに対してマルチスクリーン共有を同時に実行するときの、２つのサブ画像の移動効果を示す概略図である。 本願の一実施形態による、５本指キャプチャを使用してディスプレイのキャスト機能とサブ画像の移動処理とを実現するジェスチャを示す概略図である。 本願の一実施形態によるマルチスクリーンインタラクション機器の構造を示す概略図である。 本願の一実施形態による別のマルチスクリーンインタラクション機器の構造を示す概略図である。
発明を実施すための形態
以下では、本願の実施形態における添付図面を参照して、本願の実施形態における技術的解決策について説明する。
図１は、本願の一実施形態による車両の構造を示す概略図である。図１に示されるように、車両１００は、少なくとも２つのディスプレイ１０１（例えば、図１に示されるディスプレイ１０１－１～ディスプレイ１０１－Ｎ）、少なくとも１つのカメラ１０２（例えば、図１に示されるカメラ１０２－１～カメラ１０２－Ｍ）、プロセッサ１０３、メモリ１０４、及びバス１０５を含む。ディスプレイ１０１、カメラ１０２、プロセッサ１０３、及びメモリ１０４は、バス１０５を用いて通信接続を確立することができる。Ｎは１より大きい整数であり、Ｍは正の整数である。
ディスプレイ１０１の種類には、タッチ感応ディスプレイ又は非タッチ感応ディスプレイのうちの１つ又は複数が含まれ得る。例えば、ディスプレイ１０１は、全てタッチ感応ディスプレイであってもよく、又は全て非タッチ感応ディスプレイであってもよい。あるいはまた、ディスプレイ１０１は、タッチ感応ディスプレイ及び非タッチ感応ディスプレイの２種類のディスプレイを含んでもよい。ディスプレイ１０１は、燃料レベル、車速、及び走行距離等のメータデータと、ナビゲーションルート、音楽、ビデオ、及び画像（車両の周囲の環境の画像等）等のデータとを表示するように構成され得る。コストを削減するために、非タッチ感応ディスプレイは、燃料レベル、車速、及び走行距離等のメータデータを表示するように構成することができ、タッチ感応ディスプレイは、ナビゲーションルート、音楽、ビデオ、及び画像等のデータを表示することができる。タッチ感応ディスプレイは、燃料レベル、車速、及び走行距離等のメータデータを表示するように構成してもよいことを理解されたい。上記ディスプレイコンテンツは単なる一例である。本願では、ディスプレイに表示されるコンテンツは限定されない。
例えば、ディスプレイ１０１の位置構成については、図２（ａ）又は図２（ｂ）を参照されたい。図２（ａ）に示される車両１００の前部座席では、ディスプレイ１０１－１は、ハンドル（steering wheel）の中央に配置され得、音楽を再生するための音量ボタン、再生／一時停止ボタン、及び承諾／拒否ボタン等を表示するように構成されるため、運転者が運転中により便利な操作を行うことで、運転者の視線と体の角度との間の切り替えが軽減され、運転の安全性が向上する。ディスプレイ１０１－２は、車両１００のフロントガラスの下及びハンドルの上の車体に配置され、燃料レベル、車速、及び走行距離等のデータを表示する。ディスプレイ１０１－３は、運転席と助手席との間に配置され、音楽、ビデオ、及びナビゲーションルート等のデータを表示する。助手席に関して、ディスプレイ１０１－４は、助手席の前方に位置する車体に配置され得、助手席の乗員が観たいコンテンツを表示するように構成され得る。図２（ｂ）に示される車両１００の後部座席に関して、ディスプレイ１０１－５及びディスプレイ１０１－６は、各前部座席の後方の上部に配置され得る。この２つのディスプレイは、後部座席の乗員が観たい任意のコンテンツ、例えば、映画、ナビゲーション情報、天気等を表示することができる。
本願のこの実施形態では、ディスプレイ１０１の数量及びディスプレイ１０１の位置は、図２（ａ）及び図２（ｂ）に示される数量及び位置関係に限定されない。本願は、読者による解決策の理解を容易にするために、例を用いて説明しているだけである。車両１００に配置されるディスプレイ１０１の具体的な数量及びディスプレイ１０１の具体的な位置は、実際の状況に基づいて決定される。
カメラ１０２は、静止画像又はビデオをキャプチャするように構成され得る。例えば、物体の光学像が、レンズを通して生成され、感光素子に投影される。感光素子は、電荷結合素子（charge coupled device, CCD）又は相補型金属酸化物半導体（complementary
metal-oxide-semiconductor, CMOS）フォトトランジスタであってもよい。感光素子は、光信号を電気信号に変換し、次に、電気信号をプロセッサ（例えば、画像プロセッサ）に送信して、電気信号をデジタル画像信号に変換する。デジタル画像信号は、処理のためにデジタル信号プロセッサ（digital signal processor, DSP）に出力される。ＤＳＰは、デジタル画像信号を、赤、緑、青（red green blue, RGB）、又は輝度帯域幅クロミナンス（luminance
bandwidth chrominance, YUV）等の標準フォーマットの画像信号に変換する。カメラ１０２は、車両内の異なる位置に配置され得、車両内のカメラ１０２は、車両１００内のユーザの身体情報（例えば、手のひら情報）を収集するように構成され得る。カメラ１０２の動作方式は、定期的に撮影してもよく、ビデオストリームを取得するために連続撮影してもよい。本願では、定期的な撮影を例として用いて、本願の技術的解決策について引き続き説明する。
本願では、車両１００内のカメラ１０２の位置が図２（ａ）及び図２（ｂ）に示される。前部座席位置に関して、カメラ１０２－１がバックミラーに配置され得、カメラ１０２－１の撮影範囲は運転席及び助手席をカバーする。カメラ１０２－１は、運転席にいるユーザの手のひら情報と助手席にいるユーザの手のひら情報とを収集するように構成される。後部座席位置に関して、カメラ１０２－３及びカメラ１０２－４が、ディスプレイ１０１－５及びディスプレイ１０１－６の上部に別々に配置され得、カメラ１０２－２及びカメラ１０２－５が、前部座席に近い２つの後部ドアフレームに別々に配置され、後部座席のユーザの手のひら情報を収集する。
同様に、本願のこの実施形態では、カメラ１０２の数量及びカメラ１０２の位置は、図２（ａ）及び図２（ｂ）に示される数量及び位置関係に限定されない。本願は、読者による解決策の理解を容易にするために、例を用いて説明しているだけである。車両１００に配置されるカメラ１０２の具体的な数量及び具体的な位置は、実際の状況に基づいて決定される。
カメラ１０２によって収集される手のひら情報には、主に、５本の指によって提示されるジェスチャと、カメラ１０２に対する手のひらの位置情報とが含まれる。本願では、手のひらの位置情報が両眼式の測距原理を用いて決定される場合に、２つのカメラを各位置に配置する必要がある。
プロセッサ１０３は、オンボードコントローラ、中央処理装置（central processing unit, CPU）、又はクラウドサーバ等であってもよい。プロセッサ１０３は、カメラ１０２がキャプチャした画像を処理し、画像内のユーザの手のひらに対応するジェスチャの種類と手のひらの位置情報とを認識し、次に、あるディスプレイに表示されているコンテンツを別のディスプレイに移動するべく制御するように構成される。
メモリ１０４は、揮発性メモリ（volatile memory）、例えばランダムアクセスメモリ（random-access
memory, RAM）を含んでもよい。あるいはまた、メモリ１０４は、不揮発性メモリ（non-volatile
memory）、例えば、読み取り専用メモリ（read-only memory, ROM）、フラッシュメモリ、ハードディスクドライブ（hard disk drive, HDD）、又はソリッドステートドライブ（solid
state drive, SSD）を含んでもよい。あるいはまた、メモリ１０４は、前述の種類のメモリの組合せを含んでもよい。メモリ１０４に格納されるデータには、カメラ１０２がキャプチャした画像、及びジェスチャ種類のデータベース等が含まれるだけでなく、マルチスクリーンインタラクションを実行する方法に対応する様々な命令、及びアプリケーション等も含まれる。
図３は、本願の一実施形態によるマルチスクリーンインタラクション方法を示す概略フローチャートである。マルチスクリーンインタラクション方法は、コンピュータ装置によって実行してもよく、又はコンピュータ装置に適用される処理機器によって実行してもよく、又は図１に示されるシステムによって実行してもよい。コンピュータ装置は、端末、例えば、車両又は車載機器（車載インフォテインメント、車載プロセッサ、又は車載コンピュータ等）であってもよく、又はサーバ等のクラウド機器であってもよい。処理機器は、チップ、処理回路、又はプロセッサ等であってもよい。説明を容易にするために、プロセッサがマルチスクリーンインタラクション方法を実行する例を用いて、本願について詳細に説明する。図３に示されるように、マルチスクリーンインタラクション方法は以下のステップを含む。
Ｓ３０１：感知情報を取得する。
感知情報には、センサを用いて取得される情報が含まれ得る。例えば、カメラセンサ及びレーダセンサのうちの１つ又は複数を用いて取得され得るジェスチャ情報、及び環境情報等、或いは環境音情報は、例えばユーザの指示等の音センサを用いて取得してもよい。感知情報は、センサが収集した情報であってもよく、又はセンサ及びプロセッサ等の１つ又は複数のコンポーネントが処理した情報であってもよい。例えば、センサを用いて画像情報に対してノイズ低減を行う。
特定の実施態様のプロセスでは、ユーザが、ディスプレイ（以降、このディスプレイを「ソースディスプレイ」と呼ぶ）に表示されるユーザインターフェイス（user interface, UI）、又はアプリケーション（application,
APP）が提示するインターフェイスを別のディスプレイ（以降、このディスプレイを「ターゲットディスプレイ」と呼ぶ）キャスト（cast）する必要がある場合に、ユーザは、車室内カメラを用いて、マルチスクリーンインタラクションをトリガして特定の身体動作、例えばジェスチャ（これはウェイクアップ（wake-up：起動）ジェスチャとしても理解され得る）を検出させることができる。あるいはまた、マルチスクリーンインタラクション機能は、音声ウェイクアップ、又はディスプレイ上の仮想ボタンウェイクアップ等を用いてトリガしてもよい。
具体的な実施態様のプロセスでは、ウェイクアップジェスチャ及び操作ジェスチャ等のジェスチャは、複数の方法、例えば左スワイプジェスチャ、右スワイプジェスチャ、手のひらホバリングジェスチャで実施してもよく、及び動的ジェスチャ（又は動的トレンド（trend：傾向）ジェスチャと呼ばれる）であってもよく、又は静的ジェスチャであってもよい。ジェスチャを認識するように構成されたプロセッサは、インターフェイス回路を用いて感知情報を取得し、ユーザがジェスチャした現在のジェスチャ又はアクションを決定することができる。本願では、２つの解決策、「ディスプレイキャストを実施するための５本指キャプチャ」、及び「アプリケーション共有を実施するための２本指キャプチャ」を用いて、ジェスチャについて以下に詳しく説明する。本願は２つの解決策に限定されないことを理解されたい。
ジェスチャアクションについて、例として「ディスプレイキャストを実施するための５本指キャプチャ」の解決策を用いて説明する。図４（ａ）に示されるように、キャプチャを開始するときに、ユーザは、まず５本の指を広げ、ソースディスプレイに近づける。キャプチャ中に、５本の指が徐々につままれる。キャスト中に、つまんだ５本の指が、ソースディスプレイの位置からターゲットディスプレイの位置まで移動し、次に、ターゲットディスプレイに徐々に近づき、５本の指が徐々に広げられる。
ジェスチャアクションについて、例として「アプリケーション共有を実施するための２本指キャプチャ」の解決策を用いて説明する。図４（ｂ）に示されるように、キャプチャを開始するときに、ユーザは、まず５本の指を広げ（又は親指及び人差し指を広げ、他の指を手のひらの中心に向けて曲げ）、ソースディスプレイに近づける。キャプチャ中に、親指及び人差し指は徐々につままれ、他の指が手のひらの中心に向けて曲げられる。キャスト中に、つまんだ２本の指が、ソースディスプレイの位置からターゲットディスプレイの位置まで移動し、次に、ターゲットディスプレイに徐々に近づき、親指及び人差し指が徐々に広げられる。
本願のこの実施形態におけるマルチスクリーンインタラクション機能を有効にするためのジェスチャは、前述の「５本の指を広げる」ジェスチャであってもよく、又は前述の「５本の指を広げてディスプレイに徐々に近づける」ジェスチャであってもよく、又は別のジェスチャであってもよいことを理解されたい。説明を簡単にするために、以下では説明の例として前述のジェスチャを使用する。
ジェスチャ情報の決定は、カメラによって撮影した画像（又はビデオストリーム）を用いて取得することができ、例えば、画像内の人物の指と各指によって提示されるジェスチャとが、ジェスチャ認識アルゴリズムを用いて認識される、又は（ジェスチャ情報の決定は、）レーダ情報を用いて取得することができ、例えば、３次元点群画像を取得した後に、画像内の人物の指の特徴がニューラルネットワークを用いて抽出され、次に、指の特徴に基づいて、指によって提示されたジェスチャが決定される。あるいはまた、他の情報を用いて決定を行ってもよい。これは、本願では限定されない。以下では、カメラによって撮影した画像又はビデオストリームを例として用いて、本願の技術的解決策について説明する。
マルチスクリーンインタラクション機能が有効になった後に、ソースディスプレイの位置に基づいて、対応する位置の感知情報が取得される。対応する位置の感知情報は、ソースディスプレイの制御位置をカバーする収集範囲を有するカメラ又はレーダ等のセンサによって収集又は処理された情報であってもよい。例えば、図２（ａ）に示されるように、ディスプレイ１０１－２によって送信され、インタラクション機能を有効にするための命令を受信した後に、プロセッサは、車両内の全てのカメラが動作可能になることを回避し、車両の消費電力を削減し、及び車両１００の別の座席の乗員のプライバシーを保護するように、カメラを動作できるようにする。
感知情報を受信した後に、プロセッサは、感知情報に対して手ターゲット検出及びジェスチャ認識を実行し、ユーザの手のひらによって提示されたジェスチャを認識する。例えば、プロセッサは、カメラによってキャプチャした手のひらを含む画像を受け取る。図５に示されるように、キャプチャした画像は、最初に前処理してもよく、前処理には、画像に対してノイズ低減及び情報強調を実行することが含まれてもよい。次に、手ターゲット検出アルゴリズムを使用して画像内のターゲットジェスチャを取得し、手の２１自由度（degree of freedoms, DOFS）又は２６ＤＯＦＳ（又はそれ以上）の２次元（2 dimension, 2D）座標でキーポイント推定を実行して、現在のジェスチャの分類及び説明を取得する。最後に、ジェスチャ認識アルゴリズムを用いて、ターゲットジェスチャを認識して、画像内で手のひらによって提示されたジェスチャが認識される。
本願では、プロセッサは、取得した画像又はビデオストリーム内のフレームの画像から、ウェイクアップジェスチャ又は操作ジェスチャ等の特定のジェスチャを認識する。インタラクション機能が有効になった後に、カメラは画像又はビデオストリームを継続的に撮影し、プロセッサは、処理のために画像又はビデオストリームを継続的に取得する。従って、取得した画像又はビデオストリーム内の画像の時系列を表示するために、本願の説明では、プロセッサは、取得した画像又はビデオストリーム内の画像に時系列に番号を付け、この中で取得した画像を、ビデオストリーム内のｊ番目のフレームの画像又はｉ番目の画像として規定し、ここで、ｉ及びｊは両方とも０より大きい正の整数である。
図４（ａ）及び図４（ｂ）を参照して、特定のジェスチャは、動的トレンドジェスチャである。特定のジェスチャを決定するプロセスにおいて、プロセッサは、現時点において取得した画像内の指と以前の時点において取得した画像内の指との間の距離を比較することができる。５本の指の間の距離が徐々に減少する場合に、それは「５本指でつまむ」ジェスチャを示す。５本の指の間の距離が徐々に減少し、中指、薬指、及び小指が曲がる場合に、それは、「親指及び人差し指が徐々につままれ、他の指が手のひらの中心に向けて曲げられる」というジェスチャを示す。
特定のジェスチャを検出すると、プロセッサは、ソースディスプレイを制御してマルチスクリーンインタラクション状態に入れるようにし、それによって、ソースディスプレイは、ジェスチャの変化に基づいて、表示されるインターフェイス、又は表示されるアプリケーションによって提示されるインターフェイスを抽出する。プロセッサは、カメラによってキャプチャした画像に基づいて、手の３次元（3 dimension, 3D）位置付けアルゴリズムを用いて、カメラに対する特定のジェスチャの空間座標（ｘ０，ｙ０，ｚ０）をさらに計算することができる。
図２（ａ）に示されるように、カメラが飛行時間型（time of flight, TOF）カメラヘッド及び双眼カメラ等の深度を測定できるカメラである場合に、カメラによって撮影した画像と、カメラによって提供される深度情報とを取得した後に、プロセッサは、カメラの内部パラメータ及び外部パラメータを用いて、カメラの光学中心に対する特定のジェスチャの空間座標を直接計算する。ＴＯＦカメラは、光パルスをターゲット物体に連続的に送信し、センサを用いてターゲット物体から戻ってくる光を受信することにより検出した光パルスの往復飛行時間に基づいて、ターゲット物体の距離を取得することができる。
カメラが深度を測定できない単眼カメラである場合に、プロセッサは、深度推定方法を用いてジェスチャの深度又は距離を計算することができる。ここでは、いくつかの可能な深度推定方法が例として提供される。これは、本願では限定されない。例えば：
（１）パースペクティブｎポイント（perspective-n-point, PNP）ベースのアルゴリズム。手のモデルに基づく事前分布を使用して手のひら上のキーポイントを検出し、カメラモデルと組み合わせて、ＰＮＰアルゴリズムに基づいて手の位置を大まかに推定する。拳を握るジェスチャの位置のみを推定する必要があるため、キーポイント検出モデルは拳を握るジェスチャに対して深度の最適化を行うことができる。このようにして得られるキーポイントの３次元位置の絶対精度は個人差により高くはないが、ジェスチャの方向を決定するために使用される位置精度は厳密なものではない。従って、この方法は、方向の動きの相対量を決定するためにも使用することができる。
（２）深層学習に基づく単眼深度推定ネットワークモデル。カメラによって撮影した画像を取得した後に、深層学習のための単眼深度推定ネットワークモデルを用いて単眼カメラ上で深度推定を直接実行し、仮想３Ｄカメラを生成し、ハードウェア３Ｄカメラの不足を補償し、取得した感知情報の画像のうち、次のフレーム又は複数のフレームの画像における特定のジェスチャの深度情報を予測することができる。
最後に、プロセッサは、カメラによって取得した画像及び画像の予測される深度情報に基づいて、カメラの内部パラメータ及び外部パラメータを用いて、カメラの光学中心に対する特定のジェスチャの空間座標を計算する。
Ｓ３０２：ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させる。第１のディスプレイはソースディスプレイであり、第１のインターフェイス画像は、ソースディスプレイによって表示されるインターフェイス画像である。第１のインターフェイス画像はサブ画像をさらに含む。サブ画像は、縮小した第１のインターフェイス画像であってもよく、又はアプリのアイコン等であってもよい。ディスプレイコンテンツは、第１のインターフェイス画像に表示される全ての画像であってもよく、又は第１のインターフェイス画像に表示される一部の画像であってもよい。
特定のジェスチャを検出した後に、プロセッサは、現時点でソースディスプレイに提示されている画像の一部又は全てを、ソースディスプレイのサイズよりも小さいサブ画像に変換するか、又はソースディスプレイに表示されているアプリのアイコンをサブ画像に変換し、そのサブ画像をソースディスプレイに表示することができる。例えば、サブ画像は、ソースディスプレイの中央位置、又は左位置等に表示される。オプションで、特定のジェスチャを検出した後に、プロセッサは代わりにサブ画像を再生成してもよく、その場合に、サブ画像のサイズはソースディスプレイのサイズより小さく、表示されるコンテンツはソースディスプレイに元々表示されていたインターフェイスと同期される。
例えば、図６に示されるように、ソースディスプレイの上部にはタイムバーが配置され得、中央部分は再生されるビデオが位置する領域である。特定のジェスチャが「５本指でつまむ」ジェスチャの場合に、プロセッサは、現時点でソースディスプレイに表示されているインターフェイス全体（タイムバー及びビデオが配置されている領域を含む）のスクリーンショットをキャプチャし、そのスクリーンショットをソースディスプレイの中央位置に表示する。
図７に示されるように、特定のジェスチャが「親指及び人差し指が徐々につままれ、他の指が手のひらの中心に向けて曲げられる」ジェスチャである場合に、プロセッサは、現時点でソースディスプレイにビデオが表示されている領域のスクリーンショットをキャプチャし、そのスクリーンショットをソースディスプレイの中央位置に表示する。
図７において、タイムバーをサブ画像に変換するか、又はビデオ再生領域をサブ画像に変換するかどうかを決定する具体的な実施態様のプロセスには複数の実施態様がある。理解を容易にするために、以下では、例としていくつかの可能な実施態様について説明する。これは、本願では限定されない。
例えば、アプリケーションには優先順位が設定される。例えば、ナビゲーションアプリが第１の優先順位に設定され、ビデオ、音楽、及びワイヤレスブロードキャスト等のアプリが第２の優先順位に設定され、時刻及び天気予報等の基本的なアプリが第３の優先順位に設定される等である。異なるアプリケーションに対して異なる優先順位が設定される。サブ画像変換中に、ソースディスプレイに表示されている最も優先順位の高いアプリケーションのコンテンツがサブ画像に変換され、サブ画像に表示されるコンテンツが、ユーザがプッシュしたいコンテンツとなるのを保証する。
別の例として、それ（優先順位）は、特定のジェスチャの位置とソースディスプレイ上の各領域との間の距離に基づいて決定される。特定のジェスチャがビデオの再生位置に比較的近い場合に、ビデオの再生領域がサブ画像に変換される。特定のジェスチャが、タイムバーが配置される位置に比較的近い場合に、タイムバーはサブ画像に変換される。本願は、上記２つの解決策に限定されるものではなく、他の解決策であってもよい。
ソースディスプレイに表示されるサブ画像のサイズは、固定値又は可変値とすることができる。オプションで、プロセッサは、その後、カメラによってキャプチャした画像を継続的に取得する。認識した特定のジェスチャにおける指同士の間の距離が継続的に減少する場合に、プロセッサは、ソースディスプレイに表示されるサブ画像のサイズを、それに応じて継続的に減少するように制御することができる。
さらに、プロセッサは、ソースディスプレイを制御して、サブ画像を提示するだけでなく、サブ画像を受信可能な別のディスプレイの識別子、及びソースディスプレイに対する別のディスプレイの向き情報等の位置情報も表示する。各ディスプレイの位置が車両を工場から出荷するときに固定されているため、ディスプレイ毎に、ディスプレイの周りの他のディスプレイの向き情報が固定されており、ディスプレイとディスプレイとの間の向き情報を予めメモリに格納してもよい。
オプションとして、ディスプレイとディスプレイとの間の向き情報は、２つのディスプレイの位置同士の間で形成されるベクトルによって表すことができる。図２（ａ）を例として使用する。ディスプレイ１０１－２について、ディスプレイ１０１－２の中心を空間座標（Ｘ０，Ｙ０，Ｚ０）の原点として使用する。各ディスプレイの位置が固定されるため、ディスプレイ同士の間の座標位置を予め格納してもよい。ディスプレイ１０１－２の中心を空間座標の原点として使用する座標系における互いのディスプレイの座標（Ｘ、Ｙ、Ｚ）を決定し、次に、ディスプレイ１０１－２に対する互いのディスプレイのベクトルＭを計算し、計算したベクトルＭを、ディスプレイ１０１－２に対する互いのディスプレイの向きとして使用する。
プロセッサは、ソースディスプレイを制御して、別のディスプレイの位置情報を表示することができるため、ユーザは、サブ画像をターゲットディスプレイに移動する方法を直観的に学ぶことができる。図６を例として使用し、図２（ａ）を参照すると、ソースディスプレイが、再生するビデオを別のディスプレイに共有するものであり、車両の別のディスプレイがビデオを表示することができるため、ディスプレイのパターンがソースディスプレイ上で仮想化され、ソースディスプレイに対する各ディスプレイの向き及び名前がテキスト形式で表示され、各ディスプレイに対応するパターンが、向き関係に基づいて物理ディスプレイに近いソースディスプレイのエッジに配置される。
プロセッサがソースディスプレイを制御してサブ画像を生成し、そのサブ画像をソースディスプレイの中央位置に表示するときに、マッピング関係は、ソースディスプレイ上のサブ画像の位置とジェスチャの空間座標との間の、対応する時点で取得したカメラ画像内のジェスチャの空間座標を取得することによって確立され、それによって、ジェスチャがその後移動すると、サブ画像は、ジェスチャの移動向きと移動距離とに基づいて、対応する向き及びサブ画像の現在位置に対して比例した距離で移動する。
ここで、プロセッサは、カメラによって撮影した各画像又はビデオストリームの各フレームをリアルタイムで受信することができ、又はカメラによって撮影した画像又はビデオストリームを一旦間隔を空けて受信することができることに留意されたい。これは、本願では限定されない。従って、以下で説明する「次の画像又は次のフレームの画像」とは、カメラによって撮影した連続する２つの画像又は２つのフレームの画像を表すものではなく、２つの画像の間にある数枚（フレーム）又は数十枚（フレーム）の画像であり得る。
特定のジェスチャを検出した後に、プロセッサは、特定のジェスチャが後続のフレーム又は複数のフレームの画像で連続的に検出されない場合に、サブ画像及び位置情報を表示しないようにソースディスプレイを制御することができる。例えば、特定のジェスチャを初めて検出した後に、プロセッサが次のフレーム又は複数のフレームの画像で特定のジェスチャを認識しない場合に、ユーザのジェスチャが変化するため、次のフレーム又は複数のフレームの画像には特定のジェスチャが存在せず、ジェスチャがカメラの撮影範囲を超えてしまう場合等がある。この場合に、プロセッサは、制御命令をソースディスプレイに送信して、サブ画像及び位置情報を表示しないようにソースディスプレイを制御してもよい。
オプションで、インタラクション機能の誤ったトリガを回避するために、特定のジェスチャが特定の回数を超えたことを検出した後に、プロセッサは、特定のジェスチャに対応する機能をトリガすることを決定する。例えば、プロセッサが予め設定した時間内に感知情報から特定のジェスチャを複数回取得した場合に、プロセッサは、有効なジェスチャを取得したとみなして、対応する機能をトリガすることができる。別の例として、特定のジェスチャが予め設定した時間内にカメラによって取得した複数のフレームの画像において検出され、その特定のジェスチャが予め設定した閾値を超える。プロセッサは、ソースディスプレイがサブ画像及び位置情報を表示するように、制御命令をソースディスプレイに送信することができる。特定のジェスチャを含む画像の数量が予め設定した閾値未満であることが検出された場合に、プロセッサは、後続の動作を実行せず、検出結果を破棄又は削除する。
プロセッサが次のフレーム又は複数のフレームの画像に特定のジェスチャがさらに含まれることを検出したとき、及び特定のジェスチャの位置が以前のフレームの画像又は特定のジェスチャを初めて検出した画像（すなわち、ビデオストリーム内の画像のｊ番目のフレームの画像又はｉ番目の画像）と比較して変化したときに、特定のジェスチャの空間座標（ｘ０，ｙ０，ｚ０）は、検出した次のフレーム又は複数のフレームの画像に基づいて計算され得る。特定のジェスチャの空間座標（ｘ，ｙ，ｚ）は、以前のフレームの画像、又は特定のジェスチャを初めて検出した画像に対して計算され、特定のジェスチャの動きベクトルｍ＝（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）が計算される。次に、動きベクトルｍが向きベクトルＭと比較され、比較結果に基づいて、ベクトルｍに平行である又は最小夾角を有する向きベクトルＭに対応するディスプレイをターゲットディスプレイとして決定する。
Ｓ３０３：サブ画像をトリガして第２のディスプレイに表示させる。サブ画像をトリガして第２のディスプレイに表示させるための条件は、第１の位置情報と第２の位置情報との間の距離が指定した閾値よりも大きいことを検出することである。
第１の位置情報は、特定のジェスチャを最初に検出した画像（すなわち、ビデオストリーム内のｊ番目のフレームの画像又はｉ番目の画像）内のカメラに対する特定のジェスチャの空間座標を指し、第２の位置情報は、次のフレーム又は複数のフレームの後の画像（つまり、ビデオストリーム内の（ｊ＋ｎ）番目のフレームの画像又は（ｉ＋ｎ）番目の画像、ここで、ｎは０より大きい正の整数である）内のカメラに対する特定のジェスチャの空間座標を指す。具体的な実施態様のプロセスは次の通りである。
例えば、カメラが次のフレーム又は複数のフレームを撮影した後の画像内の特定のジェスチャの動きベクトルｍを計算した後に、プロセッサは、ソースディスプレイ面の法線ベクトルｎを参照して、ソースディスプレイ面にキャストされる動きベクトルｍの並進ベクトルｍ１を計算する。次に、プロセッサは、並進ベクトルｍ１の方向に基づいてソースディスプレイ上でのサブ画像の移動方向を決定し、並進ベクトルｍ１の大きさと、ソースディスプレイ上のサブ画像の移動距離と大きさとの間の予め設定した比例関係とに基づいて、ソースディスプレイ上でのサブ画像の移動距離を決定することができる。最後に、プロセッサは、ユーザのジェスチャの動きに合わせてサブ画像が移動するように、並進ベクトルｍ１の大きさに比例して、ソースディスプレイ上のサブ画像を制御して、平面の中心から並進ベクトルｍ１の方向に沿って移動させることができる。
ユーザの特定のジェスチャが連続的に移動すると、プロセッサは、サブ画像がソースディスプレイ上の異なる位置に表示されるように、毎回受信した画像処理結果に基づいてソースディスプレイに制御命令を送信することができ、それにより、特定のジェスチャの動きに合わせてサブ画像が動くのを実現する。特定のジェスチャの動きに合わせてサブ画像が移動した後に、プロセッサが、インターフェイスの一部又は全てがソースディスプレイに表示されていないことを検出すると、プロセッサは、制御命令をターゲットディスプレイに同時に送信することができ、それによってターゲットディスプレイは、ソースディスプレイには表示されないサブ画像のインターフェイスを表示するようにする。
オプションで、サブ画像がアプリ・アイコンである場合に、プロセッサは、特定のジェスチャの移動距離に基づいて、サブ画像が表示のためにターゲットディスプレイに移動することを決定することができ、コントローラは制御命令をターゲットディスプレイに送信する。ここで、制御命令は、ターゲットディスプレイがアプリ・アイコンを表示できるようにするか、又はアプリを実行した後にターゲットディスプレイがインターフェイスを表示できるようにするために使用される。
サブ画像をソースディスプレイからターゲットディスプレイに移動させるための判定条件をどのように決定するかについて、本願では例として２つの判定条件を与える。これは、本願では限定されない。例えば：
１．並進ベクトルｍ１の大きさ。本願では、閾値が予め設定される。動きベクトルｍに基づいてターゲットディスプレイを決定した後に、プロセッサは、動きベクトルｍに基づいて並進ベクトルｍ１の大きさを計算することができる。その大きさが指定した閾値より大きい場合に、サブ画像はターゲットディスプレイに移動する。或いは、その大きさが指定した閾値より大きくない場合に、サブ画像は依然としてソースディスプレイ上で移動する。
２．サブ画像の中心点がソースディスプレイの外に移動する（move out of：はみ出る）。本願では、サブ画像の中心点がソースディスプレイの外に移動することが境界となる。サブ画像が特定のジェスチャとともに移動するプロセスにおいて、プロセッサは、ソースディスプレイ上のサブ画像の位置をリアルタイムで検出することができる。サブ画像の中心点がソースディスプレイの境界上にある、又はソースディスプレイ上にないことが検出された場合に、それは、サブ画像の領域の半分がソースディスプレイの外に移動し、サブ画像がターゲットディスプレイに移動したことを示す。サブ画像の中心点がソースディスプレイ上にあることが検出された場合に、それは、サブ画像の領域の半分がソースディスプレイから出ていないことを示し、サブ画像は依然としてソースディスプレイ上で移動する。
もちろん、本願では、代わりに、サブ画像のムーブアウト領域（move-out area：はみ出し領域）、又はサブ画像の長辺の大きさ等を判定条件としてもよい。これは本明細書では限定されない。
サブ画像がソースディスプレイ上で移動し、サブ画像の中心点がソースディスプレイの外に移動していない場合に、この場合のソースディスプレイのインターフェイス上での表示効果は図８に示される。しかしながら、ターゲットディスプレイでは、図９に示されるように、ソースディスプレイの外に移動したサブ画像の一部が表示されない場合がある、又はソースディスプレイの外に移動したサブ画像の一部が表示される場合があるので、ユーザは、サブ画像の移動先の表示及び移動効果をより直感的に把握することができる。
ターゲットディスプレイの解像度がソースディスプレイの解像度と異なる場合に、サブ画像がターゲットディスプレイに移動した後に、プロセッサは、サブ画像がターゲットディスプレイに移動して異常表示されるのを防ぐために、サブ画像の解像度をターゲットの解像度に増加又は減少させ、次に、サブ画像を表示のためにターゲットディスプレイに送信することができる。
サブ画像のサイズ又は縦横比がターゲットディスプレイのサイズ又は縦横比と異なる場合に、或いはソースディスプレイのサイズ又は縦横比がターゲットディスプレイのサイズ又は縦横比と異なる場合に、サブ画像がターゲットディスプレイに移動すると判定すると、プロセッサは、サブ画像のサイズ又は縦横比とターゲットディスプレイのサイズ又は縦横比とを比較して、サブ画像のサイズ又は縦横比を調整することができ、それによってサブ画像をターゲットディスプレイ画面上に正常に表示させることができる。例えば、図１０に示されるように、ターゲットディスプレイのサイズ、長辺のサイズ、及び短辺のサイズが全てソースディスプレイのサイズ、長辺のサイズ、及び短辺のサイズよりも大きい場合に、プロセッサは、サブ画像をターゲットインターフェイスに元のサイズで表示できるようにする、又は図１１に示されるようにサブ画像がターゲットディスプレイに最大サイズで表示されるようにサブ画像のサイズを拡大することができる。ターゲットディスプレイのサイズ、長辺のサイズ、及び短辺のサイズが全てソースディスプレイ又はサブ画像のサイズより小さい場合に、プロセッサは、サブ画像をターゲットディスプレイ内に正常に表示できるように、ターゲットディスプレイのサイズを縮小することができる。ターゲットディスプレイの長辺のサイズ及び短辺のサイズの一方がソースディスプレイ又はサブ画像のサイズより小さい場合に、プロセッサは、サブ画像のサイズをターゲットディスプレイの長辺のサイズに一致する長辺のサイズに縮小し、又はサブ画像のサイズをターゲットディスプレイの短辺のサイズに一致する短辺のサイズに縮小してから、図１２に示されるように、サブ画像をターゲットディスプレイに表示することができる。
サブ画像がターゲットディスプレイに移動した後に、カメラによってキャプチャされ、プロセッサによって受信したカメラ画像に、特定のジェスチャが含まれない場合がある。この場合に、ユーザに関して、ジェスチャの変化を、特定のジェスチャから「５本の指を広げる」及び「親指及び人差し指を広げる」等の非特定のジェスチャに変換させる必要がある。例えば、プロセッサが、指定した時間内に特定のジェスチャを含むカメラ画像を受信しなかった場合、又は「５本の指を広げてターゲットディスプレイに徐々に近づける」等の特定のジェスチャを検出した場合に、又はターゲットディスプレイ上で３回連続したタップを受信した場合に、消費電力及び計算コストを削減するために、「マルチスクリーンインタラクション」機能が無効になる場合がある。
サブ画像がターゲットディスプレイに移動した後に、カメラによってキャプチャされ、プロセッサによって受信したカメラ画像に、特定のジェスチャがさらに含まれる場合に、それは、デフォルトで、ユーザがソースディスプレイに表示されたコンテンツに対してマルチスクリーン共有を２回実行したとみなしてもよい。この場合に、プロセッサは、ステップＳ３０１～ステップＳ３０３の実装処理を再び実行すればよい。
ステップＳ３０１～ステップＳ３０３を実行するプロセスにおいて、プロセッサが、カメラによって撮影した画像内に２つ以上の特定のジェスチャがあることを検出した場合に、ユーザは、ソースディスプレイに表示されているコンテンツを２つ以上のターゲットディスプレイに共有するとみなしてもよい。プロセッサは、まず２つの特定のジェスチャをマークし、次に、マークした複数の特定のジェスチャに基づいてステップＳ３０１～ステップＳ３０３の実施態様のプロセスを実行して、ソースディスプレイに表示されているコンテンツの複数のターゲットディスプレイへのマルチスクリーン共有を同時に実施してもよい。例えば、図１３に示されるように、プロセッサがソースディスプレイに表示されているコンテンツを２つのターゲットディスプレイに共有する場合に、ソースディスプレイは、２つの特定のジェスチャに対応するサブ画像及びサブ画像の移動方向等の情報を同時に表示することができ、それによって、ユーザは、２つのサブ画像の移動プロセスを直感的に把握することができる。
本願のこの実施形態では、カメラによって撮影した画像に特定のジェスチャが含まれることを検出した後に、プロセッサは、ソースディスプレイに表示されているコンテンツをサブ画像に変換し、サブ画像を表示可能な別のディスプレイの識別子、及びソースディスプレイに対する向き情報をソースディスプレイ上に表示することができ、それによって、ユーザは、後続のジェスチャの移動方向を直観的に把握できる。次に、ターゲットディスプレイが特定のジェスチャの移動方向に基づいて決定され、特定のジェスチャがソースディスプレイ上で移動するのに合わせてサブ画像が移動するように制御され、特定のジェスチャの移動距離が指定した閾値より大きいことが検出された場合に、サブ画像はターゲットディスプレイに移動する。従って、マルチスクリーンインタラクション機能が実現される。
図１４は、本願の一実施形態による、５本指キャプチャを使用してディスプレイのキャスト機能とサブ画像の移動処理とを実現するジェスチャを示す概略図である。図１４に示されるように、運転者がソースディスプレイに表示されているコンテンツをターゲットディスプレイに一度プッシュするプロセスにおいて、ジェスチャの変化及び移動プロセスは次の通りである。
まず、図１４の（ａ）に示されるように、片手をソースディスプレイの前に置き、手の５本の指を広げた状態にする。次に、図１４の（ｂ）に示されるように、５本の指を徐々につまみ（そしてソースディスプレイから離れる方向に動かし）、ソースディスプレイをアクティブにして、フライスクリーンモードが有効になり、現在のインターフェイスに表示されているコンテンツがサブ画像に変換される。次に、図１４の（ｃ）に示されるように、つまんだ指は左（又はターゲットディスプレイに向かう方向）に移動し、指によって提示されるジェスチャは変化せず、ソースディスプレイ上のサブ画像は指の移動に合わせて移動し、その方向は同じである。最後に、サブ画像の移動距離が指定条件を満たした後に、サブ画像はターゲットディスプレイに自動的に表示される。図１４の（ｄ）に示されるジェスチャは、依然として図１４の（ｃ）に示される状態のままであってもよく、又はつまんだ５本の指が徐々に広がる（そしてターゲットディスプレイに近づく方向に移動する）ことであってもよい。
ディスプレイのキャスト機能を実現するプロセスは次の通りである。
図１４の（ａ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０１を実行して、カメラによってキャプチャした画像を取得し、認識を行う。ソースディスプレイに関して、サブ画像、別のディスプレイの識別子、及び向き情報等の情報は表示されない。ターゲットディスプレイに関して、サブ画像は表示されない。ユーザに関して、ユーザは５本の指を広げてソースディスプレイに近づける。
図１４の（ｂ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０２を実行し、カメラによって撮影した画像に特定のジェスチャが含まれることが検出された後に、ソースディスプレイは、サブ画像、別のディスプレイの識別子、及び向き情報等の情報を表示するように制御される。ソースディスプレイに関して、インターフェイスの中央に縮小されたサブ画像と、インターフェイス上に位置する別のディスプレイの識別子及び向き情報等の情報が表示される。ターゲットディスプレイに関して、サブ画像は表示されない。ユーザに関して、ユーザのジェスチャは、広げた５本の指を徐々につまむ過程から変換される。
図１４の（ｃ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０２を実行し、特定のジェスチャの動きが検出した後に、移動方向及び移動距離に基づいて、ターゲットディスプレイが決定され、ソースディスプレイ上のサブ画像が、特定のジェスチャの移動に合わせて移動するように制御される。ソースディスプレイに関して、サブ画像が動きながら表示される。ターゲットディスプレイに関して、サブ画像は表示されない（又は一部のサブ画像が表示される）。ユーザに関して、ユーザのジェスチャは、ソースディスプレイからターゲットディスプレイに移動する。
図１４の（ｄ）に示される状態では、プロセッサは、図３に示されるフローチャートのステップＳ３０３を実行し、特定のジェスチャの移動距離が指定した閾値よりも大きいことが検出された後に、サブ画像はターゲットディスプレイに移動するように制御される。ソースディスプレイに関して、サブ画像、別のディスプレイの識別子、及び向き情報等の情報は表示されない。ターゲットディスプレイに関して、サブ画像が表示される。ユーザに関して、ユーザのジェスチャは、カメラの撮影領域から外れる（又はつまんだ５本の指を広げる）ことになる。
プロセッサの内部実行の観点から、マルチスクリーンインタラクション機能が有効になった後に、プロセッサは、カメラによってキャプチャした画像を継続的に認識する。まず、手ターゲット検出器が実行され、次にターゲット検出器によって検出した手をさらに分類して、フライスクリーントリガジェスチャ（つまり、上記の特定のジェスチャが「５本の指を広げる」ジェスチャである）があるかどうかを判定する。トリガジェスチャがある場合に、ターゲット追跡アルゴリズムがトリガジェスチャに対して実行され、トリガハンド（手）の位置及び状態が追跡され、フライスクリーンを起動することができるというプロンプトがソースディスプレイに表示される。追跡ハンドが起動ジェスチャに切り替えられた場合に（つまり、上記の特定のジェスチャが「５本指でつまむ」又は「２本指で摘む」である）、フライスクリーンは起動ジェスチャに基づいてアクティブにされる。この場合に、図３のステップＳ３０２が実行される。フライスクリーンを実行できるターゲット方向がソースディスプレイに表示される。この場合に、起動ハンドが移動すると、動きベクトル（ｘ－ｘ０，ｙ－ｙ０，ｚ－ｚ０）が、現在の手の座標（ｘ，ｙ，ｚ）に基づいて計算される。次に、スクリーンキャスト面の並進ベクトルｍ１が、スクリーン面の法線ベクトルｎに基づいて計算される。ソースディスプレイには、ｍ１ベクトルの距離及び係数に基づいた移動距離の効果が表示される。移動距離、つまりｍ１の係数が閾値より大きい場合に、フライスクリーンアクションがターゲットディスプレイ上で実行される。起動ジェスチャが閾値以内に放棄された場合に、現在のフライスクリーン操作はキャンセルされ得る。
図１５は、本願の一実施形態によるマルチスクリーンインタラクション機器の構造を示す概略図である。マルチスクリーンインタラクション機器は、コンピュータ装置又は電子装置（例えば、端末）であってもよく、又は電子装置内の機器（例えば、ＩＳＰ又はＳｏＣ）であってもよい。さらに、図３～図１４に示されるマルチスクリーンインタラクション方法、及び前述のオプションの実施形態を実施してもよい。図１５に示されるように、マルチスクリーンインタラクション機器１５００は、送受信ユニット１５０１及び処理ユニット１５０２を含む。
本願では、マルチスクリーンインタラクション機器１５００の具体的な実施態様のプロセスは以下の通りである。送受信ユニット１５０１は、ジェスチャ情報を含む感知情報を取得するように構成される。そして、処理ユニット１５０２は、ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成され、ここで、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向は、ジェスチャ情報に関連付けられる。そして、処理ユニット１５０２は、サブ画像をトリガして第２のディスプレイに表示させる。
送受信ユニット１５０１は、前述のマルチスクリーンインタラクション方法におけるＳ３０１の一例、及び前述のマルチスクリーンインタラクション方法におけるオプションの例のいずれか１つを実行するように構成される。処理ユニット１５０２は、前述のマルチスクリーンインタラクション方法におけるＳ３０２及びＳ３０３の一例、及び前述のマルチスクリーンインタラクション方法におけるオプションの例のいずれか１つを実行するように構成される。詳細については、方法例の詳細な説明を参照されたい。詳細については、ここでは再び説明しない。
本願のこの実施形態におけるマルチスクリーンインタラクション機器はソフトウェアによって実現してもよいことを理解されたい。例えば、前述の機能を有するコンピュータプログラム又は命令、及び対応するコンピュータプログラム又は対応する命令は、端末内のメモリに格納され得る。プロセッサは、メモリ内の対応するコンピュータプログラム又は対応する命令を読み取って、前述の機能を実行する。あるいはまた、本願のこの実施形態におけるマルチスクリーンインタラクション機器は、ハードウェアによって実現してもよい。処理ユニット１５０２は、プロセッサ（例えば、ＮＰＵ、ＧＰＵ、又はシステムチップ内のプロセッサ）である。送受信ユニット１５０１は、送受信回路又はインターフェイス回路である。あるいはまた、本願のこの実施形態におけるマルチスクリーンインタラクション機器は、プロセッサ及びソフトウェアモジュールの組合せによって実現してもよい。
本願のこの実施形態における機器の処理の詳細については、図４（ａ）及び図４（ｂ）～図１４の関連する説明を参照すべきことを理解されたい。本願のこの実施形態では、詳細については再び説明しない。
図１６は、本願の一実施形態による別のマルチスクリーンインタラクション機器の構造を示す概略図である。マルチスクリーンインタラクション機器は、コンピュータ装置又は電子装置（例えば、端末）であってもよく、又は電子装置内の機器（例えば、ＩＳＰ又はＳｏＣ）であってもよい。さらに、図３～図１４に示されるマルチスクリーンインタラクション方法、及び前述のオプションの実施形態を実施することができる。図１６に示されるように、マルチスクリーンインタラクション機器１６００は、プロセッサ１６０１と、プロセッサ１６０１に結合したインターフェイス回路１６０２とを含む。図１６には、１つのプロセッサ及び１つのインターフェイス回路のみが示されていることを理解されたい。マルチスクリーンインタラクション機器１６００は、別の数量のプロセッサ及びインターフェイス回路を含んでもよい。
本願では、マルチスクリーンインタラクション機器１６００の具体的な実施態様のプロセスは以下の通りである。インターフェイス回路１６０２は、ジェスチャ情報を含む感知情報を取得するように構成される。そして、プロセッサ１６０１は、ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成され、ここで、第１のインターフェイス画像にはサブ画像が含まれ、サブ画像の動きの傾向は、ジェスチャ情報に関連付けられる。そして、プロセッサ１６０１は、サブ画像をトリガして第２のディスプレイに表示させる。
インターフェイス回路１６０２は、端末の別のコンポーネント、例えばメモリ又は別のプロセッサと通信するように構成される。プロセッサ１６０１は、インターフェイス回路１６０２を介して別のコンポーネントとの信号インタラクションを実行するように構成される。インターフェイス回路１６０２は、プロセッサ１６０１の入出力インターフェイスであってもよい。
例えば、プロセッサ１６０１は、インターフェイス回路１６０２を介して、プロセッサ１６０１に結合したメモリ内のコンピュータプログラム又は命令を読み取り、コンピュータプログラム又は命令を復号化して実行する。コンピュータプログラム又は命令は、前述の端末機能プログラムを含むことができ、又は端末に適用されるマルチスクリーンインタラクション機器の前述の機能プログラムを含むことができることを理解されたい。対応する機能プログラムがプロセッサ１６０１によって復号化され実行されると、端末又は端末内のマルチスクリーンインタラクション機器は、本願の実施形態で提供されるマルチスクリーンインタラクション方法における解決策を実現することが可能になり得る。
オプションで、これらの端末機能プログラムは、マルチスクリーンインタラクション機器１６００の外部のメモリに格納される。端末機能プログラムがプロセッサ１６０１によって復号化され実行されると、端末機能プログラムの一部又は全てのコンテンツがメモリに一時的に格納される。
オプションで、これらの端末機能プログラムは、マルチスクリーンインタラクション機器１６００の内部のメモリに格納される。マルチスクリーンインタラクション機器１６００の内部のメモリが端末機能プログラムを格納する場合に、マルチスクリーンインタラクション機器１６００は、本願の実施形態では、端末内に配置することができる。
オプションで、端末機能プログラムの一部のコンテンツは、マルチスクリーンインタラクション機器１６００の外部のメモリに格納され、端末機能プログラムの他のコンテンツは、マルチスクリーンインタラクション機器１６００の内部のメモリに格納される。
図１５～図１６のいずれか１つに示されるマルチスクリーンインタラクション機器は、互いに組み合わせてもよいことを理解されたい。図１、図２（ａ）、図２（ｂ）、図２１、及び図２２のいずれか１つに示されるマルチスクリーンインタラクション機器、及びオプションの実施形態の関連する設計の詳細は、互いに参照される。あるいはまた、図１０又は図１８のいずれか１つに示されるマルチスクリーンインタラクション方法、及びオプションの実施形態の関連する設計の詳細を参照されたい。詳細についてはここでは説明しない。
図３に示されるマルチスクリーンインタラクション方法及びオプションの実施形態、図１５～図１６のいずれか１つに示されるマルチスクリーンインタラクション機器及びオプションの実施形態は、撮影中にビデオ又は画像を処理するために使用され得るだけでなく、撮影したビデオ又は画像を処理するために使用され得ることを理解されたい。これは、本願では限定されない。
本願は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムがコンピュータで実行されると、コンピュータは前述の方法のいずれか１つを実行することができる。
本願は、メモリ及びプロセッサを含むコンピュータ装置を提供し、メモリは実行可能コードを格納し、プロセッサが実行可能コードを実行すると、前述の方法のいずれか１つが実施される。
当業者は、本明細書で開示した実施形態を参照して説明される例におけるユニット及びアルゴリズムステップが、電子ハードウェア、又はコンピュータソフトウェア及び電子ハードウェアの組合せによって実装してもよいことに気づくであろう。機能がハードウェアによって実行されるか又はソフトウェアによって実行されるかは、特定のアプリケーションと技術解決策の設計制約とに依存する。当業者は、特定のアプリケーション毎に説明した機能を実現するために異なる方法を使用することができるが、その実施態様が本願の実施形態の範囲を超えるものと考えるべきではない。
さらに、本願の実施形態における態様又は特徴は、標準的なプログラミング及び／又はエンジニアリング技術を使用する方法、機器、又は製品として実現することができる。本願で使用される「製品」という用語は、任意のコンピュータ可読コンポーネント、キャリア、又は媒体からアクセスできるコンピュータプログラムをカバーする場合がある。例えば、コンピュータ可読媒体には、磁気記憶コンポーネント（例えば、ハードディスク、フロッピーディスク、又は磁気テープ）、光ディスク（例えば、コンパクトディスク（compact disc, CD）又はデジタル多用途ディスク（digital
versatile disc, DVD））、スマートカード、及びフラッシュメモリコンポーネント（例えば、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory, EPROM）、カード）、スティック、又はキードライブ）が含まれるが、これらに限定されない。さらに、本明細書で説明する様々な記憶媒体は、情報を記憶するように構成された１つ又は複数の装置及び／又は他の機械可読媒体を示し得る。「機械可読媒体」という用語には、命令及び／又はデータを記憶、含む、及び／又は搬送できる無線チャネル及び他の様々な媒体が含まれるが、これらに限定されない。
前述の実施形態では、図１５のマルチスクリーンインタラクション機器１５００は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せを用いて、全体又は一部を実現することができる。ソフトウェアを使用して実施形態を実現する場合に、実施形態の全て又は一部をコンピュータプログラム製品の形式で実現することができる。コンピュータプログラム製品には、１つ又は複数のコンピュータ命令が含まれる。コンピュータプログラム命令がコンピュータにロードされて実行されると、本願の実施形態における全て又は一部の手順又は機能が生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は別のプログラム可能な機器であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶してもよく、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信してもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイト、コンピュータ、サーバ、又はデータセンタに有線（例えば、同軸ケーブル、光ファイバ、又はデジタル加入者線回線（ＤＳＬ））又は無線（例えば、赤外線、無線、又はマイクロ波）方式で送信され得る。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能な媒体、或いは１つ又は複数の使用可能な媒体を統合するサーバ又はデータセンタ等のデータ記憶装置であってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、又は磁気テープ）、光媒体（例えば、ＤＶＤ）、又は半導体媒体（例えば、ソリッドステートディスク（ＳＳＤ））等であってもよい。
前述のプロセスのシーケンス番号は、本願の様々な実施形態における実行シーケンスを意味するものではないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部ロジックに従って決定すべきであり、本願の実施形態の実施態様のプロセスに対するいかなる制限として解釈すべきでもない。
当業者であれば、便宜的且つ簡潔な説明を目的として、前述のシステム、機器、及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照すべきことを明確に理解できるだろう。詳細については、ここでは再び説明しない。
本願で提供するいくつかの実施形態では、開示したシステム、機器、及び方法は他の方法で実現してもよいことを理解されたい。例えば、説明した機器の実施形態は単なる例である。例えば、ユニットの分割は論理的な機能分割に過ぎず、実際の実装中には他の分割となる場合もある。例えば、複数のユニット又はコンポーネントを別のシステムに結合又は統合してもよく、一部の機能を無視する又は実行しない場合がある。さらに、表示又は議論した相互結合、直接結合、又は通信接続は、いくつかのインターフェイスを用いて実現してもよい。機器同士又はユニット同士の間の間接的な結合又は通信接続は、電子的、機械的、又は別の形式で実現してもよい。
別個の部分として説明したユニットは、物理的に別個であってもなくてもよく、ユニットとして表示した部分は、物理的ユニットであってもなくてもよく、１つの位置に配置してもよく、又は複数のネットワークユニットに分散してもよい。ユニットの一部又は全ては、実施形態の解決策の目的を達成するための実際の要件に基づいて選択され得る。
機能がソフトウェア機能ユニットの形式で実現され、独立した製品として販売又は使用される場合に、機能はコンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本願の実施形態の技術的解決策は本質的に、又は従来の技術に寄与する部分は、又は技術的解決策の一部は、ソフトウェア製品の形態で実現され得る。コンピュータソフトウェア製品は、記憶媒体に格納されており、コンピュータ装置（パーソナルコンピュータ、サーバ、又はアクセスネットワーク装置であり得る）に、本願の実施形態で説明した方法のステップの全て又は一部を実行するように指示するためのいくつかの命令を含む。前述の記憶媒体には、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（ROM, Read-Only Memory）、ランダムアクセスメモリ（RAM,
Random Access Memory）、磁気ディスク、又は光ディスク等の、プログラムコードを記憶できる任意の媒体が含まれる。
前述の説明は、本願の実施形態の単に特定の実施態様であり、本願の実施形態の保護範囲を限定することを意図したものではない。本願の実施形態に開示した技術的範囲内で当業者が容易に想起するあらゆる変形又は置換は、本願の実施形態の保護範囲内に含まれるものとする。

Claims (29)

  1. マルチスクリーンインタラクション方法であって、当該方法は、
    感知情報を取得するステップであって、該感知情報にはジェスチャ情報が含まれる、ステップと、
    該ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるステップであって、該第１のインターフェイス画像にはサブ画像が含まれ、該サブ画像の動きの傾向が前記ジェスチャ情報に関連付けられる、ステップと、
    前記サブ画像をトリガして第２のディスプレイに表示させるステップと、を含む、
    方法。
  2. 前記ジェスチャ情報に５本指キャプチャジェスチャが含まれる場合に、前記サブ画像に表示されるコンテンツが、前記第１のインターフェイス画像の全てのコンテンツである、請求項１に記載の方法。
  3. 前記ジェスチャ情報に２本指キャプチャジェスチャが含まれる場合に、前記サブ画像に表示されるコンテンツが、前記第１のインターフェイス画像において第１のアプリケーションによって提示されるインターフェイスであり、前記第１のアプリケーションは、ユーザが選択したアプリケーション又は実行中のアプリケーションである、請求項１に記載の方法。
  4. 前記第１のインターフェイス画像には位置情報がさらに含まれ、該位置情報は、前記サブ画像を表示可能な他の少なくとも１つのディスプレイの識別子、及び前記第１のディスプレイに対する前記少なくとも１つのディスプレイの向き情報である、請求項１乃至３のいずれか一項に記載の方法。
  5. 前記サブ画像をトリガして第２のディスプレイに表示させる前に、当該方法は、第１の位置情報、第２の位置情報、及び前記第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報に基づいて、前記第２のディスプレイを決定するステップをさらに含み、前記第１の位置情報は、前記第１のディスプレイをトリガして前記第１のインターフェイス画像を表示させるときに使用されるジェスチャの位置情報であり、前記第２の位置情報は現時点でのジェスチャの位置情報であり、前記少なくとも１つのディスプレイには前記第２のディスプレイが含まれる、請求項１乃至４のいずれか一項に記載の方法。
  6. 前記第２のディスプレイを決定するステップは、
    前記第１の位置情報及び前記第２の位置情報に基づいて、前記第１の位置情報に対する前記第２の位置情報の第１の向き情報を決定するステップと、
    該第１の向き情報を、前記第１のディスプレイに対する前記少なくとも１つのディスプレイの記憶した前記向き情報と比較するステップと、
    前記第１の向き情報が、前記第１のディスプレイに対する前記第２のディスプレイの向き情報と同じである場合に、前記第２のディスプレイを決定するステップと、を含む、請求項１乃至５のいずれか一項に記載の方法。
  7. 前記サブ画像をトリガして第２のディスプレイに表示させるステップは、
    前記第１の位置情報と前記第２の位置情報との間の距離が指定した閾値よりも大きいことが検出されると、前記サブ画像をトリガして前記第２のディスプレイに表示させるステップを含む、請求項５又は６に記載の方法。
  8. 前記サブ画像がアプリケーションアイコンである場合に、前記サブ画像をトリガして第２のディスプレイに表示させるステップは、
    前記サブ画像によって示される画像をトリガして第２のディスプレイに表示させるステップを含む、請求項１乃至７のいずれか一項に記載の方法。
  9. 前記サブ画像のサイズが、前記第１のディスプレイのサイズよりも小さい、請求項１乃至８のいずれか一項に記載の方法。
  10. 前記位置情報は、前記第１のディスプレイのエッジ位置に表示される、請求項１乃至９のいずれか一項に記載の方法。
  11. 前記第１のディスプレイの解像度が前記第２のディスプレイの解像度と異なる場合に、当該方法は、前記サブ画像の解像度を前記第２のディスプレイの前記解像度に設定するステップをさらに含む、請求項１乃至１０のいずれか一項に記載の方法。
  12. 前記第１のディスプレイの前記サイズが前記第２のディスプレイのサイズと異なる場合に、当該方法は、前記サブ画像の前記サイズを前記第２のディスプレイの前記サイズに設定するステップをさらに含む、請求項１乃至１１のいずれか一項に記載の方法。
  13. 前記第２のディスプレイの長辺のサイズ又は短辺のサイズが、前記第１のディスプレイの長辺のサイズ又は短辺のサイズよりも小さい場合に、当該方法は、
    前記サブ画像を縮小して、前記サブ画像の長辺のサイズを前記第２のディスプレイの前記長辺の前記サイズと同じにするステップ、又は
    前記サブ画像を縮小して、前記サブ画像の短辺のサイズを前記第２のディスプレイの前記短辺の前記サイズと同じにするステップ、をさらに含む、請求項１乃至１２のいずれか一項に記載の方法。
  14. マルチスクリーンインタラクション機器であって、当該機器は、
    感知情報を取得するように構成された送受信ユニットであって、前記感知情報にはジェスチャ情報が含まれる、送受信ユニットと、
    前記ジェスチャ情報に基づいて、第１のディスプレイをトリガして第１のインターフェイス画像を表示させるように構成された処理ユニットであって、該第１のインターフェイス画像にはサブ画像が含まれ、該サブ画像の動きの傾向が前記ジェスチャ情報に関連付けられる、処理ユニットと、を含み、
    該処理ユニットは、前記サブ画像をトリガして第２のディスプレイに表示させる、
    機器。
  15. 前記ジェスチャ情報に５本指キャプチャジェスチャが含まれる場合に、前記サブ画像に表示されるコンテンツが、前記第１のインターフェイス画像の全てのコンテンツである、請求項１４に記載の機器。
  16. 前記ジェスチャ情報に２本指キャプチャジェスチャが含まれる場合に、前記サブ画像に表示されるコンテンツが、前記第１のインターフェイス画像において第１のアプリケーションによって提示されるインターフェイスであり、前記第１のアプリケーションは、ユーザが選択したアプリケーション又は実行中のアプリケーションである、請求項１４に記載の機器。
  17. 前記第１のインターフェイス画像には位置情報がさらに含まれ、該位置情報は、前記サブ画像を表示可能な他の少なくとも１つのディスプレイの識別子と、前記第１のディスプレイに対する前記少なくとも１つのディスプレイの向き情報である、請求項１４乃至１６のいずれか一項に記載の機器。
  18. 前記処理ユニットは、第１の位置情報、第２の位置情報、及び前記第１のディスプレイに対する少なくとも１つのディスプレイの記憶した向き情報に基づいて、前記第２のディスプレイを決定するようにさらに構成され、前記第１の位置情報は、前記第１のディスプレイをトリガして前記第１のインターフェイス画像を表示させるときに使用されるジェスチャの位置情報であり、前記第２の位置情報は現時点でのジェスチャの位置情報であり、前記少なくとも１つのディスプレイには前記第２のディスプレイが含まれる、請求項１乃至１７のいずれか一項に記載の機器。
  19. 前記処理ユニットは、
    前記第１の位置情報及び前記第２の位置情報に基づいて、前記第１の位置情報に対する前記第２の位置情報の第１の向き情報を決定すること、
    該第１の向き情報を、前記第１のディスプレイに対する前記少なくとも１つのディスプレイの記憶した前記向き情報と比較すること、及び
    前記第１の向き情報が、前記第１のディスプレイに対する前記第２のディスプレイの向き情報と同じである場合に、前記第２のディスプレイを決定すること、を行うように特に構成される、請求項１８に記載の機器。
  20. 前記処理ユニットは、
    前記第１の位置情報と前記第２の位置情報との間の距離が指定した閾値よりも大きいことが検出されると、前記サブ画像をトリガして前記第２のディスプレイに表示させるように特に構成される、請求項１８又は１９に記載の機器。
  21. 前記サブ画像がアプリケーションアイコンである場合に、前記処理ユニットは、前記サブ画像によって示される画像をトリガして前記第２のディスプレイに表示させるように特に構成される、請求項１４乃至２０のいずれか一項に記載の機器。
  22. 前記サブ画像のサイズが、前記第１のディスプレイのサイズよりも小さい、請求項１４乃至２１のいずれか一項に記載の機器。
  23. 前記位置情報は、前記第１のディスプレイのエッジ位置に表示される、請求項１４乃至２２のいずれか一項に記載の機器。
  24. 前記第１のディスプレイの解像度が前記第２のディスプレイの解像度と異なる場合に、前記処理ユニットは、前記サブ画像の解像度を前記第２のディスプレイの解像度に設定するようにさらに構成される、請求項１４乃至２３のいずれか一項に記載の機器。
  25. 前記第１のディスプレイの前記サイズが前記第２のディスプレイのサイズと異なる場合に、前記処理ユニットは、前記サブ画像の前記サイズを前記第２のディスプレイの前記サイズに設定するようにさらに構成される、請求項１４乃至２４のいずれか一項に記載の機器。
  26. 前記第２のディスプレイの長辺のサイズ又は短辺のサイズが、前記第１のディスプレイの長辺のサイズ又は短辺のサイズよりも小さい場合に、前記処理ユニットは、
    前記サブ画像を縮小して、前記サブ画像の長辺のサイズを前記第２のディスプレイの前記長辺の前記サイズと同じにする、又は
    前記サブ画像を縮小して、前記サブ画像の短辺のサイズを前記第２のディスプレイの前記短辺の前記サイズと同じにするようにさらに構成される、請求項１４乃至２５のいずれか一項に記載の機器。
  27. 車両であって、当該車両は、
    少なくとも１つのカメラと、
    少なくとも２つのディスプレイと、
    少なくとも１つのメモリと、
    請求項１乃至１３のいずれか一項に記載の方法を実行するように構成された少なくとも１つのプロセッサと、を含む、
    車両。
  28. コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体はコンピュータプログラムを記憶し、該コンピュータプログラムがコンピュータで実行されると、該コンピュータは、請求項１乃至１３のいずれか一項に記載の方法を実行することが可能になる、コンピュータ可読記憶媒体。
  29. メモリ及びプロセッサを含むコンピュータ装置であって、前記メモリは実行可能コードを格納し、前記プロセッサが前記実行可能コードを実行すると、請求項１乃至１３のいずれか一項に記載の方法が実施される、コンピュータ装置。
JP2023566400A 2021-04-26 2021-04-26 マルチスクリーンインタラクション方法及び機器、端末装置、及び車両 Pending JP2024518333A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/090009 WO2022226736A1 (zh) 2021-04-26 2021-04-26 一种多屏交互的方法、装置、终端设备和车辆

Publications (1)

Publication Number Publication Date
JP2024518333A true JP2024518333A (ja) 2024-05-01

Family

ID=77427052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023566400A Pending JP2024518333A (ja) 2021-04-26 2021-04-26 マルチスクリーンインタラクション方法及び機器、端末装置、及び車両

Country Status (5)

Country Link
US (1) US20240051394A1 (ja)
EP (1) EP4318186A4 (ja)
JP (1) JP2024518333A (ja)
CN (2) CN113330395B (ja)
WO (1) WO2022226736A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448469B (zh) * 2021-09-01 2021-12-31 远峰科技股份有限公司 车载多屏显示多样化分享交互方法及装置
CN114546239A (zh) * 2021-12-28 2022-05-27 浙江零跑科技股份有限公司 一种智能座舱副驾投屏手势操作方法
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、系统及存储介质
CN115097970A (zh) * 2022-06-30 2022-09-23 阿波罗智联(北京)科技有限公司 展示控制方法、装置、电子设备、存储介质及车辆
CN117156189A (zh) * 2023-02-27 2023-12-01 荣耀终端有限公司 投屏显示方法及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
DE102016108885A1 (de) * 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Verfahren zum berührungslosen Verschieben von visuellen Informationen
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
CN109491558A (zh) * 2017-09-11 2019-03-19 上海博泰悦臻网络技术服务有限公司 车载系统的屏间应用交互方法及装置、存储介质和车机
CN108556740A (zh) * 2018-04-17 2018-09-21 上海商泰汽车信息系统有限公司 多屏共享设备及方法、计算机可读介质、车载设备
CN109992193B (zh) * 2019-03-29 2022-04-12 佛吉亚歌乐电子(丰城)有限公司 一种车内触控屏飞屏互动方法
US11554668B2 (en) * 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
WO2022000448A1 (zh) * 2020-07-03 2022-01-06 华为技术有限公司 车内隔空手势的交互方法、电子装置及系统
CN112486363B (zh) * 2020-10-30 2023-12-19 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统

Also Published As

Publication number Publication date
CN117492557A (zh) 2024-02-02
EP4318186A1 (en) 2024-02-07
EP4318186A4 (en) 2024-05-01
US20240051394A1 (en) 2024-02-15
CN113330395B (zh) 2023-10-20
WO2022226736A1 (zh) 2022-11-03
CN113330395A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
JP2024518333A (ja) マルチスクリーンインタラクション方法及び機器、端末装置、及び車両
US10761610B2 (en) Vehicle systems and methods for interaction detection
US10120454B2 (en) Gesture recognition control device
EP2743799B1 (en) Control apparatus, vehicle, and portable terminal using hand information for command generation
US10579152B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US20120281129A1 (en) Camera control
US10885322B2 (en) Hand-over-face input sensing for interaction with a device having a built-in camera
US20140198030A1 (en) Image projection device, image projection system, and control method
US20200142495A1 (en) Gesture recognition control device
US11455836B2 (en) Dynamic motion detection method and apparatus, and storage medium
JP7419495B2 (ja) 投影方法および投影システム
JP2012238293A (ja) 入力装置
US11886643B2 (en) Information processing apparatus and information processing method
US9304598B2 (en) Mobile terminal and method for generating control command using marker attached to finger
WO2018076720A1 (zh) 单手操控方法及操控系统
CN105759955B (zh) 输入装置
CN112835484B (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
KR20210017081A (ko) 객체에 대응하는 그래픽 요소 표시 방법 및 장치
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20200311398A1 (en) Scene controlling method, device and electronic equipment
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
CN112051746B (zh) 获取服务的方法以及装置
US20150042621A1 (en) Method and apparatus for controlling 3d object
CN113568502A (zh) 一种交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231218