JP7419495B2 - 投影方法および投影システム - Google Patents

Description

本出願は、ユーザ挙動の識別技術の分野に関し、詳細には、ユーザ挙動を分析することによって実施されるより効率的で迅速な投影方法およびシステムに関する。

ハンドヘルド・スマート端末投影技術の応用は、非常に一般的であることがよく知られている。ハンドヘルド・スマート端末投影技術は、主に、特定の操作を通じてハンドヘルド・スマート端末装置の画面関連情報を表示することができるテレビなどのビデオ再生機器に適用され、通常、ハンドヘルド・スマート端末の現在の画面表示コンテンツ、または端末のメニュー・インターフェースが表示される。

近年、自動運転技術の発展に伴い、車載スマートコックピットに関連する技術研究が開発され、車載スマート環境を使用することにより、運転中のユーザに、よりインテリジェントなサービスを提供する。ハンドヘルド機器の画面表示を車載表示装置により良好に投影する方法もまた、車両乗車中または車両運転中のユーザの重要要件の1つである。

既存の車載ハンドヘルド端末投影技術は、主に2つのモード、すなわち、プラグインモードおよび無線モードを含む。既存の車載投影の解決策は、車載娯楽分野および通信分野におけるユーザ体験を大幅に充実させるが、ハンドヘルド端末投影の特定の始動手段に関して、2つの始動モードはそれぞれ、操作が複雑であり、投影コンテンツがリアルタイムで同期されないという問題を有する。

プラグイン車載投影始動モードでは、ユーザはプラグイン後に対応する投影ボタンを検索してタップし、ユーザのタップ操作に基づいて投影を開始する。主な欠点は、ハンドヘルド端末がプラグインモードで車載インフォテインメントに接続するので、ユーザはUSBケーブルを携帯する必要があり、これは使用するのに不便である。一般に、無線車載投影始動モードでは、ハンドヘルド端末がBluetooth(登録商標)を介して車載インフォテインメントに接続した後、ユーザは対応する投影ボタンを検索してタップし、ユーザのタップ操作に基づいて投影を開始する。この解決策では、ハンドヘルド端末は無線方式で車載インフォテインメントに接続するが、ユーザは依然として中央制御画面上で対応する始動ボタンを検索する必要があり、インターフェース階層が深いために、ステップが複雑である。

この解決策では、ハンドヘルド機器の投影操作をより便利に実現し、ユーザが投影を行う必要があるときにユーザの投影意図を正確に判定し、誤操作および誤認の可能性を低減しながら操作の利便性を改善し、ユーザの投影体験を向上させる方法に焦点が当てられている。

本出願の実施形態は、スマート運転、スマートホーム、スマートテレビ、およびスマート大型スクリーンなどの複数のアプリケーション・シナリオに適用できる投影方法およびシステムを提供する。正確で便利な投影操作を実現するために、ユーザ挙動意図およびハンドヘルド端末の現在のステータスが分析される。このようにして、ユーザが投影を実行したいとき、ユーザは複雑なタップ操作を、もはや実行する必要がない。また、ユーザ挙動を総合的に分析することでユーザ意図を考慮することができるため、操作の簡略化により誤操作の可能性が高まることを回避し、ユーザ意図を判定する精度を確保できる。

第1の態様によれば、本発明の一実施形態は投影方法を提供する。本方法は、検知装置によって取得された画像情報に基づいて、第1の機器の表示画面の向きを判定するステップと、第1の機器の表示画面の向きが事前設定の向きと合致すると判定された場合に、第1の機器の画面コンテンツをターゲット表示画面に表示するステップ、または第1の機器の表示画面の向きが事前設定の向きと合致すると判定された場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するステップと、を含む。

投影を実行するかどうかは、第1の機器の画面の向きを判定することによって判定される。これにより、ユーザの投影操作が簡単になる。

特定の実装形態では、第1の機器の表示画面の向きが事前設定の向きと合致すると判定された場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するステップは、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信するステップ、であってもよい。

表示画面がターゲット表示画面に向いていることは、投影を実行するかどうかを判定するためのトリガ条件として使用される。これにより、投影操作を簡略化しつつ、誤操作を効果的に回避できる。これは、通常の使用状態では、ハンドヘルド機器の表示画面はユーザに向いているからである。

特定の実装形態では、第1の機器の表示画面の向きが事前設定の向きと合致すると判定された場合に、第1の機器の画面コンテンツをターゲット表示画面に表示するステップは、第1の機器の表示画面の向きがターゲット表示画面に向いており、かつ、第1の機器の許可情報が取得された、と判定された場合に、第1の機器の画面コンテンツをターゲット表示画面に表示するステップ、であってもよい。

機器が許可されたかどうかを判定し、機器が許可された場合に、投影操作が実行される。これにより、ユーザに投影操作を可能にし、投影操作を簡略化しつつ、投影操作が許可なく行われることを回避できる。例えば、別のユーザが、ユーザのハンドヘルド機器を使用して、許可なく画面コンテンツをハンドヘルド機器に投影することを、効果的に防止できる。

第1の態様の投影方法は、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると判定するステップと、ターゲット表示画面に接近する手の動作があり、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器送信するステップと、をさらに含んでもよい。

第1の態様の投影方法は、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定するステップと、手からターゲット表示画面までの距離が事前設定値未満であり、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信するステップと、をさらに含んでもよい。

第1の態様の投影方法は、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定するステップと、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知するためのメッセージを、第1の機器に送信するステップと、をさらに含んでもよい。

第1の態様の投影方法は、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると判定するステップと、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定するステップと、ターゲット表示画面に接近する手の動作があり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知するためのメッセージを、第1の機器に送信するステップと、をさらに含んでもよい。

前述の判定動作の順序は限定されない。

第1の態様の投影方法は、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定するステップと、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定するステップと、手からターゲット表示画面までの距離が事前設定値未満であり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知するためのメッセージを、第1の機器に送信するステップと、をさらに含んでもよい。

別の判定条件が、ユーザの投影意図を共同で判定するために追加される。これにより、誤操作のリスクをさらに低減できる。加えて、手を接近していること、および、機器が保持されているかどうかを判定することも、投影中にユーザが実行できる簡単で簡単な動作である。

検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定するステップは、検知装置によって取得された画像情報内の手と第1の機器との間の重なり率に従って、第1の機器が保持されていると判定するステップを含む。

ハンドヘルド機器が保持されているかどうかは、重なり率を使用することによって判定され、その結果、ユーザがハンドヘルド機器を保持しているかどうかを効果的に識別できる。

第1の態様における投影方法は、検知装置で取得された画像情報に基づいて、第1の機器の姿勢を判定するステップと、第1の機器の姿勢に基づいて、ターゲット表示画面の投影表示モードを判定するステップと、をさらに含んでもよい。

姿勢判定を加えて投影モードを判定することにより、投影操作を簡略化しつつ、投影機能が、より豊富になる。これは、多様化したユーザの要求を満たす。

第1の態様における投影方法の特定の実装形態において、1つのニューラル・ネットワークは、2つの判定結果の結論を出力するように訓練されてもよい。言い換えると、第1の態様の投影方法では、特定の実装形態において、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定されることは、検知装置によって取得された画像情報に基づいて、かつ同じニューラル・ネットワーク・モデルに基づいて、ユーザが第1の機器を保持しているかどうか、および、第1の機器の表示画面の向き、を判定するステップであってもよい。

第2の態様によれば、本発明の一実施形態は、投影システムをさらに開示する。本システムは、ターゲット表示画面と、少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、検知装置によって取得された画像情報に基づいて、第1の機器の表示画面の向きを判定し、少なくとも1つのプロセッサは、少なくとも1つのプロセッサが、第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、第1の機器の画面コンテンツをターゲット表示画面に表示し、または、少なくとも1つのプロセッサが、第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知する。

特定の実装形態では、少なくとも1つのプロセッサは、少なくとも1つのプロセッサが第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。具体的には、少なくとも1つのプロセッサは、少なくとも1つのプロセッサが、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

特定の実装形態では、少なくとも1つのプロセッサが第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、少なくとも1つのプロセッサが第1の機器の画面コンテンツをターゲット表示画面に表示することは、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定され、かつ、第1の機器の許可情報が取得されたと判定された場合に、少なくとも1つのプロセッサが第1の機器の画面コンテンツをターゲット表示画面に表示することでもよい。

少なくとも1つのプロセッサは、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると、さらに判定できる。

少なくとも1つのプロセッサは、少なくとも1つのプロセッサが、ターゲット表示画面に接近する手の動作があり、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

少なくとも1つのプロセッサは、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると、さらに判定できる。少なくとも1つのプロセッサは、少なくとも1つのプロセッサが、手からターゲット表示画面までの距離が事前設定値未満であり、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

少なくとも1つのプロセッサは、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると、さらに判定できる。少なくとも1つのプロセッサは、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると、少なくとも1つのプロセッサがさらに判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

少なくとも1つのプロセッサは、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると、さらに判定できる。少なくとも1つのプロセッサは、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定する。少なくとも1つのプロセッサは、少なくとも1つのプロセッサが、ターゲット表示画面に接近する手の動作があり、第1の機器が保持されており、かつ第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

少なくとも1つのプロセッサは、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると、さらに判定できる。少なくとも1つのプロセッサは、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定する。少なくとも1つのプロセッサは、手からターゲット表示画面までの距離が事前設定値未満であり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると少なくとも1つのプロセッサが判定した場合に、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

特定の実装形態では、少なくとも1つのプロセッサが、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定することは、少なくとも1つのプロセッサが、検知装置によって取得された画像情報内の手と第1の機器との間の重なり率に従って、第1の機器が保持されていると判定することであってもよい。

第2の態様の投影システムは、少なくとも1つのプロセッサが、検知装置によって取得された画像情報に基づいて、第1の機器の姿勢をさらに判定することと、少なくとも1つのプロセッサが、第1の機器の姿勢に基づいてターゲット表示画面の投影表示モードを判定することと、を含んでもよい。

少なくとも1つのプロセッサが、第1の機器が保持されていると判定し、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定することは、具体的には、少なくとも1つのプロセッサが、検知装置によって取得された画像情報に基づいて、かつニューラル・ネットワーク・モデルに基づいて、ユーザが第1の機器を保持しているかどうか、および第1の機器の表示画面の向き、を判定することであってもよい。

第3の態様によれば、本発明の一実施形態は、投影システムをさらに開示する。システムは、画像収集ユニットと、表示ユニットと、判定ユニットとを含む。画像収集ユニットは、画像情報を取得し、画像情報を判定ユニットに送信するように構成される。判定ユニットは、画像収集ユニットによって取得された画像情報に基づいて第1の機器の表示画面の向きを判定し、判定ユニットが、第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、投影を実行するように指示するように構成される。表示ユニットは、第1の機器の画面コンテンツを表示する。

特定の実装形態では、判定ユニットが投影を実行するように指示することは、第1の機器が画面コンテンツをターゲット表示画面に送信するように、第1の機器に通知するステップであってもよい。

特定の実装形態では、判定ユニットが、第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。具体的には、判定ユニットが、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

特定の実装形態では、判定ユニットが、第1の機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、表示ユニットは、第1の機器の画面コンテンツをターゲット表示画面に表示する。具体的には、判定ユニットが、第1の機器の表示画面の向きがターゲット表示画面に向いており、かつ、第1の機器の許可情報が取得されたと判定した場合に、表示ユニットは、第1の機器の画面コンテンツをターゲット表示画面に表示する。

判定ユニットは、画像収集ユニットによって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると、さらに判定できる。判定ユニットが、ターゲット表示画面に接近する手の動作があり、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

投影システムは、距離取得ユニットさらに含むことができ、判定ユニットは、距離取得ユニットによって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると、さらに判定できる。判定ユニットが、手からターゲット表示画面までの距離が事前設定値未満であり、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

判定ユニットは、さらに、画像収集ユニットによって取得された画像情報に基づいて、第1の機器が保持されていると判定してもよい。判定ユニットが、第1の機器が保持されており、かつ第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

判定ユニットは、画像収集ユニットによって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると、さらに判定できる。判定ユニットは、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定する。判定ユニットが、ターゲット表示画面に接近する手の動作があり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

判定ユニットは、画像収集ユニットによって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると、さらに判定することができる。判定ユニットは、検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定する。判定ユニットが、手からターゲット表示画面までの距離が事前設定値未満であり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、判定ユニットは、画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するためのメッセージを、第1の機器に送信する。

特定の実装形態では、判定ユニットが、画像収集ユニットによって取得された画像情報に基づいて、第1の機器が保持されていると判定することは、判定ユニットが、検知装置によって取得された画像情報内の手と第1の機器との間の重なり率に従って、第1の機器が保持されていると判定することであってもよい。

また、この第2の態様の投影システムにおいて、判定ユニットが、画像収集ユニットによって取得された画像情報に基づいて、第1の機器の姿勢をさらに判定すること、および、判定ユニットが、第1の機器の姿勢に基づいてターゲット表示画面の投影表示モードを判定することを、含んでもよい。

判定ユニットが、第1の機器が保持されていると判定し、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定することは、具体的には、判定ユニットが、検知装置によって取得された画像情報に基づいて、かつ、ニューラル・ネットワーク・モデルに基づいて、ユーザが第1の機器を保持しているかどうか、および、第1の機器の表示画面の向き、を判定することであってもよい。

前述の異なる条件で画像収集ユニットによって収集される画像情報は、同じであっても異なっていてもよい。

画像収集ユニットは、複数の収集サブユニットを含むことができ、異なる画像情報は、同じ画像収集サブユニットまたは異なる画像収集サブユニットからのものでもよい。

第4の態様によれば、本出願の一実施形態は、投影方法を提供する。本方法は、検知装置によって取得された情報に基づいて、ターゲット表示画面に接近する手の動作があるかどうかを判定するステップと、検知装置によって取得された画像情報に基づいて、ターゲット表示画面に接近する手の動作があると判定された場合に、被投影機器が保持されているかどうかを判定するステップと、被投影機器が保持されていると判定された場合に、検知装置によって取得された画像情報に基づいて、被投影機器の表示画面の向きを判定するステップと、被投影機器の表示画面の向きが事前設定の向きと合致する場合に、ターゲット表示画面上に被投影機器の画面コンテンツを表示するステップ、または、被投影機器の表示画面の向きが事前設定の向きと合致する場合に、画面コンテンツをターゲット表示画面上に表示するように第1の機器に通知するステップとを、含む。

前述の方法では、ユーザ動作、被投影機器が保持されているかどうか、および被投影機器の向きが、ユーザ挙動情報に基づいて判定される。そして、ユーザ意図が総合的に判定されて、投影操作が行われる。投影ステップが簡略化され、ユーザは片手で投影を行うことができる。また、挙動検出や画像識別などの総合的な解析を行うことで、投影意図の識別精度を確保している。

任意選択で、第4の態様では、検知装置によって取得された情報に基づいて、ターゲット表示画面に接近する手の動作があるかどうかが判定される。検知装置が取得する情報は、画像情報であってもよいし、距離情報であってもよい。

これに対応して、前述の検知装置は、カメラであってもよく、深度カメラまたはレーダであってもよい。

第4の態様では、ニューラル・ネットワーク・モデル、例えば3D畳み込みニューラル・ネットワーク・モデルを用いて、ターゲット表示画面に接近する手の動作の有無を判定することにより、ユーザ挙動を識別し、ユーザ挙動傾向を識別する。

第4の態様における挙動識別モデルの入力は、時系列である複数フレームのビデオまたは画像であり、出力結果は、ユーザの手の動作がターゲット表示画面に接近していることを識別する確率であり、または、出力結果は、ユーザの手の動作がターゲット表示画面に接近しているかどうかを識別する結論である。

前述の方法では、ニューラル・ネットワーク・モデルを使用することによって、ユーザ挙動を正確に識別することができ、最終的なユーザ意図の挙動分析結論の精度を保証する。

また、この第4の態様の投影方法において、検知装置で取得された画像情報に基づいて、第1の機器の姿勢をさらに判定してもよく、第1の機器の姿勢に基づいて、ターゲット表示画面の投影表示モードを判定してもよい。

ユーザが所望する投影モードは、姿勢を判定することにより識別される。このようにすれば、ユーザが手動で投影表示モードを選択したり設定したりする必要がなくなる。

第5の態様によれば、本出願の一実施形態は、少なくとも1つのプロセッサを含む投影システムを提供する。少なくとも1つのプロセッサは、検知装置によって取得された情報に基づいて、ターゲット表示画面に接近する手の動作があるかどうかを判定し、検知装置によって取得された画像情報に基づいて、ターゲット表示画面に接近する手の動作があると判定された場合に、被投影機器が保持されているかどうかを判定し、被投影機器が保持されていると判定された場合に、検知装置によって取得された画像情報に基づいて、被投影機器の表示画面の向きを判定し、被投影機器の表示画面の向きが事前設定の向きと合致する場合に、被投影機器の画面コンテンツをターゲット表示画面上に表示するか、または、被投影機器の表示画面の向きが事前設定の向きと合致する場合に、画面コンテンツをターゲット表示画面上に表示するように第1の機器に通知する。

第6の態様によれば、本出願の一実施形態は、少なくとも1つの判定ユニットと1つの表示ユニットとを含む投影システムを提供する。少なくとも1つの判定ユニットは、検知装置によって取得された情報に基づいて、ターゲットの表示画面に接近する手の動作があるかどうかを判定し、ターゲット表示画面に接近する手の動作があると判定された場合に、検知装置によって取得された画像情報に基づいて、被投影機器が保持されているかどうかを判定し、被投影機器が保持されていると判定された場合に、検知装置によって取得された画像情報に基づいて、被投影機器の表示画面の向きを判定し、被投影機器の表示画面の向きが事前設定の向きと合致する場合に、被投影機器の画面コンテンツをターゲット表示画面上に表示するか、または、被投影機器の表示画面の向きが事前設定の向きと合致する場合に、画面コンテンツをターゲット表示画面上に表示するように第1の機器に通知する。

第7の態様によれば、本出願の一実施形態は、コンピュータ・プログラム製品をさらに提供する。コンピュータ・プログラム製品は、本発明の実施形態における第1の態様および第4の態様の方法を実行するように構成されてもよい。

第8の態様によれば、本出願の一実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、コンピュータ命令を格納し、コンピュータ命令を実行することにより、本発明の実施形態における第1の態様および第4の態様の方法を実行する。

本出願の実施形態における技術的解決策を実施することによって、現在の投影操作の複雑さおよび不便さの欠点を回避できることが分かる。既存の車載環境やスマートテレビの表示機器上の検知装置を、十分に活用できる。ユーザ挙動情報が取得され、スマートなユーザ挙動分析が実行されて、ユーザが投影操作を開始する必要があるかどうかを判定し、投影を実行するかどうかを判定する。これにより、正確で簡便な投影操作が実現され、操作を簡易化しつつ、誤操作が増加する可能性を効果的に回避できる。さらに、様々な横長画面および縦長画面に適合する投影ロジックが提案され、横長投影または縦長投影は、ハンドヘルド端末のステータスを識別することによって、正確に判定される。本発明における投影の解決策は、車載ディスプレイ表示画面上への迅速な投影を実現するだけでなく、例えばテレビ、ノートブックコンピュータ、タブレットコンピュータ、またはディスプレイなどのカメラなどの検知装置を備えた別のスマート電子機器に拡張できる。

本出願の実施形態または背景技術における技術的解決策をより明確に説明するために、以下では、本出願の実施形態または背景技術を説明するための添付図面について簡単に説明する。

本発明の一実施形態による例示的な適用シナリオを示す。 本発明の一実施形態による別の適用シナリオを示す。 本発明の一実施形態による投影方法の実装形態を示す。 本発明の一実施形態による検知装置の例示的な配置図を示す。 本発明の一実施形態による3DCNNベースの手の挙動識別の実装形態を示す。 本発明の一実施形態による2DCNNベースの手の挙動識別の実装形態を示す。 本出願の一実施形態による手の挙動識別の実装形態を示す。 本出願の一実施形態による手の挙動識別の実装形態を示す。 本出願の一実施形態によるハンドヘルド機器の画面の向きの実装形態を示す。 本出願の一実施形態によるハンドヘルド機器の姿勢識別の実装形態を示す。 本発明の一実施形態による投影方法の実装形態を示す。 本発明の一実施形態による投影方法の実装形態を示す。 本発明の一実施形態による投影システムの概略構成図である。 本発明の一実施形態による投影システムの概略構成図である。 本発明の一実施形態による手の挙動の識別および画面の向きの識別の実装形態を示す。

以下では、本出願の実施形態における添付図面を例として使用して、本出願の特定の実装形態を説明する。しかしながら、本出願の実装形態は、本出願の主旨または範囲から逸脱することなく、これらの実施形態を組み合わせること、例えば、他の実施形態を使用すること、および構造的変更を行うこと、をさらに含むことができる。したがって、以下の実施形態の詳細な説明は、限定的な意味で理解されるべきではない。本出願の実施形態で使用される用語は、本出願の特定の実施形態を説明するために使用されるものにすぎず、本出願を限定することを意図されるものではない。

本出願の特定の実施形態で言及される機能、モジュール、特徴、ユニットなどの1つまたは複数の構造は、任意の物理的または有形の構成要素（例えば、コンピュータ機器（例えば、プロセッサまたはチップによって実施される論理機能）上で動作するソフトウェアもしくはハードウェア、および／またはそれらの任意の組み合わせ）によって、任意の方法で実装されると理解され得る。いくつかの実施形態では、添付図面に示される異なるモジュールまたはユニットへの様々な機器の分割は、実際の実装形態における対応する異なる物理的および有形の構成要素の使用を反映できる。任意選択的に、本出願の実施形態の添付図面における単一のモジュールは、代替的に、複数の実際の物理的構成要素によって実装されてもよい。同様に、添付図面に示される任意の2つ以上のモジュールはまた、単一の実際の物理的構成要素によって実行される異なる機能を反映できる。

本出願の実施形態の方法フローチャートでは、いくつかの操作は、特定の順序で実行される異なるステップとして説明される。このようなフローチャートは例示的なものであり、限定的なものではない。本明細書に記載されたいくつかのステップは、一緒にグループ化され、単一の操作で実行されてもよく、いくつかのステップは、複数のサブステップに分割されてもよく、いくつかのステップは、本明細書に示されたものとは異なる順序で実行されてもよい。フローチャートに示されるステップは、任意の回路構造および／または物理的機構（例えば、コンピュータ機器（例えば、プロセッサまたはチップによって実施される論理機能）上で動作するソフトウェアもしくはハードウェア、および／またはそれらの任意の組み合わせ）によって、任意の方法で実施されてもよい。

以下の説明では、1つまたは複数の特徴は、「任意選択」として記され得る。この種類の宣言は、任意選択とみなされ得る特徴の網羅的な指示として説明されるべきではない。換言すれば、本明細書では明示的に識別されていないが、別の特徴は任意選択とみなされてもよい。さらに、単一エンティティの説明は、複数のそのようなエンティティの使用を排除することを意図しない。同様に、複数エンティティの説明は、単一エンティティの使用を排除することを意図するものではない。最後に、「例えば」という用語は、多くの潜在的な実装形態のうちの1つを指す。

本出願の実施形態は、主に投影方法を説明する。ハンドヘルド端末の現在のステータスおよび／またはユーザ挙動意図が分析されて、ユーザが投影を開始する意欲を持っているかどうかが判定される。投影操作を行うかどうかは、ユーザの投影意欲に基づいて判定され、正確で便利な投影操作が実現される。したがって、ユーザが投影を行いたい場合に、ユーザは、タップ、選択、およびインターフェース切り替えなどの複雑な操作を行う必要がない。

本発明の解決策は、車載中央制御画面の迅速かつ正確な投影を実施することができるだけでなく、例えば、テレビ、ノートブックコンピュータ、タブレットコンピュータ、またはディスプレイなどのカメラなどの検知装置を備えた別のスマート電子機器にも拡張できる。

図1は、本発明の一実施形態による例示的な適用シナリオ、すなわち車載投影シナリオを示す。車載プロセッサ装置（図1には図示せず）は、検知装置103によって取得された現在のユーザハンドヘルド機器のステータス情報、および／またはユーザの手の挙動情報に基づいて、ユーザのハンドヘルド機器101のステータス、および／またはユーザ挙動を識別し、検知装置は、車両内の内蔵検知装置デバイスまたは外部センサデバイスであり、ユーザが投影操作を実行しようとしているかどうかを判定する。

検知装置103は、ユーザのハンドヘルド機器のステータス情報、および／またはユーザの手の挙動情報を取得する。プロセッサ装置などの車両内の車載制御システムは、検知装置103によって取得されたユーザのハンドヘルド機器のステータス情報、および／またはユーザの手の挙動情報に基づいて、ユーザ意図を判定し、例えば、手が車載表示画面102に接近しているかどうか、挙動情報で識別されたハンドヘルド機器101のステータス、ユーザがハンドヘルド機器101を保持しているかどうか、ハンドヘルド機器101の画面の向きが車載表示画面102に向いているかどうか、表示のために車両内の車載表示装置102上のユーザのハンドヘルド機器の画面コンテンツに投影操作を実行するかどうかなどを、1つまたは複数の種類の識別情報に基づいて、判定する。

より具体的なシナリオでは、車両の使用中に、ユーザは、目的地を検索してナビゲーションを開始するためにハンドヘルド機器を使用するが、ハンドヘルド機器の画面上でナビゲーション情報を見ることは不便であり、または、ユーザは、車載表示画面を介してハンドヘルド機器上のビデオまたは画像を見ることを期待するか、または、ユーザは、操作のためにハンドヘルド機器101のAPPを車載表示装置102に投影することを期待する。この場合、ユーザは、1つまたは複数の合意された条件に基づいて投影操作を実行でき、条件は、ユーザが投影意図を持っていることを識別するためにシステムのトリガに用いられるユーザのハンドヘルド機器のステータス情報、および／またはユーザの手の挙動情報であってもよい。例えば、ユーザは、検知装置によって取得された画像情報に基づいて、ハンドヘルド機器101のステータスが車載表示装置102に向いていることを識別して、ユーザが現時点で投影意図を持っていると判定できる。次いで、システムは投影操作をトリガする。

いくつかの適用シナリオでは、操作を簡略化しつつ、誤操作が増加する可能性を回避し、ユーザ意図を判定する精度を保証することを目的として、ユーザ意図を考慮するために、ユーザ挙動に対して包括的な分析をさらに実行することができる。この場合、条件は、複数の条件の組み合わせであってもよい。例えば、合意された条件は、ユーザの手が車載表示装置102に接近していること、ユーザがハンドヘルド機器101を保持していること、および、ハンドヘルド機器101のステータスが車載表示装置102に向いていることを、識別する場合である。3つの条件がすべて満たされると、解析により、ユーザ意図は投影を開始することであると識別され、投影指示が送信されて投影がトリガされる。ハンドヘルド機器の表示画面上の現在の目的地ナビゲーション・インターフェースは、ユーザの動作命令に従って車載表示画面上に横長モードまたは縦長モードで投影され、ナビゲートまたはビデオを再生し続ける。投影を開始するための実装形態において、3つの条件のうちの任意の2つが、代替的に、満たされてもよい。

いくつかの適用シナリオでは、複数の条件に基づくユーザ意図の連続的な検出を回避し、システムの計算量を削減するために、複数の条件の包括的な判定の解決策が実施される場合に、複数の条件が連続的なトリガ関係にあることが選択され得る。複数の条件のうちの1つが満たされないと、判定のために第1の条件に戻って、最初から判定する。複数の条件のすべてが連続して満たされると、投影操作が行われる。例えば、3つの条件は、ユーザの手が車載表示装置102に接近していること、ユーザがハンドヘルド機器101を保持していること、ハンドヘルド機器101のステータスが車載表示装置102に向いていることを識別するシーケンスである。具体的には、ユーザの手が車載表示装置102に接近したかどうかを判定する。判定結果が「いいえ」の場合、ユーザの手が車載表示装置102に接近したかどうかの判定を継続する。判定結果が「はい」の場合、ユーザがハンドヘルド機器101を保持しているかどうかが、さらに識別される。同様に、判定結果が「いいえ」の場合、第1のステップに戻って、ユーザの手が車載表示装置102に接近したかどうかの判定が、実行される。判定結果が「はい」の場合、ハンドヘルド機器101のステータスが車載表示装置102を向いているかどうかが、引き続き判定される。判定結果が「いいえ」の場合、第1のステップに戻って、ユーザの手が車載表示装置102に接近したかどうかの判定が、実行される。判定結果が「はい」の場合、投影がトリガされると判定される。前述のシーケンストリガ条件の配置順序は一例にすぎず、代替的に別の配置順序であってもよい。同様に、判定条件は、代替的に、シーケンストリガ条件のうちの任意の2つであってもよい。

さらに、前述のシナリオでは、ユーザは複数の画面表示モードを必要とする可能性があるため、現在のハンドヘルド機器101の画面コンテンツが、横長モードで表示されるか縦長モードで表示されるかは、ハンドヘルド機器101の姿勢が水平か垂直かを判定することによって、さらに判定できる。したがって、姿勢は、投影操作が実行される前の任意の時点で判定される。

前述の車載投影シナリオに加えて、本発明の投影解決策は、検知装置を内蔵した様々な表示装置、または検知装置に接続可能な様々な表示機器に、さらに適用可能である。別の種類の表示機器の適用シナリオが図2に示されており、家庭またはオフィスのシナリオにおける投影操作に適用できる。本発明における投影解決策が適用可能な機器は、投影操作を実行することができる、ディスプレイ、テレビ、ノートブックコンピュータ、または、カメラで構成されたPAD（パッド）、をさらに含むことができる。前述の解決策の特定の実装形態の詳細は、以下の実施形態で詳細に説明される。

本発明で言及されるハンドヘルド機器は、ポータブルスマート機器、例えば、ハンドヘルド端末、pad（パッド）、またはウェアラブル機器であってもよい。後続の例では、ハンドヘルド端末のみが例として使用されるが、ハンドヘルド機器は他の任意のポータブルスマート機器と置き換えられてもよいことが理解されよう。車載検知装置は、カメラやレーダ等の検知装置であってもよく、ユーザ挙動情報やユーザ距離情報を検知するように構成されている。本発明で言及されるカメラは、ユーザ画像情報を取得することができる任意の検知装置を指す。画像情報は、ビデオ情報またはピクチャ情報であってもよく、カメラは、従来のカメラ、単眼カメラ、双眼カメラ、魚眼カメラ、または深度カメラであってもよい。本発明でいうレーダとは、電磁波を用いて対象物を検出する電子機器であり、具体的には、レーザ距離計、赤外線距離計、超音波距離計を挙げることができる。ユーザ挙動情報は、カメラによって取得された画像情報、および／またはレーダによって取得されたユーザの特定の対象部分の距離情報であってもよい。本発明でいうビデオ情報は、時間的に連続する複数のフレームの画像情報を指す場合もある。図1に示す車載検知装置103は、同じ種類の1つまたは複数の検知装置であってもよく、異なる種類の異なる数の検知装置の組み合わせであってもよい。本発明でいう車載表示画面は、車両内に配置され、表示に利用可能な表示画面であればよい。本明細書でいう中央制御画面は、車載表示画面の一具体例にすぎず、特に限定されるものではない。

ユーザ挙動、およびハンドヘルド機器のステータスは、カメラを使用して取得される。挙動識別および画像識別は、深層学習法を使用して、例えば、畳み込みニューラル・ネットワーク・モデル、深層ニューラル・ネットワーク・モデル、または挙動識別もしくは画像識別に使用できる任意の他のモデルを使用して、実行できる。取得されたユーザ挙動に基づいて、ユーザが投影を行いたいことを示すことができる動作やステータスがあるかどうかが、解析される。例えば、投影操作を行うことを判定するために、ユーザの手が車載表示画面に接近しているかどうか、画像内にハンドヘルド機器があるかどうかまたはユーザがハンドヘルド機器を保持しているかどうか、および、ハンドヘルド機器の表示画面の向きが車載表示画面に向いているかどうか、を判定することによって、ユーザが投影操作を行うかどうかが判定される。あるいは、別の事前設定された動作が使用されても、ユーザが事前設定した動作を実行したことが識別されると、投影操作が開始される。

特定の実装形態が本発明の実施形態で説明される場合、理解を容易にするために、特定の装置名または技術的手段が解決策を説明するために使用される。しかしながら、言及された特定の装置および技術的手段は、記載された実装形態を限定することを意図するものではない。解決策は、装置または手段の機能と同様の機能を有する別の装置または手段を使用することによって、依然として実施され得ることが理解されよう。

図3は、本発明による投影方法の具体的な実装形態である。本発明の特定の実装形態は、適用シナリオを説明するが、そこでは、車両が一例として使用されるが、車両が解決策の適用可能なシナリオに対する制限としては使用されない。本発明の技術的解決策は、車載表示画面がスマートテレビなどの表示機器に置き換えられ、車載カメラがスマートテレビの内蔵カメラまたは外部カメラに置き換えられる場合にも、適用可能である。

S101：検知装置によって取得された画像情報に基づいて、第1の機器の表示画面の向きを判定する。

検知装置は、車載カメラであってもよいし、外部カメラであってもよい。画像情報は、現在のユーザの、検知装置によって取得された車両内の視界であり、ビデオまたはピクチャであってもよい。第1の機器は、ハンドヘルド機器であってもよく、深層ニューラル・ネットワークに基づいてハンドヘルド機器の向きを判定するための実装形態を含む、現在のユーザの車両内の視界に基づいてハンドヘルド機器の向きを判定するための複数の実装形態が存在してもよい。

ハンドヘルド機器の向き検出ネットワークは、ハンドヘルド機器の画像セットX＝｛x₀，x₁，x₂，．．．，x_n｝を検出する。対応するラベル｛0｝または｛1｝は、バイナリ分類ネットワークを訓練するために、ハンドヘルド機器が前方を向いていること、またはハンドヘルド機器が後方を向いていることを、それぞれ表す。バイナリ分類ネットワークは、入力画像情報に基づいてハンドヘルド機器の向き情報を取得するために使用される。

ハンドヘルド機器の向き分類は、深層ニューラル・ネットワークに基づいて実施される。分類の原理図を図9に示す。ハンドヘルド機器の向き検出ネットワークの入力は、第3のユーザ挙動情報である。ハンドヘルド機器の前面（Front）および背面（Back）の2つのカテゴリを予測する必要がある。深層ニューラル・ネットワーク・モデルに基づいて、前面と背面を予測する具体的な原理は以下の通りである。畳み込み演算が入力画像に連続的に適用され、それによって、特徴度のサイズが連続的に縮小され、ハンドヘルド機器の向きを表す特徴ベクトルが取得され、最終的に、完全に接続された層に接続することによって、ハンドヘルド機器の向きの予測値が直接出力される。

S102：第1の機器の表示画面の向きが事前設定の向きと合致すると判定された場合に、メッセージを第1の機器に送信し、第1の機器の画面コンテンツをターゲット表示画面に表示するか、または画面コンテンツをターゲット表示画面に表示するように第1の機器に通知する。

事前設定された向きは、ハンドヘルド機器の表示画面がターゲット表示画面に向いていることであってもよいし、表示画面が別の向きに向いていることであってもよい。分析検出結果が前述の条件を満たす場合に、投影操作を開始すると判定される。

ここでのターゲット表示画面は、ハンドヘルド機器の画面コンテンツを表示するように構成された表示画面であり、中央制御画面であってもよく、または別の車載表示画面であってもよく、または投影コンテンツが非車両環境で表示される任意の他の表示画面であってもよい。

図11は、本発明による投影方法の別の実施形態である。

S201：検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に手が接近する動作があると判定する、または、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定する。

ユーザ挙動情報は、カメラやレーダ等を用いて取得される。ユーザ挙動情報は、画像情報（画像情報はビデオもしくはピクチャであってもよい）または距離情報であってもよく、取得された挙動情報に基づいてユーザ挙動が検出され、事前設定された動作があるかどうかが判定される。事前設定された動作は、合意された特別な動作であってもよく、システムによって事前設定され、ユーザが具体的に投影意図を有することを表す動作であってもよい。あるいは、障害物がターゲット表示画面に接近していると判定された場合に、本発明では、例えば、ターゲット表示画面に接近している手の動作（ターゲット表示画面は、車載中央制御画面もしくは別の車載表示装置、または別の表示装置であってもよい）が、投影意図を持っているユーザ動作の1つ、とみなされる。

例えば、検知装置はカメラであり、ユーザ挙動データは画像データであり、具体的には、時間関係を有する複数のフレームのビデオ情報またはピクチャ情報とすることができ、画像データに基づいて、ユーザ挙動として手が徐々にターゲット表示画面に接近していることが識別された場合に、ユーザは投影操作を実行する意図を持っている、とみなされる（換言すれば、事前設定された動作は、ユーザの手が中央制御画面に徐々に接近すること）。より具体的な実装形態は、車載カメラおよびプロセッサが使用可能状態にあるとき、車載カメラがユーザの画像データを連続的に取り込み、画像データをプロセッサユニットに送信することであってもよい。プロセッサユニットは、画像データを受信した後、挙動検出操作を実行して、ユーザの手が車載表示画面に接近する動作があるかどうかを判定する。通常、この機能を実施するために2つの共通の方法があり、2つの共通の方法がそれぞれ説明される。

・3DCNNベースの挙動識別ネットワーク
挙動識別は一連の時間関連動作を伴うので、3DCNNを使用して、時間情報を1つの次元の入力として直接使用することで、中央制御画面に接近する手の動作があるかどうかを判定できる。特定のステップを図5に示す。
（a）ビデオストリーム取得：車載表示画面に接近するユーザの手の動作があるかどうかを検出するために、判定のためのマルチフレーム画像が必要である。したがって、カメラによって取り込まれたユーザ・コックピットのビデオ・ストリーム・データは、後続の挙動検出および解析に使用される。
（b）挙動識別モデル：このモデルは、取得されたビデオ・ストリーム・データに基づいて、ユーザが特定の挙動をしているかどうかを分析および判定するために使用される。今のところ、現在の主流の方法は、いくつかの深層学習法を使用して、ユーザ情報を含むビデオストリーム（マルチフレーム画像）を分析し、最終的に特定の挙動分類結果を取得する。中央処理装置では、いくつかの畳み込みネットワーク（3DCNNなど）を実行して、中央制御画面に接近するユーザの手の動作があるかどうかを解析できる。

3DCNNベースの挙動識別ネットワークの訓練プロセスは以下の通りである。

訓練：ビデオストリーム｛F₀ F₁．．．F_n｝があり、F_iはカメラによって取得されたビデオ・ストリーム・フレームであり、i∈［1，n］である、と仮定する。分析データ選択中に、連続するビデオ・ストリーム・フレームを選択できる。取得されたビデオ・ストリーム・フレームが過度に類似するのを防ぐために、所定の時間間隔f_intervalで1フレームが撮られるか、または、所定数のフレームjの間隔で1フレームが撮られるように設定されてもよく、tフレームが累積的に撮られ、jおよびtは正の整数であり、tフレーム画像x＝｛F₀，F_{1＊finterval}．．．F_{t＊finterval}｝、またはx＝｛F₀，F_j，F_2j，F_3j，．．．，F_tj｝が1つの訓練サンプルの入力として使用される。tフレーム画像xのラベルyは、｛0，1｝または｛1，0｝であり、中央制御画面に接近しない動作、または中央制御画面に接近する動作をそれぞれ表す。あるいは、別のラベル設定方法があってもよい。これは単なる例である。複数のビデオ・セグメントを使用して、訓練サンプルセット全体X＝｛x₀ x₁．．．x_m｝を取得し、mは、サンプルセット内のサンプルの数を表す。対応する訓練ラベルは、Y＝｛y₀ y₁．．．y_m｝である。3DCNNモデルを訓練するために、訓練サンプルセットが入力として使用され、訓練ラベルが既知の出力結果として使用され、挙動識別モデルが取得される。

挙動識別プロセス：ビデオストリームの1つのセグメントの1つのフレームが、所定の時間間隔f_interval、または所定数のフレームjの間隔で取得され、tフレームが累積的に取得される。前述の方法は、訓練中にサンプルを取得する方法に依存し、一般に、サンプルを取得する方法と同じである。サンプルは、例えば、等間隔でtフレーム画像を取得することにより得られる。したがって、挙動識別処理では、解析が必要なビデオストリームに対しても等間隔でtフレーム画像が取得され、そのtフレーム画像がネットワークの入力として用いられて、予測値｛p1、p2｝が取得される。p1＞p2であれば、中央制御画面に接近する動作があることを示し、そうでない場合、中央制御画面に接近する動作がないことを示す。あるいは、別のルールが使用されてもよい。例えば、p1＞0．8であれば、中央制御画面に接近する動作があることを示し、そうでない場合、中央制御画面に接近する動作がないことを示す。本出願ではこれは限定されない。

・2DCNNベースの挙動識別ネットワーク
図6に示すように、3DCNNに加えて、本発明では、2DCNNをさらに使用して、特徴抽出および判定を実行し、手が中央制御画面に接近する確率を取得できる。連続フレームの確率値が、ルールアルゴリズムに従って最終的に収集され、手が中央制御画面に接近するかどうかの最終結果を得る。

訓練：ビデオストリーム｛F₀ F₁．．．F_n｝があり、F_iはカメラによって取得されたビデオ・ストリーム・フレームであり、i∈［1，n］であり、ビデオストリームに対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。このデータのバッチを使用して、挙動識別ネットワークを訓練する。ネットワークの入力は、ビデオ・ストリーム・フレームF_iである。挙動識別ネットワークによって識別された後、手が中央制御画面の前にある確率が取得される。

挙動識別処理：手が中央制御画面の前にある確率｛P₀ P₁．．．P_n｝を取得するために、ビデオストリーム｛F₀ F₁．．．F_n｝の1セグメントが入力される。時間窓のサイズがtフレームとして選択され、tフレーム画像の確率が収集される。確率が上昇傾向にあり、最大確率値が閾値（threshold）より大きい場合に、中央制御画面に接近する動作があるとみなされ、そうでない場合、中央制御画面に接近する動作はないとみなされる。

例えば、検知装置は深度カメラまたはレーダであり、ユーザ挙動データはユーザから検知装置までの距離である。深度カメラおよび／またはレーダを使用して、ユーザから検知装置までの距離に関する情報が識別される場合に、ユーザの手から検知装置までの距離に関する情報は、深度画像の解析に基づいて取得でき、次いで、ユーザの手から検知装置までの距離に関する情報および車載構造情報に基づいて、ユーザの手からターゲット表示画面（車載表示画面）までの距離に関する情報が推定される。推定距離情報が事前設定値未満である場合に、ユーザは投影操作を行う意図があるとみなされる。（換言すれば、事前設定された条件は、ユーザの手からターゲット表示画面（車載表示画面）までの距離に関する情報が、事前設定値未満であることである。）より具体的な実装形態は、車載深度カメラおよび／またはレーダと、プロセッサとが使用可能状態にある場合に、車載深度カメラおよび／またはレーダは、ユーザの深度画像データを連続的に取り込み、深度画像データをプロセッサユニットに送信する。プロセッサユニットは、深度画像データを受信した後、解析および処理を実行して、ユーザの手とターゲット表示画面（車載表示画面）との間の距離に関する情報を推定する。

S202：検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定する。

S201およびS202における検知装置は、同じ検知装置であってもよいし、異なる検知装置であってもよく、例えば、それぞれ異なる種類のカメラであってもよいし、異なる位置に配置された同じ種類のカメラであってもよいし、それぞれレーダおよびカメラであってもよい。S201で画像情報が取得される場合、S201で取得される画像情報は、S202で取得される画像情報と同一であってもよいし、異なっていてもよい。S202における画像情報は、S201における画像情報と同じビデオ情報であってもよいし、また、S201におけるビデオから抽出されたピクチャ情報もしくはマルチフレーム・ピクチャ情報であってもよいし、別途画像情報を取得する必要はなく、また、検知装置によって取得された、S201における画像情報と同じソースもしくは異なるソースを有する、新たな画像情報でもよい。

検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定するための複数の実装形態があり、これには、多物体検出ネットワークに基づく被投影機器の保持判定方式と、単一物体検出ネットワークに基づくハンドヘルド機器の保持判定方式とが含まれる。以下、方法を詳細に説明する。

・多物体検出ネットワークに基づく、被投影機器の保持判定
多物体検出ネットワークの検出方法に基づいて、ユーザがハンドヘルド機器を保持しているかどうかは、まず、画像内のハンドヘルド機器のフレームおよび手のフレームを検出することによって判定できる。本発明では、深層学習法を使用して第2のユーザ挙動画像を解析し、検出結果を得る。言い換えれば、プロセッサは、物体検出ネットワーク（深層学習モデル）を実行して、被投影機器および手のフレーム位置を提供する。ユーザが、被投影機器を保持しているかどうかが判定される。物体検出器を使用して手のフレームおよび被投影機器のフレームの位置情報を取得した後、手のフレームと被投影機器のフレームとの間の重なり率（intersection over union，IOU）が計算される。

IOU_{hand＿handheld terminal}＞T_IOUの場合、ユーザは被投影機器を保持しているとみなすことができ、そうでない場合、ユーザは被投影機器を保持していないとみなすことができる。T_IOUの値は、0～1の範囲である。ここで、値は0．5であってもよいし、他の値であってもよい。

図7は、被投影機器がハンドヘルド端末である例を使用することによる、この解決策における識別方法の一例を示す。物体検出ネットワークは、手およびハンドヘルド端末などのハンドヘルド機器を含む2つの物体を同時に検出できる。次いで、手とハンドヘルド端末（または別のハンドヘルド機器）との間の重なり率（IOU）が計算され、IOUが指定された閾値よりも大きいかどうかが判定される。IOUが閾値より大きい場合、ハンドヘルド機器は保持され、そうでない場合、ハンドヘルド機器は保持されない。

訓練：サンプル画像｛F₀ F₁．．．F_n｝と、その簡易画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、ラベルy_iは構造を表し、y_i＝｛p_hand，x_hand，，y_hand，_，width_hand，height_hand，p_phone，x_phone，y_phone，width_phone，height_phone｝である。p_handは、物体が手である確率を表し、x_hand、y_hand、width_hand、height_handは、手の位置情報を表す。p_phoneは、物体がハンドヘルド端末である確率を表し、x_phone、y_phone、width_phone、およびheight_phoneは、ハンドヘルド端末の位置情報を表す。このデータのバッチは、物体検出ネットワークを訓練するために使用される。最後に、物体検出ネットワークが取得され、入力画像に基づいて、画像内に手およびハンドヘルド機器があるかどうか、ならびに、ハンドヘルド機器の位置およびユーザの手の位置を出力するために使用される。次に、前述の出力データに基づいてIOUが計算され、ユーザがハンドヘルド機器を保持しているかどうかが判定される。

前述の位置情報は一例にすぎない。幅および高さに加えて、ハンドヘルド機器および手の左上頂点P1（x_left，y_top）および右下頂点P2（x_right，y_bottom）の位置も、訓練によって取得できる。ハンドヘルド機器の頂点位置の概略図を図10に示す。そして、左上頂点P1（x_left，y_top）および右下頂点P2（x_right，y_bottom）に基づいて、ハンドヘルド機器および手の、高さ（height）および幅（width）がそれぞれ求められ、IOUが計算される。

任意選択的に、画像内に手およびハンドヘルド機器があるかどうかを判定することによってのみ、ハンドヘルド機器が保持されるとみなされ、さらなる判定が実行される。特定の実装形態では、

訓練：サンプル画像｛F₀ F₁．．．F_n｝と、そのサンプル画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、ラベルy_iは構造を表し、y_i＝｛p_hand，p_phone｝である。前述の実装形態と同様に、p_handは、物体が手である確率を表し、p_phoneは、物体がハンドヘルド機器である確率を表す。このデータのバッチは、物体検出ネットワークを訓練するために使用される。最後に、物体検出ネットワークが取得され、入力画像に基づいて、画像内に、手があるかどうか、および、ハンドヘルド端末または別のハンドヘルド機器があるかどうか、を出力するために使用される。画像内に、手およびハンドヘルド端末または別のハンドヘルド機器がある場合、ユーザがハンドヘルド機器を保持しているとみなされる。

・単一物体検出ネットワークに基づく、ハンドヘルド端末の保持判定
通常、手がハンドヘルド端末を保持するので、手とハンドヘルド機器の両方を検出するネットワークを訓練する必要はない。この方法では、単一物体検出ネットワークが訓練される。ネットワークは、ハンドヘルド機器のみを検出する。図8に示すように、ネットワークがハンドヘルド機器を検出した場合、ハンドヘルド機器は保持されているとみなされ、そうでない場合、ハンドヘルド機器は保持されないとみなされる。

サンプル画像｛F₀ F₁．．．F_n｝と、そのサンプル画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、ラベルy_iは｛0，1｝または｛1，0｝であり、画像内にハンドヘルド機器があるか、または画像内にハンドヘルド機器がないことをそれぞれ示す。あるいは、別のラベル設定方法があってもよい。これは単なる例である。このデータのバッチは、物体検出ネットワークを訓練するために使用される。最後に、単一物体検出ネットワーク（深層学習モデル）が取得され、画像内にハンドヘルド機器があるかどうかを検出するために使用できる。画像内にハンドヘルド機器がある場合、S201の判定結果を参照すると、このときのステータスは、ユーザにより保持されているハンドヘルド機器がターゲット表示画面に接近していると推測できる。

S203：検知装置によって取得された画像またはビデオ情報に基づいて、第1の機器の表示画面の向きを判定する。

S203のおよび他の2つのステップにおける検知装置は、同じ検知装置であってもよいし、異なる検知装置であってもよく、例えば、それぞれ異なる種類のカメラであってもよいし、異なる位置に配置された同じ種類のカメラであってもよいし、それぞれレーダおよびカメラであってもよい。S201およびS202において画像情報を取得する場合、3つのステップの画像情報は、同じ情報であってもよいし、異なる情報であってもよい。S203およびS202における画像情報は、S201における画像情報と同じビデオ情報であってもよいし、また、S201におけるビデオから抽出されたピクチャ情報もしくはマルチフレーム・ピクチャ情報であってもよいし、別途画像情報を取得する必要はなく、また、検知装置によって取得された、S201における画像情報と同じソースもしくは異なるソースを有する、新たな画像情報であってもよい。あるいは、S203の画像情報は、S202の画像情報と同じであってもよいし、S202の画像情報と同じソースまたは異なるソースを有する、検知装置によって取得された新しい画像情報であってもよい。

車両内の現ユーザの視界に基づいて、ハンドヘルド機器の向きを判定するための複数の実装形態が存在してもよい。これについては、前述のステップS 101で詳細に説明した。本記載では詳細は重ねて説明されない。

S204：ターゲット表示画面に接近する手の動作があり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きが事前設定の向きに向いていると判定された場合に、メッセージを第1の機器に送信して、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知する。

ターゲット表示画面に接近する手の動作があり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、3つの判定動作が同時に実行されてもよいし、順番に実行されてもよい。特定の実装形態では、3つの判定ステップすべてが実行されてもよい。言い換えると、ターゲット表示画面に接近する手の動作があるかどうかが判定され、第1の機器が保持されているかどうかが判定され、第1の機器の表示画面の向きが事前設定された向きであるかどうかが判定される。そして、すべての結果が「はい」であれば、投影を行うと判定する。あるいは、3つのステップは、順番に連続してトリガされてもよい。例えば、ターゲット表示画面に接近する手の動作があるかどうかを判定する。判定結果が「はい」の場合、第1の機器が保持されているかどうかが、引き続き判定される。判定結果が「いいえ」の場合、引き続き、ターゲット表示画面に接近する手の動作があるかどうかを検出する。同様に、第1の機器が保持されていると判定された場合に、第1の機器の表示画面の向きが事前設定の向きであるかどうかが、さらに判定される。ユーザが第1の機器を保持していないと判定された場合に、ターゲット表示画面に接近する手の動作があるかどうかを検出する第1のステップに戻って実行される。同様に、第1の機器の表示画面の向きが事前設定の向きと合致しないことが検出された場合に、ターゲット表示画面に接近する手の動作があるかどうかを検出する第1のステップに戻って実行され、第1の機器の表示画面の向きが事前設定の向きと合致することが検出された場合に、投影操作がトリガされる。判定ステップをトリガする前述の順序は一例にすぎず、変更できる。いずれかのステップの判定結果が「いいえ」の場合、判定のために第1のステップに戻って、最初から判定する。

別の実施形態では、ステップS201～S203のいずれか2つの判定ステップのみが実行されてもよい。

例えば、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると判定される。第1の機器の表示画面の向きは、検知装置によって取得された画像またはビデオ情報に基づいて判定される。ターゲット表示画面に接近する手の動作があり、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、メッセージが第1の機器に送信されて、ターゲット表示画面に画面コンテンツを表示するように第1の機器に通知する。

検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定される。第1の機器の表示画面の向きは、検知装置によって取得された画像またはビデオ情報に基づいて判定される。手からターゲット表示画面までの距離が事前設定値未満であり、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、メッセージが第1の機器に送信されて、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知する。

第1の機器の表示画面の向きは、検知装置によって取得された画像またはビデオ情報に基づいて判定される。検知装置によって取得された画像情報に基づいて、第1の機器が保持されていると判定される。第1の機器が保持されており、かつ、第1の機器の表示画面の向きがターゲット表示画面に向いていると判定された場合に、メッセージが第1の機器に送信されて、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知する。

同様に、前述の2つの判定ステップは同時にまたは別々に実行されてもよく、判定順序は限定されない。あるいは、前述の2つの判定ステップは、連続的なトリガ関係にあってもよい。

図3および図11の実施形態は、1つの被投影機器の姿勢を判定するステップS203aをさらに含むことができる。

S203a：検知装置によって取得された画像情報に基づいて、第1の機器の姿勢を判定し、第1の機器の姿勢に基づいて、ターゲット表示画面の投影表示モードを判定する。

S203aは、S203の後であってS204の前に実行されてもよい。言い換えれば、被投影機器の画面の向きが事前設定条件と合致すると判定された後、被投影機器の姿勢が判定され、次いで、投影操作を横長モードまたは縦長モードで、実行するかどうかが、姿勢に基づいて、判定される。あるいは、投影通知が送信される前にS203aが実行されてもよい。言い換えれば、被投影機器の画面の向きが事前設定条件と合致すると判定された後、投影操作が実行されると判定される。この場合、被投影機器の姿勢がさらに判定され、横長モードで投影操作を行うか縦長モードで投影操作を行うかが、その姿勢に基づいて判定される。あるいは、S203aの姿勢判定は、この解決策において、投影操作が実行される前の任意の瞬間に行われてもよい。

S203aが存在しない場合は、S204において、デフォルトの投影表示モードで投影を行う。

同様に、図3において、S203aはまた、図3の実施形態において投影操作が実行される前の任意の瞬間に行われてもよい。

S203aにおいて、同様に、検知装置は、画像情報を取得する必要がある他のステップの検知装置と同じであっても異なっていてもよく、画像情報は、画像情報を取得する必要がある他のステップの画像情報であってもよく、独立して取得されてもよい。

被投影機器の姿勢の判定は、主に被投影機器の配置位置情報の取得に依存する。
・被投影機器の配置姿勢情報は、履歴判定ステップに基づいて取得できる。

言い換えれば、S202において、多物体検出ネットワークに基づいて、被投影機器が保持されている判定が使用される場合に、物体検出ネットワークが使用され、入力画像に基づいて、画像内に手およびハンドヘルド機器があるかどうか、ハンドヘルド機器およびユーザの手の位置y_i＝｛p_hand，x_hand，y_hand，width_hand，height_hand，p_phone，x_phone，y_phone，width_phone，height_phone｝を出力し、ハンドヘルド機器の高さ（height_phone）および幅（width_phone）を取得する。ハンドヘルド機器の高さおよび幅が比較される。幅（width）が高さ（height）よりも大きい場合、機器は横長モードにあるとみなされ、横長投影が実行される。高さ（height）が幅（width）より大きい場合、画面は縦長モードにあるとみなされ、縦長投影が実行される。

S202において、ハンドヘルド機器の左上頂点P1（x_left，y_top）および右下頂点P2（x_right，y_bottom）が取得された場合、ハンドヘルド端末の高さ（height）および幅（width）は、以下の式を使用して計算できる。
幅＝x_right－x_left （2）
高さ＝y_bottom－y_top （3）

式（2）および式（3）の計算後、ハンドヘルド端末の長さおよび幅が比較される。幅（width）が高さ（height）よりも大きい場合、機器は横長モードにあるとみなされ、横長投影が実行される。

同様に、heightがwidthよりも大きい場合、機器は縦長モードにあるとみなされ、縦長投影が実行される。
・被投影機器の配置姿勢情報は、専用の姿勢検出ネットワークに基づいて取得されてもよい。

ハンドヘルド機器の位置座標情報または長さおよび幅情報の取得が履歴ステップに関与しない場合に、例えば、S202でハンドヘルド機器および／または手が存在するかどうかを判定するだけの場合に、ハンドヘルド機器の姿勢が、S203aで姿勢検出ネットワークに基づいて取得される必要がある。

例えば、サンプル画像｛F₀ F₁．．．F_n｝と、そのサンプル画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、ラベルy_iは、構造を表すことができ、y_i＝｛p_phone，x_phone，y_phone，width_phone，height_phone｝であり、p_phoneは、物体がハンドヘルド端末である確率を表し、x_phone、y_phone、width_phone、およびheight_phoneは、ハンドヘルド端末の位置情報を表す。あるいは、y_i＝｛p_phone，x_phone，y_phone，width_phone，height_phone｝である。P1（x_left，y_top）は、ハンドヘルド機器の左上隅の頂点位置を表し、P2（x_right，y_bottom）は、ハンドヘルド機器の右下隅の頂点位置を表す。これに基づいて、姿勢検出ネットワークは、姿勢識別ネットワークを取得するように訓練される。取得された物体検出ネットワークは、入力画像に基づいて、ハンドヘルド機器の位置座標情報または長さおよび幅情報を出力するために使用される。そして、前述の出力データに基づいてハンドヘルド機器の姿勢が判定され、投影表示モードが判定される。

同様に、図3のハンドヘルド機器の姿勢は、S202で述べた多物体検出ネットワークに基づいて判定されてもよく、または専用の姿勢検出ネットワークに基づいて取得されてもよい。

図12は、本発明による投影方法の別の実装形態である。詳細は以下の通りである。

S301：検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に接近する手の動作があると判定するか、または、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定する。

ステップS301の実装形態は、ステップS201の実装形態と同じである。具体的には、車載カメラやレーダなどの検知装置を用いて、ユーザ挙動情報を取得する。ユーザ挙動情報は、ビデオ情報または距離情報であってもよく、ユーザ挙動は、取得された画像情報または取得された距離情報に基づいて検出され、事前設定された動作があるかどうかが判定される。具体的な挙動情報の取得方法およびユーザ挙動の検出判定方法については、S201の関連する説明を参照されたい。本記載では詳細は重ねて説明されない。

S302：検知装置によって取得された画像情報に基づいて、ユーザが第1の機器を保持しているかどうか、および、第1の機器の表示画面の向き、を判定する。

具体的には、ユーザが第1の機器を保持しているかどうか、および第1の機器の表示画面の向きは、検知装置によって取得された画像情報、および1つのニューラル・ネットワーク・モデル、に基づいて判定される。

前述の実施形態と同様に、S301およびS302は、同時にまたは別々に実行されてもよく、トリガ関係にあってもよい。例えば、S301における判定結果に基づいて、後続の判定ステップS302を継続するかどうかを判定してもよい。中央制御画面に接近する手の動作があると判定された場合、S302が実行される。ハンドヘルド機器を保持するユーザの動作があるかどうかがさらに判定され、被投影機器の表示画面の向きが判定される。中央制御画面に接近する手の動作がない場合に、中央制御画面に接近する手の動作があるかどうかが、継続して検出される。

S301においてカメラを用いて画像情報を取得する場合に、S302における画像情報は、S301における画像情報と全く同じまたは部分的に同じ情報であってもよいし、同じカメラによって取得された異なる情報であってもよいし、異なるカメラによって取得された異なる情報であってもよい。

S302では、検知装置によって取得された画像情報に基づいて、ユーザが被投影機器を保持しているかどうか、および、表示画面の向き、を判定するための複数の実装形態が存在してもよく、これには、多物体検出ネットワークに基づく被投影機器の保持判定方式、および単一物体検出ネットワークに基づくハンドヘルド機器の保持判定方式が含まれる。以下、方法を詳細に説明する。

・多物体検出ネットワークに基づく、被投影機器の保持判定
多物体検出ネットワークの検出方法に基づいて、ユーザがハンドヘルド機器を保持しているかどうかは、まず、画像内のハンドヘルド機器のフレームおよび手のフレームを検出することによって判定できる。本発明では、深層学習法を使用して第2のユーザ挙動画像を解析し、検出結果を得る。言い換えれば、プロセッサは、物体検出ネットワーク（深層学習モデル）を実行して、被投影機器および手のフレーム位置を提供する。ユーザが、被投影機器を保持しているかどうかが判定される。物体検出器を使用して手のフレームおよび被投影機器のフレームの位置情報を取得した後、手のフレームと被投影機器のフレームとの間の重なり率（intersection over union，IOU）が計算される。

IOU_{hand＿handheld terminal}＞T_IOUの場合、ユーザは被投影機器を保持しているとみなすことができ、そうでない場合、ユーザは被投影機器を保持していないとみなすことができる。T_IOUの値は、0～1の範囲である。ここで、値は0．5または別の値であってもよい。

図15は、被投影機器がハンドヘルド端末である例を使用することによって、この解決策の中で、ハンドヘルド機器が保持されているかどうかを判定するための識別方法の一例を示す。物体検出ネットワークは、手およびハンドヘルド端末などのハンドヘルド機器を含む2つの物体、ならびに、ハンドヘルド端末の向き、を同時に検出できる。次いで、手とハンドヘルド端末（または別のハンドヘルド機器）との間の重なり率（IOU）が計算され、IOUが指定された閾値よりも大きいかどうかが判定される。IOUが閾値より大きい場合、ハンドヘルド機器は保持され、そうでない場合、ハンドヘルド機器は保持されない。

訓練：サンプル画像｛F₀ F₁．．．F_n｝と、その簡易画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、y_iは構造を表し、y_i＝｛p_hand，x_hand，y_hand，width_hand，height_hand，p_phone，x_phone，y_phone，width_phone，height_phone，p｝である。p_handは物体が手である確率を表し、x_hand、y_hand、width_hand、height_handは手の位置情報を表す。同様に、p_phoneは、物体がハンドヘルド端末である確率を表し、x_phone、y_phone、width_phone、およびheight_phoneは、ハンドヘルド端末の位置情報を表す。pは、ターゲット表示画面に向いている可能性を表す。このデータのバッチは、物体検出ネットワークを訓練するために使用される。最後に、物体検出ネットワークが取得され、入力画像に基づいて、画像内に手およびハンドヘルド機器があるかどうか、ハンドヘルド機器およびユーザの手の位置、ならびにターゲット表示画面の向きを出力するために使用される。次に、前述の出力データに基づいてIOUが計算され、ユーザがハンドヘルド機器を保持しているかどうかが判定される。

前述の位置情報は一例にすぎない。幅および高さに加えて、ハンドヘルド機器および手の左上頂点P1（x_left，y_top）および右下頂点P2（x_right，y_bottom）の位置も、訓練によって取得できる。ハンドヘルド機器の頂点位置の概略図を図10に示す。そして、左上頂点P1（x_left，y_top）および右下頂点P2（x_right，y_bottom）に基づいて、ハンドヘルド機器および手の、高さ（height）および幅（width）がそれぞれ求められ、IOUが計算される。

任意選択で、画像内に手およびハンドヘルド機器があるかどうかを判定することによってのみ、ハンドヘルド機器が保持されているとみなされ、画面の向きが判定される。特定の実装形態では、

訓練：サンプル画像｛F₀ F₁．．．F_n｝と、そのサンプル画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、ラベルy_iは構造を表し、y_i＝｛p_hand、p_phone、p｝である。前述の実装形態と同様に、p_handは、物体が手である確率を表し、p_phoneは、物体がハンドヘルド機器である確率を表す。pは、ターゲット表示画面に向いている可能性を表す。このデータのバッチは、物体検出ネットワークを訓練するために使用される。最後に、物体検出ネットワークが取得され、入力画像に基づいて、画像内に手およびハンドヘルド端末があるかどうか、およびハンドヘルド表示画面の向きを出力するために使用される。

・単一物体検出ネットワークに基づく、ハンドヘルド端末の保持判定
通常、手がハンドヘルド端末を保持するので、手とハンドヘルド機器の両方を検出するネットワークを訓練する必要はない。この方法では、単一物体検出ネットワークが訓練される。ネットワークは、ハンドヘルド機器のみを検出する。ネットワークがハンドヘルド機器を検出した場合に、ハンドヘルド機器は保持されているとみなされ、そうでない場合に、ハンドヘルド機器は保持されていないとみなされる。

サンプル画像｛F₀ F₁．．．F_n｝と、そのサンプル画像に対応するラベル｛y₀ y₁．．．y_n｝があると仮定する。ここで、ラベルy_iは｛p_phone，p｝であり、p_phoneは、物体がハンドヘルド機器である可能性を表し、pは、ターゲット表示画面に向いている可能性を表す。あるいは、別のラベル設定方法があってもよい。これは単なる例である。このデータのバッチは、物体検出ネットワークを訓練するために使用される。最後に、単一物体検出ネットワーク（深層学習モデル）が取得され、画像内にハンドヘルド機器があるかどうか、およびハンドヘルド機器の画面の向き、を検出するために使用できる。画像内にハンドヘルド機器がある場合に、S101の判定結果を参照すると、このときのステータスは、ユーザにより保持されているハンドヘルド機器がターゲット表示画面に接近していると推測でき、被投影機器の表示画面の向きがターゲット表示画面に向いているかどうか、を推測できる。

前述の2つの条件の判定が本明細書の別の実装形態に含まれるとき、2つの条件が相互にトリガされない場合に、包括的なモデルに基づく統合判定の前述の実施形態が使用されてもよく、または、2つの独立したモデルに基づく別個の判定の実施形態が使用されてもよい。

S303：ターゲット表示画面に接近する手の動作があり、第1の機器が保持されており、かつ、第1の機器の表示画面の向きが事前設定の向きに向いていると判定された場合に、メッセージを第1の機器に送信して、ターゲット表示画面に画面コンテンツを表示するように、第1の機器に通知する。

投影操作を行う前に、1つの被投影機器の姿勢を判定するステップS303aをさらに含んでもよい。

S302a：検知装置によって取得された画像情報に基づいて、第1の機器の姿勢を判定し、第1の機器の姿勢に基づいて、ターゲット表示画面の投影表示モードを判定する。

S302aは、S302の後であってS303の前に実行されてもよい。言い換えれば、ユーザが被投影機器を保持しているかどうか、および被投影機器の画面の向き、が判定された後、被投影機器の姿勢が判定される。次いで、ユーザが被投影機器を保持しているかどうかに基づいて、かつ被投影機器の画面の向きに基づいて、被投影機器の画面コンテンツがターゲット表示画面に表示されると判定された後、横長モードまたは縦長モードで投影操作を行うかどうかが、姿勢に基づいて判定される。あるいは、S302aは、S303と同時に行われてもよい。すなわち、投影操作が行われると判定される。この場合、被投影機器の姿勢がさらに判定され、その姿勢に基づいて、横長モードで投影操作を行うか、または縦長モードで投影操作を行うか、が判定される。あるいは、この解決策において、S302aにおける姿勢判定は、投影操作が行われる前の任意の瞬間に行われてもよい。

S302aが存在しなければ、S303においてデフォルトの投影表示モードで投影を行う。

同様に、S302aの検知装置は、画像情報を取得する必要がある別のステップの検知装置と同じであっても異なっていてもよく、S302aの画像情報は、画像情報を取得する必要がある別のステップの画像情報であってもよく、独立して取得されてもよい。

被投影機器の姿勢の判定は、S203aと同じであり、履歴判定ステップに基づいて取得されてもよいし、専用の姿勢検出ネットワークに基づいて取得されてもよい。

前述の解決策では、車載検知装置は、ユーザの投影関連の挙動動作を明確に観察することができる位置に配備されてもよい。例えば、本発明は、検知装置のいくつかの任意選択の配置位置、例えば、図4のカメラアイコンによって示される位置、を提供する。1つまたは複数の検知装置が設置されてもよく、1つまたは複数の異なる種類の検知装置が設置されてもよい。例えば、レーダと従来のカメラの両方が、設置され得る。レーダによって得られた情報に基づいて、ターゲット表示画面に接近するユーザの手の動作があるかどうかが解析される。従来のカメラによって取得されたビデオまたは画像に基づいて、ユーザがハンドヘルド機器を保持しているかどうか、ハンドヘルド機器の表示画面の向き、および、ハンドヘルド機器の姿勢が水平であるか垂直であるか、が判定される。配置の考え方は、ユーザの手の挙動を検出できることである。

特定の投影モードは、前述の投影方法に限定されない。ハンドヘルド機器は、事前に車載インフォテインメント・システムに無線で接続できる。接続方式はBluetooth(登録商標)であってもよいし、複数の無線接続方式のWi－Fiであってもよい。無線接続は、予め確立されていてもよいし、投影が行われる必要があるときに確立されてもよい。投影が実行されると判定されると、ハンドヘルド端末は、車載インフォテインメント・プロセッサによって送信された通知に従って、ハンドヘルド機器の画面インターフェースをターゲット車載表示画面上に表示する。表示されたインターフェースは、現在のハンドヘルド端末の表示インターフェース、メニュー・インターフェース、または別の事前合意されたインターフェースであってもよい。具体的な投影モードは、

投影が実行される必要があると判定する場合、車載インフォテインメント・プロセッサは、投影操作を実行するようにハンドヘルド機器に通知する。通知挙動は、複数のメッセージ形式であってもよい。通知メッセージを受信した後、ハンドヘルド機器は、プロンプト・インターフェースをユーザに提示し、投影を確認するかどうかをユーザに問い合わせる。ユーザが投影を確認した後、ハンドヘルド機器は、表示のために画面情報をターゲット表示画面に送信する。

あるいは、ハンドヘルド機器と車載インフォテインメントとの間に認証関係が確立されてもよく、車載インフォテインメントはハンドヘルド機器の画面情報を取得することを許可される。投影が実行される必要があると判定する場合、車載インフォテインメント・プロセッサは、投影操作を実行するようにハンドヘルド機器に通知する。通知メッセージを受信した後、ハンドヘルド機器は、表示のためにハンドヘルド機器の画面情報をターゲット表示画面に送信する。

投影操作は、ユーザプライバシーを保護するために、車載インフォテインメントがハンドヘルド機器によって送信された画面情報を受信すると、車載インフォテインメントがハンドヘルド機器の許可情報が取得されたと判定し、次いで、ハンドヘルド機器の画面情報をターゲット表示画面に表示することを、さらに含んでもよい。ハンドヘルド機器の許可情報の取得は、ユーザの過去の許可情報があるかどうか、または、この投影に対するユーザの確認情報があるかどうか、を問い合わせることによって実行されてもよい。

投影の具体的な接続プロセスも画面コンテンツ送信プロセスも本発明の実施形態では限定されず、前述の方法のいずれか1つであってもよく、別の方法であってもよい。

加えて、要件に基づいて、本発明のこの実施形態における投影方法の実装形態において、画面がロック状態または使用可能状態にある場合に、投影意図を検出することもできる。あるいは、画面がロック状態にあるかどうかが最初に識別されてもよく、画面がロック状態にある場合、画面ステータスが監視され続ける。画面ステータスが使用可能状態であると判定されると、投影意図が検出される。本発明の実施形態では限定されない時点および条件下において、前述の投影検出の意図が実行され、具体的な実装形態における特定の要件に基づいて、解決策は柔軟に設計できる。

図13は、本出願の図3、図11、および図12に対応する投影方法に対応する投影システムの概略構造図である。

図13に示すように、本発明における投影システム1300は、表示ユニット1302および判定ユニット1303を含むことができ、任意選択的に、画像収集ユニット1301もしくは距離取得ユニット1304で構成されるか、または、必要に応じて画像収集ユニットおよび距離取得ユニットの両方で構成される。例えば、投影システムが距離情報に基づいて、手がターゲット表示画面に接近しているかどうかを判定する必要がある場合に、投影システムは距離取得ユニット1304を備える必要がある。しかし、投影システムが画像情報に基づいて、ユーザに投影意図があるかどうかを判定する場合に、投影システムは距離取得ユニット1304を備える必要はない。

同様に、投影システムが、距離情報に基づいて、投影をトリガするために手がターゲット表示画面に接近しているかどうかを判定するだけでよい場合に、投影システムは、画像収集ユニットを備える必要はない。

画像収集ユニット1301は、画像情報を収集するように構成される。

距離取得ユニット1304は、距離情報を取得するように構成される。

判定ユニット1303は、画像収集ユニット1301によって収集された画像情報、および／または距離取得ユニット1304によって取得された距離情報を、解析および識別し、解析結果および識別結果に基づいて、投影操作を実行するかどうかを判定するように構成される。

表示ユニット1302は、判定ユニット1303が投影操作を実行する必要があると判定した後に、被投影機器の画面コンテンツを表示するように構成される。

当業者は、本出願のこの実施形態における投影システムが、図に示されたものよりも多いもしくは少ない構成要素を含んでもよく、または、いくつかの構成要素が組み合わされてもよく、または、構成要素が異なる方法で配置されてもよいことを理解できる。画像収集ユニットおよび距離取得ユニットは、それぞれ複数のサブユニットをさらに含み、異なる判定条件における画像情報は、同一であっても異なっていてもよい。画像情報が異なる場合、画像情報は、同じ画像収集サブユニットからのものであってもよく、異なる画像収集サブユニットからのものであってもよい。

投影システム1300が、図3、図11、および図12に対応する投影方法を実行するように構成される場合に、判定ユニット1303は、1つまたは複数の条件に基づいて、後続の投影操作を実行するかどうかを判定できる。複数の条件が存在する場合、解決策の具体的な設計によれば、判定ユニット1303は、複数の判定条件に対して順次検出を実行してもよいし、複数の条件に対して並行して検出を実行してもよいし、複数の条件に対して連続的にトリガ方式で検出を実行してもよい。

図14は、本出願の図3、図11、および図12に対応する投影方法に対応する投影システムの概略構造図である。

図14に示すように、本発明の投影システム1400は、1つまたは複数のプロセッサ1401、1つまたは複数のメモリ1402、1つまたは複数の検知装置1403、1つまたは複数の表示画面1404、および通信モジュール1405を含むことができる。プロセッサ1401は、メモリ1402、検知装置1403、表示画面1404、および通信モジュール1405などの構成要素に、バスを介して、別々に接続できる。説明はそれぞれ以下の通りである。

メモリ1402は、高速ランダム・アクセス・メモリを含んでもよく、また、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュ記憶装置、または別の揮発性ソリッドステート記憶装置を含んでもよい。これに対応して、メモリ1402は、プロセッサ1401のメモリ1402へのアクセスを提供するためのメモリコントローラを、さらに含んでもよい。メモリ1402は、ソフトウェアプログラム（命令）、ならびに、検知装置によって収集された画像情報および／または距離情報を格納するように、特に構成できる。

検知装置1403は、画像情報および／または距離情報を収集するように構成される。特定の実装プロセスでは、検知装置1403は、画像情報を撮影し、距離を測定するように構成された複数の種類のセンサ、例えば、カメラおよびレーダなどの検知装置、を含んでもよい。1つまたは複数の種類の検知装置があってもよく、または同じ種類の複数の検知装置が配備されてもよい。

表示画面1404は、投影操作を実行する必要があるとプロセッサ1401が判定した後に、被投影機器の画面コンテンツを表示するように構成される。

通信モジュール1405は、無線または有線の通信技術、例えばセルラー移動通信技術、WLAN、またはBluetooth(登録商標)を使用して、被投影機器への通信接続を実行し、必要に応じて受信した命令に従って被投影機器の画面データを送信するように構成される。

プロセッサ1401は、ユーザ挙動情報を解析および識別し、投影操作を実行する必要があるときに、投影命令を配信するように構成される。可能な実施形態では、プロセッサ1401は、1つまたは複数のプロセッサ・コアをさらに含むことができる。プロセッサ1401は、プログラム命令を実行することによって、ユーザ挙動情報を解析および識別できる。プロセッサ1401は、専用プロセッサであっても汎用プロセッサであってもよい。プロセッサ1401が汎用プロセッサである場合、プロセッサ1401は、メモリ1402に格納されたソフトウェアプログラム（命令）および／またはモジュールを、実行または遂行する。プロセッサ1401は、関連するプログラムを実行するために、1つまたは複数の集積回路をさらに使用できる。プロセッサ1401は、集積回路チップであってもよく、信号処理能力を有する。実装プロセスでは、本出願の投影方法におけるユーザ意図分析のステップは、ハードウェア集積論理回路またはプロセッサ1401内のソフトウェアの形態の命令を使用することによって、完了され得る。

当業者は、本出願のこの実施形態における投影システムが、図に示されたものよりも多いもしくは少ない構成要素を含んでもよく、または、いくつかの構成要素が組み合わされてもよく、または、構成要素が異なる方法で配置されてもよいことを理解できる。例えば、投影機器は、スピーカ、マイクロフォンなどをさらに含んでもよい。本記載では詳細は重ねて説明されない。

投影システム1400が図3に対応する方法を実行するように構成される場合、以下が特に含まれる。

検知装置1403は、画像情報を取得するように構成される。検知装置1403は、車載カメラ、レーダ等のうちの1つまたは複数であってもよい。

プロセッサ1401は、検知装置によって取得された画像またはビデオ情報に基づいて、ハンドヘルド機器の表示画面の向きを判定する。少なくとも1つのプロセッサは、少なくとも1つのプロセッサが、ハンドヘルド機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、第1の機器の画面コンテンツをターゲット表示画面に表示し、または、少なくとも1つのプロセッサが、ハンドヘルド機器の表示画面の向きが事前設定の向きと合致すると判定した場合に、画面コンテンツをターゲット表示画面に表示するようにハンドヘルド機器に通知する。前述の判定ステップの特定の実装形態については、図3の詳細な説明を参照されたい。

複数の画面表示モードが必要とされる場合に、プロセッサ1401は、ハンドヘルド機器の姿勢が水平であるか垂直であるかを判定することによって、現在のハンドヘルド機器の画面コンテンツの投影表示モードが横長モードか縦長モードかを、さらに判定してもよい。したがって、プロセッサ1401は、投影操作が実施される前の任意の時点で、ハンドヘルド機器の姿勢を判定する。ハンドヘルド機器の姿勢を判定する方法については、ステップ203aの特定の実装形態の詳細を参照されたい。

投影システム1400が図11に対応する方法を実行するように構成される場合に、以下が特に含まれる。

検知装置1403は、解決策において設定された要件に基づいて、画像情報および／または距離情報を取得するように構成される。検知装置1403は、車載カメラ、レーダ等のうちの1つまたは複数であってもよい。どの種類の検知装置が使用されるか、および同じ検知装置が使用されるか異なる検知装置が使用されるかは、取得されるべき情報のコンテンツに依存する。例えば、異なる判定条件で取得する必要がある画像の角度が異なる場合に、または、異なる位置の画像を取得する必要がある場合に、異なるカメラを使用する必要がある。

プロセッサ1401は、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に手が接近する動作があると判定し、または、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定する。

プロセッサ1401は、検知装置によって取得された画像情報に基づいて、ハンドヘルド機器が保持されていると判定する。

プロセッサ1401は、検知装置によって取得された画像またはビデオ情報に基づいて、ハンドヘルド機器の表示画面の向きを判定する。

前述の決定ステップの特定の実装形態については、図11の詳細な説明を参照されたい。

プロセッサ1401が、ターゲット表示画面に接近する手の動作があり、ハンドヘルド機器が保持されており、かつ、ハンドヘルド機器の表示画面の向きが事前設定の向きに向いていると判定した場合に、プロセッサ1401は、ハンドヘルド機器にメッセージを送信して、ターゲット表示画面に画面コンテンツを表示するように、ハンドヘルド機器に通知する。

車載システムは、1つまたは複数のプロセッサ1401を有してもよい。プロセッサ1401が、ターゲット表示画面に接近する手の動作があり、ハンドヘルド機器が保持されており、かつ、ハンドヘルド機器の表示画面の向きがターゲット表示画面に向いていると判定した場合に、3つの判定ステップは、同時に実行されてもよいし、順番に実行されてもよい。特定の実装形態では、3つの判定ステップすべてが実行されてもよい。言い換えれば、プロセッサ1401は、ターゲット表示画面に接近する手の動作があるかどうかを判定し、ハンドヘルド機器が保持されているかどうかを判定し、かつ、ハンドヘルド機器の表示画面の向きがプリセットの向きであるかどうかを判定する。そして、すべての結果が「はい」であれば、プロセッサ1401は、投影を行うと判定する。あるいは、プロセッサ1401は、前述の判定ステップを順次実行してもよく、前述の判定プロセスは連続的にトリガされる。例えば、プロセッサ1401は、ターゲット表示画面に接近する手の動作があるかどうかを判定する。判定結果が「はい」の場合、プロセッサ1401は、ハンドヘルド機器が保持されているかどうかを判定し続ける。判定結果が「いいえ」の場合、プロセッサ1401は、ターゲット表示画面に接近する手の動作があるかどうかの検出を継続する。同様に、ハンドヘルド機器が保持されていると判定された場合に、プロセッサ1401は、ハンドヘルド機器の表示画面の向きが事前設定された向きであるかどうかを、さらに判定する。ユーザがハンドヘルド機器を保持していないと判定された場合に、ターゲット表示画面に接近する手の動作があるかどうかを検出する第1のステップに戻って実行される。同様に、ハンドヘルド機器の表示画面の向きが事前設定された向きと合致していないことが検出された場合に、ターゲット表示画面に接近する手の動作があるかどうかを検出する第1のステップに戻って実行される。ハンドヘルド機器の表示画面の向きが事前設定の向きと合致することが検出された場合に、プロセッサ1401は、投影操作をトリガする。プロセッサ1401によって実行される前述の判定ステップをトリガする順序は、単なる例である。解決策の実装形態において、前述の判定ステップの順序も変更することができる。いずれかの判定結果が「いいえ」の場合、プロセッサ1401はもは
や後続の判定を実行しないが、検出判定を再度実行するために最初の判定に戻る。

別の実装形態では、投影システム1400は、代替的に、前述の判定ステップのうちの任意の2つのみを実行してもよい。

同様に、複数の画面表示モードが必要とされる場合、プロセッサ1401は、ハンドヘルド機器の姿勢が水平であるか垂直であるかを判定することによって、現在のハンドヘルド機器の画面コンテンツの投影表示モードが横長モードか縦長モードかを、さらに判定できる。したがって、プロセッサ1401は、投影操作が実施される前の任意の時点で、ハンドヘルド機器の姿勢を判定する。ハンドヘルド機器の姿勢を判定する方法については、ステップ203aの特定の実装形態の詳細を参照されたい。

投影システム1400が図12に対応する方法を実行するように構成される場合に、以下が特に含まれる。

検知装置1403は、解決策において設定された要件に基づいて、画像情報および／または距離情報を取得するように構成される。検知装置1403は、車載カメラ、レーダ等のうちの1つまたは複数であってもよい。どの種類の検知装置が使用されるか、および同じ検知装置が使用されるか異なる検知装置が使用されるかは、取得されるべき情報のコンテンツに依存する。例えば、異なる判定条件で取得する必要がある画像の角度が異なる場合に、または、異なる位置の画像を取得する必要がある場合に、異なるカメラを使用する必要がある。

プロセッサ1401は、検知装置によって取得されたビデオまたはマルチフレーム画像情報に基づいて、ターゲット表示画面に手が接近する動作があると判定し、または、検知装置によって取得された、手から検知装置までの距離に関する情報に基づいて、手からターゲット表示画面までの距離が事前設定値未満であると判定する。

プロセッサ1401は、検知装置によって取得された画像情報に基づいて、および総合訓練のニューラル・ネットワーク・モデルに基づいて、ユーザが第1の機器を保持しているかどうか、および第1の機器の表示画面の向きを判定する。

前述の決定ステップの特定の実装形態については、図12の詳細な説明を参照されたい。

前述の2つの条件の判定が投影システムの別の実施形態に含まれるとき、2つの条件が相互にトリガされない場合に、プロセッサ1401はまた、包括的なモデルに基づいて統一された判定を実行してもよく、または2つの独立したモデルに基づいて別々に判定を実行してもよい。

同様に、複数の画面表示モードが必要とされる場合、プロセッサ1401は、ハンドヘルド機器の姿勢が水平であるか垂直であるかを判定することによって、現在のハンドヘルド機器の画面コンテンツの投影表示モードが横長モードか縦長モードかを、さらに判定できる。したがって、プロセッサ1401は、投影操作が実施される前の任意の時点で、ハンドヘルド機器の姿勢を判定する。ハンドヘルド機器の姿勢を判定する方法については、ステップ203aの特定の実装形態の詳細を参照されたい。

前述の実施形態では、条件判定ステップおよび投影判定操作は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせを使用することによって、すべてまたは部分的に実施されてもよい。条件判定ステップおよび投影判定操作を実施するためにソフトウェアが使用される場合、条件判定ステップおよび投影判定操作は、コンピュータ・プログラム製品の形態で完全にまたは部分的に実施されてもよい。コンピュータ・プログラム製品は、1つまたは複数のコンピュータ命令を含む。コンピュータ命令がコンピュータにロードされ実行された場合、本出願の実施形態に係る手順または機能のすべてまたはいくつかが生成される。プロセッサは、汎用プロセッサまたは専用プロセッサであってもよい。コンピュータ命令はコンピュータ可読記憶媒体に格納されてもよいし、コンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、またはデータセンタから、別のウェブサイト、コンピュータ、サーバ、またはデータセンタに、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者回線）、または無線（例えば、赤外線、マイクロ波など）方式で送信されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってもよいし、1つまたは複数の利用可能な媒体を統合するデータ記憶装置、例えば、サーバやデータセンタであってもよい。使用可能な媒体は、磁気媒体（例えば、フロッピー(登録商標)ディスク、ハードディスク、または磁気テープ）、光学媒体（例えばDVD）、半導体媒体（例えば、ソリッドステートディスク）などであってもよい。

例えば、本出願の実施形態における解決策では、任意選択で、実行本体は、ASIC、FPGA、CPU、GPUなどであってもよく、ハードウェアまたはソフトウェアを使用して実装されてもよい。任意選択で、メモリは、揮発性または不揮発性記憶装置、例えば、DDR、SRAM、HDD、またはSSDであってもよい。ASICおよびFPGAは、ハードウェア実装形態に属する。具体的には、本出願における方法は、ハードウェア設計中にハードウェア記述言語を使用することによって実施される。CPUおよびGPUは、ソフトウェア実装形態に属する。具体的には、本出願における方法は、ソフトウェア設計中にソフトウェア・プログラム・コードの方法で実施される。

前述した実施形態において、それぞれの実施形態の説明には着目点がある。一実施形態において詳細に説明されていない部分については、他の実施形態における関連する説明を参照されたい。

101 ハンドヘルド機器
102 車載表示装置
103 車載検知装置
1300 投影システム
1301 画像収集ユニット
1302 表示ユニット
1303 判定ユニット
1304 距離取得ユニット
1400 投影システム
1401 プロセッサ
1402 メモリ
1403 検知装置
1404 表示画面
1405 通信モジュール
1406 プロセッサ

Claims (21)

1. 少なくとも1つの検知装置からの画像情報に基づいて、第1の機器のステータスおよびユーザ挙動のうちの少なくとも1つを判定するステップであって、前記第1の機器のステータスは、前記第1の機器の表示画面の向きを含む、ステップと、
   前記第1の機器の前記ステータス、および前記ユーザ挙動のうちの少なくとも1つに基づいて、投影トリガ条件が満たされているかどうかを判定するステップと、
   前記投影トリガ条件が満たされている場合に、前記第1の機器の画面コンテンツをターゲット表示画面に表示するステップ、または前記第1の機器の画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するステップと、
   を含み、
   前記投影トリガ条件は、
   検出されたユーザの手のフレームと、検出された前記第1の機器のフレームとに基づいて、ユーザの前記手に前記第1の機器が保持されていると判定することと、
   前記第1の機器の前記表示画面の向きが前記ターゲット表示画面に向いていることと
   を含む、
   投影方法。
2. 前記投影トリガ条件は、
   前記第1の機器を保持しているユーザの前記手が前記ターゲット表示画面に接近することと、
   前記手から前記ターゲット表示画面までの距離が事前設定値未満であることと、
   のうちの少なくとも1つをさらに含む、請求項1に記載の方法。
3. 前記画面コンテンツをターゲット表示画面に表示するように前記第1の機器に通知する前記ステップは、
   前記投影トリガ条件が満たされた場合に、前記画面コンテンツを前記ターゲット表示画面に表示するように前記第1の機器に通知するためのメッセージを、前記第1の機器に送信するステップを含む、請求項1または2に記載の方法。
4. 前記第1の機器の前記画面コンテンツを前記ターゲット表示画面に表示する前記ステップは、
   前記投影トリガ条件が満たされ、かつ、前記第1の機器の許可情報が取得された場合に、前記第1の機器の前記画面コンテンツを前記ターゲット表示画面に表示するステップを含む、請求項1または2に記載の方法。
5. 少なくとも1つの検知装置からの情報に基づいて、第1の機器のステータスおよびユーザ挙動のうちの少なくとも1つを判定する前記ステップは、
   第1の検知装置からの第1の画像情報に基づいて、前記第1の機器の前記表示画面の向きが前記ターゲット表示画面に向いているか否かを判定するステップと、
   第2の検知装置からの第2の画像情報に基づいて、前記第1の機器を保持しているユーザの前記手が前記ターゲット表示画面に接近するか否かを判定するステップと、
   第3の検知装置からの第3の画像情報に基づいて、ユーザの前記手に前記第1の機器が保持されていると判定するステップと、
   前記手から第4の検知装置までの距離に関する情報に基づいて、前記手から前記ターゲット表示画面までの前記距離が事前設定値未満であると判定するステップと、を少なくとも1つ含み、
   前記第1の画像情報、前記第2の画像情報、および前記第3の画像情報は、同一または異なっており、前記第1の検知装置、前記第2の検知装置、前記第3の検知装置、および前記第4の検知装置は、同一または異なっている、請求項1から4のいずれか1項に記載の方法。
6. 前記第1の機器が保持されていると判定する前記ステップは、
   前記第3の画像情報内の前記手と前記第1の機器との間の重なり率に従って、前記第1の機器が保持されていると判定するステップ、
   を含む、請求項5に記載の方法。
7. ニューラル・ネットワーク・モデルが、前記第1の機器の前記表示画面の向きを判定するためにさらに使用される、請求項6に記載の方法。
8. 前記投影トリガ条件が満たされていると判定された後であって、前記第1の機器の画面コンテンツをターゲット表示画面に表示するステップの前に、または前記第1の機器の画面コンテンツをターゲット表示画面に表示するように第1の機器に通知するステップの前に、
   前記第1の機器の姿勢を判定するステップと、
   前記第1の機器の前記姿勢に基づいて、前記ターゲット表示画面の投影表示モードを判定するステップと、
   をさらに含む、請求項1に記載の方法。
9. 第5の検知装置から第4の画像情報を取得するステップと、
   前記第4の画像情報に基づいて、前記第1の機器の前記姿勢を判定するステップと、をさらに含む、請求項8に記載の方法。
10. 少なくとも1つの検知装置からの画像情報に基づいて、第1の機器のステータスおよびユーザ挙動のうちの少なくとも1つを判定する手段であって、前記第1の機器のステータスは、前記第1の機器の表示画面の向きを含む、手段と、
    前記第1の機器の前記ステータスおよび前記ユーザ挙動の少なくとも1つに基づいて、投影トリガ条件が満たされたかどうかを判定する手段と、
    前記投影トリガ条件が満たされた場合に、前記第1の機器の画面コンテンツをターゲット表示画面に表示する手段、または、前記第1の機器の画面コンテンツをターゲット表示画面に表示するために、前記第1の機器に通知する手段、を含み、
    前記投影トリガ条件は、
    検出されたユーザの手のフレームと、検出された前記第1の機器のフレームとに基づいて、ユーザの前記手に前記第1の機器が保持されていると判定することと、
    前記第1の機器の前記表示画面の向きが前記ターゲット表示画面に向いていることと
    を含む、
    投影装置。
11. 前記投影トリガ条件は、
    前記第1の機器を保持しているユーザの前記手が前記ターゲット表示画面に接近することと、
    前記手から前記ターゲット表示画面までの距離が事前設定値未満であることと、
    の少なくとも1つをさらに含む、請求項10に記載の投影装置。
12. 前記画面コンテンツを前記ターゲット表示画面に表示するように前記第1の機器に通知することは、
    前記投影トリガ条件が満たされた場合に、前記画面コンテンツを前記ターゲット表示画面に表示するように前記第1の機器に通知するメッセージを、前記第1の機器に送信すること、を含む請求項10または11に記載の投影装置。
13. 前記第1の機器の画面コンテンツを前記ターゲット表示画面に表示することは、
    前記投影トリガ条件が満たされ、かつ、前記第1の機器の許可情報が取得された場合に、前記第1の機器の前記画面コンテンツを前記ターゲット表示画面に表示すること、を含む、請求項10または11に記載の投影装置。
14. 少なくとも1つの検知装置からの情報に基づいて、第1の機器のステータスおよびユーザ挙動のうちの少なくとも1つを判定する手段は、
    第1の検知装置からの第1の画像情報に基づいて、前記第1の機器の前記表示画面の向きが前記ターゲット表示画面に向いているか否かを判定する手段と、
    第2の検知装置からの第2の画像情報に基づいて、前記第1の機器を保持しているユーザの前記手が前記ターゲット表示画面に接近するか否かを判定する手段と、
    第3の検知装置からの第3の画像情報に基づいて、ユーザの前記手に前記第1の機器が保持されていると判定する手段と、
    前記手から第4の検知装置までの距離に関する情報に基づいて、前記手から前記ターゲット表示画面までの前記距離が事前設定値未満であると判定する手段と、のうちの少なくとも1つを含み、
    前記第1の画像情報、前記第2の画像情報、および前記第3の画像情報は、同一または異なっており、前記第1の検知装置、前記第2の検知装置、前記第3の検知装置、および前記第4の検知装置は、同一または異なっている、
    請求項10から13のいずれか1項に記載の投影装置。
15. 前記第1の機器が保持されていると判定することは、
    前記第3の画像情報内の前記手と前記第1の機器との重なり率に従って、前記第1の機器が保持されていると判定することを、含む、請求項14に記載の投影装置。
16. ニューラル・ネットワーク・モデルは、前記第1の機器の前記表示画面の向きを判定するために、さらに使用される、請求項15に記載の投影装置。
17. 前記投影トリガ条件が満たされていると判定された後であって、前記第1の機器の画面コンテンツをターゲット表示画面に表示する前に、または前記第1の機器の画面コンテンツをターゲット表示画面に表示するように第1の機器に通知する前に、
    前記投影装置は、
    前記第1の機器の姿勢を判定する手段と、
    前記第1の機器の前記姿勢に基づいて、前記ターゲット表示画面の投影表示モードを判定する手段と、
    をさらに含む、請求項10に記載の投影装置。
18. 第5の検知装置から第4の画像情報を取得する手段と、
    前記第4の画像情報に基づいて、前記第1の機器の前記姿勢に関する手段と、
    をさらに含む、請求項17に記載の投影装置。
19. 投影システムであって、ターゲット表示画面と、少なくとも1つのプロセッサとを含み、
    前記少なくとも1つのプロセッサが、請求項1から9のいずれか1項に記載の方法を実行するように構成されている、投影システム。
20. コンピュータにより実行された場合に、請求項1から9のいずれか1項に記載の方法のステップを、前記コンピュータに実行させる、コンピュータプログラム。
21. コンピュータによって実行された場合に、請求項1から9のいずれか1項に記載の方法のステップを、前記コンピュータに実行させる命令を含む、コンピュータ可読記憶媒体。

Images