JP7654274B2 - インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法 - Google Patents

Description

本発明は、モバイル機器技術の分野に関し、具体的には、インテリジェント端末、ハンドヘルドデバイス（中国語：掌机）、仮想システム及びインテリジェント端末の空間位置決め方法に関する。

現在、ＶＲボックスと移動端末からなる新型の仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）頭部装着ディスプレイ機器が市場に多数登場している。このような新型のＶＲ頭部装着ディスプレイ機器の性能は、主に移動端末の性能によって決まり、その性能は従来のコンピュータ－ＶＲ頭部装着ディスプレイ機器、又はＶＲオールインワンに比べてはるかに劣っている。コンピュータ－ＶＲ頭部装着ディスプレイ機器、又はＶＲオールインワンのディスプレイ装置とＶＲ仮想頭部装着ディスプレイ機器は、一般に不可分であり、セットでしか使えないため、利便性が限られている。

一方、ハンドヘルドデバイスなどのゲーム機用携帯機器では、現在、ホストとハンドルを備え、ゲーム体験のためにハンドルを通じて命令入力を実現する製品があるが、このときのハンドヘルドデバイスには、仮想没入感を体験する機能がない。

そこで、ユーザーが１つの製品を購入するだけで２つの異なる製品機能を体験できるという目的を満たすために、仮想ボックスの分離可能な特徴を有しハンドヘルドデバイスの機能を体現できる新型の複合式インテリジェント端末機器を提供する必要がある。

また、従来技術では、移動端末の動作モードを変更した場合、例えば、ハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替えた場合、移動端末、制御ハンドルに対して正確な再位置決めを実現することができない。

これに鑑みて、本発明は、インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法を提供しており、１つの移動端末だけで仮想及びハンドヘルドデバイスの２種類の製品の機能を体験できず、移動端末の動作モードを変更した場合、移動端末の空間に正確に位置決めできないという従来技術における技術的問題を解決する。

本発明の一態様によれば、本発明はインテリジェント端末を提供する。このインテリジェント端末は、仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、前記インテリジェント端末本体の第１側面に配置された表示スクリーンと、前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、前記インテリジェント端末本体の第２側面上に配置された第１撮像装置であって、前記第１側面と前記第２側面は対向する面である第１撮像装置と、前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のＩＭＵデータを検出するための第１慣性センサと、を含み、前記第１撮像装置及び前記第１慣性センサはそれぞれ前記主制御チップに通信接続される。

本発明の一実施例では、前記インテリジェント端末は、前記インテリジェント端末本体内に配置された輝度コントローラーをさらに含み、前記輝度コントローラーは、前記主制御チップ及び前記表示スクリーンにそれぞれ通信接続され、前記インテリジェント端末が前記ハンドヘルドデバイス機能から前記仮想頭部装着ディスプレイ機能に切り替えられると、前記輝度コントローラーは、前記ディスプレイの表示輝度を低下させ、前記インテリジェント端末が前記仮想頭部装着ディスプレイ機能から前記ハンドヘルドデバイス機能に切り替えられると、前記輝度コントローラーは、前記ディスプレイの表示輝度を向上させる。

本発明の一実施例では、前記インテリジェント端末は、前記インテリジェント端末本体内に配置された画像プロセッサをさらに含み、前記画像プロセッサは、前記主制御チップに通信接続され、前記画像プロセッサは、前記表示スクリーン上に表示された画像情報に対して非同期スペースワープ、非同期タイムワープ処理及び画像レンダリング処理を行うために使用される。

本発明の一実施例では、前記インテリジェント端末は、前記インテリジェント端末本体の前記第１側面上に配置された第２撮像装置をさらに含み、前記第２撮像装置は、前記主制御チップに通信接続される。

本発明の一実施例では、前記第１撮像装置の数は４つであり、４つの前記第１撮像装置は２組の撮像装置組に分けられ、各組の撮像装置組における２つの前記第１撮像装置は、前記インテリジェント端末本体の中心について対称である。

本発明の第２態様として、本発明はまた、ハンドヘルドデバイスを提供する。このハンドヘルドデバイスは、上記のインテリジェント端末と、前記インテリジェント端末に接続されたハンドヘルドデバイスハンドルと、を含み、前記ハンドヘルドデバイスハンドルには、第１赤外線センサ及び第２慣性センサが設けられ、前記第２慣性センサは、前記ハンドヘルドデバイスハンドルのＩＭＵデータを検出するために使用され、前記第２慣性センサは、前記インテリジェント端末における前記主制御チップに通信接続される。

本発明の一実施例では、前記主制御チップは、第１制御ユニットと、第１計算ユニットと、を含み、前記第１制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置及び前記第１慣性センサにそれぞれ通信接続され、前記第１制御ユニットは、前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するために使用され、前記第１計算ユニットは、前記第１制御ユニット、前記第１撮像装置、前記第１赤外線センサ、前記第１慣性センサ及び前記第２慣性センサにそれぞれ通信接続され、前記第１計算ユニットは、前記第１画像及び前記インテリジェント端末本体のＩＭＵデータを取得し、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用される。

本発明の一実施例では、前記主制御チップは、第２制御ユニットと、第２計算ユニットと、をさらに含み、前記第２制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置及び前記第２慣性センサにそれぞれ通信接続され、前記第２制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末をハンドヘルドデバイス機能に切り替えたとき、前記第１撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第１赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第２慣性センサを制御して前記ハンドヘルドデバイスハンドルのＩＭＵデータを検出するために使用され、前記第２計算ユニットは、前記第１計算ユニット、前記第２制御ユニット、前記第１撮像装置及び前記第２慣性センサにそれぞれ通信接続され、前記第２計算ユニットは、前記第１撮像装置によって伝送された前記第１赤外線センサの第１光点画像、及び前記第２慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのＩＭＵデータを取得し、前記第１光点画像、前記ハンドヘルドデバイスハンドルのＩＭＵデータ及び前記インテリジェント端末の空間位置決め情報を計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するために使用される。

本発明の一実施例では、前記ハンドヘルドデバイスは、コネクタと、多機能押しボタンと、多機能プロセッサと、をさらに含み、前記コネクタは、前記ハンドヘルドデバイスハンドル及び前記インテリジェント端末にそれぞれ通信接続され、前記多機能押しボタンは、前記ハンドヘルドデバイスハンドルに配置され、前記多機能プロセッサは、前記多機能押しボタン及び前記インテリジェント端末の主制御チップにそれぞれ接続され、前記多機能プロセッサは、ユーザーが前記多機能押しボタンを介して入力した操作命令を受信し、前記操作命令を前記操作命令に前記主制御チップに送信するために使用される。

本発明の第３態様として、本発明はまた、仮想システムを提供する。この仮想システムは、上記のインテリジェント端末と、仮想頭部装着ディスプレイ機器であって、前記インテリジェント端末が前記仮想頭部装着ディスプレイ機器本体に着脱可能に取り付けられる仮想頭部装着ディスプレイ機器と、仮想頭部装着ディスプレイハンドルと、を含み、前記仮想頭部装着ディスプレイハンドルは、制御ハンドルと、前記制御ハンドルに配置された第２赤外線センサと、前記制御ハンドルに配置され、前記制御ハンドルのＩＭＵデータを測定するための第３慣性センサと、を含み、前記制御ハンドル及び前記第３慣性センサはそれぞれ前記主制御チップに通信接続される。

本発明の一実施例では、前記仮想頭部装着ディスプレイハンドルは、ハンドルケーシングをさらに含み、前記ハンドルケーシングは、環形部及び把握部を含み、前記把握部の中央には、前記制御ハンドルを収容し固定するために凹部が設けられる。

本発明の一実施例では、前記主制御チップは、第３制御ユニットと第３計算ユニットを含み、前記第３制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置及び前記第１慣性センサにそれぞれ通信接続され、前記第３制御ユニットは、前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するために使用され、前記第３計算ユニットは、前記第３制御ユニット、前記第１撮像装置、前記第１赤外線センサ及び前記第１慣性センサにそれぞれ通信接続され、前記第３計算ユニットは、前記第１画像及び前記インテリジェント端末本体のＩＭＵデータを取得し、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用される。

本発明の一実施例では、前記主制御チップは、第４制御ユニットと第４計算ユニットをさらに含み、前記第４制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置、前記第２赤外線センサ及び前記第３慣性センサにそれぞれ通信接続され、前記第４制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えたとき、前記第１撮像装置を制御して前記仮想操作ハンドルに位置する第２赤外線センサを撮影し、前記仮想操作ハンドルに位置する第３慣性センサを制御して前記仮想操作ハンドルのＩＭＵデータを検出するために使用され、前記第４計算ユニットは、前記第３計算ユニット、前記第１撮像装置及び前記第３慣性センサにそれぞれ通信接続され、前記第４計算ユニットは、前記第１撮像装置によって伝送された前記第２赤外線センサの第２光点画像、及び第３慣性センサによって伝送された前記仮想操作ハンドルのＩＭＵデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第２光点画像及び前記仮想操作ハンドルのＩＭＵデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するために使用される。

本発明の第４態様として、本発明はまた、上記のインテリジェント端末を位置決めするためのインテリジェント端末の空間位置決め方法を提供する。前記インテリジェント端末の空間位置決め方法は、前記主制御チップが、前記インテリジェント端末に位置する前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するステップと、前記主制御チップが、前記第１撮像装置によって撮影された前記インテリジェント端末の位置する周囲環境の第１画像を取得するステップと、前記主制御チップが、前記第１慣性センサによって検出された前記インテリジェント端末本体のＩＭＵデータを取得するステップと、前記主制御チップが、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するステップと、を含む。

本発明の一実施例では、前記インテリジェント端末がハンドヘルドデバイスハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、前記機能切り替えモジュールが前記インテリジェント端末をハンドヘルドデバイス機能に切り替えるステップと、前記主制御チップが、前記第１撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第１赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第２慣性センサを制御して前記ハンドヘルドデバイスハンドルのＩＭＵデータを検出するステップと、前記主制御チップが、前記第１撮像装置によって伝送された前記第１赤外線センサの第１光点画像、及び前記第２慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのＩＭＵデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第１光点画像及び前記ハンドヘルドデバイスハンドルのＩＭＵデータを計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するステップと、さらに含む。

本発明の一実施例では、前記インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられ、前記インテリジェント端末が仮想操作ハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、
前記機能切り替えモジュールが、前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えるステップと、前記制御チップが、前記第１撮像装置を制御して前記仮想操作ハンドルに位置する第２赤外線センサを撮影し、前記仮想操作ハンドルに位置する第３慣性センサを制御して前記仮想操作ハンドルのＩＭＵデータを検出するステップと、前記主制御チップが、前記第１撮像装置によって伝送された前記第２赤外線センサの第２光点画像、及び第２慣性センサによって伝送された前記仮想操作ハンドルのＩＭＵデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第２光点画像及び前記仮想操作ハンドルのＩＭＵデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するステップと、をさらに含む。

本発明によって提供されるインテリジェント端末は、仮想頭部装着ディスプレイ機器に着脱可能に接続することができる。即ち、仮想システムを分離式仮想システムにすることができる。即ち、インテリジェント端末と仮想頭部装着ディスプレイ機器は分離可能に設置される。インテリジェント端末が仮想頭部装着ディスプレイ機器から分離されると、インテリジェント端末は、ハンドヘルドデバイスハンドルと通信接続を確立することができ、インテリジェント端末における主制御チップは、インテリジェント端末の機能を仮想頭部装着ディスプレイ機能からハンドヘルドデバイス機能に切り替え、それにより、インテリジェント端末とハンドヘルドデバイスハンドルは、ハンドヘルドデバイスを構成する。インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられると、インテリジェント端末における主制御チップは、インテリジェント端末の機能をハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替え、それにより、インテリジェント端末、仮想ハンドヘルドデバイス及び仮想頭部装着ディスプレイ機器は仮想システムを構成する。その結果、インテリジェント端末は２つの機能を持つことができ、ユーザーは、１つのインテリジェント端末を通じて仮想システム及びハンドヘルドデバイスの２種類の製品の機能を体験することができる。また、インテリジェント端末には第１慣性センサ及び第１撮像装置が設けられ、主制御チップは、第１撮像装置によって撮影されたインテリジェント端末の環境情報、及び第１慣性センサによって検出されたインテリジェント端末のＩＭＵデータに基づいて、インテリジェント端末の空間位置決め情報、即ち、６ＤＯＦデータを確定することができ、それにより、インテリジェント端末の正確な位置決めが実現される。

図面を参照しながら、本発明の実施例をより詳細に説明することによって、本発明の上記及び他の目的、特徴及び利点は、より明らかになる。図面は、本発明の実施例を更に理解させ、本明細書の一部を構成し、本発明の実施例と共に本発明を説明するためのものであり、本発明を制限するものではない。図面では、同じ参照番号は、通常、同じの部品又はステップを表す。
本発明の一実施例によって提供されるインテリジェント端末の正面図を示す。 本発明の一実施例によって提供されるインテリジェント端末の背面図を示す。 本発明の一実施例によって提供されるインテリジェント端末の動作原理図を示す。 本発明の別の実施例によって提供されるインテリジェント端末の動作原理図を示す。 本発明の別の実施例によって提供されるインテリジェント端末の動作原理図を示す。 本発明の一実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。 本発明の別の実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。 図７に示されるハンドヘルドデバイスのインテリジェント端末の空間位置決め方法のフローチャートを示す。 本発明の別の実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。 図９に示されるハンドヘルドデバイスのインテリジェント端末の空間位置決め方法のフローチャートを示す。 本発明の一実施例によって提供される仮想システムの動作原理図を示す。 本発明の別の実施例によって提供される仮想システムの動作原理図を示す。 図１２に示される仮想システムのインテリジェント端末の空間位置決め方法のフローチャートを示す。 本発明の別の実施例によって提供される仮想システムの動作原理図を示す。 図１４に示される仮想システムのインテリジェント端末の空間位置決め方法のフローチャートを示す。 本発明の別の実施例によって提供される仮想操作ハンドルの構造模式図を示す。 本発明の一実施例によって提供される電子機器の動作原理図を示す。

本発明の説明において、「複数」は、他に特に定義されない限り、少なくとも２つ、例えば、３つなどを意味する。本出願の実施例におけるすべての方向指示（上、下、左、右、前、後、頂、底、……など）は、ある特定の姿勢（図に示す）での各部材間の相対的な位置関係、運動状況などを説明するためにのみ使用される。前記特定の姿勢が変化する場合、前記方向指示もそれに応じて変化する。また、「含む」や「有する」という用語及びそれらの任意の変形は、非排他的な包含をカーバすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、挙げられたステップ又はユニットに限定されず、任意選択で、挙げられていないステップ又はユニットを更に含み、又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを更に含む。

また、本明細書における「実施例」への言及は、実施例に関して説明される特定の特徴、構造又は特性が、本発明の少なくとも１つの実施例に含まれ得ることを意味する。明細書の様々なところで出現する該用語は、必ずしも同じ実施例を指すわけではなく、他の実施例と相互に排他的な独立した又は代替の実施例でもない。当業者は、本明細書に記載の実施例が他の実施例と組み合わせることができることを明確かつ暗黙的に理解している。

以下は、本発明の実施形態に係る添付図面を参照しながら、本発明の実施形態に係る技術的解決手段を明確かつ詳細に説明する。当然ながら、ここで説明する実施形態は本発明の諸実施形態の全てではなく一部にすぎない。当業者が創造的な作業なしに本発明の実施例に基づいて得られる他の全ての実施例は、本発明の保護範囲に含まれるべきである。

図１は、本発明によって提供されるインテリジェント端末１の正面図を示し、図２は、本発明によって提供されるインテリジェント端末１の背面図を示し、図３は、本発明によって提供されるインテリジェント端末１の動作原理図を示す。図１、図２及び図３に示すように、このインテリジェント端末１は、インテリジェント端末本体１００と、表示スクリーン２００と、機能切り替えモジュール６０１と、主制御チップ６００と、第１撮像装置４００と、第１慣性センサ７００と、を含む。
インテリジェント端末本体１００は、仮想頭部装着ディスプレイ機器３１、又はハンドヘルドデバイスなどの手持機器に着脱可能に取り付けることができる。
表示スクリーン２００は、インテリジェント端末本体１００の第１側面１０１上に配置され、正常な表示機能を有し、ビデオ情報や画像情報などを表示することができる。
機能切り替えモジュール６０１は、インテリジェント端末本体１００内に配置され、即ち、機能切り替えモジュール６０１は、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間のインテリジェント端末１の切り替えを制御することができる。例えば、インテリジェント端末１が仮想頭部装着ディスプレイに取り付けられると、インテリジェント端末１と仮想頭部装着ディスプレイは仮想システム、例えば、仮想現実システム（以下、ＶＲシステムと略称）又は拡張現実システム（以下、ＡＲシステムと略称）を構成する。この場合、機能切り替えモジュール６０１は、インテリジェント端末１が仮想頭部装着ディスプレイに取り付けられたという情報を受信し、受信した情報に応じて仮想頭部装着ディスプレイ機能をオンにして、インテリジェント端末１が仮想頭部装着ディスプレイ機能を実行するようにすることができる。
主制御チップ６００は、インテリジェント端末本体１００内に配置され、機能切り替えモジュール６０１に通信接続される。
第１撮像装置４００は、インテリジェント端末本体１００の第２側面１０２上に配置され、第１側面１０１と第２側面１０２は対向する面である。
第１撮像装置４００は、赤外線ランプを撮影するために使用することができる。インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられると、インテリジェント端末１、仮想操作ハンドル３２及び仮想頭部装着ディスプレイ機器３１は仮想システムを構成する。この場合、インテリジェント端末１は、仮想操作ハンドル３２と通信接続を確立する必要がある。仮想操作ハンドル３２には赤外線ランプが取り付けられる。このとき、インテリジェント端末１の主制御チップ６００は、第１撮像装置４００をオンにするように制御することができる。それにより、第１撮像装置４００は、仮想操作ハンドル３２に位置する赤外線ランプを撮影し、仮想操作ハンドル３２に位置する赤外線ランプの光点画像を撮影した後、光点画像を主制御チップ６００に伝送する。
第１撮像装置４００は、また、インテリジェント端末１が位置する周囲環境を撮影するために使用することができる。インテリジェント端末１が仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能のどちらを実行する場合でも、インテリジェント端末１を位置決めする必要がある。例えば、インテリジェント端末１とハンドヘルドデバイスハンドル２が組み合わせられてハンドヘルドデバイスを構成する場合、インテリジェント端末１とハンドヘルドデバイスハンドル２を位置決めする必要がある。インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられ、仮想操作ハンドル３２と仮想システムを構成する場合、インテリジェント端末１及び仮想操作ハンドル３２も位置決めする必要がある。第１撮像装置４００は、インテリジェント端末１が位置する周囲環境を撮影することで、周囲環境を反映できる画像情報又はビデオ情報を形成し、画像情報及びビデオ情報を主制御チップ６００に送信することができる。主制御チップ６００は、画像情報又はビデオ情報に基づいて、インテリジェント端末１の位置情報を得ることができる。
第１慣性センサ７００は、インテリジェント端末本体１００に配置され、インテリジェント端末本体１００のＩＭＵデータを検出するために使用される。第１慣性センサ７００は、インテリジェント端末１のＩＭＵデータを検出した後、ＩＭＵデータを主制御チップ６００に伝送する。主制御チップ６００は、ＩＭＵデータ、及び第１撮像装置４００によって撮影されたインテリジェント端末１の位置する環境の画像情報又はビデオ情報に基づいて、インテリジェント端末１の空間位置決め情報、つまり、インテリジェント端末１の６ＤＯＦデータを確定することができる、即ち、平行移動自由度及び回転自由度に基づいて、６つの角度の自由度を取得することができる。

具体的には、慣性センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、ＩＭＵと略称）は、物体の３軸姿勢角（又は角速度）及び加速度を測定する装置である。一般に、ＩＭＵは、３つの単軸加速度計及び３つの単軸ジャイロスコープを含む。加速度計は、キャリア座標系の独立した３軸の物体の加速度信号を検出し、ジャイロスコープは、ナビゲーション座標系に対するキャリアの角速度信号を検出するため、慣性センサは、３次元空間内の物体の角速度と加速度を測定し、それに基づいて、物体の回転自由度など、物体の姿勢を解くことができる。回転自由度とは、上下、前後、左右の３つの位置に関する自由度を意味する。ＩＭＵデータは、慣性センサによって検出された物体の結果データ、即ち、慣性センサによって検出された３次元空間内の物体の角速度及び加速度である。従って、第１慣性センサ７００は、インテリジェント端末本体１００を検出するＩＭＵデータを検出することができ、インテリジェント端末本体１００を検出するＩＭＵデータに基づいて、インテリジェント端末本体１００の姿勢、例えば、インテリジェント端末本体１００の回転自由度を解くことができる。回転自由度とは、上下、前後、左右の３つの位置に関する自由度を意味する。

本発明によって提供されるインテリジェント端末１は、仮想頭部装着ディスプレイ機器３１に着脱可能に接続することができる。即ち、仮想システムを分離式仮想システムにすることができる。即ち、インテリジェント端末１と仮想頭部装着ディスプレイ機器３１は分離可能に設置される。インテリジェント端末１が仮想頭部装着ディスプレイ機器３１から分離されると、インテリジェント端末１は、ハンドヘルドデバイスハンドル２と通信接続を確立することができ、インテリジェント端末１における主制御チップ６００は、インテリジェント端末１の機能を仮想頭部装着ディスプレイ機能からハンドヘルドデバイス機能に切り替え、それにより、インテリジェント端末１とハンドヘルドデバイスハンドル２は、ハンドヘルドデバイスを構成する。インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられると、インテリジェント端末１における主制御チップ６００は、インテリジェント端末１の機能をハンドヘルドデバイス機能から仮想頭部装着ディスプレイ機能に切り替え、それにより、インテリジェント端末１、仮想ハンドヘルドデバイス及び仮想頭部装着ディスプレイ機器３１は仮想システムを構成する。その結果、インテリジェント端末１は２つの機能を持つことができ、ユーザーは、１つのインテリジェント端末１を通じて仮想システム及びハンドヘルドデバイスの２種類の製品の機能を体験することができる。また、インテリジェント端末１には第１慣性センサ７００及び第１撮像装置４００が設けられる。主制御チップ６００は、第１撮像装置４００によって撮影されたインテリジェント端末１の環境情報、及び第１慣性センサ７００によって検出されたインテリジェント端末１のＩＭＵデータに基づいて、インテリジェント端末１の空間位置決め情報、即ち、６ＤＯＦデータを確定することができ、それにより、インテリジェント端末１の正確な位置決めが実現される。

オプションで、図１に示すように、インテリジェント端末１は、インテリジェント端末本体１００の第２側面１０２上に配置された第３撮像装置３００をさらに含む。第３撮像装置３００は、深度撮像装置であり、インテリジェント端末１が位置する周囲環境を撮影することができる。深度撮像装置は、インテリジェント端末１が位置する周囲環境の平面画像に加えて、インテリジェント端末１が位置する周囲環境の深度情報、即ち、インテリジェント端末１が位置する周囲環境の３次元の位置とサイズの情報を取得することができ、距離情報を通じて物体間のより豊かな位置関係を取得することができるので、主制御チップ６００は、インテリジェント端末１に対して空間位置決めを行う際に、第１撮像装置４００によって撮影された環境情報、第３撮像装置３００によって撮影された環境の深度情報及びインテリジェント端末１のＩＭＵデータに基づいて、インテリジェント端末１の空間位置決め情報を確定することができる。インテリジェント端末１の空間位置決めの精度が向上する。

オプションで、第１撮像装置４００の数は４つであり、４つの第１撮像装置４００は２組の撮像装置組に分けられ、各組の撮像装置組における２つの第１撮像装置４００は、インテリジェント端末本体１００の中心について対称である。例えば、インテリジェント端末本体１００が四方体である場合、即ち、インテリジェント端末本体１００上の第２側面１０２が四辺形である場合、４つの第１撮像装置４００は、四辺形の４つの角の位置に分布することができる。このようにして、第１撮像装置４００の位置を最大化し、赤外線センサの光点画像と、インテリジェント端末１が位置する周囲環境とを撮影することができる。

本発明の一実施例では、図４は、本発明の別の実施例によって提供されるインテリジェント端末１の動作原理図を示す。図４に示すように、このインテリジェント端末は、インテリジェント端末本体内に配置された輝度コントローラー２０１をさらに含む。輝度コントローラー２０１は、主制御チップ６００及び表示スクリーン２００にそれぞれ通信接続される。インテリジェント端末１が仮想頭部装着ディスプレイに取り付けられた場合、機能切り替えモジュール６０１は、インテリジェント端末１の機能を仮想頭部装着ディスプレイ機能に切り替え、輝度コントローラー２０１は、表示スクリーン２００の輝度を低下させる。表示スクリーン２００の輝度は低下するため、表示スクリーン２００に１フレームの画像を表示する際の表示画素の点灯時間の長さも短くなる。即ち、１フレームの表示画像を短くすると、画素を点灯させるための時間の長さが短くなり、それに伴って、残光時間も短くなる。従って、スミア現象による表示スクリーン２００の表示画面の鮮明度の低下が軽減され、ユーザーの体験感が向上する。インテリジェント端末１がハンドヘルドデバイス機器に取り付けられた場合、機能切り替えモジュール６０１は、インテリジェント端末１の機能をハンドヘルドデバイス機能に切り替え、輝度コントローラー２０１は、表示スクリーン２００の輝度を向上させる。

本発明の一実施例では、図５は、本発明の別の実施例によって提供されるインテリジェント端末１の動作原理図を示す。図５に示すように、このインテリジェント端末１は、インテリジェント端末本体１００内に配置された画像プロセッサ８００をさらに含む。画像プロセッサ８００は主制御チップ６００に通信接続される。インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられた場合、主制御チップ６００内の機能切り替えモジュール６０１は、インテリジェント端末１の機能を仮想頭部装着ディスプレイ機能に切り替え、主制御チップ６００は、インテリジェント端末１を仮想頭部装着ディスプレイ機能に切り替えたという情報を画像プロセッサ８００に伝送する。画像プロセッサ８００は、この情報に基づいて動作を開始するので、表示スクリーン２００に表示される画像情報に対して非同期スペースワープ、非同期タイムワープ処理及び画像レンダリング処理を行って、画面の鮮明度を向上させることができる。

本発明の一実施例では、図１に示すように、インテリジェント端末１は、インテリジェント端末本体１００の第１側面１０１上に配置された第２撮像装置５００をさらに含む。第２撮像装置５００は、インテリジェント端末１のユーザーを撮影するために使用される。第２撮像装置５００は、主制御チップ６００に通信接続される。第２撮像装置５００は、ユーザーを撮影することができ、即ち、ユーザーの自撮りを実現することができる。主制御チップ６００は、ユーザーの画像情報を取得することができるので、ユーザーの画像情報に基づいて、ユーザーの認証を実現するか、又はユーザーの仮想プロフィール画像などを生成することができる。

本発明の第２態様によれば、本発明は、ハンドヘルドデバイスをさらに提供する。図６は、本発明の一実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。図６に示すように、このハンドヘルドデバイスは、上記のインテリジェント端末１と、インテリジェント端末１に接続されたハンドヘルドデバイスハンドル２と、を含む。ハンドヘルドデバイスハンドル２には、第１赤外線センサ２２及び第２慣性センサ２３が設けられる。第２慣性センサ２３は、ハンドヘルドデバイスハンドル２のＩＭＵデータを検出するために使用される。第２慣性センサ２３は、インテリジェント端末１における主制御チップ６００に通信接続される。インテリジェント端末１上の第１撮像装置４００は、第１赤外線センサ２２と、インテリジェント端末１が位置する周囲環境を撮影するために使用される。ハンドヘルドデバイスハンドル２がインテリジェント端末１に通信接続されると、機能切り替えモジュール６０１は、インテリジェント端末１の機能をハンドヘルドデバイス機能に切り替える。このとき、インテリジェント端末１とハンドヘルドデバイスハンドル２はハンドヘルドデバイスを構成する。

オプションで、図６に示すように、ハンドヘルドデバイスは、コネクタ２４と、多機能押しボタン２５と、機能プロセッサ２６とをさらに含む。コネクタ２４は、ハンドヘルドデバイスハンドル２及びインテリジェント端末１にそれぞれ通信接続される。コネクタ２４は、ハンドヘルドデバイスハンドル２とインテリジェント端末１との通信接続を実現することができる。多機能押しボタン２５はハンドヘルドデバイスハンドル２に配置される。機能プロセッサ２６は、多機能押しボタン２５と、インテリジェント端末１の主制御チップ６００とにそれぞれ接続される。機能プロセッサ２６は、ユーザーが多機能押しボタン２５を介して入力した操作命令を受信し、操作命令を主制御チップ６００に送信するために使用される。

本発明の一実施例では、インテリジェント端末１とハンドヘルドデバイスハンドル２がハンドヘルドデバイスを構成した後、ユーザーがハンドヘルドデバイスを操作する過程中において、インテリジェント端末１及びハンドヘルドデバイスハンドル２の両方に対して空間位置決めを行う必要がある。図７は、本発明の別の実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。図７に示すように、主制御チップ６００は、第１制御ユニット６０２と第１計算ユニット６０３を含む。
第１制御ユニット６０２は、機能切り替えモジュール６０１、第１撮像装置４００及び第１慣性センサ７００にそれぞれ通信接続される。第１制御ユニット６０２は、第１撮像装置４００を制御してインテリジェント端末１の位置する周囲環境の第１画像を撮影し、第１慣性センサ７００を制御してインテリジェント端末１のＩＭＵデータを検出するために使用される。
第１計算ユニット６０３は、第１制御ユニット６０２、第１撮像装置４００、第１赤外線センサ２２、第１慣性センサ７００及び第２慣性センサ２３にそれぞれ通信接続される。第１計算ユニット６０３は、第１画像とインテリジェント端末本体のＩＭＵデータを取得し、インテリジェント端末本体のＩＭＵデータ及び第１画像を計算して、インテリジェント端末の空間位置決め情報を生成するために使用される。

具体的には、図８は、図７に示されるハンドヘルドデバイスのインテリジェント端末１の空間位置決め方法のフローチャートを示す。即ち、図７に示されるハンドヘルドデバイスのインテリジェント端末の空間位置決め時の位置決め方法は、図８に示される。インテリジェント端末１の空間位置決め方法は、以下のステップＳ１０１～ステップＳ１０３を含む。
ステップＳ１０１では、機能切り替えモジュール６０１は、インテリジェント端末１がハンドヘルドデバイスハンドル２に通信接続されたという接続情報を受信し、接続情報に基づいて、インテリジェント端末１の機能をハンドヘルドデバイス機能に切り替える。
ステップＳ１０２では、機能切り替えモジュール６０１がインテリジェント端末１をハンドヘルドデバイス機能に切り替えることに成功すると、第１制御ユニット６０２は、インテリジェント端末１に位置する第１撮像装置４００を制御してインテリジェント端末１の位置する周囲環境の第１画像を撮影し、第１慣性センサ７００を制御してインテリジェント端末１のＩＭＵデータを検出する。
第１撮像装置４００は、第１制御ユニット６０２の制御下で、インテリジェント端末１が位置する周囲環境を撮影して第１画像を形成し、第１画像を第１計算ユニット６０３に伝送する。第１慣性センサ７００は、第１制御ユニット６０２の制御下で、インテリジェント端末１のＩＭＵデータを検出し、インテリジェント端末１のＩＭＵデータを第１計算ユニット６０３に伝送する。
ステップＳ１０３では、第１計算ユニット６０３が第１撮像装置４００によって伝送された第１画像、及び第１慣性センサ７００によって伝送されたインテリジェント端末１のＩＭＵデータを受信した後、第１計算ユニット６０３は、インテリジェント端末本体１００のＩＭＵデータ及び第１画像を計算して、インテリジェント端末１の空間位置決め情報を生成する。

第１慣性センサ７００は、インテリジェント端末本体１００のＩＭＵデータを検出するために使用される。ＩＭＵデータとは、３つの回転角度の自由度を意味する。第１慣性センサ７００は、インテリジェント端末１のＩＭＵデータを検出した後、ＩＭＵデータを第１計算ユニット６０３に伝送する。第１計算ユニット６０３は、ＩＭＵデータ、及び第１撮像装置４００によって撮影されたインテリジェント端末１の位置する環境の画像情報又はビデオ情報に基づいて、インテリジェント端末１の空間位置決め情報、つまりインテリジェント端末１の６ＤＯＦデータ（以下、６ＤＯＦデータと略称）を確定することができる、即ち、平行移動自由度と回転自由度に基づいて、６つの角度の自由度を取得することができる。

ステップＳ１０１～ステップＳ１０３によって、インテリジェント端末１の空間位置決めを実現することができる。即ち、インテリジェント端末１に配置された第１慣性センサ７００及び第１撮像装置４００によって、インテリジェント端末１の空間位置決めを実現することができる。

さらに、図９に示すように、主制御チップ６００は、第２制御ユニット６０４と第２計算ユニット６０５をさらに含む。
第２制御ユニット６０４は、機能切り替えモジュール６０１、第１撮像装置４００及び第２慣性センサ２３にそれぞれ通信接続される。第２制御ユニット６０４は、機能切り替えモジュール６０１がインテリジェント端末をハンドヘルドデバイス機能に切り替えた場合、第１撮像装置４００を制御してハンドヘルドデバイスハンドルに位置する第１赤外線センサ２２を撮影し、ハンドヘルドデバイスハンドルに位置する第２慣性センサ２３を制御してハンドヘルドデバイスハンドルのＩＭＵデータを検出するために使用される。
第２計算ユニット６０５は、第１計算ユニット６０３、第２制御ユニット６０４、第１撮像装置４００及び第２慣性センサ２３にそれぞれ通信接続される。第２計算ユニット６０４は、第１計算ユニット６０３によって伝送されたインテリジェント端末１の空間位置決め情報、第１撮像装置４００によって伝送された第１赤外線センサ２２の第１光点画像、及び第２慣性センサ２３によって伝送されたハンドヘルドデバイスハンドルのＩＭＵデータを取得し、インテリジェント端末１の空間位置決め情報、第１光点画像及びハンドヘルドデバイスハンドルのＩＭＵデータを計算して、ハンドヘルドデバイスハンドルの空間位置決め情報を生成するために使用される。

具体的には、図１０は、インテリジェント端末１の空間位置決め方法のフローチャートを示す。即ち、図９に示されるハンドヘルドデバイスにおけるインテリジェント端末の空間位置決め時の位置決め方法は、図１０に示される。インテリジェント端末１の空間位置決め方法は、以下のステップＳ１０４～ステップＳ１０５をさらに含む。
ステップＳ１０４では、第２制御ユニット６０４は、第１撮像装置４００を制御してハンドヘルドデバイスハンドル２に位置する第１赤外線センサ２２を撮影し、ハンドヘルドデバイスハンドル２に位置する第２慣性センサ２３を制御してハンドヘルドデバイスハンドル２のＩＭＵデータを検出する。
第１撮像装置４００は、第２制御ユニット６０４の制御下で、ハンドヘルドデバイスハンドル２の第１赤外線センサ２２を撮影して、第１赤外線センサ２２の第１光点画像を形成する。第２慣性センサ２３は、第２制御ユニット６０４の制御下で、ハンドヘルドデバイスハンドル２のＩＭＵデータを検出し、ハンドヘルドデバイスハンドル２のＩＭＵデータを第１空間位置決めユニット６０６に伝送する。

ステップＳ１０５では、第２計算ユニット６０５は、第１計算ユニット６０３によって伝送されたインテリジェント端末１の空間位置決め情報、第１撮像装置４００によって伝送された第１赤外線センサ２２の第１光点画像、及び第２慣性センサ２３によって伝送されたハンドヘルドデバイスハンドル２のＩＭＵデータを取得し、インテリジェント端末１の空間位置決め情報、第１光点画像及びハンドヘルドデバイスハンドル２のＩＭＵデータを計算して、ハンドヘルドデバイスハンドル２の空間位置決め情報を生成する。つまり、ハンドヘルドデバイスハンドル２の６ＤＯＦデータ（以下、６ＤＯＦデータを略称）、即ち、平行移動自由度及び回転自由度に基づいて、６つの角度の自由度を取得することができる。

ステップＳ１０４～ステップＳ１０５により、ハンドヘルドデバイスハンドル２の空間位置決めを実現することができる。即ち、インテリジェント端末１上の第１撮像装置４００によって撮影されたハンドヘルドデバイスハンドル２上の第１赤外線センサ２２の第１光点画像、及びハンドヘルドデバイスハンドル２に位置する第２慣性センサ２３によって検出されたハンドヘルドデバイスハンドル２のＩＭＵデータに基づいて、ハンドヘルドデバイスハンドル２の空間位置決め情報を確定することができる。

例示的な仮想システム
本発明の第３態様として、本発明はまた、仮想システムを提供する。図１１は、本発明の一実施例によって提供されるハンドヘルドデバイスの動作原理図を示す。図１１に示すように、この仮想システムは、上記のインテリジェント端末１と、仮想頭部装着ディスプレイ機器３１であって、インテリジェント端末１が仮想頭部装着ディスプレイ機器３１本体に着脱可能に取り付けられる仮想頭部装着ディスプレイ機器３１と、仮想操作ハンドル３２と、を含む。仮想操作ハンドル３２は、制御ハンドル３３と、制御ハンドル３３に配置された第２赤外線センサ３４と、制御ハンドル３３に配置され、制御ハンドル３３のＩＭＵデータを測定するための第３慣性センサ３５と、を含む。制御ハンドル３３及び第３慣性センサ３５はそれぞれ主制御チップ６００に通信接続される。

インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられると、機能切り替えモジュール６０１は、インテリジェント端末１の機能を仮想頭部装着ディスプレイ機能に切り替える。このとき、インテリジェント端末１、仮想頭部装着ディスプレイ機器３１及び仮想操作ハンドル３２は仮想システムを構成する。例えば、インテリジェント端末１、ＶＲヘッドセット及びＶＲハンドルはＶＲシステムを構成する。

インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられた後、ユーザーが仮想システムを操作する過程において、インテリジェント端末１及び仮想操作ハンドル３２の両方に対して空間位置決めを行う必要がある。図１２は、本発明の別の実施例によって提供される仮想システムの動作原理図を示す。図１２に示すように、主制御チップ６００は、第３制御ユニット６０７と第３計算ユニット４０８を含む。
第３制御ユニット６０７は、機能切り替えモジュール６０１、第１撮像装置４００及び第１慣性センサ７００にそれぞれ通信接続される。第３制御ユニット６０７は、第１撮像装置４００を制御してインテリジェント端末の位置する周囲環境の第１画像を撮影し、第１慣性センサ７００を制御してインテリジェント端末のＩＭＵデータを検出するために使用される。
第３計算ユニット４０８は、第３制御ユニット４０７、第１撮像装置４００、第１赤外線センサ２２及び第１慣性センサ７００にそれぞれ通信接続される。第３計算ユニット４０８は、第１画像及びインテリジェント端末本体のＩＭＵデータを取得し、インテリジェント端末本体のＩＭＵデータ及び第１画像を計算して、インテリジェント端末の空間位置決め情報を生成するために使用される。

具体的には、図１３は、仮想システムにおけるインテリジェント端末の空間位置決め方法のフローチャートを示す。即ち、図１３は、仮想システムにおけるインテリジェント端末の空間位置決め時の位置決め方法を示す。図１３に示すように、
インテリジェント端末１の空間位置決め方法は、以下のステップＳ２０１～ステップＳ２０３を含む。
ステップＳ２０１では、機能切り替えモジュール６０１は、インテリジェント端末１が仮想頭部装着ディスプレイ機器３１に取り付けられたという取付情報を受信した後、この取付情報に基づいて、インテリジェント端末１の機能を仮想頭部装着ディスプレイ機能に切り替える。
ステップＳ２０２では、機能切り替えモジュール６０１がインテリジェント端末１を仮想頭部装着ディスプレイ機能に切り替えることに成功すると、第３制御ユニット６０７は、インテリジェント端末１に位置する第１撮像装置４００を制御してインテリジェント端末１の位置する周囲環境の第１画像を撮影し、第１慣性センサ７００を制御してインテリジェント端末１のＩＭＵデータを検出する。
第１撮像装置は、第３制御ユニット６０７の制御下で、インテリジェント端末１が位置する周囲環境を撮影して第１画像を形成し、第１画像を第３計算ユニット６０８に伝送する。第１慣性センサ７００は、第３制御ユニット６０７の制御下で、インテリジェント端末１のＩＭＵデータを検出し、インテリジェント端末１のＩＭＵデータを第３計算ユニット６０８に伝送する。
ステップＳ２０３では、第３計算ユニット６０８が第１撮像装置４００によって伝送された第１画像、及び第１慣性センサ７００によって伝送されたインテリジェント端末１のＩＭＵデータを受信した後、第３計算ユニット６０８は、インテリジェント端末本体１００のＩＭＵデータ及び第１画像を計算して、インテリジェント端末１の空間位置決め情報を生成する。

第１慣性センサ７００は、インテリジェント端末本体１００のＩＭＵデータを検出するために使用される。ＩＭＵデータとは、３つの回転角度の自由度を意味する。第１慣性センサ７００は、インテリジェント端末本体１００のＩＭＵデータを検出した後、ＩＭＵデータを第３計算ユニット６０８に伝送する。第３計算ユニット６０８は、ＩＭＵデータ、及び第１撮像装置４００によって撮影されたインテリジェント端末１の位置する環境の画像情報又はビデオ情報に基づいて、インテリジェント端末１の空間位置決め情報、つまりインテリジェント端末１の６ＤＯＦデータ（以下、６ＤＯＦデータと略称）を確定することができる、即ち、平行移動自由度と回転自由度に基づいて、６つの角度の自由度を取得することができる。

ステップＳ２０１～ステップＳ２０３によって、インテリジェント端末１の空間位置決めを実現することができる。即ち、インテリジェント端末１に配置された第１慣性センサ７００及び第１撮像装置４００によって、インテリジェント端末１の空間位置決めを実現することができる。

さらに、図１４は、本発明の別の実施例によって提供される仮想システムの動作原理図を示す。図１４に示すように、主制御チップ６００は、第４制御ユニット６０９と第４計算ユニット６０９１をさらに含む。
第４制御ユニット６０９は、機能切り替えモジュール６０１、第１撮像装置４００、第２赤外線センサ３４及び第３慣性センサ３５にそれぞれ通信接続される。第４制御ユニット６０９は、機能切り替えモジュール６０１がインテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えたとき、第１撮像装置４００を制御して仮想操作ハンドルに位置する第２赤外線センサ３４を撮影し、仮想操作ハンドルに位置する第３慣性センサ３５を制御して仮想操作ハンドルのＩＭＵデータを検出するために使用される。
第４計算ユニット６０９１は、第３計算ユニット６０８、第１撮像装置４００及び第３慣性センサ３５にそれぞれ通信接続される。第４計算ユニット４０９１は、第３計算ユニット６０８によって算出されたインテリジェント端末１の空間位置決め情報、第１撮像装置４００によって伝送された第２赤外線センサ３４の第２光点画像、及び第３慣性センサ３５によって伝送された仮想操作ハンドルのＩＭＵデータを取得し、インテリジェント端末１の空間位置決め情報、第２光点画像及び仮想操作ハンドルのＩＭＵデータを計算して、仮想操作ハンドルの空間位置決め情報を生成するために使用される。

具体的には、図１５は、図１４に示される仮想システムのインテリジェント端末の空間位置決め方法のフローチャートを示す。即ち、図１５は、仮想システムのインテリジェント端末の空間位置決め時の位置決め方法を示す。図１５に示すように、インテリジェント端末１の空間位置決め方法は以下のステップＳ２０４～ステップＳ２０５を含む。
ステップＳ２０４では、第４制御ユニット６０９は、第１撮像装置４００を制御して仮想操作ハンドル３２に位置する第２赤外線センサ３４を撮影し、仮想操作ハンドル３２に位置する第３慣性センサ３５を制御して仮想操作ハンドル３２のＩＭＵデータを検出する。
ステップＳ２０５では、第４計算ユニット６０９１は、第３計算ユニット６０８によって算出されたインテリジェント端末１の空間位置決め情報、第１撮像装置４００によって伝送された第２赤外線センサ３４の第２光点画像、及び第２慣性センサ２３によって伝送された仮想操作ハンドル３２のＩＭＵデータを取得し、インテリジェント端末１の空間位置決め情報、第２光点画像及び仮想操作ハンドル３２のＩＭＵデータを計算して、仮想操作ハンドル３２の空間位置決め情報を生成する。つまり、仮想操作ハンドル３２の６ＤＯＦデータ（以下、６ＤＯＦデータと略称）、即ち、平行移動自由度及び回転自由度に基づいて、６つの角度の自由度を取得することができる。

ステップＳ２０４～ステップＳ２０５により、仮想操作ハンドル３２の空間位置決めを実現することができる。即ち、インテリジェント端末１上の第１撮像装置４００によって撮影された仮想操作ハンドル３２上の第２赤外線センサ３４の第２光点画像、及び仮想操作ハンドル３２に位置する第３慣性センサ３５によって検出されたハンドヘルドデバイスハンドル２のＩＭＵデータに基づいて、仮想操作ハンドル３２の空間位置決め情報を確定することができる。

オプションで、図１６は、本発明の別の実施例によって提供される仮想操作ハンドル３２の構造模式図を示す。図１６に示すように、仮想操作ハンドル３２は、ハンドルケーシング３６をさらに含む。ハンドルケーシング３６は、環形部３６１及び把握部３６２を含む。把握部３６２の中央には、制御ハンドル３３を収容し固定するために凹部が設けられる。

以下、図１７を参照しながら、本発明の実施例による電子機器を説明する。図１７は、本発明の一実施例による電子機器の構造模式図を示す。

図１７に示すように、電子機器９００は、１つ又は複数のプロセッサ９０１及びメモリ９０２を含む。

プロセッサ９０１は、中央処理装置（ＣＰＵ）、あるいはデータ処理能力及び／又は情報実行能力を持つ他の形式の処理装置であってもよく、電子機器９００における他の構成要素を制御して所望の機能を実行することができる。

メモリ９０１は、１つ又は複数のコンピュータプログラム製品を含んでもよい。前記コンピュータプログラム製品は、例えば、揮発性メモリ及び／又は不揮発性メモリなど、様々な形式のコンピュータ読取可能な記憶媒体を含んでもよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリは、例えば、読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ読取可能な記憶媒体には、１つ又は複数のコンピュータプログラム情報が記憶されてもよい。プロセッサ９０１は、前記プログラム情報を実行して、上述した本発明の各実施例のインテリジェント端末の空間位置決め方法又は他の所望の機能を実現することができる。

一例では、電子機器９００はまた、入力装置９０３と出力装置９０４を含んでもよい。これらの構成要素は、バスシステム及び／又は他の形式の接続機構（図示せず）を介して互いに接続される。

この入力装置９０３は、例えば、キーボード、マウスなどを含んでもよい。

この出力装置９０４は、外部に様々な情報を出力することができる。この出力装置９０４は、例えば、ディスプレイ、通信ネットワーク及びそれが接続される遠隔出力機器などを含んでもよい。

当然のことながら、簡単化のために、図１７は、電子機器９００における本発明に関連する構成要素の一部のみを示し、バス、入力／出力インターフェースなどの構成要素を省略している。これに加えて、具体的な応用状況に応じて、電子機器９００は、任意の他の適切な構成要素を含んでもよい。

上記の方法及び機器に加えて、本発明の実施例は、コンピュータプログラム情報を含むコンピュータプログラム製品であってもよい。前記コンピュータプログラム情報は、プロセッサによって実行されると、本明細書に記載の本発明の様々な実施例によるインテリジェント端末の空間位置決め方法のステップを前記プロセッサに実行させる。

前記コンピュータプログラム製品は、１種又は多種のプログラムプログラミング言語の任意の組み合わせで、本発明の実施例の操作を実行するためのプログラムコードを編集することができる。前記プログラミング言語は、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、また、「Ｃ」言語又は類似のプログラミング言語などの手続き型プログラミング言語を含む。プログラムコードは、ユーザー計算機器で完全に実行することができ、ユーザー機器で部分的に実行することができ、独立したソフトウェアパッケージとして実行することができ、一部はユーザー計算機器で一部は遠隔計算機器で実行することができ、あるいは遠隔計算機器又はサーバーで完全に実行することができる。

さらに、本発明の実施例は、コンピュータプログラム情報が記憶されたコンピュータ読取可能な記憶媒体であってもよい。前記コンピュータプログラム情報は、プロセッサによって実行されると、前記プロセッサに、本明細書における本発明の様々な実施例によるインテリジェント端末の空間位置決め方法のステップを実行させる。

前記コンピュータ読取可能な記憶媒体は、１つ又は複数の読取可能な媒体の任意の組み合わせを採用してもよい。読取可能な媒体は、読取可能な信号媒体又は読取可能な記憶媒体であってもよい。読取可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又は上記の任意の組み合わせを含んでもよいが、これらに限定されない。読取可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つ又は複数のリード線を有する通信接続、携帯型ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記の任意の組み合わせを含む。

以上、本発明の基本原理を具体的な実施例と併せて説明したが、本発明で述べた利点、長所、効果などは例示に過ぎず、限定的なものではなく、これらの利点、長所、効果などは、本発明の各実施例に必要なものと考えるべきではないことに留意されたい。また、上記に開示された具体的な詳細は、例示的な目的及び理解を容易にする目的のためのものであって限定するものではなく、上記の詳細は、上記の具体的な詳細を用いて本発明を実施しなければならないことを限定するものではない。

本発明に関わるデバイス、装置、機器、システムのブロック図は、例示的な例に過ぎず、ブロック図に示されるように接続、布置、配置されなければならないことを要求又は暗示することを意図するものではない。当業者が理解するように、これらのデバイス、装置、機器、システムは、任意の方式で接続、布置、配置することができる。「含む」、「包含する」、「有する」などの用語は、「含むが、これに限定されない」という意味の開放式の用語であり、それと互換的に使用することができる。ここで使用される「又は」と「及び」という用語は、文脈上明らかにそうではないことが示されない限り、「及び／又は」という用語を意味し、それと互換的に使用することができる。ここで使用される「など」という用語は、「などであるがそれに限定されない」という語句を意味し、それと互換的に使用することができる。

なお、本発明の装置、機器及び方法では、各部材又は各ステップは、分解及び／又は再結合することができる。これらの分解及び／又は再結合は、本発明の等価物とみなされるべきである。

当業者が本発明を作成又は使用できるように、開示される態様の以上の説明は提供される。これらの態様に対する様々な修正は、当業者には非常に明らかであり、ここで定義された一般的な原理は、本発明の範囲から逸脱することなく他の側面に適用することができる。従って、本発明は、ここで示される態様に限定されることを意図するものではなく、本発明の原理と新規な特徴と一致する最も広い範囲に従うものである。

上述は本発明創造の好適な実施例に過ぎず、本発明創造を限定するものでなく、本発明創造の精神及び原則内に属する限り、行われるすべての修正、同等の置き換えなどは、いずれも本発明創造の保護範囲内に含まれるべきである。

１－インテリジェント端末；１００－インテリジェント端末本体；１０１－第１側面；１０２－第２側面；２００－表示スクリーン；３００－第３撮像装置；４００－第１撮像装置；５００－第２撮像装置；６００－主制御チップ；６０１－機能切り替えモジュール；７００－第１慣性センサ；８００－画像プロセッサ；２０１－輝度コントローラー；６０２－第１制御ユニット；６０３－第１計算ユニット；第２制御ユニット６０４；第２計算ユニット６０５；第３制御ユニット６０７；第３計算ユニット６０８；第４制御ユニット６０９；第４計算ユニット６０９１；
２－ハンドヘルドデバイスハンドル；２２－第１赤外線センサ；２３－第２慣性センサ；２４－コネクタ；２５－多機能押しボタン；２６－機能プロセッサ；３１－仮想頭部装着ディスプレイ機器；３２－仮想操作ハンドル；３３－制御ハンドル；３４－第２赤外線センサ；３５－第３慣性センサ；３６－ハンドルケーシング；３６１－環形部；３６２－把持部；３７－第３赤外線センサ；３８－第４慣性センサ；９００－電子機器；９０１－プロセッサ９０２－メモリ９０３－入力装置；９０４－出力装置

Claims (10)

1. ハンドヘルドデバイスであって、
   インテリジェント端末と、
   前記インテリジェント端末に接続されたハンドヘルドデバイスハンドルと、を含み、
   前記インテリジェント端末は、
   仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、
   前記インテリジェント端末本体の第１側面に配置された表示スクリーンと、
   前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、
   前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、
   前記インテリジェント端末本体の第２側面上に配置された第１撮像装置であって、前記第１側面と前記第２側面は対向する面である第１撮像装置と、
   前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のＩＭＵデータを検出するための第１慣性センサと、を含み、
   前記第１撮像装置及び前記第１慣性センサはそれぞれ前記主制御チップに通信接続され、
   前記ハンドヘルドデバイスハンドルには、第１赤外線センサ及び第２慣性センサが設けられ、前記第２慣性センサは、前記ハンドヘルドデバイスハンドルのＩＭＵデータを検出するために使用され、
   前記第２慣性センサは、前記インテリジェント端末における前記主制御チップに通信接続され、
   前記主制御チップは、第１制御ユニットと、第１計算ユニットと、を含み、
   前記第１制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置及び前記第１慣性センサにそれぞれ通信接続され、前記第１制御ユニットは、前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するために使用され、
   前記第１計算ユニットは、前記第１制御ユニット、前記第１撮像装置、前記第１赤外線センサ、前記第１慣性センサ及び前記第２慣性センサにそれぞれ通信接続され、前記第１計算ユニットは、前記第１画像及び前記インテリジェント端末本体のＩＭＵデータを取得し、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用され、
   前記主制御チップは、第２制御ユニットと、第２計算ユニットと、をさらに含み、
   前記第２制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置及び前記第１慣性センサにそれぞれ通信接続され、前記第２制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末をハンドヘルドデバイス機能に切り替えたとき、前記第１撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第１赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第２慣性センサを制御して前記ハンドヘルドデバイスハンドルのＩＭＵデータを検出するために使用され、
   前記第２計算ユニットは、前記第１計算ユニット、前記第２制御ユニット、前記第１撮像装置及び前記第１慣性センサにそれぞれ通信接続され、前記第２計算ユニットは、前記第１撮像装置によって伝送された前記第１赤外線センサの第１光点画像、及び前記第２慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのＩＭＵデータを取得し、前記第１光点画像、前記ハンドヘルドデバイスハンドルのＩＭＵデータ及び前記インテリジェント端末の空間位置決め情報を計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するために使用される、
   ことを特徴とするハンドヘルドデバイス。
2. 前記インテリジェント端末本体内に配置された輝度コントローラーをさらに含み、
   前記輝度コントローラーは、前記主制御チップ及び前記表示スクリーンにそれぞれ通信接続され、
   前記インテリジェント端末が前記ハンドヘルドデバイス機能から前記仮想頭部装着ディスプレイ機能に切り替えられると、前記輝度コントローラーは、前記表示スクリーンの表示輝度を低下させ、
   前記インテリジェント端末が前記仮想頭部装着ディスプレイ機能から前記ハンドヘルドデバイス機能に切り替えられると、前記輝度コントローラーは、前記表示スクリーンの表示輝度を向上させることを特徴とする、請求項１に記載のハンドヘルドデバイス。
3. 前記インテリジェント端末本体内に配置された画像プロセッサをさらに含み、
   前記画像プロセッサは、前記主制御チップに通信接続され、
   前記画像プロセッサは、前記表示スクリーン上に表示された画像情報に対して非同期スペースワープ、非同期タイムワープ処理及び画像レンダリング処理を行うために使用される、ことを特徴とする請求項１に記載のハンドヘルドデバイス。
4. 前記インテリジェント端末本体の前記第１側面上に配置された第２撮像装置をさらに含み、
   前記第２撮像装置は、前記主制御チップに通信接続される、ことを特徴とする請求項１に記載のハンドヘルドデバイス。
5. 前記第１撮像装置の数は４つであり、４つの前記第１撮像装置は２組の撮像装置組に分けられ、各組の撮像装置組における２つの前記第１撮像装置は、前記インテリジェント端末本体の中心について対称である、ことを特徴とする請求項１に記載のハンドヘルドデバイス。
6. コネクタと、多機能押しボタンと、多機能プロセッサと、をさらに含み、
   前記コネクタは、前記ハンドヘルドデバイスハンドル及び前記インテリジェント端末にそれぞれ通信接続され、
   前記多機能押しボタンは、前記ハンドヘルドデバイスハンドルに配置され、
   前記多機能プロセッサは、前記多機能押しボタン及び前記インテリジェント端末の主制御チップにそれぞれ接続され、前記多機能プロセッサは、ユーザーが前記多機能押しボタンを介して入力した操作命令を受信し、前記操作命令を前記主制御チップに送信するために使用される、ことを特徴とする請求項１に記載のハンドヘルドデバイス。
7. 仮想システムであって、
   インテリジェント端末と、
   仮想頭部搭載表示機器と、
   前記仮想頭部搭載表示機器とともに用いる仮想頭部装着ディスプレイ用ハンドルと、を含み、
   前記インテリジェント端末は前記仮想頭部搭載表示機器の本体に着脱可能に取り付けられ、
   前記インテリジェント端末は、
   仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、
   前記インテリジェント端末本体の第１側面に配置された表示スクリーンと、
   前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、
   前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、
   前記インテリジェント端末本体の第２側面上に配置された第１撮像装置であって、前記第１側面と前記第２側面は対向する面である第１撮像装置と、
   前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のＩＭＵデータを検出するための第１慣性センサと、を含み、
   前記第１撮像装置及び前記第１慣性センサはそれぞれ前記主制御チップに通信接続され、
   前記仮想頭部装着ディスプレイ用ハンドルは、
   制御ハンドルと、
   前記制御ハンドルに配置された第２赤外線センサと、
   前記制御ハンドルに配置され、前記制御ハンドルのＩＭＵデータを測定するための第３慣性センサと、を含み、
   前記制御ハンドル及び前記第３慣性センサはそれぞれ前記主制御チップに通信接続され、
   前記主制御チップは、第３制御ユニットと、第３計算ユニットと、を含み、
   前記第３制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置及び前記第１慣性センサにそれぞれ通信接続され、前記第３制御ユニットは、前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するために使用され、
   前記第３計算ユニットは、前記第３制御ユニット、前記第１撮像装置、前記第２赤外線センサ及び前記第１慣性センサにそれぞれ通信接続され、前記第３計算ユニットは、前記第１画像及び前記インテリジェント端末本体のＩＭＵデータを取得し、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するために使用され、
   前記主制御チップは、第４制御ユニットと、第４計算ユニットと、をさらに含み、
   前記第４制御ユニットは、前記機能切り替えモジュール、前記第１撮像装置、前記第２赤外線センサ及び前記第３慣性センサにそれぞれ通信接続され、前記第４制御ユニットは、前記機能切り替えモジュールが前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えたとき、前記第１撮像装置を制御して前記制御ハンドルに位置する第２赤外線センサを撮影し、前記制御ハンドルに位置する第３慣性センサを制御して前記制御ハンドルのＩＭＵデータを検出するために使用され、
   前記第４計算ユニットは、前記第３計算ユニット、前記第１撮像装置及び前記第３慣性センサにそれぞれ通信接続され、前記第４計算ユニットは、前記第１撮像装置によって伝送された前記第２赤外線センサの第２光点画像、及び第３慣性センサによって伝送された前記制御ハンドルのＩＭＵデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第２光点画像及び前記制御ハンドルのＩＭＵデータを計算して、前記制御ハンドルの空間位置決め情報を生成するために使用される、ことを特徴とする仮想システム。
8. 前記仮想頭部装着ディスプレイ用ハンドルは、ハンドルケーシングをさらに含み、
   前記ハンドルケーシングは、環形部及び把握部を含み、前記把握部の中央には、前記制御ハンドルを収容し固定するために凹部が設けられる、ことを特徴とする請求項７に記載の仮想システム。
9. インテリジェント端末を位置決めするためのインテリジェント端末の空間位置決め方法であって、
   前記インテリジェント端末は、
   仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、
   前記インテリジェント端末本体の第１側面に配置された表示スクリーンと、
   前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、
   前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、
   前記インテリジェント端末本体の第２側面上に配置された第１撮像装置であって、前記第１側面と前記第２側面は対向する面である第１撮像装置と、
   前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のＩＭＵデータを検出するための第１慣性センサと、を含み、
   前記第１撮像装置及び前記第１慣性センサはそれぞれ前記主制御チップに通信接続され、
   前記主制御チップが、前記インテリジェント端末に位置する前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するステップと、
   前記主制御チップが、前記第１撮像装置によって撮影された前記インテリジェント端末の位置する周囲環境の第１画像を取得するステップと、
   前記主制御チップが、前記第１慣性センサによって検出された前記インテリジェント端末本体のＩＭＵデータを取得するステップと、
   前記主制御チップが、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するステップと、を含み、
   前記インテリジェント端末がハンドヘルドデバイスハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、
   前記機能切り替えモジュールが、前記インテリジェント端末をハンドヘルドデバイス機能に切り替えるステップと、
   前記主制御チップが、前記第１撮像装置を制御して前記ハンドヘルドデバイスハンドルに位置する第１赤外線センサを撮影し、前記ハンドヘルドデバイスハンドルに位置する第２慣性センサを制御して前記ハンドヘルドデバイスハンドルのＩＭＵデータを検出するステップと、
   前記主制御チップが、前記第１撮像装置によって伝送された前記第１赤外線センサの第１光点画像、及び前記第２慣性センサによって伝送された前記ハンドヘルドデバイスハンドルのＩＭＵデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第１光点画像及び前記ハンドヘルドデバイスハンドルのＩＭＵデータを計算して、前記ハンドヘルドデバイスハンドルの空間位置決め情報を生成するステップと、さらに含むことを特徴とするインテリジェント端末的空間位置決め方法。
10. インテリジェント端末を位置決めするためのインテリジェント端末の空間位置決め方法であって、
    前記インテリジェント端末は、
    仮想頭部装着ディスプレイ機器又は手持ち機器に着脱可能に取り付けることができるインテリジェント端末本体と、
    前記インテリジェント端末本体の第１側面に配置された表示スクリーンと、
    前記インテリジェント端末本体内に配置され、仮想頭部装着ディスプレイ機能とハンドヘルドデバイス機能との間の前記インテリジェント端末の切り替えを制御するための機能切り替えモジュールと、
    前記インテリジェント端末本体内に配置され、前記機能切り替えモジュールに通信接続された主制御チップと、
    前記インテリジェント端末本体の第２側面上に配置された第１撮像装置であって、前記第１側面と前記第２側面は対向する面である第１撮像装置と、
    前記インテリジェント端末本体に配置され、前記インテリジェント端末本体のＩＭＵデータを検出するための第１慣性センサと、を含み、
    前記第１撮像装置及び前記第１慣性センサはそれぞれ前記主制御チップに通信接続され、
    前記主制御チップが、前記インテリジェント端末に位置する前記第１撮像装置を制御して前記インテリジェント端末の位置する周囲環境の第１画像を撮影し、前記第１慣性センサを制御して前記インテリジェント端末のＩＭＵデータを検出するステップと、
    前記主制御チップが、前記第１撮像装置によって撮影された前記インテリジェント端末の位置する周囲環境の第１画像を取得するステップと、
    前記主制御チップが、前記第１慣性センサによって検出された前記インテリジェント端末本体のＩＭＵデータを取得するステップと、
    前記主制御チップが、前記インテリジェント端末本体のＩＭＵデータ及び前記第１画像を計算して、前記インテリジェント端末の空間位置決め情報を生成するステップと、を含み、
    前記インテリジェント端末が仮想頭部装着ディスプレイ機器に取り付けられ、前記インテリジェント端末が仮想操作ハンドルに通信接続された場合、前記インテリジェント端末の空間位置決め方法は、
    前記機能切り替えモジュールが、前記インテリジェント端末を仮想頭部装着ディスプレイ機能に切り替えるステップと、
    前記主制御チップが、前記第１撮像装置を制御して前記仮想操作ハンドルに位置する第２赤外線センサを撮影し、前記仮想操作ハンドルに位置する第３慣性センサを制御して前記仮想操作ハンドルのＩＭＵデータを検出するステップと、
    前記主制御チップが、前記第１撮像装置によって伝送された前記第２赤外線センサの第２光点画像、及び第３慣性センサによって伝送された前記仮想操作ハンドルのＩＭＵデータを取得し、前記インテリジェント端末の空間位置決め情報、前記第２光点画像及び前記仮想操作ハンドルのＩＭＵデータを計算して、前記仮想操作ハンドルの空間位置決め情報を生成するステップと、をさらに含むことを特徴とするインテリジェント端末の空間位置決め方法。