JP7096369B2

JP7096369B2 - スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体

Info

Publication number: JP7096369B2
Application number: JP2020564920A
Authority: JP
Inventors: 林▲嬋▼ 秦; 琳 ▲劉▼; 通兵黄
Original assignee: Beijing 7Invensun Technology Co Ltd
Current assignee: Beijing 7Invensun Technology Co Ltd
Priority date: 2018-06-06
Filing date: 2019-04-25
Publication date: 2022-07-05
Anticipated expiration: 2039-04-25
Also published as: US11334155B2; CN108732764A; AU2019282933B2; WO2019233210A1; JP2021525036A; AU2019282933A1; EP3805845A1; US20210208675A1; EP3805845A4

Description

本願の実施例は、ウェアラブル端末の技術分野に関し、特に、スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体に関する。

近年、スマートグラスは革新的な製品としてますます多くの人々に利用されていて、各種の分野に応用することが可能である。スマートグラスは、スマートフォンとカメラを一
体に統合して、ユーザの眼球の動き軌跡を追跡して、撮影してアップロードすることや、情報の閲覧、メッセージの受送信、天気や道路状況のクエリ等の操作を完成することができる。

既存のスマートグラスは、ユーザの眼球の動き軌跡を取得する際に、通常基準アイパターンを基礎として、ユーザの眼球の現在位置に対応する動き軌跡を計算する。基準アイパターンは通常、スマートグラスのカメラがユーザの眼球にまっすぐに向かう時に取得される。

発明者は本願を実現するにあたって、既存技術に、ユーザがスマートグラスを着用する時にそのスマートグラスの着用位置にずれが生じ且つユーザが即時に直さないと、基準アイパターンを基礎としてユーザの眼球の動き軌跡を計算して得た結果の精確性と信頼性が低い問題が存在することを見つけた。

本願の実施例によると、ウェアラブルユーザの眼球との基準相対位置を終始保持するようにカメラのずれを補正することで、ウェアラブルユーザの眼球軌跡情報の精確性と信頼性を向上させるスマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体を提供する。
第１態様によると、本願の実施例において、順に接続された第１側のグラスフレーム、メイングラスフレーム、第２側のグラスフレーム、を含み、前記第１側のグラスフレームと前記第２側のグラスフレームはウェアラブルユーザの耳部に着用され、前記メイングラスフレームは前記ウェアラブルユーザの目の前方に支持されるグラスフレームと、
前記メイングラスフレーム上に固定されて前記マイクロコントローラーに接続され、画像を表示するための表示モジュールと、
前記メイングラスフレーム上に設けられて前記マイクロコントローラーに接続され、前記ウェアラブルユーザの眼球画像を取得してマイクロコントローラーに送信するための調整可能なカメラ部品と、
前記グラスフレームの内部に設けられて前記マイクロコントローラーに接続され、姿勢情報と変位情報を含む前記スマートグラスの動き情報を取得して前記マイクロコントローラーに送信するためのセンサーモジュールと、
前記グラスフレームの内部に設けられて、受信した前記動き情報に基づいて前記調整可能なカメラ部品を調整し、受信した前記眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定するためのマイクロコントローラーと、を含むスマートグラスを提供する。

第２態様によると、本願の実施例においてさらに、本願のいずれかの実施例によるスマートグラスに応用される眼球軌跡の追跡方法であって、
マイクロコントローラーが、センサーモジュールから送信された動き情報を受信することと、
前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいてカメラの現在相対位置が前記マイクロコントローラーにより前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたと確定されると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整することと、
前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む眼球軌跡の追跡方法を提供する。

第３態様によると、本願の実施例においてさらに、本願のいずれかの実施例によるマイクロコントローラーに応用される眼球軌跡の追跡装置であって、
センサーモジュールから送信された動き情報を受信するための情報受信手段と、
前記マイクロコントローラーが前記動き情報及び予め設定された調整条件に基づいて、カメラの現在相対位置が前記マイクロコントローラーにより前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整するための位置調整手段と、
前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定するための情報取得手段と、を含む眼球軌跡の追跡装置を提供する。

第４態様による、本願の実施例においてさらに、コンピュータプログラムが記憶されるコンピュータ記憶媒体であって、該プログラムがプロセッサによって実行される時に本願のいずれかの実施例による眼球軌跡の追跡方法を実現するコンピュータ記憶媒体を提供する。
本願の実施例によると、スマートグラスに対応するセンサーモジュールとカメラ部品を設けて、センサーモジュールによってスマートグラスの動き情報を取得して、動き情報に基づいて調整可能なカメラを現在相対位置から基準相対位置に移動するように調整した後、カメラによってウェアラブルユーザの眼球画像を取得して、眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定することで、既存のスマートグラスは着用位置にずれが生じた時にカメラの位置を調整できないために眼球軌跡の計算結果の誤差が大きい問題を解決し、ウェアラブルユーザの眼球との基準相対位置を終始保持するようにカメラのずれを補正することで、ウェアラブルユーザの眼球軌跡情報の精確性と信頼性を向上させる。

本願の実施例１によるスマートグラスの構造を示す図である。本願の実施例１によるスマートグラスの構造を示す図である。本願の実施例２による眼球軌跡の追跡方法を示すフローチャートである。本願の実施例３による眼球軌跡の追跡装置を示す図である。

以下、図面と実施例を結合して本願をさらに詳しく説明するが、ここで説明する具体的な実施例が本願の限定するものではなく、本願を解釈するためのものであることは理解できる。

なお、説明の便宜を図るため、図面には全ての内容を示しているのではなく、本願に関連する部分のみを示している。例示的な実施例を説明する前、一部の例示的な実施例がフローチャートに示す処理または方法として説明されることを明確にしておきたい。フローチャートにおいて各操作（またはステップ）を順序のある処理として説明したが、その中の複数の操作を並列して、同時開始してまたは同時に実施することができる。また、各操作の順を再配置することもできる。その操作を完成すると上記処理を終止することができるが、図面に含まれていない付加ステップを含むこともできる。上記処理は方法、関数、手順、サブルーチン、サブプログラムなどに対応することができる。

実施例１
図１は本願の実施例１によるスマートグラスの構造を示す図で、図１に示すように、該スマートグラスの構造は、
グラスフレーム１０と、表示モジュール２０と、調整可能なカメラ部品３０と、センサーモジュール４０と、マイクロコントローラー５０と、を含み、ここで、グラスフレーム１０は順に接続された第１側のグラスフレーム１１０と、メイングラスフレーム１２０と、第２側のグラスフレーム１３０とを含み、ここで、第１側のグラスフレーム１１０と第２側のグラスフレーム１３０はウェアラブルユーザの耳部に着用され、メイングラスフレーム１２０はウェアラブルユーザの目の前方に支持される。表示モジュール２０は、メイングラスフレーム１２０上に固定され、マイクロコントローラー５０に接続されて画像を表示する。調整可能なカメラ部品３０は、メイングラスフレーム１２０上に設けられてマイクロコントローラー５０に接続され、ウェアラブルユーザの眼球画像を取得してマイクロコントローラー５０に送信する。センサーモジュール４０は、グラスフレーム１０の内部に設けられてマイクロコントローラー５０に接続され、スマートグラスの動き情報を取得してマイクロコントローラー５０に送信する。ここで、動き情報は姿勢情報と変位情報を含む。マイクロコントローラー５０は、グラスフレーム１０の内部に設けられて、受信した動き情報に基づいて調整可能なカメラ部品３０を調整し、受信した眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定する。
本願の実施例において、第１側のグラスフレーム１１０と第２側のグラスフレーム１３０は同性質の側面グラスフレームであり、つまり、第１側のグラスフレーム１１０を第２側のグラスフレーム１３０とすることができれば、第２側のグラスフレーム１３０を第１側のグラスフレーム１１０とすることもできる。側面グラスフレームの内部にセンサーモジュール４０とマイクロコントローラー５０を装着することができる。表示モジュール２０は画像情報を表示することができ、ここで、画像情報は仮想画像と拡張現実の画像等を含むがこれらに限定されることはない。また、表示モジュール２０は、表示レンズの形態で画像情報を表示することができれば、電子表示投影の形態で画像情報を表示することもでき、本願の実施例においては限定しない。調整可能なカメラ部品３０は、メイングラスフレーム１２０上に設けられるとともに、グラスフレーム１０の内部のマイクロコントローラー５０に接続される。なお、調整可能なカメラ部品３０は、第１側のグラスフレーム１１０（または第２側のグラスフレーム１３０）上に設けられることもでき、つまり、調整可能なカメラ部品３０の装着位置は実際に需要に応じて設置することができ、本願の実施例においては限定しない。また、メイングラスフレーム１２０の表示モジュール２０に対応する上方位置（または第１側のグラスフレーム１１０と第２側のグラスフレーム１３０）に２セットの調整可能なカメラ部品３０が対称に設けられて、それぞれウェアラブルユーザの眼球軌跡（注視点と注視方向を含む）の追跡と外部画像の取得に用いられる。ウェアラブルユーザの眼球軌跡を追跡する必要がない場合、ウェアラブルユーザの視線を遮断することを防止するため、調整可能なカメラ部品３０を表示モジュールの外部へ調整することもできる。センサーモジュール４０は、メイングラスフレーム１２０の内部に設けられてスマートグラスの動き情報を取得することができ、例えば、ウェアラブルユーザの頭部が直立されている時、スマートグラスの着用位置が基準着用位置であれば、センサーモジュールにより取得される動き情報は変位が０であり、変位角が０である。ここで、基準着用位置において表示モジュールは鉛直中心線が鉛直方向と重なり、且つウェアラブルユーザの眼球と所定の距離（カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得した）だけ離れている。ウェアラブルユーザがスマートグラスを着用し始める時にスマートグラスが基準着用位置を自動に取得することができ、且つ異なるウェアラブルユーザがスマートグラスを使用する時及びウェアラブルユーザがスマートグラスを使用するたびに基準着用位置が一致しないことができる。基準着用位置を確定した後、すぐにウェアラブルユーザの眼球に対する調整可能なカメラ部品３０中のカメラの基準相対位置を取得することができる。また、本願の実施例におけるセンサーモジュール４０によって取得したデータをウェアラブルユーザの体感ゲームに応用することが可能である。マイクロコントローラー５０は、センサーモジュール４０から送信された動き情報に基づいて、スマートグラスが基準着用位置から離れた具体的な状況を分析し、調整可能なカメラ部品３０を現在位置から基準相対位置に調整する。同時に、マイクロコントローラー５０はさらに、調整可能なカメラ部品３０から送信されたウェアラブルユーザの眼球画像を受信して、取得した眼球画像に基づいて、ウェアラブルユーザの注視点と注視方向を確定する。
本願の実施例におけるスマートグラスの動作原理は、スマートグラスに設けられたセンサーモジュールによってスマートグラスの動き情報を取得し、動き情報に基づいて、スマートグラスの現在着用位置が基準着用位置からずれた具体的な状況を確定し、スマートグラス中のマイクロコントローラーはスマートグラスの動き情報に基づいて、現在位置から基準相対位置に調整された後にウェアラブルユーザの眼球を追跡するように調整可能なカメラ部品を制御し、調整可能なカメラ部品は取得された眼球画像をマイクロコントローラーに送信し、マイクロコントローラーは受信した眼球画像に基づいてウェアラブルユーザの注視点と注視方向を分析する。

本願の実施例によると、スマートグラスに対応するセンサーモジュールとカメラ部品を設けて、センサーモジュールによってスマートグラスの動き情報を取得し、動き情報に基づいて調整可能なカメラを現在相対位置から基準相対位置に移動するように調整した後、カメラによってウェアラブルユーザの眼球画像を取得し、眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定することで、既存のスマートグラスは着用位置にずれが生じた時にカメラの位置を調整できないために眼球軌跡の計算結果の誤差が大きい問題を解決し、ウェアラブルユーザの眼球との基準相対位置を終始保持するようにカメラのずれを補正することで、ウェアラブルユーザの眼球軌跡情報の精確性と信頼性を向上させる。
図１に示すように、本願の一代替実施例において、調整可能なカメラ部品３０は、カメラ３１０と、移動ロッド３２０と、回転軸３３０と、を含み、カメラ３１０は回転軸３３０上に装着されてウェアラブルユーザの眼球画像を取得する。回転軸３３０は移動ロッド３２０の一端に固定されてカメラ３１０の撮像角度を調整する。移動ロッド３２０は、第１側のグラスフレーム１１０に接続されてカメラ３１０の位置を調整する。
本願の実施例において、カメラ３１０に対応する移動ロッド３２０と回転軸３３０を配置して調整可能なカメラ部品３０を構成することができる。ここで、移動ロッド３２０によって上下左右方向の移動を実現し、カメラ３１０は回転軸３３０を中心として円周回転を実現することができる。このように、移動ロッド３２０と回転軸３３０の組み合わせによって、カメラ３１０がウェアラブルユーザの眼球の位置に対して有効な調整を実現できる。

本願の一代替実施例において、センサーモジュールは、姿勢センサーと動きセンサーとを含む。

本願の実施例において、センサーモジュールはスマートグラスの動き情報を取得するために設けられるものであるため、具体的に、センサーモジュールとして姿勢センサーと動きセンサーを用いることができる。ここで、姿勢センサーはスマートグラスの姿勢（すなわち、偏向角度）を取得することができ、動きセンサーはスマートグラスの変位を取得することができる。本願の実施例において、例えばジャイロスコープ等のスマートグラスの姿勢情報を取得可能なセンサーであればいずれも姿勢センサーとすることができ、スマートグラスの変位情報を取得可能なセンサーであればいずれも動きセンサーとすることができ、姿勢センサーと動きセンサーの具体的なモデルを限定しない。また、動きセンサーの替わりに距離計測センサーを用いて、カメラとウェアラブルユーザの眼球との間の距離を取得してカメラのウェアラブルユーザの眼球に対する変位情報を取得することができる。
図２は本願の実施例１によるスマートグラスの構造を示す図で、図２に示すように、本願の一代替実施例において、センサーモジュールは、第１センサーモジュール４１０と第２センサーモジュール４２０とを含み、ここで、第１センサーモジュール４１０はグラスフレームを接続する接続ベルト６０上に設けられてウェアラブルユーザの頭部の動き情報を取得し、第２センサーモジュール４２０はメイングラスフレーム１２０の内部に設けられてスマートグラスの動き情報を取得する。

発明者は本願を実現するにあたって、ウェアラブルユーザがスマートグラスの使用中に頭部の姿勢を終始不変に保持すれば、この時センサーモジュールによって取得される動き情報がウェアラブルユーザの頭部に対するスマートグラスの相対動き情報であるため、スマートグラスの位置が基準着用位置からずれても、一つのセンサーモジュールのみでスマートグラス中のカメラ位置を調整可能であることを見つけた。ウェアラブルユーザがスマートグラスの使用中に頭部の位置と頭部に対するスマートグラスの位置がいずれも変更されると、この時に一つのセンサーモジュールではウェアラブルユーザの頭部に対するスマートグラスの相対位置情報を取得することができなくなる。当該問題を解決するために、スマートグラスの包帯に第２センサーモジュールをさらに設ける。スマートグラスの包帯はウェアラブルユーザの頭部の一つの箇所に固定されることができるので、包帯の内部に位置する第２センサーモジュールとウェアラブルユーザの頭部との相対位置は変更されず、ウェアラブルユーザの頭部の動き情報を正確に取得することができる。そして、メイングラスフレーム内に設けられた第１センサーモジュールによって、スマートグラスの絶対動き情報を取得した後、ウェアラブルユーザの頭部の動き情報を結合するとウェアラブルユーザ頭部に対するスマートグラスの相対動き情報を取得することができ、さらにカメラの現在位置状況を結合して、ウェアラブルユーザの眼球に対するカメラの相対動き情報を取得する。最後に、ウェアラブルユーザの眼球に対するカメラの相対動き情報に基づいて、基準相対位置でウェアラブルユーザの眼球を追跡するようにカメラの位置を調整する。
本願の一代替実施例において、スマートグラスは無線受送信手段をさらに含み、無線受送信手段はグラスフレームの内部に設けられてマイクロコントローラーに接続され、外部の電子機器と無線通信を行う。

無線受送信手段は、ブルートゥース（登録商標）手段、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ：忠実な無線通信環境）手段及び他のタイプの無線通信手段等であることが可能である。外部の電子機器はスマートフォン、タブレットＰＣ、ノートパソコンまたはデスクトップパソコン等の写真を受信できる各種の電子機器であることが可能である。

実施例２
図３は本願の実施例２による眼球軌跡の追跡方法を示すフローチャートであり、本願のいずれかの実施例によるスマートグラスに適用される。本実施例を、カメラを現在位置から基準相対位置に調整する場合に応用することができ、該方法を眼球軌跡の追跡装置によって実行することができ、該装置をソフトウェア及び/またはハードウェアの形態で実現することができ、対応して、図３に示すように、該方法は以下の操作を含む。
マイクロコントローラーが、センサーモジュールから送信された動き情報を受信する（Ｓ２１０）。
ここで、動き情報は、姿勢情報と変位情報を含む。スマートグラスは、一つまたは二つのセンサーモジュールを用いて動き情報を取得することができる。
前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいて、カメラの現在相対位置が前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整する（Ｓ２２０）。
ここで、基準相対位置は、マイクロコントローラーによりカメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得される。予め設定された調整条件は、カメラが基準相対位置からずれた範囲であることができ、例えばカメラの現在相対位置の基準相対位置からのずれが２ｃｍ以下である。

本願の実施例において、スマートグラスが着用中に基準着用位置からずれたと、この時カメラの基準相対位置もそれに応じてずれる。ずれが生じたカメラの位置を即時に調整しなければ、それによって取得されるウェアラブルユーザの眼球画像に間違いが発生する恐れがある。例えば、スマートグラスとカメラの位置がいずれも下方へ０.５ｃｍずれ、同時にウェアラブルユーザの眼球が下方へ注視し、注視点も下方へ０.５ｃｍ移動していると、スマートグラス中のマイクロコントローラーは、カメラの現在位置で取得した眼球画像に基づいてウェアラブルユーザの眼球の注視点と注視方向を判定して移動しない。実はウェアラブルユーザの眼球が下方に移動していて、このように、スマートグラスが追跡したウェアラブルユーザの眼球軌跡結果に大きい誤差が生じる。よって、該問題を解決するため、スマートグラス中のマイクロコントローラーは、動き情報及び予め設定された調整条件に基づいてカメラの現在相対位置がカメラの基準相対位置からずれたと確定すると、動き情報に基づいて、現在相対位置から基準相対位置に調整されるようにカメラを制御して、位置ずれによる計算誤差及びそれによる眼球軌跡の追跡結果の間違いを回避する。

なお、動き情報に基づいて現在相対位置から基準相対位置に調整されるようにカメラを制御する場合、予め設定された調整条件を満たさなければならない。カメラの現在相対位置が基準相対位置からずれた範囲が大きすぎると、例えばスマートグラス全体の変位が下方へ５ｃｍ移動し、角度が３０°偏向していると、この時、ウェアラブルユーザは着用効果が劣化したことを明確に感じて、スマートグラスの着用位置を自動に調整することになる。よって、予め設定された調整条件を、ウェアラブルユーザの快適な着用位置範囲に応じて設定することができ、スマートグラスの着用位置が予め設定された調整条件を満たさないと、ウェアラブルユーザに警報情報を発して、手動で着用位置を調整するようにウェアラブルユーザに通知した後、マイクロコントローラーによりカメラを制御して基準相対位置に調整することができる。

前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定する（Ｓ２３０）。

対応して、カメラが基準相対位置に調整された後、取得されるウェアラブルユーザの眼球画像は、ウェアラブルユーザの注視点と注視方向を精確に計算するに用いられて、精確性と信頼性が高い眼球軌跡を得ることが可能になる。

本願の一代替実施例において、前記動き情報は前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報とを含む。前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することは、前記マイクロコントローラーによって前記ウェアラブルユーザの頭部の動き情報が基準頭部動き情報に合致しないと検出されると、前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報に基づいて、前記スマートグラスの相対動き情報を確定することと、前記相対動き情報及び予め設定された調整条件に基づいて、前記カメラの現在相対位置が前記カメラの基準相対位置からずれたと確定された場合、前記相対動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することと、を含む。
本願の実施例において、スマートグラスに一つのセンサーモジュールのみを用いた場合、マイクロコントローラーが受信する動き情報がウェアラブルユーザの頭部に対するスマートグラスの相対動き情報である。スマートグラスに二つのセンサーモジュールを用いた場合、マイクロコントローラーは二つの動き情報に基づいてウェアラブルユーザの頭部に対するスマートグラスの相対動き情報を計算することができる。例えば、センサーモジュールによって取得されたウェアラブルユーザの頭部の動き情報が下方への３０°偏向で、スマートグラスの動き情報が下方への４５°偏向であれば、ウェアラブルユーザの頭部に対するスマートグラスの相対動き情報は下方への１５°偏向である。この時、カメラを現在位置から上方へ１５°回転させるとカメラを基準相対位置に調整することができる。

本願の一代替実施例において、前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得したウェアラブルユーザの眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定することは、前記カメラが前記基準相対位置で撮像した現在位置アイパターンを取得することと、前記現在位置アイパターン中の瞳孔中心位置を現在の瞳孔中心位置とすることと、前記現在の瞳孔中心位置と前記ウェアラブルユーザの基準瞳孔中心位置に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む。

具体的に、ウェアラブルユーザの注視点と注視方向を判断する際、カメラによってウェアラブルユーザの眼球の現在位置アイパターンを撮像し、現在位置アイパターン中の瞳孔中心位置を取得し、現在位置アイパターン中の瞳孔中心位置を現在の瞳孔中心位置とし、現在の瞳孔中心位置を注視点として、基準瞳孔中心位置と比較して、ウェアラブルユーザの注視点と注視方向を確定する。

なお、本願の実施例において、カメラによってウェアラブルユーザの眼球が現在位置にある時に撮像した現在位置アイパターンを取得する前さらに、カメラがウェアラブルユーザの眼球にまっすぐに向かう時に撮像した基準アイパターンを予め取得し、基準アイパターン中の瞳孔中心位置をウェアラブルユーザの基準瞳孔中心位置とすることができる。ここで、基準アイパターンとは、ウェアラブル端末におけるカメラがウェアラブルユーザの眼球にまっすぐに向かう時に撮像した目の写真を指し、基準アイパターンにおいてウェアラブルユーザの眼球の瞳孔中心位置は通常基準アイパターンの中心位置に位置する。

対応して、現在の瞳孔中心位置を取得した後、基準瞳孔中心位置と比較して、現在の瞳孔中心位置と基準瞳孔中心位置との間の相対距離と相対方向を確定することができる。その後、現在の瞳孔中心位置と基準瞳孔中心位置との間の相対距離及び相対方向と基準瞳孔中心位置とに基づいて、ウェアラブルユーザの注視点と注視方向を確定する。例えば、ウェアラブルユーザの表示モジュールでの注視点と注視方向を確定する際、基準瞳孔中心位置が画像の中心に位置し、現在の瞳孔中心位置が画像の中心の真上１ｃｍに位置すれば、表示モジュールの中心位置の真上１ｃｍでの点を注視点とすることができる。同時に、注視点を確定した後、注視方向は表示モジュールの中心位置と注視点位置との間の連結線方向であり、すなわち真上である。ウェアラブルユーザの実環境での注視点と注視方向を確定する際、カメラ部品によってウェアラブルユーザの基準アイパターンと現在位置アイパターンを取得し、他のセンサーと協同してウェアラブルユーザの視線方向を計算し、空間において視線方向で一番目に接する物体または平面に投影した場合の交点を注視点とすることができる。本願の実施例において、瞳孔中心位置によって、ウェアラブルユーザの注視点と注視方向を精確且つ迅速に確定することができる。

なお、本願の実施例中のカメラは可視光カメラ、赤外線熱画像カメラまたは他のタイプのカメラ等であることができる。また、カメラによって撮像したアイパターンにおいて瞳孔中心位置を確定しその結果に基づいてウェアラブルユーザの注視点と注視方向を確定することは成熟した既存技術であるため、本願の実施例においては詳しく説明しない。

本願の実施例によると、マイクロコントローラーによって受信された動き情報及び予め設定された調整条件に基づいてカメラの現在相対位置がカメラの基準相対位置からずれたと確定されると、動き情報に基づいて、現在相対位置から基準相対位置に移動するようにカメラを調整し、カメラが基準相対位置にある時に取得したウェアラブルユーザの眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定することで、既存のスマートグラスは着用位置にずれが生じた時にカメラの位置を調整できないために眼球軌跡の計算結果の誤差が大きい問題を解決し、ウェアラブルユーザの眼球との基準相対位置を終始保持するようにカメラのずれを補正することで、ウェアラブルユーザの眼球軌跡情報の精確性と信頼性を向上させる。

実施例３
図４は本願の実施例３による眼球軌跡の追跡装置を示す図であって、本実施例をカメラを現在位置から基準相対位置に調整する場合に応用することができ、図４に示すように、前記装置は、情報受信手段５１０と、位置調整手段５２０と、情報取得手段５３０と、を含む。
情報受信手段５１０は、センサーモジュールから送信された動き情報を受信する。
位置調整手段５２０は、前記マイクロコントローラーが前記動き情報及び予め設定された調整条件に基づいてカメラの現在相対位置が前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整する。ここで、前記基準相対位置は、前記マイクロコントローラーによって、前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得される。
情報取得手段５３０は、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定する。

あるいはまた、前記動き情報は前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報を含む。位置調整手段５２０はさらに、前記マイクロコントローラーによって前記ウェアラブルユーザの頭部の動き情報が基準頭部動き情報に合致しないと検出されると、前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報に基づいて、前記スマートグラスの相対動き情報を確定し、また、前記相対動き情報及び予め設定された調整条件に基づいて、前記カメラの現在相対位置が前記カメラの基準相対位置からずれたと確定された場合、前記相対動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整する。

あるいはまた、情報取得手段５３０はさらに、前記カメラが前記基準相対位置で撮像した現在位置アイパターンを取得し、前記現在位置アイパターン中の瞳孔中心位置を現在の瞳孔中心位置とし、前記現在の瞳孔中心位置と前記ウェアラブルユーザの基準瞳孔中心位置に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定する。

上記眼球軌跡の追跡装置は、本願のいずれかの実施例による眼球軌跡の追跡方法を実行することができ、方法を実行するための対応する機能手段や有益な効果を有する。本実施例において詳細に説明していない部分については本願のいずれかの実施例による眼球軌跡の追跡方法の部分を参照することができる。

実施例４
本願の実施例４においてさらにコンピュータプログラムが記憶されるコンピュータ記憶媒体を提供し、前記コンピュータプログラムがコンピュータプロセッサによって実行される時に、本願の上記実施例のいずれかに記載の眼球軌跡の追跡方法を実現する。すなわち、マイクロコントローラーがセンサーモジュールから送信された動き情報を受信することと、前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいて、カメラの現在相対位置が前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することと、ここで、前記基準相対位置は、マイクロコントローラーにより前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得され、前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を実行する。

本願の実施例のコンピュータ記憶媒体として、一つまたは複数のコンピュータ読み取り可能な媒体の任意の組み合わせを用いることができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であることができる。コンピュータ読み取り可能な記憶媒体としては、電気、磁気、光、電磁、赤外線または半導体のシステム、装置または素子またはこれらの任意の組み合わせが挙げられるが、これらに限定されることがない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（これらに限定されない）は、一つまたは複数のリードを有する電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ：ＲＯＭ）、書き込み・消去可能なＲＯＭ（（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ：ＥＰＲＯＭ）またはフラッシュメモリ）、光ファイバー、コンパクトディスク読み取り専用メモリー（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置またはこれらの任意の適切な組み合わせを含む。本願において、コンピュータ読み取り可能な記憶媒体は、プログラムを含むまたは記憶する任意の有形の媒体であることができ、該プログラムは命令によってシステム、装置または素子として使用されるか、またはそれに結合した使用される。

コンピュータ読み取り可能な信号媒体は、ベースバンドにて伝播されるデータ信号またはキャリアの一部として伝播されるデータ信号を含み、その中にはコンピュータ読み取り可能なプログラムコードが含まれる。このような伝播されるデータ信号は各種の形式であることができ、電磁信号、光信号またはこれらの任意の適切な組み合わせを含むがこれらに限定されることはない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であることができ、該コンピュータ読み取り可能な媒体は、命令によってシステム、装置または素子として使用したりまたはこれらと結合して使用されるプログラムを送信、伝播または転送することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードを、無線、ワイヤー、光ケーブル、無線周波数（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ：ＲＦ）等等またはこれらの任意の適切な組み合わせを含む媒体で転送することができるが、これらに限定されることはない。

本願を実行するためのコンピュータプログラムコードを１種または複種類のプログラミング言語またはその組み合わせによって記述し、前記プログラミング言語は、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語を含み、例えば「Ｃ」言語または類似するプログラミング言語等の通常の手続き型プログラミング言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行されることができれば、ユーザコンピュータで一部実行されることもでき、独立したソフトウェアパケットして実行されることができれば、一部はユーザコンピュータで実行され一部はリモートコンピュータで実行されることもでき、または完全にリモートコンピュータまたはサーバで実行されることもできる。リモートコンピュータに係わっている場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のネットワークを介してユーザコンピュータに接続されるか、または外部のコンピュータ（例えば、インターネット事業者が提供したインターネットをかいして接続される）に接続されることができる。

以上は、本願の好適な実施例及び用いられる技術原理にすぎない。本願はここで説明した特定の実施例に限定されず、本願の保護範囲内で各種の明確な変更、再度調整と入れ替えが可能であることを当業者は理解できる。従って、上記実施例によって本願を詳しく説明したが、本願は上記実施例に限定されず、本願の構想を離脱せずにさらに多い他の等価実施例を含み、本願の保護範囲は特許請求の範囲によって定義される。

本願の実施例による方案はウェアラブル端末の技術分野に応用可能であり、本願の実施例において、スマートグラスに対応するセンサーモジュールとカメラ部品を設けて、センサーモジュールによってスマートグラスの動き情報を取得して、動き情報に基づいて調整可能なカメラを現在相対位置から基準相対位置に移動するように調整した後、カメラによってウェアラブルユーザの眼球画像を取得して、眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定することで、ウェアラブルユーザの眼球との基準相対位置を終始保持するようにカメラのずれを補正して、ウェアラブルユーザの眼球軌跡情報の精確性と信頼性を向上させる。

Claims

スマートグラスであって、
グラスフレームと、表示モジュールと、調整可能なカメラ部品と、センサーモジュールと、マイクロコントローラーとを、含み、
前記グラスフレームは、順に接続された第１側のグラスフレーム、メイングラスフレーム、および第２側のグラスフレーム、を含み、前記第１側のグラスフレームと前記第２側のグラスフレームはウェアラブルユーザの耳部に着用され、前記メイングラスフレームは前記ウェアラブルユーザの目の前方に支持され、
前記表示モジュールは、前記メイングラスフレームに固定されて前記マイクロコントローラーに接続され、画像を表示するように構成され、
前記調整可能なカメラ部品は、前記メイングラスフレームに設けられて前記マイクロコントローラーに接続され、前記ウェアラブルユーザの眼球画像を取得して前記マイクロコントローラーに送信するように構成され、
前記のセンサーモジュールは、前記グラスフレームの内部に設けられて前記マイクロコントローラーに接続され、姿勢情報と変位情報を含む前記スマートグラスの動き情報を取得して前記マイクロコントローラーに送信するように構成され、
前記マイクロコントローラーは、前記グラスフレームの内部に設けられて、受信した前記動き情報に基づいて前記調整可能なカメラ部品を調整し、受信した前記眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定するように構成され、
前記調整可能なカメラ部品は、カメラと、移動ロッドと、回転軸とを、含み、
前記カメラは、前記回転軸に装着されて、前記ウェアラブルユーザの前記眼球画像を取得するように構成され、
前記回転軸は、前記移動ロッドの一端に固定されて、前記カメラの撮像角度を調整するように構成され、
前記移動ロッドは、前記第１側のグラスフレームに接続されて、前記カメラの位置を調整するように構成され、
前記動き情報に基づいて前記調整可能なカメラを現在相対位置から基準相対位置に移動するように調整する、スマートグラス。
前記センサーモジュールが、姿勢センサーと動きセンサーとを含む請求項１に記載のスマートグラス。
前記センサーモジュールが、
前記グラスフレームを接続する接続ベルトに設けられており、前記ウェアラブルユーザの頭部の動き情報を取得するように構成される第１センサーモジュールと、
前記メイングラスフレームの内部に設けられており、前記スマートグラスの動き情報を取得するように構成される第２センサーモジュールと、
を含む請求項２に記載のスマートグラス。
前記グラスフレームの内部に設けられて前記マイクロコントローラーに接続され、外部の電子機器と無線通信を行うように構成される無線受送信手段をさらに含む請求項１に記載のスマートグラス。
請求項１乃至４のうちのいずれか一項に記載のスマートグラスに応用される眼球軌跡の追跡方法であって、
前記マイクロコントローラーが、前記センサーモジュールから送信された動き情報を受信することと、
前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいて前記カメラの現在相対位置が前記マイクロコントローラーにより前記カメラが前記ウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたと確定されると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整することと、
前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの前記眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む眼球軌跡の追跡方法。
前記動き情報が、前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報を含み、
前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することは、
前記マイクロコントローラーによって前記ウェアラブルユーザの頭部の動き情報が基準頭部動き情報に合致しないことを検出する場合、前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報に基づいて、前記スマートグラスの相対動き情報を確定することと、
前記相対動き情報及び予め設定された調整条件に基づいて、前記カメラの前記現在相対位置が前記カメラの前記基準相対位置からずれたと確定した場合、前記相対動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することと、を含む請求項５に記載の方法。
前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの前記眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定することは、
前記カメラが前記基準相対位置で撮像した現在位置アイパターンを取得することと、
前記現在位置アイパターン中の瞳孔中心位置を現在の瞳孔中心位置とすることと、
前記現在の瞳孔中心位置と前記ウェアラブルユーザの基準瞳孔中心位置に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む請求項５に記載の方法。
請求項１乃至４の中のいずれか一項に記載の前記マイクロコントローラーに応用される眼球軌跡の追跡装置であって、
前記センサーモジュールから送信された動き情報を受信するための情報受信手段と、
前記マイクロコントローラーが前記動き情報及び予め設定された調整条件に基づいて、前記カメラの現在相対位置が前記マイクロコントローラーにより前記カメラが前記ウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたことを確定する場合、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整するための位置調整手段と、
前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの前記眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定するための情報取得手段と、を含む眼球軌跡の追跡装置。
コンピュータプログラムが記憶されるコンピュータ記憶媒体であって、該プログラムがプロセッサによって実行される時に請求項６または７に記載の眼球軌跡の追跡方法を実現するコンピュータ記憶媒体。