JP7258084B2 - データキャプチャ及び送信のコンプライアンスを強制するための視野（ｆｏｖ）及びキーコードで制限された拡張現実 - Google Patents

Description

［関連出願への相互参照］
この出願は、2017年10月20日に出願された「Field of View (FOV) Restriction Techniques and Key Control for Augmented Reality (AR) Data Transmission Compliance」という名称の米国仮出願第62/575,204号に対する35 U.S.C. 119(e)における優先権の利益を主張し、この全内容を参照により援用する。

［技術分野］
本発明は、拡張現実(AR:Augmented Reality)に関し、より詳細には、制約された環境のデータキャプチャ及び送信のコンプライアンスにおける安全なユーザ相互作用のための視野(FOV:Field of View)及びキーコードで制限されたARの分野に関する。

拡張現実(AR)は、環境における周囲のオブジェクトに重ねられて位置合わせされるような三次元(3D)ビデオグラフィックス又は他のメディアの生成を示す。ARシステムは、Azumaらにより「実世界と同じ空間内に共存するように見える仮想(コンピュータ生成)オブジェクトで実世界を補完する」システムとして正式に定義されている。これらのシステムは、(1)実環境において実オブジェクトと仮想オブジェクトとを組み合わせる、(2)インタラクティブにリアルタイムで実行する、(3)実オブジェクトと仮想オブジェクトを互いに位置合わせ(位置調整)する、という3つの定義特性を有する。R. Azuma et al. 「Recent Advances in Augmented Reality」, IEEE Computer Graphics and Applications, 21(6), 2001, pp. 34-37及びS. Henderson et al. 「Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret」, IEEE International Symposium on Mixed and Augmented Reality 2009 Science and Technology Proceedings 19-22 October, Orlando, Floridaを参照する。

ユーザが腕の長さでオブジェクトを手動で操作するタスクにARを適用することは、ユーザが、別の紙又は電子的命令を参照する必要もなく、或いは、当該分野の専門家からユーザに命令させる必要もなく、ユーザがこれらのタスクのために訓練され、実行中に積極的に支援されることを可能にし得る。ハンドジェスチャ並びに他のテキスト、形状及びオーディオの命令は、関心のオブジェクトに重ねられて位置合わせされることができる。命令及び支援をタスクドメイン内に直接組み込み、ユーザが見て操作しているオブジェクトを直接参照することは、作業者がタスクとその別の文書との間で注目の焦点を絶えず切り替える現在の必要性を除去し得る。このようなARシステムは、産業用機器又は武器システムを組み立て、保守又は修理するため、患者に対する医療処置を実施するため、戦傷者を再訓練するため、脳卒中者を再訓練するため、サービスペットを指導するため、傷病者が制限されているがより現実的な部分的体験でスポーツに「参加」することを可能にするため、工場検査を支援するため、医学生の訓練において医師を支援するため等に使用され得る。

XMReality Inc.は、拡張現実プラットフォームを中心とした遠隔専門家ガイダンスのための解決策を提供し、当該解決策では、「ガイド(guide)」が遠隔の「フォロア(follower)」に対して機器を組み立て、保守又は修理するように命令する。いくつかの業界では、「ガイド」の好ましい定義は「専門家(expert)」であり、「フォロア」の好ましい定義は「現場技術者(field technician)」である。XMRealityソフトウェアを実行するXMServerは、2つのクライアント(例えば、専門家及び現場技術者)の間の接続「ハンドシェイク」を担う。現場技術者は、ビデオゴーグルを着用するか、或いは、ビデオカメラとディスプレイとの双方を含みXMRealityソフトウェアを実行するタブレット又は携帯電話のようなハンドヘルドユニットを保持する。現場技術者は、カメラをシーン内のオブジェクトに向け、ビデオ信号をキャプチャして遠隔専門家への通信リンク上で送信する。専門家は、XMRealityソフトウェアを実行しているコンピュータワークステーション又はビデオゴーグル上でビデオ信号を見ることができる。ビデオ信号に応じて、専門家は、オブジェクトを直接或いはツールを介して操作するためにハンドジェスチャを実行する。これらのハンドジェスチャはキャプチャされ、コンピュータで生成された手の重ね合わせは現場技術者に返信され、これらが現場技術者のディスプレイにおいて位置合わせされて重ねられ(拡張され)、アクション又は方法を説明するのを助ける。更なるテキスト情報又はオーディオ情報も同様に、ディスプレイ上に生成されて重ねられてもよい。XMReality 4.4 Manual, 2015を参照する。

一意に容易に識別可能なサインを有する「ソース」としても知られる人工の「マーカ」は、ユーザ、オブジェクト又はシーンに配置され、様々な目的のために使用される。これらのマーカは、特定のオブジェクトを識別及び特定するため、コンピュータで生成されたメディアの表示をトリガーするため、或いはユーザの位置及び姿勢を決定するために使用される。Henderson et al; J. Molineros et al. 「Computer Vision for Guiding Manual Assembly」, Proceedings of the 4th IEEE International Symposium on Assembly and Task Planning, Soft Research Park, Fukuoka, Japan May 28-19, 2001、D. Reiners et al. 「Augmented Reality for Construction Tasks: Doorlock Assembly」, 1rst International Workshop on Augmented Reality (IWAR ’98), San Francisco, Nov. 1998 pp, 31-46及び「Industrial Augmented Reality」という名称の米国特許第7,126,558号を参照する。

現在ARアプリケーションに利用可能なビデオカメラは、カメラの本来のFOVに対応する約100度の最大視野(FOV)を有する。2018年のコンシューマーエレクトロニクスショーでは、Realmaxという名前の企業が100.8度のFoVを誇る展示を自慢しており、これは、100度を有するDreamworldのDream Glassヘッドセットと、次に近いライバルの90度を有するMeta CompanyのMeta 2と激しい競争をしていた。FOVを広げて、人間の視覚又はそれを越えて完全に没入する環境に近づけるような周辺の視覚を提供するために、かなりの努力がなされている。FOVの増加は、専門家/現場技術者の命令環境を含めて、より良いAR体験を提供すると一般的に受け入れられている。

業界は、この分野で前進し続けている。或る業界の専門家であるDevindra Hardawarは、オンライン雑誌Engadgetの3-12-17に、「Meta 2はまた、HoloLensと比較して、より完全なAR体験のように感じられる。その大きな理由は、90度の視野を特徴とすることであり、一方で、HoloLensは狭い30度のFOVのみを提供することである。これは、Meta 2からの画像は、単に拡張した視野を提供するだけでなく、視覚のかなりの部分を満たしていることを意味する」と記述している。米国政府により運営されるSBIRプログラム(Small Business Innovative Research)は、技術的発明における最新のものを奨励し、資金を提供し、指導して、軍事又は政府機関で最終的に使用されるためのビジネス及び発明の成熟化の両方を促進することを任されている。これは、その宣言及び定義により、先導して競争力のある政府のR&D推進者であり、長年にわたる多数の日々の革新を奨励することを担う。2017年8月に、SBIRは「360 degree field of view information in a 120 degree immersive virtual reality (VR) display」という名称の広範なカテゴリーDoD 3-2017、トピック番号A17-1135での提案を募集した。この提案の要求は、AR及びVR FOVのウィンドウを更に推し進め、FOVを増加させる取り組みにおける業界に参加するような多くのものを結び付けた。

特定のAR環境では、主に顧客の関心事であり、FOVを最大化するための推進により高まる関心事は、ユーザ(現場技術者又は専門家であるが、主に現場技術者)が、意図的に或いは意図的でなく、関心のオブジェクトから向きを変えて、キャプチャ又は送信すべきではないシーンの他の部分のビデオをキャプチャし得るということである。意図的でない或いは意図的な広いFOVの送信を回避するために、顧客の要求、業界の規制、国家安全保障又は国特有の法律により、或るレベルのデータキャプチャ及び送信のコンプライアンスが必要とされ得る。現在の技術は、ビデオ信号におけるキャプチャを防止するために、関心のオブジェクトの周囲の領域を布又はシート(tarp)で物理的に覆うこと、又は送信の前にビデオを隔離してセキュリティクリアされたドメインの専門家にキャプチャ後のビデオ信号を調査及び編集させることを含む。さらに一般的であり、より高コストなものは、空のガレージ又はハンガー(hanger)のような特別な安全な空間に問題の機器を移動し、それにより、シーンに余計なアイテムが存在しないようにすることである。多くの場合、機器の移動、物理的な覆い又はキャプチャ後の編集は、コンプライアンス要件を満たすのに十分ではないか、或いは、準リアルタイムのインタラクティブな状況において実装するには非実用的で高コストである。いくつかの状況では、国家安全保障及びITAR(International Traffic and Arms Regulations)の理由で、キャプチャ後の編集を妨げる国の法律が存在する。

以下は、本発明のいくつかの態様の基本的な理解を提供するための本発明の概要である。この概要は、本発明の主要な要素又は重要な要素を特定すること、又は本発明の範囲を示すことを意図するものではない。その唯一の目的は、本発明のいくつかの概念を、より詳細な説明及び以降に提示される規定のクレームの前文として、簡略化した形式で提示することである。

本発明は、データキャプチャ及び送信のコンプライアンスを強制するために、拡張現実システムにおいて画像キャプチャをユーザ定義の視野(FOV)に制限するためのシステム及び方法を提供する。

AR環境において、ビデオカメラの指向方向(pointing direction)は、現場技術者の動き(例えば、ゴーグルの場合には技術者の頭部又はハンドヘルドユニットの場合には手)に従う。ビデオ信号は、技術者からの腕の長さにおけるローカルシーン内のオブジェクトのFOV内でキャプチャされる。現場技術者は、遠隔地の専門家からオブジェクトを操作するためのハンドジェスチャを受信し、それがビデオ信号に位置合わせされて重ねられ、オブジェクトを操作する際に技術者をガイドするための拡張現実を作成する。

実施形態では、システム又は方法は、ビデオカメラのFOVがマーカに関してユーザ定義の許容可能なFOV内に完全に存在するように、ビデオカメラの指向方向がシーン内のマーカに対する位置調整条件を満たすか否かを決定する。ユーザは、現場技術者、顧客及びマスタでもよい。位置調整条件が満たされない場合、カメラは、ビデオ信号内のキャプチャから、許容可能なFOV外にあるカメラのFOVの部分を少なくとも除外するように制御される。位置調整条件は、カメラの指向方向とマーカとの間の或る程度の位置ずれを効果的に許容する。許容可能な位置ずれ(又はカメラのFOV)は、「バッファ」を作成するように低減されてもよい。例えば、最大の許容可能な位置ずれが5度である場合、これは2度のバッファを作成するように3度まで低減されてもよい。

異なる実施形態では、技術者又はマスタは、シーン内のマーカを特定し、ユーザ定義の許容可能なFOVの外側境界を設定するマーカまでの距離を定義する。システムは、その外側境界内の画像のみがキャプチャされるように較正される。位置調整条件に違反した場合、ビデオカメラがオフになる。ビデオカメラは、位置調整条件が満たされたときにオンに戻されてもよく、或いは、マスタによる再較正及び承認を必要としてもよい。

異なる実施形態では、ビデオカメラ以外のセンサは、マーカに対するカメラの指向方向の位置調整を強制するように構成される。実施形態では、センサは、マーカがセンサのFOV内に見られるか否かに基づいて、バイナリのYES/NO検出イベントを生成し、これは、位置ずれの許容可能な程度を定義する。他の実施形態では、センサは、カメラの指向方向に対するマーカの位置を生成する。例えば、通常では、メディアを位置合わせして重ねるために、ユーザの動きをキャプチャしてカメラの姿勢を提供するために使用されるオンボードのジャイロスコープ/加速度計もまた、位置調整条件を強制するために使用される。ジャイロスコープ及びカメラの姿勢は、マーカに対して較正され、ジャイロスコープにより出力される角度は、マーカに対する位置調整条件が満たされているか否かを決定するために監視される。後者の場合、カメラの指向方向が位置調整条件に違反するのに近づきつつあるときに、警告信号(例えば、オーディオ、ビデオ又は物理的振動)が発行されてもよい。

異なる実施形態では、マーカは、オブジェクト上又はローカルシーン内の位置、撮影されるオブジェクトの固有の特性(例えば、波長、形状、温度等)、技術者の手(例えば、温度サイン)を構成してもよく、或いは、マーカは、技術者の手、オブジェクト又はオブジェクトに近接するシーンに配置された固有の特性を有する人工タグでもよい。キャプチャを有効にするために発生しなければならない二次ペアリングを提供するか、或いは、発生した場合にキャプチャを無効にするために、更なるマーカが、オブジェクト、周囲のシーン又は現場技術者の手に配置されてもよく、除外ゾーンを効果的に作成する。

異なる実施形態では、少なくとも技術者の識別、マーカペアリング及び指定の許容値のフィールドを含むユーザキーコードは、顧客若しくは国のポリシー又は法的要件に違反するシーンにおけるデータのキャプチャ及び/又は送信からシステムを保護するようにFOV除外を制御するために使用される。マーカペアリングは、カメラ/センサを1つ以上のマーカと一意にペアリングする。指定の許容値は、許容可能なFOVを直接的に定義するマーカまでの距離を提供してもよく、或いは、許容可能なFOVを間接的に定義するカメラの指向方向の位置ずれ許容値(角度)を提供してもよい。更なるセキュリティレベルフィールドは、マスタ、国コード等により、指定の許容値に対する最低限の制約、優先度又は上書きの定義を可能にしてもよい。コンプライアンスに従わないデータが遠隔地で送信及び受信されないことを確保するために、遠隔専門家識別子、マーカペアリング及び指定の許容値のフィールドを含む他の専門家キーコードが、遠隔領域の位置に提供されてもよい。このキーコードは、顧客のARシステムにおいて強制される。

異なる実施形態では、カメラ/マーカ又はカメラ/センサ/マーカは、位置調整条件を共に定義する、ユーザ定義の許容可能なFOV、カメラのFOV及び許容される指向方向の位置ずれを定めるために、使用前に較正される。実施形態では、技術者は、キーコードで指定されたマーカペアリングを検証するために、カメラ(及びセンサ)の指向方向をマーカに向ける。システムは、許容可能なFOVを定義するユーザ指定の許容値を読み取って処理する。カメラ及びセンサの本来のFOV、最小のカメラのFOV、最小の位置ずれ許容値、カメラ/センサからマーカまでの公称距離(例えば16～18インチの典型的な腕の長さ)、及びシーン内のいずれかの更なるマーカのような他の入力を要因として、システムは、セッションFOV及び位置ずれ許容値を生成し、位置調整条件を強制するようにカメラ、センサ及び処理を構成する。

本発明の上記及び他の特徴及び利点は、添付の図面と共に考慮される好ましい実施形態の以下の詳細な説明から当業者に明らかになる。

データキャプチャ及び送信のコンプライアンスのための視野(FOV)及びキーコードで制限されたARシステムの説明図である。 指向方向がシーン内のオブジェクトへの腕の長さにおけるユーザの動きに従う、ゴーグル又はハンドヘルドユニットのようなビデオキャプチャ及び表示ユニットの実施形態のブロック図である。 キーコード及びFOVで制限されたARの実施形態のフロー図である。 キーコード要件、プログラミング及びシステム検証/開始のブロックフロー図である。 位置調整条件を満たすためのカメラのFOV及びカメラ指向方向に対する位置調整許容値の説明図である。 バイナリセンサ/マーカペアリングを使用してARシステムを自動的に較正するための実施形態のフローチャートである。 バイナリセンサ/マーカペアリングを使用してARシステムを自動的に較正するための実施形態の説明図である。 ビデオがキャプチャされて送信される「緑色」状況における較正されたARシステムの動作を示す。 警告が発行される「黄色」状況における較正されたARシステムの動作を示す。 ビデオカメラがオフになる「赤色」状況における較正されたARシステムの動作を示す。

本発明は、顧客の要求、業界の規制、国家安全保障又は国特有の法律により、或るレベルのデータキャプチャ及び送信のコンプライアンスが必要とされ得るAR環境を対象とする。或る場合、コンプライアンスは、シーン又は特定のタグ付きオブジェクトの部分が、表示又は送信のためにビデオカメラにより出力されるビデオ信号内に含まれることができないことを要求し得る。他のより厳密な環境では、コンプライアンスは、シーン又はタグ付きオブジェクトの部分がビデオカメラ自体によってキャプチャ(検出)できず、ビデオ信号に出力することさえできないことを要求し得る。コンプライアンスの要求レベルは複数の異なる要因により決定され、ARの適用の間で或いはARの適用中であっても変化し得る。多くの場合、機器の移動、物理的な覆い又はキャプチャ後の編集は、コンプライアンス要件を満たすのに十分ではないか、或いは、準リアルタイムのインタラクティブな状況において実装するには実用的ではない。

このAR環境では、ビデオカメラの指向方向は、現場技術者の動き(例えば、ゴーグルの場合には技術者の頭部又はハンドヘルドユニットの場合には手)に従う。ビデオ信号は、技術者からの腕の長さにおけるローカルシーン内のオブジェクトのFOV内でキャプチャされる。技術者は、遠隔地の専門家からオブジェクトを操作するためのハンドジェスチャを受信し、それがビデオ信号に位置合わせされて重ねられ、オブジェクトを操作する際に技術者を命令するための拡張現実を作成する。異なる実装では、ハンドジェスチャは、専門家が技術者のビデオカメラによりキャプチャされて遠隔領域の位置に送信されたビデオ信号をリアルタイムで見て応答するとき、専門家がオブジェクトのレプリカとリアルタイムで相互作用するとき、或いは、専門家がビデオに応答するか或いはオブジェクトのレプリカと相互作用することによりオフラインで「詰め込まれた」命令を生成するときに提供される。

関心事は、技術者が、意図的に或いは意図的でなく、関心のオブジェクトから向きを変えて、キャプチャ又は送信すべきではないシーン又はオブジェクトの他の部分のビデオをキャプチャし得るということである。本発明は、オブジェクトの操作において技術者に命令するARの重ね合わせと干渉することなく、データキャプチャ及び送信のコンプライアンスのためにシーンの部分を除外するように、このような制約されたAR環境においてビデオカメラを、自動的に或いは技術者/顧客/マスタ(「ユーザ」)制御により制御するためのシステム及び方法を提供する。

図１を参照すると、ARシステム10の実施形態は、一対のビデオゴーグル又はハンドヘルドユニット(例えば、タブレット又は携帯電話)のようなビデオキャプチャ及び表示デバイス12を含み、その指向方向14は技術者の動き(例えば、現場技術者16がユニットを見ているか或いは向けている場所)に従う。現場技術者16は、ローカルシーン20内のオブジェクト18を操作し、例えば、オブジェクトの保守を実行するか、或いは、オブジェクトの操作方法に関する命令を受信する。この例では、オブジェクト18はアクセスパネルであり、ローカルシーンはトラクタを含む。

デバイス12は、ローカル現場シーン20内のオブジェクト18の画像をキャプチャし、通信リンク28を介して場合によっては異なる国の遠隔地にビデオ信号26を送信する。ビデオ信号26は、コンピュータワークステーション32上で専門家30に提示され、コンピュータワークステーション32は、専門家のハンドジェスチャをキャプチャするデバイス34を備える。専門家30は、専門家の手で(或いはツールを介して)ビデオ内のオブジェクトを操作し、タスクを実行する。デバイス34は、ハンドジェスチャをキャプチャし、ハンドジェスチャは、アニメーション化されたハンドジェスチャ36に変換され、通信リンク28を介してユーザ16に返信され、そこで位置合わせされてディスプレイに重ねられる。専門家30は、AR環境を拡張するために、オーディオ、テキスト又は他のメディアの形式で更なる命令を提供してもよい。AR環境自体は、リモート及びローカルコンピュータシステム32及び12並びにサーバ46上のアプリケーションソフトウェア40並びに設定ファイル42及び44により実装される。

本発明によれば、ARシステム又は方法は、カメラのFOV54がマーカに関してユーザ定義の許容可能なFOV56内にあるように、ローカルビデオキャプチャ及び表示デバイス12の指向方向14がシーン内のマーカ52に対する位置調整条件50(例えば、距離又は角度)を満たすか否かを決定する。マーカ52は、場合によっては人工タグ、オブジェクトの固有の特性(例えば、波長、形状、温度等)、又はオブジェクト自体、オブジェクトの近傍のローカルシーン若しくはユーザの手に配置された固有の特性を有する人工タグにより指定されるオブジェクト又はシーン上の位置を構成してもよい。位置調整条件が満たされない場合、ビデオキャプチャ及び/表示デバイス12は、ビデオ信号内のキャプチャから、許容可能なFOV 56外にあるカメラのFOV54の部分を少なくとも除外するように制御される。例えば、ビデオカメラがオフにされてもよく、それにより、位置調整条件が満たされるまでビデオ信号26をブランクにする。ビデオカメラは、手動の位置調整、カメラの指向方向のトラッキング、又は別のセンサによるマーカの再キャプチャ等により位置調整条件が再確立されたときにオンに戻されてもよい。警告信号(例えば、オーディオ、ビデオ又は物理的振動)は、カメラの指向方向が位置調整条件に違反するのに近づきつつあるときに発行されてもよい。このシナリオはまた、両端で複製でき、或いは、センサ、マーカ、許容値の適用及び専門家側の送信への制限を含むように交換できることが理解される。明確にするために、この代替案は議論されていないが、残りの議論及び特許請求の範囲内で暗示される。

1つ以上の技術者/顧客、マスタ又は専門家キーコード60は、技術者/マスタ/専門家を識別し、マーカペアリングを定義し、許容可能なFOV 56を定義する許容値を指定するために使用される。キーコードは、現場技術者/顧客/マスタ又は専門家がビデオカメラを制御し、現場技術者が顧客若しくは国のポリシー又は法的要件に違反する現場のデータをキャプチャ及び/又は送信することを防止することを可能にする。許容値は、シーンに配置されたキーコードで識別される入力値又は更なるマーカを構成してもよい。例えば、ユーザは24インチの距離を指定してもよく、これは、マーカを中心に24インチの半径を有する円を許容可能なFOVとして作成する。代替として、ユーザは、指向方向に対するプラスマイナス5度の位置ずれを指定してもよく、これは、公称の腕の長さの作業距離について、例えば、12インチの半径を有する円を作成してもよい。距離又は角度を指定する代わりに、或いはそれに加えて、ユーザは、許容可能なFOVの外側境界を定義するマーカに関して、シーン内に更なるマーカを指定及び配置してもよい。ビデオキャプチャ及び表示デバイス12の活性化は、少なくとも一次マーカ及び場合によっては更なるマーカとうまくペアリングすることを必要とする。他の専門家により制御されるキーコードは、遠隔地においてコンプライアンスに従わないデータが送信及び受信されないことを確保するために、遠隔地において現場技術者に提供されてもよい。このキーコードは、現場技術者のARシステムにおいて強制される。

位置調整条件50は、カメラの指向方向14をマーカへの視線(LOS:line-of-sight)55に関連付ける。これらの2つは、マーカへの角度又は距離として与えられる特定の位置ずれ57を有したままでなければならない。位置ずれ57は、例えば、プラス又はマイナス5度のように固定されてもよく、ユーザにより設定されてもよく、或いは、ユーザ定義の許容可能なFOV 56とカメラのFOV 54との間の差の関数として計算されてもよく、それ自体が調整可能でもよい。

カメラのFOV54と位置ずれ57との間の許容可能なFOV56の割り当ては、最小の位置ずれ又は最小のカメラのFOV、カメラの本来のFOV、カメラのFOVが調整可能であるか否か、センサの本来のFOV及びセンサのFOVが調整可能であるか否か、センサ/マーカペアリングが、カメラの指向方向に対するマーカのバイナリ検出又は位置を提供するか否か、更なるマーカを含めるか否か等を含む、様々な要因により影響されてもよく、或いは決定されてもよい。一般的には、カメラのFOV54が大きいほど、許容可能なFOV56を強制するための許容可能な位置ずれ57が小さくなり、逆も同様である。

異なる実施形態では、カメラ/マーカ又はカメラ/センサ/マーカは、位置調整条件を共に定義する、ユーザ定義の許容可能なFOV、カメラのFOV及び許容される指向方向の位置ずれを定めるために、使用前に較正される。実施形態では、技術者は、キーコードで指定されたマーカペアリングを検証するために、カメラ(及びセンサ)の指向方向をマーカに向ける。システムは、許容可能なFOVを定義するユーザ指定の許容値を読み取って処理する。カメラ及びセンサの本来のFOV、最小のカメラのFOV、最小の位置ずれ許容値、カメラ/センサからマーカまでの公称距離(例えば16～18インチの腕の長さ)、及びシーン内のいずれかの更なるマーカのような他の入力を要因として、システムは、セッションFOV及び位置ずれ許容値を生成し、位置調整条件を強制するようにカメラ、センサ及び処理を構成する。

次に図２を参照すると、実施形態では、ビデオキャプチャ及び表示デバイス100は、ビデオカメラ102と、ジャイロスコープ103と、センサ104と、ビデオディスプレイ106と、FOVプロセッサ130とを含む。ビデオカメラ102は、電源107と、マーカまでの所与の焦点距離f1におけるカメラのFOV112を定義する視野角111で光(光子)を受け入れるように構成された光学系110を有するカメラ検出器108と、ビデオプロセッサ140とを含む。検出器108は、例えば、ここで使用されるCMOSセンサ又はセルロイドフィルムでもよい。カメラのFOV112は、カメラの本来のFOVにより固定されてもよく、視野角を低減するように光学系110に取り付けられたアフターマーケットの光学素子により低減されてもよく、或いは、調節可能な焦点114で設定されてもよい。カメラ検出器108は、そのカメラのFOV112内の光をキャプチャし、この光は、遠隔の専門家に送信されるビデオ信号142を形成し出力するために、ビデオプロセッサ140に渡される。ジャイロスコープ103により提供されるカメラ姿勢情報を使用して、ビデオプロセッサ140は、ハンドジェスチャ144と、遠隔の専門家からのビデオ信号142上の他のテキスト若しくは形状の情報又はオーディオとを重ね、オブジェクトを操作する際にユーザに命令するためにビデオを提示する。

この実施形態では、デバイス100は、1つ以上の現場技術者、専門家及びマスタシステムのキーコード132、134及び136を受信し、カメラの指向方向118に対する位置調整条件を強制するようにカメラのFOV112及び位置ずれ許容値を構成するために、センサ104及びFOVプロセッサ130で更に構成される。位置調整条件が満たされた場合、FOVプロセッサ140は、ビデオカメラがそのFOV内の画像をキャプチャし、通常通り処理することを可能にする。位置調整条件が満たされない場合、FOVプロセッサ140は、ビデオ信号内のキャプチャから、許容可能なFOV116外にあるカメラのFOV112の部分を少なくとも除外するように、ビデオカメラを制御する。特定の実施形態では、位置調整条件が満たされない場合、ビデオプロセッサ140は、例えば、検出器又は全体のカメラからの電力を無効にすることにより、記録を無効にする。異なる実施形態では、ビデオカメラは、場合によっては、再開するようにマスタシステムの上書きを必要とするマーカに対するカメラの手動の再位置調整により、或いはマーカのセンサ再獲得により、オンに戻されてもよい。

センサ104は、可視領域とマイクロ波領域との間での赤外線放射が検出できる赤外線センサ/マーカのようなカメラのFOVと重なり合うセンサのFOV 122で、特定のマーカのサインに同調されるセンサ検出器120を含む。赤外線波は、典型的には、0.75～1000μmの波長を有する。VWD (可変波長検出器)、温度センサ等のような他のセンサが使用されてもよい。調整可能な焦点123は、センサのFOV 122を設定するために含まれてもよい。センサプロセッサ124は、センサ104への電力を制御し、マーカを追跡し、イベントが発生したことをFOVプロセッサ130に通知する。「イベント」は、マーカの不検出又は検出についてのバイナリの0/1でもよく、センサがマーカを失いつつあるときに通知する能力を追加する三値-1/0/1でもよく、或いはセンサのFOV内のマーカの相対位置でもよい。特定の構成では、センサプロセッサ124の機能は、FOVプロセッサ130と共に且つFOVプロセッサ内に組み込まれてもよく、FOVプロセッサ自体130がビデオカメラに組み込まれてもよい。

特定の実施形態では、ジャイロスコープ103は、位置調整条件を強制するために、センサ104に加えて、或いはセンサ104の代わりに使用されてもよい。ビデオカメラの指向方向は、ジャイロスコープにより生成された姿勢角度に対してFOVプロセッサを較正するために、マーカに位置調整される。その後、FOVプロセッサは、ジャイロスコープにより出力される姿勢角度の系列を監視し、位置調整条件を強制する。角度が位置ずれ許容値内に留まる場合、カメラは画像をキャプチャし、没入するAR環境を形成して表示する。角度が位置調整条件に違反した場合、FOVプロセッサは、電源107に対してカメラをオフにするように指示する。角度が位置調整条件に違反するほど近くなった場合、警告信号が発行される。この手法は、位置調整条件を強制するためにビデオカメラ以外の別のセンサを使用するが、典型的にはARデバイス上に存在する他のハードウェア(すなわち、ジャイロスコープ)を使用する点で魅力的である。必要なことは、ユーザ定義の許容可能なFOVをカメラの指向方向の角度許容値として表し、マーカに向けたカメラの姿勢に対してシステムを較正し、次いでジャイロスコープにより出力される角度を監視することだけである。システムのロバスト性を改善するために、ジャイロスコープは、カメラ検出器108のセンサ104のような他のセンサと共に使用されてもよい。

センサの機能は、カメラ検出器又はジャイロスコープ及びFOVプロセッサに組み込まれてもよく、したがって、別の検出器及び光学系における更なるハードウェアの必要性を除去するが、別のセンサの使用は、特定の利点を提供し得る。単にカメラのオン/オフを切り替えることにより位置調整条件を強制するように構成された別のセンサで、既存のARシステムを改造することは、より容易になり得る。さらに、センサ及びマーカは、ペアリングのために特に設計されてもよい。マーカは、センサが検出するように構成された一意に識別可能な信号を有する人工タグでもよい。安価でロバストなセンサ/マーカペアは既に存在しており、ARシステムにおいて他の目的のために使用されている。さらに、センサのFOVはカメラのFOVとは異なり、位置調整条件を直接的に強制するように設定できる。例えば、センサがバイナリ検出イベントを生成するように構成される場合、そのFOVを位置ずれ許容値に設定することは、位置調整条件を直接的に強制する。マーカが検出された場合、その条件が満たされる。マーカが検出されない場合、その条件は違反される。

次に図３及び図４を参照すると、関心のオブジェクトに対するタスクの実行の際に現場技術者に命令するために、現場技術者のディスプレイ上にアニメーション化されたハンドジェスチャを重ねるXMRealityのようなARシステム及び方法が、データキャプチャ及び送信のコンプライアンスのために修正又は再構成されてもよい。記載のように、ハードウェアに対する変更は、ビデオカメラ及び既存のARシステムのハードウェア又はソフトウェアに対するほとんど或いは全く変更なしに、ビデオカメラのオン/オフを切り替えるためにいずれかのキーコードを処理してマーカペアリングを実行する「FOVプロセッサ」を含む「センサ」を追加することから、センサを追加するが、ビデオカメラ内のFOVプロセッサにソフトウェア制御を構築すること、既存のジャイロスコープを使用してカメラの姿勢を監視するためにソフトウェア制御を構築すること、既存のカメラ検出器を使用してビデオカメラ内のFOVにソフトウェア制御を構築することまでの範囲に及んでもよい。

それにもかかわらず、データキャプチャ及び送信のコンプライアンスを確保するための更なる要素は、現場技術者の識別情報、ローカルARシステムのための国コード、セキュリティコード、一次マーカペアリング情報、顧客定義のFOV制限、二次マーカのような現場側の優先度設定を定義するステップ(ステップ200)と、これらの設定をキーコードにプログラムするステップ(ステップ202)とを含む。現場技術者のキーコードは、顧客識別情報、特定のユーザ識別情報、本国、セキュリティレベル、優先度、一次センサ/マーカペアリング、マーカへのLOSからカメラの指向方向/焦点までの最大距離及び/又は角度に関する許容値、二次センサ/マーカペアリング及び許容値、セキュリティ暗号等のフィールドを含んでもよい。技術者の識別情報は、ARシステムの専門家側とのハンドシェイク/検証のためだけでなく、ユーザ定義のFOVの制限の構成を許容にするためにも必要である。国コード及びセキュリティコードは、特定のFOVの制限に変換されてもよく、これは、セキュリティコードの現在のレベルに依存して変化してもよい。同様に、優先度設定及びキーコードプログラミングは、ローカルの現場ユーザに送信される専門家キーコードによって専門家側で実行されてもよい。専門家キーコードは、専門家が居住する国の異なる要件を反映してもよく、ユーザが適切な保護を提供しない場合には冗長性を提供してもよい。他の実施形態では、キーコードは、Vルックアップテーブルに従う単数又は縮小コマンドになり、テーブルは、簡単なユーザ入力又はキーコードに関連付けられた、より広範なコマンドを表す。この方法は、複数の入力コマンド、FOV制限、国の法律、CONOPS(多くの制限が緩和されるときの緊急時や戦時等、又はかなり機密性の高い研究が更に制限されること等)に対応する優先度レベル1、2、3等のように、1つのパラメータのみを入れる必要があるキーコード又はユーザ入力を提供する。

システムは、専門家とのユーザ識別情報のペアリングを検証し、センサ/マーカペアリングを同期させるために、複数の「ハンドシェイク」を含んでもよい検証/開始ステップ204を受ける。上記のように、これらのFOV及びキーコード制御の鏡像は、専門家によるデータキャプチャ及び送信のコンプライアンスを確保するために、システムの専門家側に適用されてもよい。

検証されると、システムは、位置調整条件が満たされる条件を確立するように、カメラ/センサ/マーカの自動較正を実行する(ステップ206)。例えば、技術者は、ビデオカメラ(及びセンサ)の指向方向を一次マーカに位置調整して「較正」を開始するように要求されてもよい。次に、FOVプロセッサは、ビデオカメラの指向方向が位置調整条件に違反する条件を確立するために、キーコード又は他の基準材料又は技術者の入力から、ビデオカメラ及びセンサに関するFOV及び焦点距離情報と、FOVに関する制限と、指定の許容範囲とを読み取ってもよい。次いで、FOVプロセッサは、これらの入力に基づいて制限及び制御を計算し、これらの制限及び制御を実行するようにシステムの残りの部分と相互作用する。較正中の更なる任意選択の繰り返しにおいて、システムは、FOVプロセッサによる計算においてカメラの本来のFOVの一部を使用することにより、カメラのFOVを更に制限するための更なる計算ステップを実行する。

較正されると、システムは、ビデオ信号内のキャプチャから、ユーザ定義の許容可能なFOV外にあるビデオカメラのFOVのこれらの部分を少なくとも除外することにより、キーコードで指定されるように、データキャプチャ及び送信のコンプライアンスを強制するための事前キャプチャ同期FOVを実施する(ステップ208)。好ましい実施形態では、マーカに対するビデオカメラの位置調整条件が満たされないとき、ビデオカメラはオフにされる。これは、ユーザ定義の許容可能なFOV外の画像がビデオカメラによりキャプチャされず、表示されて場合によっては送信される出力ビデオ信号に含まれることさえできないことを確保する。

一般的なシステム較正の実施形態を図５に示す。別のセンサとペアリングするバイナリマーカについての較正プロセスのより詳細な説明を図６ａ～６ｃに示す。

図５に示すように、ユーザ指定の許容値300(マーカまでの距離、作業距離を通じて投影される指向方向に対する角度許容値又は更なるマーカ)は、マーカ304の周りのユーザ定義の許容可能なFOV(AFOV)302を定義する。一般的に、FOV=2(Tan(視野角/2)×距離であり、距離は焦点306とマーカ304との間の距離である。この出願では、距離は、約16～18インチの技術者の公称作業距離「d1」308であると仮定する。したがって、FOVは、マーカからの実際に計算された距離「d2」310又は視野角312と同等に呼ばれてもよい。

カメラのFOV (CFOV)314は、AFOV 302よりも小さくなければならない。そうでない場合、たとえ指向方向316がマーカ304に対して完全に位置調整されていても、カメラは、AFOV 302の境界又は外側の画像をキャプチャし、これは許容されない。AFOV 302とCFOV 314との間の差は、カメラの指向方向の位置調整許容値318である。位置調整許容値は、ここでも距離又は角度のいずれかであると考えることができ、位置調整条件を満たすマーカ304に対するカメラの点方向316の許容値又は許容誤差である。カメラのFOV 314が大きいほど、位置調整許容値318が小さくなり、その逆も同様である。位置調整許容値(又はカメラのFOV)は、「バッファ」又は「安全ゾーン」を作成するために低減されてもよい。例えば、5度のような最大の位置調整許容値は、2度のバッファを作成するために3度に低減されてもよい。システム又はユーザ入力は、カメラのFOV及び位置調整許容値の一方又は双方について、最小要件又は設定要件を指定し、それに応じて一方又は双方を調整してもよい。

代替的であるが同等の手法は、マスタ/顧客/技術者に、マーカに対するカメラの指向方向の許容値を指定させることである。ビデオカメラ自体又は別のセンサは、マーカに対するカメラの指向方向が指定の許容値内に留まるか否かを監視する。位置調整条件が満たされる限り、カメラはオンに留まる。位置調整条件に違反した場合、カメラがオフになる。システムは、特定の最大のカメラのFOVを必要とするか、或いは、作業距離が比較的短いという仮定でカメラのFOVを受け入れ、したがって、技術者がオブジェクトを見ている場合、コンプライアンスに問題がないはずである。コンプライアンスの問題は、一般的に、補正方向を指し示している場合にはカメラのFOVが大きすぎるのではなく、技術者が頭部を回したり、カメラを誤った方向に向けたりするときに発生する。この場合、指定の許容値にカメラのFOVを加えたものが、ユーザ定義の許容可能なFOVを提供する。いずれの場合も、マスタ/顧客/技術者は、ユーザ定義の許容可能なFOVを設定する許容値を提供する。この手法は、最も厳密なデータキャプチャ及びコンプライアンスの環境には適さない可能性があるが、特定の商業用途には適する可能性がある。

上記のように、位置調整条件を強制するための多くの異なる構成が存在する。検知機能は、ビデオカメラ、ジャイロスコープ若しくは更なるセンサ又はこれらの組み合わせにより実行されてもよい。検知機能は、位置調整条件が満たされているか否かを示すマーカのバイナリ検出イベント、又は位置調整条件の満足度が決定できるカメラの指向方向に対するマーカの位置を提供するアナログ検出イベントを生成してもよい。

マーカを検出するためにビデオカメラを使用することはいくつかの制限を課す。バイナリの場合、カメラのFOVは、カメラの指向方向に対する位置調整許容値である。したがって、カメラのFOVは、位置調整条件を強制するために、許容可能なFOVのサイズの半分(又はそれより小さいもの)に制限される。アナログの場合、カメラのFOVは、少なくとも位置調整許容値のサイズでなければならない。この構成は、カメラのFOVが小さく且つ位置調整許容値が大きいような位置調整条件を強制できない。

位置調整条件を強制するためのバイナリセンサ/マーカペアリングのための一次マーカ404に対するビデオカメラ400及びセンサ402の自動較正プロセスの実施形態を図６ａ及び６ｂに示す。キーコードは、マーカ404に関するユーザ定義の許容可能なFOV 406を定義する。この実施形態では、ビデオカメラ400は、許容可能なFOV 406より大きい本来のFOV 405を有する。本来のFOVは、カメラレンズ及びCMOSセンサ幅、視野角の高さ及び正接(tangent)並びにオブジェクトまでの距離により定義される。典型的なARシステムは、没入する環境を提供するために、全体の本来のFOVを最大化して使用しようとする。センサ402はまた、物理的或いはアルゴリズム的に調整可能なFOVを有する。

想定されるように、技術者407は、一次マーカ404(及び操作されるオブジェクト409)からの腕の長さ(公称で16～18インチ)における位置に移動させ、カメラ400をマーカに向け、較正を開始する。これは自律的に進行する。較正されると、技術者は、進むために「緑色ライト」を得る。

ステップ500において、カメラ及びセンサの指向方向410及び412、並びにセンサ焦点414が、一次マーカ404に位置調整されて連携される。位置調整されると、システムは、現場技術者又はマスタシステムキーコード416によって開始され、その間、センサ402はマーカとペアリングされ、認証される(ステップ502)。

ステップ504において、FOVプロセッサは、許容可能なFOVを定義する指定の許容値(距離、角度又は更なるマーカ471)、カメラの本来のFOV、センサの本来のFOV及び焦点、並びに公称の「腕の長さ」を入力として受け取って処理し、カメラのFOV 418及びセンサのFOV 420(位置ずれ許容値422と等しい)を計算する。多くの場合、カメラ及び/又はセンサの本来のFOVは低減される必要がある。カメラ又はセンサのFOVが固定される場合、FOVプロセッサはそれに応じて計算を調整する。ユーザ定義の許容可能なFOV及び位置調整条件が強制されることを確保するために、一連のアフターマーケットの光学素子がカメラ又はセンサのいずれかのFOVを制限するために使用されてもよい。FOVプロセッサはまた、更なるマーカ、警告信号を発生するための条件等に基づいて、補足的な位置調整条件を計算してもよい。特定の場合、マーカがシーンの特にセンシティブな領域に配置される専用のセンサ/マーカペアリングがフェイルセーフとして使用され、その領域の画像がキャプチャも送信もされないことを確保する。専用のセンサがこの専用のマーカを検出した場合、ARシステムはシャットダウンされ、マスタキーコードによってのみ再起動できる。

ステップ506において、必要に応じて、FOVプロセッサは、カメラの本来のFOVをカメラのFOV 418まで低減し、センサのFOV 420を調整して、カメラのFOVに関連するセンサ/マーカペアリングの許容範囲外の最小/最大距離を定める。センサのFOV 420は、最大のずれ許容値に設定されてもよく、或いは、バッファゾーンを作成するために、低減した位置ずれ許容値に設定されてもよい。

作業カメラのFOVが許容可能なFOVより小さくなるように、本来のFOVより小さいものを使用することは、利点を有し、光子(画像)が記録されないオブジェクトの周囲のバッファゾーンを提供するように構成されてもよい。許可/禁止ラインの実際の境界は、何人かのユーザに関心のあるものである。実際には、シーンからの光子が許容されるゾーンを1ミリメートル越えてカメラのCMOS上でキャプチャされないほど正確に境界ゾーンを定義することは、ほとんど不可能であり、法外なコストがかかる。典型的な撮影方法は、全体のFOVを使用して全体のシーンをキャプチャし、不要な場面/シーン/ピクセルを編集、ブロック、切断又は他の方法で不明瞭化する。光子のキャプチャの前に視野を低減することにより、バッファゾーンの計算、警告アラーム、センサ許容値、ソースマーカに関連するオン/オフの切り替えは、既に安全マージンを有しており、許容ゾーンの外側及び許容ゾーンの境界でのキャプチャを防止する。これは、はるかに実用的な方法であり、実際の境界線が損なわれることを心配することなく、境界ゾーンでカメラをオン/オフし、そうでなければ画像をキャプチャするために、小型で低コストのセンサマーカ方法の使用を可能にする。

実施形態では、ビデオゴーグル内のジャイロスコープは、センサ402として或いはセンサ402に加えて使用される。加速度計は、XYZ角度方向の動きを検知し、姿勢角度(例えば、ヨー、ピッチ及びロール)を出力する。姿勢角度は、一次マーカ404へのLOSに対して較正される。FOVプロセッサは、位置調整条件が満たされているか否かを決定するために、姿勢角度を監視する。これは、ユーザ定義の許容可能なFOVを定義するマーカからの距離を角度に変換することによって、或いは姿勢角度を作業距離を通じてマーカまでの距離に変換することによって行われることが可能である。

ステップ510において、システムは、カメラ及びセンサのFOV、警告等が適切に計算されて実施されたことを検証するための組み込みテスト(BIT:built-in test)を実行するために、任意選択で、カメラ及びセンサの電源をオンにしてもよい。

図７ａ～図７ｃに示すように、較正されると、技術者407はオブジェクトを操作し、ビデオを遠隔ユーザに送信し、オブジェクトを使用、修理又は保守するように技術者に命令するためにARゴーグルに重ねられるハンドジェスチャを受信する。技術者がマーカの方向を見る限り(例えば、カメラの指向方向又は姿勢角度がマーカ404に対する許容値内にある限り)、マーカはセンサのFOV 420内でキャプチャされ、位置調整条件が満たされ(「緑色」)、それにより、カメラがカメラのFOV418内の画像をキャプチャすることを可能にする。
技術者の目(カメラ)が動き始めると、マーカは、センサのFOV
420のエッジ近くになり(「黄色」)、それにより、オブジェクト及び当面のタスクへの焦点を維持するための技術者へのリマインダとして、警告信号(オーディオ、ビデオ、振動)を発行させる。カメラは有効に留まり、ビデオは送信及び表示のためにキャプチャされる。技術者のLOSが遠すぎる方まで動いた場合、センサのFOVは、マーカ404とのペアリングを失い(「赤色」)、それにより、位置調整条件に違反し、ビデオカメラを無効にさせる。いくつかの場合、位置調整条件を満たすために単にマーカに戻って見ることにより、カメラをオンに戻してもよい。他の場合、マスタはシステムを初期化することを必要としてもよい。

ユーザがARゴーグルを備えている一例では、ユーザが自分の手を見ている場合に、ユーザがオブジェクトを見ているという仮定で、一次マーカは、ユーザの手(又は手袋)に配置されてもよい。二次マーカは、関心のオブジェクトに配置されてもよい(或いは関心のオブジェクトから抽出されてもよい)。陽性のペアリングは、一次マーカ若しくは二次マーカの一方、又は一次マーカ若しくは二次マーカの双方の獲得を必要としてもよい。

他の例では、二次センサ及び二次マーカは、高セキュリティの場合に使用され、必要に応じて、二次キーコードにより制御できる。二次マーカは、シーン内の特に問題のあるオブジェクト又は領域に配置される。二次マーカは固有であり、現場の顧客のみに提供される。二次センサが二次マーカを獲得した場合、ビデオカメラは直ちにオフにされ、場合によっては、手続き的なレビューが開始されることを、顧客に保証することができる。最低でも、二次マーカが獲得されている限り、ビデオカメラを再びオンに戻すことはできない。代替として、ARシステムを反応させるために、顧客の介入が必要となってもよい。

他の実施形態では、センサは、カメラのFOVよりも大きく、カメラのFOVを完全に包含するFOVを有する。例えば、カメラのFOVは30度であり、センサのFOVは34度である。カメラとセンサとを位置調整することは、カメラのFOVの両側に2度のセンサのFOVを提供する。位置調整条件は、オブジェクト上の一次マーカと、オブジェクトの周囲に離れて配置された複数の二次マーカとによって定義され、これは、本質的に許容可能なFOVの外側境界を定義する。位置調整条件を満たすことは、センサのFOVが一次マーカを見て(陽性のペアリング)、二次マーカのいずれも見ないこと(陰性のペアリング)を必要とする。カメラの指向方向が許容可能なFOV内でスルーすると、センサFOVの外側エッジは、カメラのFOVに入る前に更なる二次マーカを見ることになり、それにより、カメラのFOVをオフにする。理論的には、これは、センサのFOVをより狭く設定し、一次マーカに対する陽性のペアリングのみを必要とすることと等価である。しかし、特定の状況では、技術者/顧客/マスタは、このように許容可能なFOVの境界を定義するために、二次マーカを配置することを保証することを望む場合がある。

本発明のいくつかの例示的な実施形態が図示及び説明されてきたが、当業者には多数の変形及び代替の実施形態が思い浮かぶ。このような変形及び代替の実施形態は考えられており、添付の特許請求の範囲に規定される本発明の真意及び範囲から逸脱することなく行われることができる。

本発明の実施形態は以下のように表現されてもよい。

（１）データキャプチャ及び送信のコンプライアンスのためにローカル拡張現実(AR)環境においてビデオ信号からシーンの部分を除外する方法であって、
ビデオカメラの指向方向をユーザの動きに従わせるステップと、
ローカルシーン内のオブジェクトのビデオカメラの視野(FOV)内のビデオ信号をキャプチャするステップと、
遠隔地から、前記オブジェクトを操作するためのハンドジェスチャを受信するステップと、
前記ハンドジェスチャを前記ビデオ信号に重ね、前記オブジェクトの操作の際に前記ユーザに命令するために前記ユーザに対する拡張現実を表示するステップと、
前記ビデオ信号をキャプチャする前に、前記ビデオカメラのFOVがマーカに関してユーザ定義の許容可能なFOV内にあるように、前記ビデオカメラの指向方向が前記ローカルシーン内の前記マーカに対する位置調整条件を満たすか否かを決定するステップと、
前記位置調整条件が満たされない場合、前記ビデオ信号内のキャプチャから、前記ユーザ定義の許容可能なFOV外にある前記カメラのFOVの部分を少なくとも除外するように、前記カメラを制御するステップと
を含む方法。

（２）前記カメラを制御するステップは、前記位置調整条件が満たされないとき、前記ビデオカメラをオフにするステップを更に含む、（１）に記載の方法。

（３）前記ビデオカメラは、前記ユーザ定義の許容可能なFOV内からの画像のみが前記ビデオカメラによりキャプチャされるように、オフにされる、（２）に記載の方法。

（４）前記マーカは、指向方向がユーザの動きに従う別のセンサとペアリングされる、（３）に記載の方法。

（５）前記センサは、前記位置調整条件を満たすためのセンサのFOV内の前記マーカの存在を検出する、（４）に記載の方法。

（６）前記センサは、人工マーカの固有のサインを検出するように構成される、（５）に記載の方法。

（７）前記センサは、姿勢角度を生成するために前記カメラの指向方向をトラッキングするジャイロスコープを含み、前記姿勢角度は、前記マーカに対して較正され、前記マーカに対する前記姿勢角度は、前記位置調整条件を強制するために監視される、（４）に記載の方法。

（８）前記カメラの指向方向が前記位置調整条件に違反するのに近づきつつあるときに、警告信号を前記ユーザに発行するステップを更に含む、（１）に記載の方法。

（９）前記ビデオカメラは、前記位置調整条件が満たされるか否かを決定するために、前記マーカを検出するように構成される、（３）に記載の方法。

（１０）ジャイロスコープは、前記ビデオ信号に対して前記ハンドジェスチャを位置合わせして重ねるための姿勢角度を提供するように、前記カメラの指向方向をトラッキングし、前記姿勢角度は、前記マーカに対して較正され、前記マーカに対する前記姿勢角度は、前記カメラがオフにされた後に前記位置調整条件が満たされた場合に前記ビデオカメラをオンに戻すように監視される、（９）に記載の方法。

（１１）前記位置調整条件を満たすためのセンサのFOV内の前記マーカの存在を検出するように構成された別のセンサを更に含む、（１）に記載の方法。

（１２）前記カメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記カメラのFOV又はセンサのFOVを低減するステップを更に含む、（１１）に記載の方法。

（１３）前記ビデオカメラを無効にするセンサのFOVの検出による前記ローカルシーン内の更なるマーカの存在を検出するように構成されたセンサを更に含む、（１）に記載の方法。

（１４）姿勢角度を提供するために前記カメラの指向方向をトラッキングするジャイロスコープを更に含み、前記姿勢角度は、前記マーカに対して較正され、前記マーカに対する前記姿勢角度は、前記位置調整条件を強制するために監視される、（１）に記載の方法。

（１５）ユーザ識別フィールドと、マーカペアリングフィールドと、前記許容可能なFOVを定義する指定の許容値フィールドとを少なくとも含むユーザキーコードを提供するステップを更に含む、（１）に記載の方法。

（１６）前記ビデオ信号の送信が前記遠隔地へのデータ送信のコンプライアンスを満たすことを確保するために、専門家識別フィールドと、指定の許容値フィールドとを少なくとも含む専門家キーコードを提供するステップを更に含む、（１５）に記載の方法。

（１７）前記指定の許容値は、前記許容可能なFOVの外側エッジを定義する前記マーカからの距離である、（１５）に記載の方法。

（１８）前記指定の許容値は、前記カメラの指向方向と前記マーカとの間の角度である、（１５）に記載の方法。

（１９）前記位置調整条件を定めるために、前記カメラの指向方向についての位置ずれ許容値と前記カメラのFOVを定めるように前記ビデオカメラを較正するステップを更に含む、（１）に記載の方法。

（２０）データキャプチャ及び送信のコンプライアンスのためにローカル拡張現実(AR)環境においてビデオ信号からシーンの部分を除外する方法であって、
ビデオカメラの指向方向をユーザの動きに従わせるステップと、
ローカルシーン内のオブジェクトのカメラの視野(FOV)内のビデオ信号をキャプチャするステップと、
遠隔地から、前記オブジェクトを操作するためのハンドジェスチャを受信するステップと、
前記ハンドジェスチャを前記ビデオ信号に位置合わせして重ね、前記オブジェクトの操作の際に前記ユーザに命令するために前記ユーザに対する拡張現実を表示するステップと、
ユーザ識別情報、センサ/マーカペアリング、及び前記マーカに関してユーザ定義の許容可能なFOVを提供する指定の許容値のフィールドを少なくとも含むユーザキーコードを受信するステップと、
前記シーン内のマーカに対する前記センサのペアリングを検証するステップと、
前記カメラのFOVが前記マーカに関して前記ユーザ定義の許容可能なFOV内にあるように、位置調整条件を強制するために、前記カメラのFOVと、前記ビデオカメラの指向方向の位置調整許容値とを較正するステップと、
前記ビデオ信号をキャプチャする前に、前記カメラの指向方向が前記マーカへの前記位置調整許容値を満たすか否かを決定するために前記センサを使用するステップと、
前記位置調整条件が満たされない場合、前記ビデオカメラをオフにするステップと
を含む方法。

（２１）前記センサは、姿勢角度を提供するために前記カメラの指向方向をトラッキングするジャイロスコープを含み、前記姿勢角度は、前記マーカに対して較正され、前記マーカに対する前記姿勢角度は、前記位置調整条件を強制するために監視される、（２０）に記載の方法。

（２２）前記センサは、前記位置調整条件を満たすために、前記位置調整許容値に等しいセンサのFOV内の前記マーカの存在を検出するように構成される、（２０）に記載の方法。

（２３）データキャプチャ及び送信のコンプライアンスのためにローカル拡張現実(AR)環境においてビデオ信号からシーンの部分を除外するためのARシステムであって、
ユーザの動きに従った指向方向を有するビデオカメラであり、ローカルシーン内のオブジェクトのカメラのFOV内のビデオ信号をキャプチャするように構成されたビデオカメラと、
遠隔地から、前記オブジェクトを操作するためのハンドジェスチャを受信し、前記ハンドジェスチャを前記ビデオ信号に重ね、前記オブジェクトの操作の際に前記ユーザに命令するために前記ユーザに対する拡張現実を提示するユーザディスプレイと、
ユーザの動きに従った指向方向を有するセンサであり、前記カメラの視野(FOV)がユーザ定義の許容可能なFOV内にあるように、前記ビデオカメラの指向方向が前記シーン内のマーカに対する位置調整条件を満たすか否かを決定するように構成されたセンサと、
前記ビデオ信号内のキャプチャから、前記ユーザ定義の許容可能なFOV外にある前記カメラのFOVの部分を少なくとも除外するように、前記カメラを制御するように構成されたプロセッサと
を含むARシステム。

（２４）前記センサは、前記位置調整条件を満たすために、位置調整許容値に等しいセンサのFOV内の前記マーカの存在を検出するように構成される、（２３）に記載のARシステム。

（２５）前記センサは、姿勢角度を提供し、前記ハンドジェスチャを前記ビデオ信号に位置合わせして重ねるために前記カメラの指向方向をトラッキングするジャイロスコープを含み、前記姿勢角度は、前記マーカに対して較正され、前記マーカに対する前記姿勢角度は、前記位置調整条件を強制するために監視される、（２３）に記載のARシステム。

（２６）前記プロセッサは、ユーザ識別情報、センサ/マーカペアリング、及び前記マーカに関して前記ユーザ定義の許容可能なFOVを提供する指定の許容値のフィールドを少なくとも含むユーザ定義のキーコードを受信するように構成される、（２３）に記載のARシステム。

Claims (24)

1. データキャプチャ及び送信のコンプライアンスのためにローカル拡張現実(AR)環境においてビデオ信号からシーンの部分を除外する方法であって、
   ビデオカメラの指向方向をユーザの動きに従わせるステップと、
   ローカルシーン内のオブジェクトのビデオカメラの視野(FOV)内のビデオ信号をキャプチャするステップと、
   遠隔地から、前記オブジェクトを操作するためのオーディオ、テキスト又はビデオのメディアの形式の命令を受信するステップと、
   前記命令を前記ビデオ信号に重ね、前記オブジェクトの操作の際に前記ユーザに命令するために前記ユーザに対する拡張現実を表示するステップと、
   前記ビデオカメラのFOVがマーカに関してユーザ定義の許容可能なFOV内にあるように、前記ビデオカメラの指向方向が前記ローカルシーン内の前記マーカに対する位置調整条件を満たすか否かを決定するステップと、
   前記位置調整条件が満たされない場合、前記ビデオ信号内のキャプチャから、前記ユーザ定義の許容可能なFOV外にある前記ビデオカメラのFOVの部分を少なくとも除外するように、前記ビデオカメラを制御するステップと
   を含む方法。
2. 前記ローカルシーンは、除外されたデータを含み、前記ビデオカメラは、前記除外されたデータのキャプチャを防止するよう、前記ユーザ定義の許容可能なFOV内からの画像のみが前記ビデオカメラによりキャプチャされるように制御される、請求項１に記載の方法。
3. 前記ビデオカメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記ビデオカメラのFOVを低減するステップを更に含む、請求項２に記載の方法。
4. 前記位置調整条件を満たすためのセンサのFOV内の前記マーカの存在を検出するように構成された別のセンサを更に含み、
   前記ビデオカメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記センサのFOVを低減するステップを含む、請求項２に記載の方法。
5. 前記マーカは、指向方向がユーザの動きに従う別のセンサとペアリングされる、請求項１に記載の方法。
6. 前記ビデオカメラの指向方向が前記位置調整条件に違反するのに近づきつつあるときに、警告信号を前記ユーザに発行するステップを更に含む、請求項１に記載の方法。
7. 除外ゾーンを作成するように、センサのFOVによって前記ローカルシーン内の更なるマーカの存在を検出するように構成されたセンサを更に含む、請求項１に記載の方法。
8. 前記更なるマーカの検出は、前記ビデオカメラを無効にする、請求項７に記載の方法。
9. データキャプチャ及び送信のコンプライアンスのために、ローカル拡張現実(AR)環境においてビデオ信号から、除外されたデータを含むローカルシーンの部分を除外する方法であって、
   前記ローカルシーン内のビデオカメラの視野(FOV)内のビデオ信号をキャプチャするステップと、
   遠隔地から、オーディオ、テキスト又はビデオのメディアの形式の命令を受信するステップと、
   前記命令を前記ビデオ信号に重ね、ユーザに命令するために前記ユーザに対する拡張現実を表示するステップと、
   前記ビデオカメラのFOVがマーカに関してユーザ定義の許容可能なFOV内にあるように、前記ビデオカメラの指向方向が前記ローカルシーン内の前記マーカに対する位置調整条件を満たすか否かを決定するステップと、
   前記位置調整条件が満たされない場合、前記ビデオ信号内のキャプチャから、前記ユーザ定義の許容可能なFOV外にある前記ビデオカメラのFOVの部分を少なくとも除外し、前記除外されたデータのキャプチャ及び送信を防止するように、前記ビデオカメラを制御するステップと
   を含む方法。
10. 前記ビデオカメラは、前記除外されたデータのキャプチャを防止するよう、前記ユーザ定義の許容可能なFOV内からの画像のみが前記ビデオカメラによりキャプチャされるように制御される、請求項９に記載の方法。
11. 前記ビデオカメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記ビデオカメラのFOVを低減するステップを更に含む、請求項１０に記載の方法。
12. 前記位置調整条件を満たすためのセンサのFOV内の前記マーカの存在を検出するように構成された別のセンサを更に含み、
    前記ビデオカメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記センサのFOVを低減するステップを含む、請求項１０に記載の方法。
13. 前記マーカは、別のセンサとペアリングされる、請求項９に記載の方法。
14. 前記ビデオカメラの指向方向が前記位置調整条件に違反するのに近づきつつあるときに、警告信号を前記ユーザに発行するステップを更に含む、請求項９に記載の方法。
15. 除外ゾーンを作成するように、センサのFOVによって前記ローカルシーン内の更なるマーカの存在を検出するように構成されたセンサを更に含む、請求項９に記載の方法。
16. 前記更なるマーカの検出は、前記ビデオカメラを無効にする、請求項１５に記載の方法。
17. データキャプチャ及び送信のコンプライアンスのために、ビデオ信号から、除外されたデータを含むローカルシーンの部分を除外する方法であって、
    前記ローカルシーン内のビデオカメラの視野(FOV)内のビデオ信号をキャプチャするステップと、
    前記ビデオカメラのFOVがマーカに関してユーザ定義の許容可能なFOV内にあるように、前記ビデオカメラの指向方向が前記ローカルシーン内の前記マーカに対する位置調整条件を満たすか否かを決定するステップと、
    前記位置調整条件が満たされない場合、前記ビデオ信号内のキャプチャから、前記ユーザ定義の許容可能なFOV外にある前記ビデオカメラのFOVの部分を少なくとも除外し、前記除外されたデータのキャプチャ及び送信を防止するように、前記ビデオカメラを制御するステップと
    を含む方法。
18. 前記ビデオカメラは、前記除外されたデータのキャプチャを防止するよう、前記ユーザ定義の許容可能なFOV内からの画像のみが前記ビデオカメラによりキャプチャされるように制御される、請求項１７に記載の方法。
19. 前記ビデオカメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記ビデオカメラのFOVを低減するステップを更に含む、請求項１８に記載の方法。
20. 前記位置調整条件を満たすためのセンサのFOV内の前記マーカの存在を検出するように構成された別のセンサを更に含み、
    前記ビデオカメラのFOVが前記ユーザ定義の許容可能なFOV内に留まっていても、前記位置調整条件が満たされないバッファゾーンを作成するように、前記センサのFOVを低減するステップを含む、請求項１８に記載の方法。
21. 前記マーカは、別のセンサとペアリングされる、請求項１７に記載の方法。
22. 前記ビデオカメラの指向方向が前記位置調整条件に違反するのに近づきつつあるときに、警告信号をユーザに発行するステップを更に含む、請求項１７に記載の方法。
23. 除外ゾーンを作成するように、センサのFOVによって前記ローカルシーン内の更なるマーカの存在を検出するように構成されたセンサを更に含む、請求項１７に記載の方法。
24. 前記更なるマーカの検出は、前記ビデオカメラを無効にする、請求項２３に記載の方法。

Images