JP6081586B2 - セキュリティ保護拡張現実アプリケーションのコンテキストベースの管理 - Google Patents

Description

本開示は、カメラの利用が望まれない領域における拡張現実アプリケーションの使用に関する。

本出願は、２０１２年７月１３日に出願された米国出願番号１３／５４９１２２、優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。

製造施設や企業施設などの機密情報が含まれている場所では、カメラの使用が防止されている又は禁止されている。スマートフォンなどの電話に備えられているカメラでは、このタスクの達成を助けるために電源がオフにされることができる。

しかし、電話又は他のデバイスにおけるカメラの電源をオフにすると、拡張現実アプリケーションなどのカメラが使用可能なアプリケーションを使用することができない。

そこで、本発明は上記事情に鑑み、上記課題を解決した画像が適切な認証又は権限無しでアクセスされないようにカメラで撮影した画像を保護すること等によって、カメラ及びカメラを含むデバイスがＯＮ状態のままでいることを可能にする方法の提供を目的とする。

上記課題を解決するため、本発明の一態様において、方法は、カメラが保護領域内に位置しているかどうかを判定するステップと、前記カメラが前記保護領域に位置しているとき、前記カメラをセキュリティ保護カメラモードに置いて、前記カメラによって生成されるデータを保護するステップと、を有する。

画像が適切な認証又は権限無しでアクセスされないようにカメラで撮影した画像を保護すること等によって、カメラ及びカメラを含むデバイスがＯＮ状態のままでいることを可能にする。

例示的な実施形態による、システムの論理ブロック図である。 例示的な実施形態による、方法のフロー図である。 例示的な実施形態による、方法のフロー図である。 例示的な実施形態による、画像処理アプリケーションのフロー図である。 例示的な実施形態による、方法を実装するコンピュータシステムのブロック図である。

以下の説明及び図面は、当業者が実施可能になるような特定の実施形態を示す。他の実施形態として、構造的、論理的、電気的、プロセス、または他の変更を組み込んでもよい。いくつかの実施形態の部分及び特徴は、他の実施形態のものの中に含まれてもよい、或いは、他の実施形態のものに置き換えてもよい。特許請求の範囲に記載の実施形態は、これらの請求項の全ての利用可能な等価物を包含する。

カメラやカメラを備える他のデバイスが保護領域（例えば、セキュリティ保護領域：Ｓｅｃｕｒｅ Ａｒｅａ）にあるときに、該カメラやカメラを備える他のデバイスの電源を切ることは、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ：現実環境に情報を付加する技術）や他のカメラに対応したアプリケーションが完全に動作可能になること、を防ぐことになる。多くの状況で、これは、拡張現実または他のカメラに対応したアプリケーションの有用性を妨げてしまう。
本出願は、画像が適切な認証又は権限無しでアクセスされないようにカメラで撮影した画像を保護すること等によって、カメラ及びカメラを含むデバイスがＯＮ状態のままでいることを可能にする、実施形態を提供する。なお、特に明記しない限り、本明細書で使用されるカメラ及びカメラを含むデバイスという用語は、カメラ、カメラを含む携帯電話、タブレット・コンピューター、ラップトップコンピュータ、または他のコンピューティングデバイスとしてのカメラを含む他の装置を、指し示すことができる。

拡張現実（ＡＲ）アプリケーションは、音声、ビデオ、グラフィックス、またはＧＰＳ（全地球測位システム）データ、などのコンピューターが生成する感覚の入力によって拡張された、現実世界の環境のビューを提供する。
拡張現実（ＡＲ）アプリケーションは、例えば、メンテナンス担当者が、保護領域内に機器を固定することに有用であり得る。
ユーザーが機器の一部にカメラを向けると、ＡＲアプリケーションは、機器の一部を特定し、該機器の一部に、異なる部品が何であるか、どのようにパネル開くのか、最初に取り外すスクリューはどれか、などを示す、グラフィック情報をオーバーレイ表示する（Ｏｖｅｒｌａｙ）ことを可能にする。

ある実施形態は、カメラによって撮影された画像を保護し、保護された画像をサーバーに送信して拡張させ、サーバーから拡張された画像を受信し、保護されるオーディオビジュアルパス（Ｐｒｏｔｅｃｔｅｄ Ａｕｄｉｏ Ｖｉｓｕａｌ Ｐａｔｈ：ＰＡＶＰ）を介して拡張された画像を保護することによって、拡張現実アプリケーションが保護領域内で機能すること可能にする。いくつかの実施形態では、画像が、カメラのメモリに平文で保存されたり、カメラにインストールされたり、又はカメラにアクセス可能にされることを防止することによって、画像を保護することができる。ある実施形態では、画像がメモリに保存される前に、画像データを暗号化することによって、画像を保護することができる。保護されるオーディオビジュアルパス（ＰＡＶＰ）は、拡張された画像を示すデータを復号化するように、表示装置に関連付けられたハードウェアのみを許可するように、動作可能である。

１又は複数の実施形態の利点は、デバイスが保護領域の近傍にあっても、拡張現実アプリケーション又は他のカメラの適用可能なアプリケーションが、デバイスにおいて実行可能にすることができること、を含みうる。例えば、カメラが一般的に利用できない場所にある固定機器において、拡張現実アプリケーションが動作可能になり、人を支援できるようにしてもよい。拡張現実アプリケーションは、カメラに結合された画面に表示される画像内のオブジェクトに関する情報を提供するように動作可能である。

図１は、本発明の例示的な実施形態による、システム１００の論理ブロック図である。システム１００は、装置１０２とネットワーク１０８に接続されたサーバー１０４とを備えることができる。ネットワーク１０８は、ローカルエリアネットワーク（構内ネットワーク：ＬＡＮ）、インターネット、仮想プライベートネットワーク、及び他のそのようなネットワークなどの１又は複数の有線及び無線ネットワークを備えることができる。

デバイスのハードウェアの間で事前に確立された信頼関係（例えば、信頼できる実行環境（Ｔｒｕｓｔｅｄ Ｅｘｅｃｕｔｉｏｎ Ｅｎｖｉｒｏｎｍｅｎｔ：ＴＥＥ）または保護されるオーディオ・ビジュアル・パス（ＰＡＶＰ））が存在しうる。カメラを備えるデバイスから送信されたデータをどのように復号化するかを、ＴＥＥと通信することを介して、サーバーが知ることができるように、及びサーバーによって暗号化されたデータをどのように符号化するかを、ＰＡＶＰが知るように、デバイスハードウエアは安全にキーを暗号化又は復号化する。

装置１０２は、カメラ１１０がセキュアカメラモードのとき、カメラ１１０で撮像された画像データを保護するセキュリティ保護（Ｓｅｃｕｒｅ）カメラモードを含むことができる。セキュリティ保護カメラモードは、ファームウェア、ソースコード、ハードウェア、又はそれらの組み合わせによって、駆動される又は実施されることができる。ある実施形態では、カメラ１１０に関連するファームウェア、ソースコード、又はハードウェアは、少なくとも部分的にセキュリティ保護カメラモードを実装するために変更することができる。ある実施形態では、カメラ１１０によって生成されたデータを保護するために、カメラ１１０のデータ経路が修正されてもよい。ある実施形態では、カメラのデータ経路を修正することは、カメラに関連付けられる、ソースコード、ファームウェア、又はハードウェア、を修正すること、或いはデータの経路を変更するようなこれらの組み合わせを含む。ある実施形態では、カメラ１１０によって生成されたデータは、符号化する画像処理モジュール１１４（例えば、画像信号処理モジュール）に送られてもよい。
符号化データは、レンダリング可能な画像又はビデオ（映像）データであるデータを修正することを含んでもよい。ある実施形態では、画像処理モジュール１１４は、ディスプレイ１２２と互換性のある形式にカメラ１１０から受信したデータを修正する。ある実施形態では、データが符号化された後、符号化されたデータは、暗号化されるように、暗号化モジュール１１６などの暗号化モジュールへ送られうる。他の実施形態では、データが符号化された後、符号化されたデータは、信頼された実行環境１２４などの信頼できる実行環境（ＴＥＥ）へ送られてもよい。

装置１０２は、タブレット、ポータブルデジタルアシスタント（ＰＤＡ）、スマートフォン、コンピューター、カメラ、又は他のデバイスであってもよい。装置１０２は、カメラ１１０を含むことができる。カメラ１１０は、画像（例えば、動画又は静止画）を表すデータを撮影し、該データを、画像処理モジュール１１４、暗号化モジュール１１６、保護されるオーディオビジュアルパス（ＰＡＶＰ）１２０、メモリ１１２、ディスプレイ１２２、又はサーバー１０４などのサーバーへ送信するように、動作可能である。

メモリ１１２は、メモリから受信したデータを保存するように動作可能なメモリであってもよい。メモリ１１２は、カメラ１１０で生成されたデータの経路を変更すること等によって、カメラ１１０によって生成される暗号化されていないデータを保存することを防止することができる。ある実施形態では、メモリ１１２は、画像処理モジュール１１４のような画像処理モジュールのための画像処理モジュールメモリであってもよい。このようなメモリは、デバイスやアプリケーションが、メモリ内のデータにアクセスすることを防止するように構成されてもよい。
ある実施形態において、隔離されたメモリ領域のプロトコルは、画像処理モジュールのメモリのようなメモリを保護することができる。このような実施形態では、装置１０２は、サンタクララ、カリフォルニア州のインテルコーポレーションから入手可能なインテルのＡｔｏｍ（登録商標）ＳｏＣのような、システムオンチップ（ＳｏＣ）デバイスであってもよい。
他の実施形態において、装置１０２はコアベースのプラットフォームで実行されている場合、メモリが制限されたアドレス範囲プロトコルによって保護されていてもよい。
制限されたアドレス範囲は、ＢＩＯＳ（基本入出力システム）の前の、セキュアファームウェアによって設定されてもよい。権限のないアプリケーション又はデバイスがデータにアクセスすることを防止することによって、データがセキュリティ保護メモリ（例えば、隔離されたメモリ領域又は制限されたアドレス範囲を備えるメモリ）によって保護されていてもよい。

画像処理モジュール１１４は、生の（ＲＡＷ）画像データを、ＪＰＥＧ（ジョイントフォトグラフィックエキスパートグループ）又はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ＭＰＥＧなどの、符号化された画像データ又は符号化された映像データとして符号化データへ変換するように、動作可能である。ディスプレイが画像または映像として符号化されたデータを表示することが可能になるように、符号化されたデータは、ディスプレイ１２２等のディスプレイと互換性がある。隔離されたメモリ領域又は制限されたアドレス範囲のプロトコルを実装することなどによって、符号化されたデータは、デバイスのメモリへ保存されることを防止されることができ、権限のないデバイス又はアプリケーションによってアクセスされないように保護されることができる。

暗号化モジュール１１６は、画像データ、符号化されたデータ、又は拡張されたデータなどのデータを受信し、データの暗号化バージョンを生成するように、動作可能である。
ある実施形態において、カメラ１１０は、暗号化を行う暗号化モジュール１１６へ送信される生データを生成することができる。ある実施形態では、装置１０２のハードウェアとしてのカメラに関連するハードウェアに、復号（解読）キーが知られている例において、暗号化されたデータは、メモリ１１２などのローカルメモリに保存することができる。ある実施形態では、サーバーに復号キーが知られている例において、暗号化されたデータは、サーバー１０４等のサーバーに保存することができる。ある実施形態では、メモリのみ又はサーバーのみが夫々、暗号化されたデータを復号化できるように、復号キーは、メモリのみ又はサーバーのみに知られている。ある実施形態では、暗号化モジュール１１６は、受信したデータを復号化する機能を実行するように動作可能である。

位置センサ１１８は、装置１０２が所定の時間においてどこにあるのかのおおよその位置を判断するように動作可能である。ある実施形態では、位置センサ１１８は、所定の時間における位置センサ１１８のおおよその位置を判定するのを助けるＧＰＳアプリケーションへ結合されている。ある実施形態では、位置センサ１１８は、所定の時間における位置センサ１１８のおおよその位置を判断するためのＷｉ−Ｆｉアプリケーションへ結合されている。おおよその位置は、位置センサ、従ってデバイス又はカメラが、保護領域（セキュアエリア、例えば、保護される領域）にあるかどうかを決定することに使用することができる。セキュリティ保護領域は、コンピューターで読み取り可能なログに事前に定義されてもよい。
セキュリティ保護領域ログは情報技術（ＩＴ）管理者または他の権限のある人によって定義されてもよい。ある実施形態において、デバイスがセキュリティ保護領域にあると判定された場合、信頼できる実行環境は、カメラをセキュリティ保護モードへ移行することができる。

ＰＡＶＰ１２０は、受信したデータを暗号化するように構成することができる。ディスプレイ１２２などの表示装置又は該表示装置に関連するハードウェアでのみ、データを復号化し、コンテンツを表示することができるように、ＰＡＶＰは、表示装置又は該表示装置に関連するハードウェアでのみ、復号キーを共有するように構成することができる。ある実施形態において、ＰＡＶＰ１２０は、サーバー１０４のような拡張現実アプリケーションサーバーからデータを受信するように構成することができる。ある実施形態において、ＰＡＶＰ１２０は、メモリ１１２などのセキュリティ保護メモリからデータを受信するように構成することができる。

ディスプレイ１２２は、画像やビデオを表示可能な画面でありうる。ある実施形態では、ディスプレイは、ディスプレイの入力部で受信されたデータを復号するように動作可能な関連するハードウェアを含むことができる。入力部で受信されたデータは、カメラがセキュリティ保護モード又はプレビューモードでない場合に、保護されるオーディオビジュアルパス１２０のようなＰＡＶＰから来る、或いは画像処理モジュール１１４のような画像処理モジュールから来るものであってもよい。

ＴＥＥ１２４は、画像処理モジュール１１４からの符号化された画像データを暗号化するように動作可能である。ある実施形態において、ＴＥＥは、Ｃｈａａｂｉファームウェア、管理エンジン（ＭＥ）ファームウェア、又は他のＴＥＥのファームウェアを備えてもよい。ＴＥＥ１２４は、暗号化された画像をサーバー１０４のようなサーバーへ送信することができる。
ある実施形態では、サーバー１０４は、クラウドサーバーを含むことができる。ある実施形態において、カメラ１１０がプレビューモードに置かれているとき、暗号化モジュール１１６はデータを暗号化するために使用されることができ、カメラ１１０がセキュリティ保護モードに置かれているとき、ＴＥＥ１２４が使用されることができる。

サーバー１０４は、機器を認識するために（データベースと特徴に一致する、特徴抽出）のＡＲに関連するアルゴリズム（特徴抽出、データベースと特徴のマッチング）を実行することができる。ある実施形態において、サーバー１０４は、機器の向き（交信角度）を認識することができる。データベース・アルゴリズムとともにある特徴抽出及び特徴マッチングは、データベース内の承認されたパターン、構成、又は画像に対して受信した画像をチェックすることを含むことができる。ある実施形態では、承認された、パターン、構成、又は画像がクラウドサーバーからカメラへ送信されてもよい。
画像が、画像内でのオブジェクトの承認されたパターン又は構成を含まない場合、サーバー１０４は画像を送信せず、ディスプレイに表示されることに戻る。ある実施形態では、クラウドサーバーは承認された画像をデバイスへ送信し戻すことができる。例えば、クラウドサーバーは、承認された画像をデバイスのＰＡＶＰへ送信することができる。ある実施形態では、クラウドサーバーは、受信した画像データを拡張現実アプリケーションサーバーへリダイレクトすることができる。
ある実施形態では、デバイスがセキュリティ保護モードのとき、装置１０２に関連付けられたカメラ１１０など、デバイスに関連付けられたカメラによって撮影された画像をクラウドサーバー内で保存することが可能である。

サーバー１０４は、拡張現実アプリケーションサーバーを備えることができる。拡張現実アプリケーションサーバーは、受信した画像データを拡張する又は変更し、拡張又は変更した画像データ、或いは、元の画像と元の画像に対して実行される拡張又は変更を表示する補強データ（Ａｕｇｕｍｅｎｔａｔｉｏｎ ｄａｔａ）、のいずれかを送信するように動作可能であってもよい。ある実施形態では、拡張現実アプリケーションサーバーは、データをデバイスのＰＡＶＰへ送信する。
ある実施形態では、位置センサが、デバイスがセキュリティ保護領域にないＴＥＥを示しているとき、拡張現実アプリケーションは終了してもよい。すなわち、ある実施形態では、拡張現実アプリケーションは、カメラを含むデバイスが指定のセキュリティ保護領域の近くに位置しているときのみに機能することが可能である。

サーバー１０４は、モバイルデバイス管理（ＭＤＭ）サーバーとして構成することができる。ＭＤＭサーバーは、特定のエリア内の、装置１０２などのデバイスの動作に関連するポリシー（方針）を格納するように動作可能である。例えば、スマートフォンに関連するポリシーは、スマートフォンがセキュリティ保護モード又はプレビューモードに置かれることが可能であることを示すデータを含むことができる。ある実施形態において、信頼できる実行環境１２４のようなＴＥＥは、サーバー１０４のようなＭＤＭサーバーと、画像処理モジュール１１４のような画像処理モジュールと、通信することができる。
カメラ１１０などのカメラの電源が入っているとき、画像処理モジュールは、これをＴＥＥに指示することで、カメラがオンになっていることをサーバーに指示する。位置センサ１１８のような位置センサは位置データをサーバーへ送信してもよい。
次に、カメラのポリシーは実装されるかどうかを決定するようにサーバーは位置データを使用することができる。カメラがセキュリティ保護領域に位置しているとき、カメラはセキュリティ保護カメラモードなる、ＯＦＦになる、通常動作のままにとどまる、又はプレビューモードにすることができる。

サーバー１０４は暗号化された符号化データを拡張現実サーバーへリダイレクトするように構成されたクラウドサーバーとして構成することができる。ある実施形態では、サーバーは最初に、特徴抽出アルゴリズムを利用するか、画像内の特徴を、承認されたパターン、構成、又は暗号化された符号化データを拡張現実サーバーにリダイレクトする前の画像とマッチングさせるようにしてもよい。

ある実施形態では、装置１０２のようなカメラを含むデバイスがプレビューモードにするように動作可能である。装置がプレビューモードに置かれると、カメラは画像又は映像データを画像処理モジュールへ送信することで、符号化データを作成するように画像又はビデオデータを符号化することができる。符号化されたデータがＰＡＶＰに送信されることで、表示装置やそれに関連するハードウェアへ符号化されたデータの暗号化バージョンが送信されることができる。このように、カメラは、照明条件がカメラを使用するのに十分であるかどうかを確認する、或いは、カメラが別な方法で正常に動作するかどうかを確認するために試験することができる。

従って、ある実施形態において、保護領域内で画像／ビデオデータは、カメラ１１０のようなカメラによって撮影されうる。画像／ビデオデータは、画像処理モジュール１１４のような画像処理モジュール、又は信頼される実行環境１２４のようなＴＥＥを用いることによって、符号化される又は暗号化されることができる。暗号化されたデータは、サーバー１０４などのサーバーへ送信することができる。
画像処理モジュールは、隔離されたメモリ領域（ＩＭＲ）において符号化されたデータ（しかし暗号化されていないテキストデータ）を保存できる。ＴＥＥ又は暗号化モジュール１１６などの暗号化モジュールは、符号化されたデータを暗号化し、システムメモリに入れてもよい。このような装置１０２のようなデバイス上で実行中の拡張現実（ＡＲ）アプリケーションは、ネットワーク１０８などのネットワークを使用して、暗号化された画像／ビデオデータをサーバーへ送信することができる。
サーバーは、暗号化された画像／ビデオデータを復号化し、装置またはその向きを認識するように、ＡＲ関連のアルゴリズム（例えば、特徴抽出、データベースとの特徴のマッチング等）を実施する。ＡＲ関連のアルゴリズムは、画像／ビデオデータと拡張データとをオーバーレイし、画像／ビデオデータ及び拡張情報を暗号化し、それをデバイス（カメラを含むスマートフォン等）へ送信してもよい。カメラのＡＲアプリケーションは、デバイスとサーバーに接続されているネットワークから暗号化された拡張画像／ビデオデータを受信することができる。
カメラは、システムメモリに暗号化された拡張画像／ビデオデータを保存し、ＰＡＶＰ１２０のような保護されるオーディオビジュアルパスへ、データがレンダリングされることを示すことができる。ＰＡＶＰハードウェアは、データを読み取り、それを復号化し、ディスプレイ１２２などのディスプレイ上に拡張された画像／ビデオをレンダリングすることができる。

図２は、例示的な実施形態における、方法２００のフロー図である。方法２００は、カメラの位置に基づいて、セキュリティ保護モードでカメラを置くためのプロセスの一部が実施することができる方法の一例である。
方法２００のＳ２０２において、図１のカメラ１１０のようなカメラが保護領域に位置するかどうかを判定する。ある実施形態では、カメラが保護領域内にある場合かどうかの判定は、装置１０２のようなカメラを含むスマートフォンが保護領域内にあるかどうかを判定することを含む。
Ｓ２０４でカメラが保護領域又はその周辺に位置するとき、カメラは、セキュリティ保護カメラモードになり、カメラによって生成されたデータは、保護されることができる。

ある実施形態では、カメラによって生成されたデータは、カメラが保護領域にある間のカメラを含むデバイスにローカルの（Ｌｏｃａｌ：ネットワークを介さずに自分の手元で直接操作できる）図１に示すメモリ１１２のようなメモリへ、データが暗号化されずに保存されることから保護される。即ち、カメラが暗号化されていないデータを保存することを防ぐ。ある実施形態において、カメラが保護領域内にあるときに（即ち、カメラがセキュリティ保護カメラモードにあるとき等）、カメラによって生成されたデータは、ローカルに保存される又はサーバーへ保存される前に、例えば図１の暗号化モジュール１１６又は信頼される実行環境１２４によって、暗号化される。
ある実施形態では、カメラによって生成されたデータは、さらに、又は代替的に、保護されるオーディオビジュアルパス１２０などのＰＡＶＰへデータを送信することによって保護することができる。

ある実施形態において、Ｓ２０６で、例えば図１のサーバー１０４などの拡張現実アプリケーションサーバーは、カメラがセキュリティ保護カメラモードにあるときに、カメラによって生成されたデータへのアクセスを許可されてもよい。ある実施形態において、Ｓ２０８で、装置１０２のようなカメラは、保護領域内に位置する製造装置などの第２のデバイス装置に関する情報を受信することができる。第二のデバイスに関する情報は、カメラから送信された第２の装置の画像にオーバーレイしてもよい。

図３は、例示的な実施形態による方法３００のフロー図である。方法３００は、定義された保護領域を考慮して、カメラに関して実行され得る方法の一例である。
方法３００のＳ３０２において、装置１０２のようなカメラを備えるデバイスが保護領域内に位置するかどうかを判定することを含む。デバイスが保護領域内に位置するかどうかを判定することは、ＧＰＳなどの位置センサでデバイスの位置を判定することを含むことができる。また、既知のＷｉＦｉネットワークへの接続、他の位置決定プロセスとメカニズムのうち符号化データを含む別の無線周波数信号の存在など、位置は他の方法で判定されてもよい。カメラが保護領域内あるとき、デバイスのカメラの電源が入っているかどうかを判定する。カメラがオンになっているかどうかの判定は、図１に示される信頼できる実行環境１２４と通信する画像処理モジュール１１４などのＴＥＥと通信する画像処理モジュールを用いて達成され得る。
Ｓ３０４において、保護領域でカメラによって撮影されたデータは、符号化されうる。画像処理モジュール１１４などの画像処理モジュールは、ディスプレイ１２２等の表示装置とデータの互換性を確保するようにデータを符号化することができる。

そしてＳ３０６において、符号化データは暗号化されることができ、暗号化された符号化データが作成される。暗号化は、図１の暗号化モジュール１１６などの暗号化モジュール又は信頼できる実行環境１２４のようなＴＥＥを用いて、達成され得る。
Ｓ３０８において、暗号化された符号化データは、サーバー１０４へ送信されうる。
ある実施形態では、データは、装置及びサーバーの両方が接続されたネットワークを介してデバイスからサーバーへ送信されてもよい。
Ｓ３１０において、Ｓ３０８での送信に対応して、符号化されたデータの変更された又は修正されたバージョンを含む拡張データは受信される。拡張データは、サーバー１０４のような拡張現実サーバーを使用して作成されうる。符号化されたデータの変更された又は修正されたバージョンは、補強データで変更された又は修正された符号化データを含むことができる。
Ｓ３１２で、拡張されたデータのビューを提供するレンダリング可能なビデオデータが出力されうる。ビデオデータは、ディスプレイ１２２等の表示装置へ出力することができる。

ある実施形態において、方法３００のＳ３１４において、画像データ（例えば、平文のテキストイメージデータ）がデバイスのメモリ１１２などのメモリへ保存されることが防止される。画像データが平文でメモリに保存されることが防止されることは、デバイスによって生成されるデータのデータ経路を変更することを含む。
本明細書で使用される「平文の（Ｃｌｅａｒ）」とは、システムメモリの保護されていないメモリに保存されること及び、暗号化されていないことを意味する。あるコンテキストにおいて、平文はクリアテキストと同義であるが、実際のテキストは、データが平文で保存することは必要とされない。データは、テキスト又は画像データなどのデータのタイプを独立して、平文で保存されることを防止されることができる。
したがって、ここでは、画像データが平文でメモリに保存されることが防止されることは、データをセキュリティ保護メモリに保存すること、又は非セキュリティ保護メモリにデータを保存する前にデータを暗号化することを含み得る。不正なアプリケーションやデバイスからの画像データを保護することは、隔離されたメモリ領域または制限アクセス範囲を実装することを含むことができる。
ある実施形態では、Ｓ３１６において、拡張されたデータ又は符号化されたデータは保護されるオーディオビジュアルパスに送信されてもよく、拡張されたデータ又は符号化されたデータが保護される。

ある実施形態では、符号化されたデータは、サーバー１０４などのサーバーで受信されてもよい。ある実施形態では、符号化されたデータは、符号化されたデータを再作成するために、サーバーによって復号化される暗号化された符号化データであってもよい。ある実施形態では、サーバーは、拡張現実アプリケーションサーバーであってもよい。ある実施形態では、サーバーは、符号化データを変更し又は修正すること等によって符号化データを拡張し、拡張されたデータを作成することができる。ある実施形態では、拡張データは、装置１０２などのデバイスに送信されることができる。

図４は、例示的な実施形態における画像処理アプリケーションの方法４００のフロー図である。画像処理アプリケーションは、装置１０２のようなデバイスによって実現されてもよい。
フローは、電源を入ったカメラを持って、ユーザーが保護領域に入ることから開始する（Ｓ４０２）。ある実施形態において、保護領域の近傍でユーザーは電源を入れることができる。
Ｓ４０４においてカメラの位置が確認されうる。カメラの位置は、カメラが保護領域の近くにあるか（ＹＥＳ）又は保護領域の地下にないか（ＮＯ）のどちらかを示しうる。
カメラが保護領域の近傍にない場合は、カメラは、通常モードで使用することができる（Ｓ４０６）。カメラが保護領域の近傍にある場合は、カメラは、カメラのためのセキュリティ保護位置ポリシーなどがチェックされる（Ｓ４０８）。
ポリシーは、カメラがセキュリティ保護モード又はプレビューモードに置かれることが可能であることを示すことができる（Ｓ４１０）。カメラポリシーが呼び出され、カメラがセキュリティ保護モードに置かれてもよい。
保護領域内のデバイスでの問題のトラブルシューティングなどをするため、Ｓ４１２ではカメラは保護領域においてセキュリティ保護で使用することができる。
Ｓ４１４で拡張現実アプリケーションが起動されうる。拡張現実技術はコンピューターを用いて符号化されたデータを拡張データへオーバーレイする。拡張されたデータは、将来の使用のためにサーバー１０４などのサーバーに保存することができる。
拡張現実アプリケーションによって作成された拡張されたデータはＳ４１６でビューされうる。ユーザーがこれらを拡張現実アプリケーションで実行するか、カメラを使用して実行した後、アプリケーションが終了することができる。

図５は、本発明の実施形態による方法を実施するコンピュータシステムのブロック図である。図５に示す実施形態では、他の図に示されるサーバー及び／又はリモートクライアントのいずれにも適用することができるハードウェア及び動作環境が提供される。

図５に示すように、ハードウェア及び動作環境の１つの実施形態は、コンピューター５００（例えば、パーソナルコンピュータ、ワークステーション、またはサーバー）の形の汎用コンピューティングデバイスを含む。コンピューター５００は、１又は複数の処理ユニット５２１、システムメモリ５２２、及びシステムメモリ５２２を含む様々なシステム構成要素を動作可能に接続するシステムバス対５２３を備える。
コンピューター５００のプロセッサが単一の中央処理装置（ＣＰＵ）、又は一般的にマルチプロセッサまたはパラレルプロセッサ環境と呼ばれる複数の処理ユニットを含みうるように、処理ユニット５２１は、単一であってもよいし、２以上の複数であってもよい。様々な実施形態において、コンピューター５００は、従来のコンピューター、分散コンピューター、又はコンピューターの任意の他のタイプである。

システムバス５２３は、メモリバス、又は、メモリコントローラと、周辺バスと、及び様々なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかのタイプのバス構造のいずれであってもよい。システムメモリは単なるメモリ呼ばれるものであってもよく、さらに、ある実施形態において、読み出し専用メモリ（ＲＯＭ）５２４及びランダムアクセスメモリ（ＲＡＭ）５２５を、備えていてもよい。起動時などにコンピューター５００内の要素間の情報伝送に役立つ基本ルーチンを含む基本入力／出力システム（ＢＩＯＳ）プログラム５２６は、ＲＯＭ５２４に格納されてもよい。
コンピューター５００はさらに、不図示のハードディスクから読み取り、書き込むためのハードディスクドライブ５２７と、
リムーバブル磁気ディスク５２９から読み取り、書き込むための磁気ディスクドライブ５２８と、ＣＤ−ＲＯＭまたは他の光学媒体などの光学ディスク５３１から読み取り、書き込むための光学ディスクドライブ５３０を備える。

ハードディスクドライブ５２７、磁気ディスクドライブ５２８、および光学ディスクドライブ５３０は、夫々、ハードディスクドライブインターフェース５３２、磁気ディスクドライブインターフェース５３３、及び光学ディスクドライブインターフェース５３４へと接続されている。ドライブ及びこれに関連するコンピューター可読媒体は、コンピューター５００用のコンピューター可読命令、データ構造、プログラムモジュール及び他のデータの不揮発性記憶装置を提供する。
なお、例えば、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、独立ディスクの冗長アレイ（例えば、ＲＡＩＤストレージ・デバイス）などの、コンピューターによってアクセス可能なデータを格納することができる、様々なコンピューター可読媒体が、例示的な動作環境で使用可能であることは、当業者に理解されうる。

複数のプログラムモジュールは、動作システム５３５、一つ以上のアプリケーションプログラム５３６、他のプログラムモジュール５３７、およびプログラムデータ５３８を含む、ハードディスク、磁気ディスク５２９、光ディスク５３１、ＲＯＭ５２４、ＲＡＭ５２５に格納することができる。本明細書中に記載される１つ以上のプロセスまたは方法を実施するためのプログラミングは、任意の１つ又は任意の数のコンピューター読み取り可能な媒体へ常駐させることができる。

ユーザーは、キーボード５４０及びポインティングデバイス５４２などの入力デバイスを介してコンピューター５００にコマンド及び情報を入力することができる。他の入力装置（不図示）は、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナなどを含むことができる。これらの他の入力デバイスは大抵、システムバス５２３に結合されたシリアルポートインターフェース５４６を介して処理ユニット５２１に接続されるが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースによって接続されることも可能である。
モニタ５４７または他のタイプの表示装置も、ビデオアダプタ５４８などのインターフェースを介してシステムバス５２３へ接続されることができる。モニタ５４７は、ユーザーのためのグラフィカルユーザインタフェースを表示することができる。モニタ５４７に加えて、コンピューターは通常、スピーカやプリンタなど他の周辺出力装置（図示せず）を含む。

コンピューター５００は、リモートコンピュータ５４９などの１つまたは複数のリモートコンピュータ又はサーバーへの論理接続を使用するネットワーク環境で動作することができる。これらの論理接続は、コンピューター５００に接続される通信装置又はコンピューター５００の一部である通信装置によって達成されるが、本発明は、通信装置の特定のタイプに限定されるものではない。
リモートコンピュータ５４９は、別のコンピューター、サーバー、ルーター、ネットワークＰＣ、クライアント、ピアデバイスまたは他の共通ネットワークノードであって、リモートコンピュータ５４９は、コンピューター５００に関連して上述した１／０の多くの又はすべての要素を含むことができるが、一例として、メモリ記憶装置５５０のみが例示されている。
図５に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）５５１及び／又はワイドエリアネットワーク（ＷＡＮ）５５２を含む。このようなネットワーク環境は、ネットワークのすべてのタイプである、オフィスネットワーク、企業規模のコンピュータネットワーク、イントラネット、及びインターネットにおける、ありふれたものである。

ＬＡＮネットワーキング環境で使用されるとき、コンピューター５００は、通信装置の一種であるネットワーク・インターフェース又はアダプタ５５３を介してＬＡＮ５５１へ接続されている。ある実施形態において、ＷＡＮネットワーキング環境で使用されるとき、コンピューター５００は、インターネットなどの広域ネットワーク５５２上で通信を確立するために、モデム５５４（通信装置の他のタイプ）、又は例えば、無線トランシーバを含むインターネットなどの任意の他のタイプの通信デバイスを典型的に備えている。
内蔵でも外付けでもよいモデム５５４は、シリアルポートインターフェース５４６を介してシステムバス５２３へ接続される。
ネットワーク環境では、コンピューター５００に関連して示したプログラムモジュールは、リモートコンピュータの遠隔のリモートメモリ記憶装置５５０又はサーバー５４９に格納することができる
なお、図示のネットワーク接続は例示的なものであり、コンピューター間の通信リンクを確立するための通信装置の他の手段として知られている、ハイブリッドファイバ同軸接続、Ｔ１−Ｔ３回線、ＤＳＬの、ＯＣ−３及び／又はＯＣ−１２、ＴＣＰ／ＩＰ、マイクロ波、無線アプリケーションプロトコル、任意の適切なスイッチ、ルーター、アウトレットと電力線を介する他の電子媒体などであってもよいことが、当業者によって理解されうる。

（（その他の実施例））
実施例１において、方法は、カメラが保護領域内に位置しているかどうかを判定するステップと、前記カメラが前記保護領域に位置しているとき、前記カメラをセキュリティ保護カメラモードに置いて、前記カメラによって生成されたデータを保護するステップと、を有する。

実施例２において、前記カメラが前記保護領域内に位置しているかどうかを判定する実施例１のステップは、前記カメラを備えるスマートフォンが前記保護領域内にあるかどうかを判定することを含む。

実施例３において、前記カメラによって生成される前記データを保護する実施例１又２のステップは、前記カメラが前記保護領域内にある間に、前記カメラを含む第１のデバイスにローカルのメモリへ平文のデータを格納することを防止することを含む。

実施例４において、前記カメラによって生成されるデータを保護する実施例１〜３の少なくとも１つのステップは、前記カメラが前記セキュリティ保護カメラモードにある間に、前記データがローカルに保存される前に、前記データを暗号化することを含む。

実施例５において、実施例１〜４の少なくとも１つの方法は、前記カメラが前記セキュリティ保護カメラモードのとき、拡張現実アプリケーションサーバーが前記カメラによって生成されたデータへアクセスすることを許可するステップを、有する。

実施例６において、実施例１〜５の少なくとも１つの方法は、第１のデバイスによって送信される第２のデバイスの画像の上にオーバーレイ表示される、前記保護領域に位置する前記第２のデバイスについての情報を、前記カメラを備える前記第１のデバイスが受信するステップを、有する。

実施例７において、前記カメラによって生成されたデータを保護する実施例１〜６の少なくとも１つのステップは、前記カメラの保護されるオーディオビジュアルパス（ＰＡＶＰ）にデータを送信することを含む。

実施例８において、実施例１〜７の少なくとも１つの方法は、保護領域内における、カメラを含むデバイスの電源が入っているかどうかを判定するステップを有する。

実施例９において、実施例１〜８の少なくとも１つの方法は、保護領域内における、カメラを含むデバイスの電源が入っているかどうかを判定するステップを有する。

実施例１０において、実施例１〜９の少なくとも１つの方法は、画像処理モジュールによって、符号化データを作成し、保護領域におけるカメラで撮影された画像データを符号化し、符号化データを作成するステップを有する。

実施例１１において、実施例１〜１０の少なくとも１つの方法は、前記符号化されたデータを暗号化し、暗号化された符号化データを作成するステップを有する。

実施例１２において、実施例１〜１１の少なくとも１つの方法は、前記暗号化された符号化データを、前記デバイスから、該デバイスとネットワークを介して接続されるサーバーへ送信するステップを有する。

実施例１３において、実施例１〜１２の少なくとも１つの方法は、補強データで変更され又は修正された符号化データの、変更され又は修正されたバージョンを含む拡張されたデータを、前記デバイスが受信するステップを有する。

実施例１４において、実施例１〜１３の少なくとも１つの方法は、表示装置で表示されるとき、前記補強データとオーバーレイした符号化データを含む前記拡張されたデータのビューを提供するレンダリング可能なビデオデータを出力するステップを有する。

実施例１５において、実施例１〜１４の少なくとも１つの方法は、前記画像データ又は前記符号化データが平文で前記デバイスのメモリの保存されることを防止するステップを有する。

実施例１６において、実施例１〜１５の少なくとも１つの方法は、前記符号化データを前記サーバーが受信するステップを有する。

実施例１７において、実施例１〜１６の少なくとも１つの方法は、前記符号化データを拡張して、前記拡張データを生成するステップを有する。

実施例１８において、実施例１〜１７の少なくとも１つの方法は、前記符号化データの前記拡張されたバージョンを前記サーバーへ送信するステップ、を有する。

実施例１９において、実施例１〜１８の少なくとも１つの方法は、前記拡張されたデータデータを、保護されるオーディオ・ビジュアル・パス（ＰＡＶＰ）によって、保護するステップを有する。

実施例２０において、実施例１〜１９の少なくとも１つの、カメラが前記保護領域にあるかどうかを判定するステップは、位置センサにより前記デバイスの位置を判定することを含む。

実施例２１において、実施例１〜２０の少なくとも１つの、前記拡張されたバージョンを表示することは、マシンの画像に、保護領域における前記マシンについての情報を、オーバーレイ表示することを含む。

実施例２２において、実施例１〜２１の少なくとも１つの方法は、前記デバイスが前記保護領域に位置しているかどうかを判定するステップをさらに含む。

実施例２３において、実施例１〜２２の少なくとも１つの、前記デバイスが前記保護領域にあるかどうかを判定するステップは、位置センサにより前記デバイスの位置を判定することを含む。

実施例２４において、実施例１〜２３の少なくとも１つの方法は、前記デバイスがカメラを含むかどうかを判定するステップを有する。

実施例２５において、システムは、動作のセキュリティ保護モードとディスプレイとを備えるカメラを含む、第１のデバイスを有する。

実施例２６において、実施例１〜２５の少なくとも１つのシステムは、前記カメラが前記セキュリティ保護モードにあるとき、前記カメラからの画像データを符号化データへ変換し、システムに格納された画像データを保護する、画像処理モジュールを有する。

実施例２７において、実施例１〜２６の少なくとも１つのシステムは、前記画像処理モジュールからの前記符号化データを暗号化する、暗号化モジュールを有する。

実施例２８において、実施例１〜２７の少なくとも１つのシステムは、前記拡張された符号化データを、前記ディスプレイへ安全に送信する、保護されるオーディオビジュアルパス（ＰＡＶＰ）メカニズムと、を有する。

実施例２９において、実施例１〜２８の少なくとも１つの前記画像処理モジュールは、セキュリティ保護メモリを含み、該セキュリティ保護メモリは、不正のアプリケーションやデバイスが、前記セキュリティ保護メモリに格納されたデータへアクセスすることを防止することにより、画像データを保護する。

実施例３０において、実施例１〜２９の少なくとも１つの前記第１のデバイスは、前記暗号化された符号化データを送信するように構成されている。

実施例３１において、実施例１〜３０の少なくとも１つのシステムは、前記暗号化された符号化データ及び前記拡張された符号化データを復号して、拡張された符号化データを作成するようにする、拡張現実サーバーを有する。

実施例３２において、実施例１〜３１の少なくとも１つのシステムは、前記暗号化された符号化データを前記拡張現実サーバーへリダイレクトするように構成される、クラウドサーバーを有する。

実施例３３において、実施例１〜３２の少なくとも１つの、前記保護されるオーディオビジュアルパス（ＰＡＶＰ）メカニズムは、前記ディスプレイのみが前記拡張データを復号化できるように、前記拡張データを暗号化する。

実施例３４において、実施例１〜３３の少なくとも１つの前記第１のデバイスは、位置センサを備える。

実施例３５において、前記位置センサが、前記第１のデバイスが保護領域にあり電源が入っていることを示したとき、実施例１〜３４の少なくとも１つの前記カメラの動作がセキュリティ保護モードに置かれる。

実施例３６において、実施例１〜３５の少なくとも１つの前記カメラは、プレビューモードを含む。

実施例３７において、実施例１〜３６の少なくとも１つの前記カメラが前記プレビューモードにあるとき、前記カメラからのデータは前記画像処理モジュールへ送られ、前記画像処理モジュールは、前記ディスプレイに関連するハードウェアのみが暗号化されたデータを復号化できるように、データを暗号化する。

実施例３８において、命令を格納する機械可読記憶装置であって、前記命令が機械によって実行されるとき、保護領域内のカメラを備えるデバイスの電源が入っているかどうかを判定することを含む動作を、機械に実行させる命令を備えている。

実施例３９において、実施例１〜３８の少なくとも１つの、命令を格納する機械可読記憶装置であって、前記命令が機械によって実行されるとき、保護領域内のカメラを備えるデバイスの電源が入っているかどうかを判定することを含む動作を、機械に実行させる命令を備えている。

実施例４０において、実施例１〜３９の少なくとも１つの、命令を格納する機械可読記憶装置であって、前記命令が機械によって実行されるとき、符号化データを作成する画像処理モジュールにおいて、前記保護領域にある前記カメラで撮影された画像データを符号化することを含む動作を、機械に実行させる命令を備えている。

実施例４１において、実施例１〜４０の少なくとも１つの、命令を格納する機械可読記憶装置であって、前記命令が機械によって実行されるとき、暗号化された符号化データを作成するように、前記符号化したデータを暗号化することを含む動作を、機械に実行させる命令を備えている。

実施例４２において、実施例１〜４１の少なくとも１つの、命令を格納する機械可読記憶装置であって、前記命令が機械によって実行されるとき、前記暗号化された符号化データを、前記デバイスから、該デバイスへ接続されたネットワークへ送信することを含む動作を、機械に実行させる命令を備えている。

実施例４３において、実施例１〜４２の少なくとも１つの、命令を格納する機械可読記憶装置であって、補強データで変更され又は修正された符号化データの、変更され又は修正されたバージョンを含む拡張されたデータを、前記デバイスが受信することを含む動作を、機械に実行させる命令を備えている。

実施例４４において、実施例１〜４３の少なくとも１つの、命令を格納する機械可読記憶装置であって、表示装置で表示されるとき、前記補強データとオーバーレイした符号化データを含む前記拡張されたデータのビューを提供するレンダリング可能なビデオデータを出力することを含む動作を、機械に実行させる命令を備えている。

実施例４５において、実施例１〜４４の少なくとも１つの、命令を格納する機械可読記憶装置であって、コンピュータシステムを停止するための命令は、前記機械によって実行されるとき、前記画像データや符号化データが前記デバイスのメモリに平文で保存されることを防止することを含む動作を実行させる命令を備えている。

実施例４６において、実施例１〜４５の少なくとも１つの、命令を格納する機械可読記憶装置であって、コンピュータシステムを停止するための命令は、前記機械によって実行されるとき、前記デバイスがカメラを備えるかどうかを判定することを含む動作を前記機械に実行させる命令を備えている。

実施例４７において、実施例１〜４６の少なくとも１つの、命令を格納する機械可読記憶装置であって、コンピュータシステムを停止するための命令は、前記機械によって実行されるとき、前記拡張データを保護するように前記拡張データ又は符号化データを、保護されるオーディオビジュアルパス（ＰＡＶＰ）へ送信して、前記拡張されたデータを保護するようにこと、を含む動作を前記機械に実行させる命令を備えている。

実施例４８において、実施例１〜４７の少なくとも１つの、命令を格納する機械可読記憶装置であって、コンピュータシステムを停止するための命令は、前記機械によって実行されるとき、前記デバイスが前記保護領域にあるかどうかを判定すること、を含む動作を前記機械に、実行させる命令を備えている。

（留意点）
本明細書では、「１つの」という用語は、特許文書で一般的であるように、「１つ又は複数の」という意味を含んで使用され、他の例とは独立して、「少なくとも１つ」、又は「１又は複数の」ということもできる。語句「Ａ又はＢ」とは、非排他的な、（Ａ）、（Ｂ）、または（ＡおよびＢ）を意味する。
文脈が特に指示しない限り、用語「有する」、「含む」を「持つ」および「備える」は同じ同義で利用する。
また、以下の特許請求の範囲での「含む」、「有する」及び「備える」という用語は、オープンエンドであり、即ち、請求項に記載されたシステム、デバイス、物品、組成物、製剤、にさらに要素を加えたものを含むものも、依然としてその請求項の範囲内にあるとみなされる。また、以下の特許請求の範囲、用語「第１」の「第２の」及び「第３の」などはラベルとして単に使用され、それらの対象に数値的要件を課すことを意図するものではない。

本明細書に記載の機能又はアルゴリズムは、ソフトウェアまたは一実施形態では、ソフトウェアと人間の実装手順の組み合わせで実施することができる。
ソフトウェアは、コンピューター実行可能な命令が格納された、メモリまたは記憶装置の他のタイプのコンピューター可読媒体で構成されてもよい。さらに、そのような機能は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせであるモジュールに対応する。必要に応じて複数の機能は、１つまたは複数のモジュールで実行されてもよいし、説明した実施形態は単なる例である。ソフトウェアは、パーソナルコンピュータ、デジタル信号プロセッサ、ＡＳＩＣ、マイクロプロセッサ、サーバー又はコンピュータシステム上で動作する他のタイプのプロセッサにおいて、実行されることができる。

上記の説明は例示であり、限定的ではないことが意図される。例えば、上記実施例やの一つ以上の態様は互いに組み合わせて使用することができる。本発明の実施形態は、上記の説明を考慮して、当業者などによって使用することができる。
要約は、米国特許規則３７ Ｃ．Ｆ．Ｒ．§１．７２（ｂ）．に準拠するように、提供され読者が迅速に技術的開示の性質を確認することを可能にするためのものであって、解釈または請求項の範囲または意味を限定するために使用されない。
また、上記の詳細な説明において、様々な特徴は、開示を合理化するために一緒にグループ化されてもよい。これは、未請求の開示された機能は、すべてのクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、本発明の主題は特定の開示された実施形態の全ての特徴より少ないことができる。したがって、以下の特許請求の範囲は、本明細書の各請求項は別個の実施形態として自立して、詳細な説明に組み込まれ、かつそのような実施形態は、種々の組み合わせまたは順列で互いに組み合わせることができることが企図される。本発明の主題の範囲は、このような請求項が権利をする均等物の全範囲とともに、添付の特許請求の範囲を参照して決定されるべきである。

Claims (28)

1. カメラが保護領域内に位置しているかどうかを判定するステップと、
   前記カメラが前記保護領域に位置しているとき、前記カメラをセキュリティ保護カメラモードに置いて、前記カメラによって生成されるデータを保護するステップと、
   前記カメラが前記セキュリティ保護カメラモードのとき、拡張現実アプリケーションサーバーが前記カメラによって生成されたデータへアクセスすることを許可するステップと、を有する、
   方法。
2. 前記カメラによって生成される前記データを保護するステップは、
   前記カメラが前記保護領域内にある間に、前記カメラを含む第１のデバイスにローカルなメモリへ平文のデータを前記カメラが格納することを防止することを含む、
   請求項１記載の方法。
3. 前記カメラが前記保護領域内に位置しているかどうかを判定するステップは、
   前記カメラを備えるスマートフォンが前記保護領域内にあるかどうかを判定することを含む、
   請求項１記載の方法。
4. 前記カメラによって生成されるデータを保護するステップは、
   前記カメラが前記セキュリティ保護カメラモードにある間に、前記データがローカルに保存される前に、前記データを暗号化することを含む、
   請求項１記載の方法。
5. 前記カメラを備えるデバイスによって送信される第２のデバイスの画像の上にオーバーレイ表示される、前記保護領域に位置する前記第２のデバイスについての情報を、前記デバイスが受信するステップを、さらに有する、
   請求項１記載の方法。
6. 前記カメラによって生成されたデータを保護するステップは、
   前記カメラの保護されるオーディオビジュアルパス（ＰＡＶＰ）にデータを送信することを含む、
   請求項１記載の方法。
7. 保護領域内における、デバイスのカメラが電源が入っているかどうか、判定するステップと、
   画像処理モジュールによって、前記保護領域内のカメラで撮影された画像データを符号化して、符号化データを作成するステップと、
   前記符号化されたデータを暗号化し、暗号化された符号化データを作成するステップと、
   前記暗号化された符号化データを、前記デバイスから、該デバイスとネットワークを介して接続されるサーバーへ送信するステップと、
   補強データで変更され又は修正された符号化データの、変更され又は修正されたバージョンを含む拡張されたデータを、前記デバイスが受信するステップと、
   表示装置で表示されるとき、前記補強データとオーバーレイした符号化データを含む前記拡張されたデータのビューを提供するレンダリング可能なビデオデータを出力するステップと、を有する、
   方法。
8. 前記画像データ又は前記符号化データが平文で前記デバイスのメモリに保存されることを防止するステップをさらに有する、
   請求項７記載の方法。
9. 前記符号化データを前記サーバーが受信するステップと、
   前記符号化データを拡張して、前記拡張されたデータを生成するステップと、
   前記拡張されたデータを前記デバイスへ送信するステップと、をさらに有する、
   請求項７記載の方法。
10. 前記拡張されたデータを前記サーバーで保存するステップをさらに有する、
    請求項９記載の方法。
11. 前記拡張されたデータ又は前記符号化データを保護されるオーディオビジュアルパス（ＰＡＶＰ）へ送信し、前記拡張されたデータを保護するステップをさらに有する、
    請求項７記載の方法。
12. 前記デバイスが前記保護領域に位置しているかどうかを判定するステップをさらに含む、
    請求項７記載の方法。
13. 前記デバイスが前記保護領域にあるかどうかを判定するステップは、位置センサにより前記デバイスの位置を判定することを含む、
    請求項１２記載の方法。
14. 前記デバイスがカメラを含むかどうかを判定するステップをさらに有する、
    請求項７記載の方法。
15. 前記拡張されたバージョンを表示することは、マシンの画像に、前記保護領域における前記マシンについての情報を、オーバーレイ表示することを含む、
    請求項７に記載の方法。
16. 動作のセキュリティ保護モードとディスプレイとを備えるカメラを含む、第１のデバイスと、
    前記カメラが前記セキュリティ保護モードにあるとき、前記カメラからの画像データを符号化データへ変換し、システムに格納された画像データを保護する、画像処理モジュールと、
    前記画像処理モジュールからの前記符号化データを暗号化する、暗号化モジュールと、
    拡張された符号化データを、前記ディスプレイへ安全に送信する、保護されるオーディオビジュアルパス（ＰＡＶＰ）メカニズムと、を有する、
    システム。
17. 前記画像処理モジュールは、セキュリティ保護メモリを含み、該セキュリティ保護メモリは、不正のアプリケーションや装置が、前記セキュリティ保護メモリに格納されたデータへアクセスすることを防止することにより、画像データを保護する、
    請求項１６記載のシステム。
18. 前記第１のデバイスは、前記暗号化された符号化データを送信するように構成されており、
    当該システムは、
    前記暗号化された符号化データ及び前記拡張された符号化データを復号して、拡張された符号化データを作成するようにする、拡張現実サーバーをさらに有する、
    請求項１６記載のシステム。
19. 当該システムは、
    前記暗号化された符号化データを前記拡張現実サーバーへリダイレクトするように構成される、クラウドサーバーをさらに有する、
    請求項１８記載のシステム。
20. 前記保護されるオーディオビジュアルパス（ＰＡＶＰ）メカニズムは、前記ディスプレイのみが前記拡張されたデータを復号化できるように、前記拡張されたデータを暗号化する、
    請求項１６記載のシステム。
21. 前記第１のデバイスは、位置センサを含み、
    前記位置センサが、前記第１のデバイスが保護領域にあることを示し、かつ前記カメラの電源が入っているとき、前記カメラの動作がセキュリティ保護モードに置かれる、
    請求項１６記載のシステム。
22. 前記カメラはプレビューモードを含み、
    前記カメラは前記プレビューモードにあるとき、前記カメラからのデータは前記画像処理モジュールへ送られ、前記画像処理モジュールは、前記ディスプレイに関連するハードウェアのみが暗号化されたデータを復号化できるように、データを暗号化する、
    請求項１６記載のシステム。
23. 保護領域内のカメラを備えるデバイスの前記カメラが電源が入っているかどうかを判定するステップと、
    符号化データを作成する画像処理モジュールにおいて、前記保護領域にある前記カメラで撮影された画像データを符号化するステップと、
    暗号化された符号化データを作成するように、前記符号化したデータを暗号化するステップと、
    前記暗号化された符号化データを、前記デバイスからサーバーに送信するステップであって、前記デバイス及び前記サーバーはネットワークに接続されている、送信するステップと、
    補強データで変更され又は修正された符号化データの、変更され又は修正されたバージョンを含む拡張されたデータを、前記デバイスにおいて受信するステップと、
    表示装置で表示されるとき、前記補強データとオーバーレイした符号化データを含む前記拡張されたデータのビューを提供するレンダリング可能なビデオデータを出力するステップと、
    をコンピュータに実行させるためのプログラム。
24. 前記画像データや符号化データが前記デバイスのメモリに平文で保存されることを防止するステップを前記コンピュータに更に実行させる、請求項２３記載のプログラム。
25. 前記デバイスがカメラを備えるかどうかを判定するステップを前記コンピュータに更に実行させる、請求項２３記載のプログラム。
26. 前記拡張されたデータを保護するように前記拡張されたデータ又は符号化データを、保護されるオーディオビジュアルパス（ＰＡＶＰ）へ送信するステップを前記コンピュータに更に実行させる、請求項２３記載のプログラム。
27. 前記デバイスが前記保護領域にあるかどうかを判定するステップを前記コンピュータに更に実行させる、請求項２３記載のプログラム。
28. 請求項２３乃至２７何れか一項記載のプログラムを記憶するためのコンピュータ可読記憶媒体。

Images