JP7005753B2 - プライバシースクリーン - Google Patents

プライバシースクリーン Download PDF

Info

Publication number
JP7005753B2
JP7005753B2 JP2020517967A JP2020517967A JP7005753B2 JP 7005753 B2 JP7005753 B2 JP 7005753B2 JP 2020517967 A JP2020517967 A JP 2020517967A JP 2020517967 A JP2020517967 A JP 2020517967A JP 7005753 B2 JP7005753 B2 JP 7005753B2
Authority
JP
Japan
Prior art keywords
display
output data
content
processors
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020517967A
Other languages
English (en)
Other versions
JP2020536311A (ja
Inventor
クレマン ピエール ニコラ ボワシエール
ティモシー アール オリオール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2020536311A publication Critical patent/JP2020536311A/ja
Application granted granted Critical
Publication of JP7005753B2 publication Critical patent/JP7005753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Description

この出願は、2017年9月29日に出願された「Privacy Screen for Virtual and Augmented Reality」と題する米国特許仮出願第62/566,187号に対する優先権を主張するものであり、その内容の全体が参照により本明細書に組み入れられる。
本開示は、コンピュータシミュレーション現実における外部デバイスのデジタルコンテンツの表示に関する。
いくつかの状況では、コンピュータ、電話、又はディスプレイを備える他のコンピューティングデバイスなどの電子デバイスのユーザは、他人がデバイスのスクリーン上に表示されるコンテンツを見ることを防止することを望む。例えば、ユーザは、公共のカフェ又は飛行機内で、ポータブルデバイスを使用して、プライベートドキュメント上で仕事をしたい場合がある。従来の解決策では、ディスプレイの前面に配置され、ディスプレイから放射される光が見え得る角度を制限する物理的スクリーンを含む。
上述の従来のプライバシースクリーンは、いくつかの望ましくない特性を有する。例えば、従来のプライバシースクリーンは、ディスプレイに垂直な方向に光の一部を減衰させ、それによってユーザが知覚する明度を低下させる。これを補償するため、ユーザは、プライバシーが懸念されていない場合にプライバシースクリーンを除去してもよく、その場合、ユーザは、プライバシースクリーンを保管し、運搬し、かつ、再設置しなければならない。あるいは、ユーザは、プライバシースクリーンによって遮断された光量を補償するためにディスプレイの明度出力を増大させてもよく、それによってデバイスのバッテリ寿命が低下する。また、非垂直方向の光を遮断することによって、プライバシースクリーンは、ユーザがデバイスを使用することができる角度を制限する。しかし、従来のプライバシースクリーンは、非垂直な角度で放射された全ての光をなおも遮断しない場合があり、それによって、デバイスのすぐ前にいない他人にディスプレイ上のコンテンツがある程度見えることを可能にする。最終的には、従来のプライバシースクリーンは、表示されたコンテンツが、スクリーンのすぐ前に(例えば、ユーザのすぐ後方に)位置する他の個人によっても観察可能であることを防げない。
以下に記載される技術は、デバイスによって表示されたコンテンツを非ユーザが観察できることを制限することによって、電子デバイスのコンテンツをより効果的かつ効率的に保護する。以下の説明でわかり得るように、そのような技術は、電力を節約し、バッテリ駆動デバイスに対するバッテリ充電間の時間を増大させる更なる利点を有し得る。
いくつかの実施形態では、方法は、第1のディスプレイを備える第1のデバイスと、第1のディスプレイとは異なる第2のディスプレイを備える第2のデバイスとを含むシステムを使用して実行される。方法は、第1のデバイスによって、入力に応じて出力データを生成することと、第1のデバイスが第1のモード又は第2のモードで動作しているかどうかを判定することと、第1のデバイスが第1のモードで動作している場合、出力データに従って第1のディスプレイ上にコンテンツを表示することと、第1のデバイスが第2のモードで動作している場合、出力データに従って第1のディスプレイ上にコンテンツを表示することを控え、出力データを第2のデバイスに送信することと、画像センサを使用して、第2のディスプレイに対する第1のディスプレイの位置を判定することと、第2のディスプレイ上に、出力データ、及び第2のディスプレイに対する第1のディスプレイの判定された位置に従ってコンテンツを表示することと、を含む。
いくつかの実施形態では、システムは、第1のディスプレイを備える第1のデバイスと、第1のディスプレイとは異なる第2のディスプレイを備える第2のデバイスと、を含む。第1のデバイスは、入力に応じて出力データを生成し、第1のデバイスが第1のモード又は第2のモードで動作しているかどうかを判定し、第1のデバイスが第1のモードで動作している場合、出力データに従って第1のディスプレイ上にコンテンツを表示し、第1のデバイスが第2のモードで動作している場合、出力データに従って第1のディスプレイ上にコンテンツを表示することを控え、出力データを第2のデバイスに送信する、ように構成されている。第2のデバイスは、第2のディスプレイ上に、出力データ、及び第2のディスプレイに対する第1のディスプレイの判定された位置に従ってコンテンツを表示するように構成されており、第2のディスプレイに対する第1のディスプレイの位置が、画像センサを使用して判定される。
いくつかの実施形態では、コンピュータ可読記憶媒体は、第1のディスプレイを備える第1の電子デバイスと、第2のディスプレイを備える第2の電子デバイスとを有するシステムの1つ以上のプロセッサによって実行される1つ以上のプログラムを含む。1つ以上のプログラムは命令を含み、命令は、1つ以上のプロセッサによって実行されると、システムに、入力に応じて出力データを生成させ、第1のデバイスが第1のモード又は第2のモードで動作しているかどうかを判定させ、第1のデバイスが第1のモードで動作している場合、出力データに従って第1のディスプレイ上にコンテンツを表示させ、第1のデバイスが第2のモードで動作している場合、出力データに従って第1のディスプレイ上にコンテンツを表示することを控えさせ、出力データを第2のデバイスに送信させ、画像センサを使用して、第2のディスプレイに対する第1のディスプレイの位置を判定させ、第2のディスプレイ上に、出力データ、及び第2のディスプレイに対する第1のディスプレイの判定された位置に従ってコンテンツを表示させる。
いくつかの実施形態では、方法は、第1のディスプレイ及び画像センサと結合された第1のデバイスにおいて、第1のディスプレイとは異なる第2のディスプレイを有する第2のデバイスからの出力データを受信することであって、出力データが第2のディスプレイ上に第2のデバイスによって表示可能なコンテンツを表すことと、画像センサを使用して、第1のデバイスに対する第2のディスプレイの位置を判定することと、第2のデバイスから受信した出力データ、及び第1のデバイスに対する第2のディスプレイの判定された位置に基づいて、第1のディスプレイにコンテンツを表示させることと、を含む。
いくつかの実施形態では、電子デバイスは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を含む。1つ以上のプログラムは、電子デバイスに結合された第1のディスプレイとは異なる第2のディスプレイを有する第2のデバイスからの出力データであって、出力データが、第2のディスプレイ上に第2のデバイスによって表示可能なコンテンツを表す、出力データを受信し、電子デバイスと結合された画像センサを使用して、電子デバイスに対する第2のディスプレイの位置を判定し、第2のデバイスから受信した出力データ、及び電子デバイスに対する第2のディスプレイの判定された位置に基づいて、第1のディスプレイにコンテンツを表示させる、命令を含む。
いくつかの実施形態では、コンピュータ可読記憶媒体は、第1のディスプレイ及び画像センサと結合された電子デバイスの1つ以上のプロセッサによって実行される1つ以上のプログラムを含む。1つ以上のプログラムは命令を含み、命令は、1つ以上のプロセッサによって実行されると、電子デバイスに、第1のディスプレイとは異なる第2のディスプレイを有する第2のデバイスからの出力データであって、出力データが第2のディスプレイ上に第2のデバイスによって表示可能なコンテンツを表す、出力データを受信させ、画像センサを使用して、電子デバイスに対する第2のディスプレイの位置を判定させ、第2のデバイスから受信した出力データ、及び電子デバイスに対する第2のディスプレイの判定された位置に基づいて、第1のディスプレイにコンテンツを表示させる。
これらの機能を実行する実行可能な命令は、任意選択的に、1つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、1つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このように、デバイスは、電子デバイス上にプライバシースクリーンを提供するためのより効率的かつ有効な方法及びインタフェースを備え、それによって、生成されるコンテンツを保護し、デバイスを安全に操作できる環境を増大させる。そのような方法及びインタフェースは、デバイスの操作中にコンテンツを保護するための他の方法を補完又は置換することができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
コンピュータシミュレーション現実を含む様々な現実技術で使用するための例示的なシステムを示す。 コンピュータシミュレーション現実を含む様々な現実技術で使用するための例示的なシステムを示す。
いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。 いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。
いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。 いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。 いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。 いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。
いくつかの実施形態による、例示的な電子デバイス及びユーザインタフェースを示す。
電子デバイス上でプライバシースクリーンを提供するための方法を示すフロー図である。
電子デバイス上でプライバシースクリーンを提供するための方法を示すフロー図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供される。
以下の説明において、物理的環境とは、個人が感知できる、及び/又は電子システムの支援なしに個人が相互作用できる世界を指す。物理的環境(例えば、物理的な森林)としては、物理的要素(例えば、物理的な木、物理的な構造、及び物理的な動物)が挙げられる。個人は、触覚、視覚、嗅覚、聴覚、及び味覚などを介して、物理的環境と直接相互作用し、及び/又はそれを感知することができる。
対照的に、シミュレーションされた現実(SR)環境は、個人が電子システムを介して個人が相互作用できる、完全又は部分的にコンピュータ作成された環境を指す。SRでは、個人の動きのサブセットが監視され、それに応じて、SR環境における1つ以上の仮想オブジェクトの1つ以上の属性が、1つ以上の物理法則と適合する方法で変更される。例えば、SRシステムは、数歩前進する個人を検出し、それに応じて、そのような景色及び音が物理的環境においてどのように変化し得るかと同様の方法で、個人に提示されるグラフィック及び音声を調整してもよい。SR環境における仮想オブジェクト(単数又は複数)の属性(単数又は複数)に対する修正はまた、動き(の表現例えば、音声命令)に応じて作成されてもよい。
個人は、触覚、嗅覚、視覚、味覚、及び聴覚を含む、自身の感覚のうちのいずれか1つを使用して、SRオブジェクトと相互作用し、及び/又はそれを感知することができる。例えば、個人は、多次元(例えば、3次元)若しくは空間的聴覚環境を作成する、及び/又は聴覚透明性を可能にする聴覚オブジェクトと相互作用し、及び/又はそれを感知することができる。多次元又は空間的聴覚環境は、多次元空間内の別個の聴覚源の知覚を個人に提供する。聴覚透過性は、コンピュータ作成された音声を用いて又は用いずに、物理的環境からの音を選択的に組み込む。いくつかのSR環境では、個人は、聴覚オブジェクトとのみ相互作用し、及び/又は聴覚オブジェクトのみを感知してもよい。
SRの一例は、仮想現実(VR)である。VR環境とは、感覚のうちの少なくとも1つに対するコンピュータ作成された感覚入力のみを含むように設計されたシミュレーションされた環境を指す。VR環境は、個人が相互作用し、及び/又は感知することができる複数の仮想オブジェクトを含む。個人は、コンピュータ作成された環境内の、個人アクションのサブセットのシミュレーションを通じて、及び/又はコンピュータ作成された環境内の、個人又は自身の存在のシミュレーションを通じて、VR環境における仮想オブジェクトと相互作用し、及び/又はそれを感知することができる。
SRの別の例は、複合現実(MR)である。MR環境とは、物理的環境からの感覚入力、又はその表現と、コンピュータ作成された感覚入力(例えば、仮想オブジェクト)を統合するように設計されたシミュレーションされた環境を指す。現実スペクトルでは、複合現実環境は、一方の端部でのVR環境と他方の端部での完全な物理的環境との間にあって、これらを含まない。
いくつかのMR環境では、コンピュータで作成された感覚入力は、物理的環境からの感覚入力の変化に適応し得る。また、MR環境を提示するためのいくつかの電子システムは、物理的環境に関する向き及び/又は場所を監視して、仮想オブジェクトと実オブジェクト(物理的環境又はその表現からの物理的要素)と間の相互作用を可能にし得る。例えば、システムは、仮想の植物が物理的な建物に対して静止して見えるように、動きを監視してもよい。
複合現実の一例は、拡張現実(AR)である。AR環境とは、少なくとも1つの仮想オブジェクトが物理的環境又はその表現の上方に重ねられたシミュレーションされた環境を指す。例えば、電子システムは、不透明ディスプレイと、物理的環境の表現である物理的環境の画像又はビデオをキャプチャするための少なくとも1つの画像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと組み合わせ、不透明ディスプレイ上にその組み合わせを表示する。個人は、システムを使用して、物理的環境の画像又はビデオを介して間接的に物理的環境を見て、物理的環境に重ねられた仮想オブジェクトを観察する。システムが画像センサ(単数又は複数)を使用して物理的環境の画像をキャプチャし、それらの画像を使用して不透明ディスプレイ上にAR環境を提示する場合、表示された画像は、ビデオパススルーと呼ばれる。あるいは、AR環境を表示するための電子システムは、透明又は半透明のディスプレイを有してもよく、それを通して個人は、物理的環境を直接的に見ることができる。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを表示してもよく、それによって個人は、システムを使用して、物理的環境の上方に重ねられた仮想オブジェクトを観察することができる。別の実施例では、システムは、仮想オブジェクトを物理的環境に投影するプロジェクションシステムを備えてもよい。仮想オブジェクトは、例えば、物理的表面上に、又はホログラムとして投影されてもよく、それによって個人は、システムを使用して、物理的環境の上方に重ねられた仮想オブジェクトを観察することができる。
拡張現実環境はまた、物理的環境の表現がコンピュータで作成された感覚情報によって変更されるシミュレーションされた環境を指す場合がある。例えば、物理的環境の表現の一部分は、変更された部分が、元のキャプチャされた画像(単数又は複数)の忠実に再現されたバージョンではない代表的なものをなおも表すことができるように、グラフィカルに変更(例えば、拡大)されてもよい。別の実施例として、ビデオパススルーを提供する際、システムは、センサ画像のうちの少なくとも1つを変更して、画像センサ(単数又は複数)によってキャプチャされた視点とは異なる特定の視点を与えることができる。更なる実施例として、物理的環境の表現は、その一部分をグラフィカルに不明瞭にするか、又は除外することによって変更されてもよい。
複合現実の別の例は、拡張仮想現実(AV)である。AV環境とは、コンピュータ作成された環境又は仮想環境が物理的環境からの少なくとも1つの感覚入力を組み込む、シミュレーションされた環境を指す。物理的環境からの感覚入力(単数又は複数)は、物理的環境の少なくとも1つの特性の表現であってもよい。例えば、仮想オブジェクトは、画像センサ(単数又は複数)によってキャプチャされた物理的要素の色を想定してもよい。別の実施例では、仮想オブジェクトは、撮像、気象関連センサ、及び/又はオンライン気象データを介して識別されるように、物理的環境における実際の気象条件と一致する特性を示し得る。更に別の例では、拡張現実の森林は、仮想的な木及び構造を有してもよいが、動物は、物理的な動物の画像から正確に再現される特徴を有してもよい。
多くの電子システムは、個人が様々なSR環境と相互作用及び/又は感知することを可能にする。一実施例は、ヘッドマウントシステムを含む。ヘッドマウントシステムは、不透明ディスプレイ及びスピーカ(単数又は複数)を有してもよい。あるいは、ヘッドマウントシステムは、外部ディスプレイ(例えば、スマートフォン)を受け入れるように設計されてもよい。ヘッドマウントシステムは、それぞれ、画像/ビデオを撮影するため、及び/又は物理的環境の音声をキャプチャするために、画像センサ(単数又は複数)及び/又はマイクロフォンを有してもよい。ヘッドマウントシステムはまた、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイには、基板を組み込んでもよく、基板を通して画像を表す光が個人の目に向けられる。ディスプレイには、LED、OLED、デジタル光プロジェクタ、レーザ走査光源、液晶オンシリコン、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光コンバイナ、光反射体、ホログラフィック基板、又はこれらの基板の任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、不透明な状態と透明又は半透明の状態との間で選択的に遷移することができる。別の実施例では、電子システムは、投影ベースシステムであってもよい。投影ベースシステムは、網膜投影を使用して、個人の網膜上に画像を投影することができる。あるいは、プロジェクションシステムはまた、仮想オブジェクトを物理的環境に(例えば、物理的表面上に、又はホログラムとして)投影することもできる。SRシステムの他の例としては、ヘッドアップディスプレイ、グラフィックを表示する能力を備える自動車用フロントガラス、グラフィックスを表示する能力を備える窓、グラフィックを表示する能力を備えるレンズ、ヘッドフォン又はイヤホン、スピーカ配置、入力機構(例えば、触知フィードバックを有する又は有さないコントローラ)、タブレット、スマートフォン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。
図1A及び図1Bは、コンピュータシミュレーション現実を含む様々な現実技術で使用するための例示的なシステム100を示す。
いくつかの実施形態では、図1Aに示すように、システム100は、デバイス100aを含む。デバイス100aは、プロセッサ(単数又は複数)102、RF回路(単数又は複数)104、メモリ(単数又は複数)106、画像センサ(単数又は複数)108、向きセンサ(単数又は複数)110、マイクロフォン(単数又は複数)112、位置センサ(単数又は複数)116、スピーカ(単数又は複数)118、ディスプレイ(単数又は複数)120、及びタッチ感知面122などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス100aの通信バス(単数又は複数)150を介して通信する。
いくつかの実施形態では、システム100の要素は、基地局デバイス(例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス)内に実現され、システム100の他の要素は、第2のデバイス(例えば、ヘッドマウントデバイス)内に実現される。いくつかの実施例では、デバイス100aは、基地局デバイス又は第2のデバイス内に実装される。
図1Bに示すように、いくつかの実施形態では、システム100は、有線接続又は無線接続などを介して通信する2つ(又はそれより多くの)のデバイスを含む。第1のデバイス100b(例えば、基地局デバイス)は、プロセッサ(単数又は複数)102、RF回路(単数又は複数)104、及びメモリ(単数又は複数)106を含む。これらの構成要素は、任意選択的に、デバイス100bの通信バス(単数又は複数)150を介して通信する。第2のデバイス100c(例えば、ヘッドマウントデバイス)は、プロセッサ(単数又は複数)102、RF回路(単数又は複数)104、メモリ(単数又は複数)106、画像センサ(単数又は複数)108、向きセンサ(単数又は複数)110、マイクロフォン(単数又は複数)112、位置センサ(単数又は複数)116、スピーカ(単数又は複数)118、ディスプレイ(単数又は複数)120、及びタッチ感知面122などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス100cの通信バス(単数又は複数)150を介して通信する。
システム100は、プロセッサ(単数又は複数)102及びメモリ(単数又は複数)106を含む。プロセッサ(単数又は複数)102は、1つ以上の汎用プロセッサ、1つ以上のグラフィックプロセッサ、及び/又は1つ以上のデジタル信号プロセッサを含む。いくつかの実施形態では、メモリ(単数又は複数)106は、後述する技術を実行するためにプロセッサ(単数又は複数)102によって実行されるように構成されているコンピュータ可読命令を記憶する1つ以上の非一時的コンピュータ可読記憶媒体(例えば、フラッシュメモリ、ランダムアクセスメモリ)である。
システム100は、RF回路(単数又は複数)104を含む。RF回路(単数又は複数)104は、任意選択的に、電子デバイス、インターネット、イントラネット及び/又は、セルラーネットワーク及び無線ローカルエリアネットワーク(LAN)などの無線ネットワークなどのネットワークと通信するための回路を含む。RF回路(単数又は複数)104は、任意選択的に、近距離通信及び/又はBluetooth(登録商標)などの短距離通信を使用して通信するための回路を含む。
システム100は、ディスプレイ(単数又は複数)120を含む。ディスプレイ(単数又は複数)120は、不透明ディスプレイを有してもよい。ディスプレイ(単数又は複数)120は、基板を組み込み得る、透明又は半透明のディスプレイを有してもよく、基板を通して画像を表す光が個人の目に向けられる。ディスプレイ(単数又は複数)120には、LED、OLED、デジタル光プロジェクタ、レーザ走査光源、液晶オンシリコン、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光コンバイナ、光反射体、ホログラフィック基板、又はこれらの基板の任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、不透明な状態と透明又は半透明の状態との間で選択的に遷移することができる。ディスプレイ(単数又は複数)120の他の例としては、ヘッドアップディスプレイ、グラフィックを表示する能力を備える自動車用フロントガラス、グラフィックを表示する能力を備える窓、グラフィックを表示する能力を備えるレンズ、タブレット、スマートフォン、及びデスクトップコンピュータ若しくはラップトップコンピュータが挙げられる。あるいは、システム100は、外部ディスプレイ(例えば、スマートフォン)を受け入れるように設計されてもよい。いくつかの実施形態では、システム100は、網膜投影を使用して、画像を個人の網膜上に投影するか、又は仮想オブジェクトを物理的環境に(例えば、物理的表面上に、又はホログラムとして)投影する投射ベースシステムである。
いくつかの実施形態では、システム100は、タップ入力及びスワイプ入力などのユーザ入力を受け取るためのタッチ感知面(単数又は複数)122を含む。いくつかの実施例では、ディスプレイ(単数又は複数)120及びタッチ感知面(単数又は複数)122は、タッチ感知ディスプレイ(単数又は複数)を形成する。
システム100は、画像センサ(単数又は複数)108を含む。画像センサ(単数又は複数)108は、任意選択的に、電荷結合デバイス(CCD)センサなどの1つ以上の可視光画像センサ、及び/又は物理的環境から物理的要素の画像を取得するように動作可能な相補型金属酸化膜半導体(CMOS)センサを含む。画像センサ(単数又は複数)はまた、任意選択的に、物理的環境からの赤外光を検出するための、パッシブIRセンサ又はアクティブIRセンサなどの1つ以上の赤外線(IR)センサ(単数又は複数)を含む。例えば、アクティブIRセンサは、赤外光を物理的環境に放射するための、IRドットエミッタなどのIRエミッタを含む。画像センサ(単数又は複数)108はまた、任意選択的に、物理的環境における物理的要素の動きをキャプチャするように構成されている1つ以上のイベントカメラ(単数又は複数)を含む。画像センサ(単数又は複数)108はまた、任意選択的に、システム100からの物理的要素の距離を検出するように構成されている1つ以上の深さセンサ(単数又は複数)を含む。いくつかの実施例では、システム100は、CCDセンサ、イベントカメラ、及び深さセンサを組み合わせて使用して、システム100周囲の物理的環境を検出する。いくつかの実施例では、画像センサ(単数又は複数)108は、第1の画像センサ及び第2の画像センサを含む。第1の画像センサ及び第2の画像センサは、任意選択的に、2つの別個のパースペクティブから、物理的環境内の物理的要素の画像をキャプチャするように構成されている。いくつかの実施例では、システム100は、画像センサ(単数又は複数)108を使用して、ハンドジェスチャなどのユーザ入力を受信する。いくつかの実施例では、システム100は、画像センサ(単数又は複数)108を使用して、物理的環境におけるシステム100及び/又はディスプレイ(単数又は複数)120の位置及び向きを検出する。例えば、システム100は、画像センサ(単数又は複数)108を使用して、物理的環境内の1つ以上の固定要素に対するディスプレイ(単数又は複数)120の位置及び向きを追跡する。
いくつかの実施形態では、システム100は、マイクロフォン(単数又は複数)112を含む。システム100は、マイクロフォン(単数又は複数)112を使用して、ユーザ及び/又はユーザの物理的環境からの音を検出する。いくつかの実施例では、マイクロフォン(単数又は複数)112は、周囲ノイズを特定するか、又は物理的環境の空間内の音源の位置を特定するなどのために、任意選択的にタンデム動作するマイクロフォン(複数のマイクロフォンを含む)アレイを含む。
システム100は、システム100及び/又はディスプレイ(単数又は複数)120の向き及び/又は動きを検出するための向きセンサ(単数又は複数)110を含む。例えば、システム100は、向きセンサ(単数又は複数)110を使用して、物理的環境内の物理的要素などに関して、システム100及び/又はディスプレイ(単数又は複数)120の位置及び/又は向きの変化を追跡する。向きセンサ(単数又は複数)110は、1つ以上のジャイロスコープ及び/又は1つ以上の加速度計を含む。
ここで図2A~図2B、図3A~図3D、及び図4を参照して、いくつかの実施形態による、電子デバイス(例えば、100a)上にプライバシースクリーンを提供するための例示的な電子デバイス及びユーザインタフェースについて説明する。これらの図は、図5及び図6のプロセスを含む、以下に説明するプロセスを示すために使用される。
図2Aは、コンテンツ(例えば、デバイス200の状態に関連付けられたグラフィカルユーザインタフェース(GUI))を提示するディスプレイ202を備える電子デバイス200を示す。図2Aでは、デバイス200によって表示されるコンテンツは、それぞれのアプリケーションを起動するために選択可能なアイコンを備えるGUIスクリーン204を含む。いくつかの実施形態では、デバイス200は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、スマートウォッチ、又はディスプレイを有する他の電子デバイスである。いくつかの実施形態では、デバイス200は、キーボード、マウス、ジョイスティック、タッチ感知面(例えば、タッチパッド若しくはタッチ感知ディスプレイ)、ボタン、回転可能入力機構(例えば、スクロールホイール)、スピーカ(例えば、音声入力若しくは音声コマンド)、又は他の入力機構のうちの1つ以上を介して、入力を受信することができる。図示した実施形態では、ディスプレイ202はタッチ感知ディスプレイである。
デバイス200は、入力(例えば、タッチ感知ディスプレイ202上の接触)を受信し、入力に応じて出力データを生成するように構成されている。いくつかの実施形態では、出力データは、ディスプレイ202上のデバイス200によって表示可能なコンテンツ(例えば、画像及び/又はビデオ)を表す。いくつかの実施形態では、コンテンツ(例えば、GUIスクリーン204)のアスペクト比は、ディスプレイ202のアスペクト比に基づく。
デバイス200はまた、通常モード又はプライベートモードで動作しているかどうかを判定するように構成される。図2A及び図2Bは、通常モードにおけるデバイス200の動作を示す。デバイス200は、アイコン206上のタッチ入力210を受信する。それに応じて、デバイス200は、対応するメールアプリケーションを起動し、メールアプリケーション用のGUIスクリーンを表す出力データを生成する。デバイス200が通常モードで動作しているとき、デバイス200は、出力データに従って、ディスプレイ202上にメールアプリケーション用のGUIスクリーン208を表示する。
図3A~図3Dは、プライベートモードで動作しているデバイス200、及びデバイス200と通信するように構成されたディスプレイ302を備える外部デバイス300(例えば、タブレット)を示す。図示した実施形態では、外部デバイス300は、AR機能を(例えば、ビデオパススルーを使用して)サポートし、ディスプレイ302は、物理的環境の画像の上方に仮想オブジェクトを重ねる。図3A~図3Dの左側の描写は、ユーザの手に保持されているデバイス200の遮るものがないビューを示す。図3A~図3Dの右側の描写は、外部デバイス300のディスプレイ302上に見えるときの、ユーザの手に保持されているデバイス200のビューを示し、デバイス200がプライベートモードで動作している間に、デバイス300のカメラがデバイス200に向けられていることを意味している。
プライベートモードでは、デバイス200は、ディスプレイ202上にコンテンツを表示しない(又は、機密情報を隠すコンテンツの低減セットを表示する)ように構成されており、そうでなければ通常動作する。いくつかの実施形態では、プライベートモードは、プライベートモードに入る要求を表すユーザ入力(例えば、デバイス200におけるユーザ入力)に応じてアクティブ化される。いくつかの実施形態では、デバイス200は、デバイス200が外部デバイス300などのARデバイスを使用して見られていると判定すると、プライベートモードをアクティブ化する。
図3Aでは、デバイス200は、図2Aに示されたのと同じ状態で動作しており、アプリケーションを起動するためのインタフェースを提供するが、デバイスがプライベートモードになっているため、ディスプレイ202上にGUIスクリーン204を表示しない。代わりに、デバイス200は、出力データを外部デバイス300に送信する。いくつかの実施形態では、デバイス200は、有線及び/又は無線通信リンクを介して(例えば、Bluetooth(登録商標)、近距離通信(NFC)、WiFi、若しくは他の無線通信プロトコルを介して)外部デバイス300に出力データを送信する。
外部デバイス300は、デバイス200によって送信された出力データに従って、ディスプレイ302上にコンテンツを表示するように構成されている。図3Aに示すように、外部デバイス300は、GUIスクリーン204を表示する。いくつかの実施形態では、外部デバイス300は、(例えば、デバイス200との通信リンクを確立したことに応じて)通信リンクが確立されたこと、及び/又は(例えば、デバイス200から出力データを正常に受信したことに応じて、又はデバイス200から受信した出力データを正常に表示したことに応じて)コンテンツがディスプレイ302上に正常に表示されていることの確認を、デバイス200に送信する。任意選択的に、デバイス200がプライベートモードで動作しており、かつ、通信リンクが確立されたことの確認を受信しないか、又は通信リンクが不良であるか若しくは中断されていると判定した場合、デバイス200及び/又は外部デバイス300は、通信リンクが不良であるというインジケーションを提供し(例えば、ビ-プし、又は「接続が不良である」などのメッセージを表示する)、デバイス200は、デバイス200上のコンテンツの保護を維持するためにプライベートモードに留まる。接続が不良である場合、デバイス200は、任意選択的に、制限されたインタフェース(例えば、機密コンテンツを潜在的に含まないプライベートモードを終了するためのシンプルなメニュー)を表示して、ユーザがプライベートモードを終了することを可能にする。
図3A~図3Dに示される実施形態では、デバイス200は、コンテンツを表示しないが、プライベートモードで操作を実行するためのインタフェースをなおも提供する。例えば、プライベートモードにある間、デバイス200は、図2Aに示されるアイコン206とディスプレイ202上の同じ場所で、タッチ入力310(図3Bに示す)を受信する。タッチ入力210に応じて、デバイス200は、メールアプリケーションを起動し、メールアプリケーション用のGUIスクリーンを表す出力データを生成する。デバイス200は、プライベートモードで動作しているため、デバイス200は、ディスプレイ202上にコンテンツ(例えば、メールアプリケーション用のGUIスクリーン208)を表示することを控え、出力データを外部デバイス300に送信する。外部デバイス300は、入力310に応じて生成された出力データを受信し、図3Cに示すように、GUIスクリーン208をディスプレイ302上に表示する。このように、外部デバイス300によって表示されるコンテンツは、デバイス200によって検出された入力(例えば、タッチ入力310)に応じて、デバイス200によって実行される動作(例えば、電子メールアプリケーションの起動)に従う。更に、外部デバイス300は、デバイス200がコンテンツ自体をディスプレイ202上に表示している場合のデバイス200と同様に、デバイス200における入力に応じて、ディスプレイ202上に表示されるコンテンツを更新する。
したがって、プライベートモードでは、デバイス200は、通常動作モードであるときのように入力を受信し、動作を実行するが、対応するコンテンツは表示しない。代わりに、コンテンツは、外部デバイス300のディスプレイ302上に表示される。プライベートモードで動作している間、デバイス200は、タッチスクリーンディスプレイ202の発光ダイオードの一部又は全部への通電を控えて(例えば、ディスプレイLEDをオフにして)、タッチ検出機能を保持しながらバッテリ寿命を維持することができることに留意されたい。
図3A~図3Dは、1つの例示的な実施形態を示すことを認識されたい。いくつかの実施形態では、外部デバイス300は、ヘッドマウントシステムによって表示された仮想オブジェクト(単数又は複数)(例えば、GUIスクリーン108)と組み合わせた(少なくとも部分的に)透明なディスプレイを介して、デバイス200の物理的ビューをユーザが見ることを可能にするヘッドマウントシステム(例えば、ヘッドマウントデバイス)である。いくつかの実施形態では、外部デバイス300は、上述の特徴の一部又は全部を含むコンピュータシミュレーション現実技術を実行する、投影ベース又は他のSRシステムである。いくつかの実施形態では、外部デバイス300は、有線によって、又は無線で(例えば、Bluetooth(登録商標)プロトコルを介して)、ディスプレイ302(又はディスプレイ302を含む別のデバイス)に接続される。いくつかの実施例では、外部デバイス300は、ディスプレイ302を含むヘッドマウントシステムと通信するコンピューティングデバイス(例えば、スマートフォン)である。これにより、本明細書に記載される技術は、外部デバイス300と直接通信するが、デバイス200とは通信しないように構成されたディスプレイ(例えば、ヘッドセット)で実現することを可能にし得る。
外部デバイス300のディスプレイ302をユーザのみが見ることができるとき(例えば、ユーザによって着用されたパーソナルヘッドセットの場合など)、この特徴は、ディスプレイ202上に典型的に提供され得るデバイス200によって処理されるコンテンツ(例えば、電子メール、ドキュメント、アプリケーションなど)を他人が見ることを防止しながら、ユーザがデバイス200を操作することを可能にすることによってプライバシーを提供する。例えば、図4は、ヘッドマウントシステム450を用いてプライベートモードで動作するデバイス400(例えば、ラップトップコンピュータ)を示す。図4に示すように、デバイス400は、ヘッドマウントシステム450のディスプレイ452を通して見ることができ、ディスプレイ452上にのみ提示された機密ドキュメントを編集するために使用されている。ドキュメントのコンテンツは、ヘッドマウントシステム450のディスプレイ452上にのみ表示されるため、デバイス400は、デバイス400のキーボード及び/又はタッチパッド上のユーザ入力を受信するデバイス400などによって、プライベートに使用されてドキュメントを編集することができる。
図3A~図3Dに示されたデバイスに再び戻ると、いくつかの実施形態では、ユーザによって具体的に指示されると、デバイス200は、2つ以上の外部デバイス(例えば、外部デバイス300及び別の外部デバイス)に出力データを送信する。例えば、デバイス200は、デバイス200のユーザによって操作される外部デバイス及び他のユーザの外部デバイスに出力データを送信し、それによってデバイス200のユーザが許可したピアが提示を同時に見ることができる。このようにして、ユーザは、許可していない者からディスプレイ202のプライバシーを維持しながら、ユーザが許可した者とデバイス200のコンテンツを共有することができる。いくつかの実施形態では、特定のユーザ命令に応じて、デバイス200は、複数のデバイス上のコンテンツの閲覧を可能にする第1の構成要求を受信する。第1の構成要求を受信したことに応じて、デバイス200は、第1の外部デバイス及び第2の外部デバイスに出力データを送信する。続いて、デバイス200は、複数のデバイス上のコンテンツの閲覧を無効化する第2の構成要求を受信する。第2の構成要求を受信したことに応じて、デバイス200は、出力データを第1の外部デバイスに送信し続け、第2の外部デバイスに出力データを送信することを停止する。
いくつかの実施形態では、外部デバイス300は、ディスプレイ202の位置(例えば、場所及び/又は向き)を判定し、ディスプレイ202の判定された位置に基づいてコンテンツを表示する。この位置は、絶対位置又は相対位置(例えば、ディスプレイ302の位置に対する)であり得る。いくつかの実施形態では、外部デバイス300は、デバイス200から受信した位置データに少なくとも部分的に基づいて、ディスプレイ202の位置を判定する。例えば、デバイス200は、ディスプレイ202の位置を判定するセンサ(例えば、加速度計、ジャイロスコープなど)を含んでもよく、次いでディスプレイ202の位置が外部デバイス300に送信される。いくつかの実施形態では、外部デバイス300は、(例えば、画像処理及び/又は特徴認識処理を使用して)ディスプレイ202の位置を判定する1つ以上のセンサ(例えば、外部カメラ)を含む。外部デバイス300はまた、外部デバイス300自体の位置及び/又は動きを判定するためのセンサを含んでもよく、外部デバイス300自体の位置及び/又は動きは次いで、ディスプレイ302に対するディスプレイ202の位置を判定するために使用される。
いくつかの実施形態では、ディスプレイ202の位置は、ディスプレイ302上のコンテンツの位置を判定するために使用される。すなわち、ディスプレイ302上のコンテンツの位置は、ディスプレイ202の位置(例えば、ディスプレイ202の絶対位置、又はディスプレイ202のディスプレイ302に対する位置)に基づく。例えば、図3A~図3Dに示される実施形態では、GUIスクリーン204及び108がデバイス200のディスプレイ202上に重ねられるように、GUIスクリーン204及び208の位置はディスプレイ202の位置に対応する。換言すれば、GUIスクリーン204及び208は、たとえそれらが実際には外部デバイス300のディスプレイ302上に表示されていても、ユーザにはデバイス200上に表示されているかのように見える。したがって、外部デバイス300を使用して見ると、デバイス200は通常モードにあるかのように見える。これにより、ユーザはデバイス200を容易に操作することができる。例えば、アイコンがディスプレイ202上に実際には表示されないため、ディスプレイ302を使用してディスプレイ202上にGUIスクリーン204を重ねられることは、ユーザが所望の操作を実行するためにディスプレイの正しい領域にタッチするのを支援する。
いくつかの実施形態では、デバイス200は、ディスプレイ202の更新された位置を更に判定し、次いで、更新された位置に基づいてディスプレイ302上のコンテンツの位置を変更する。いくつかの実施例では、デバイス200は、ディスプレイ202の位置を追跡し、ディスプレイ202が移動するにつれてコンテンツがディスプレイ202上に維持されるように、コンテンツの表示された位置を更新する。いくつかの実施形態では、コンテンツがディスプレイ202上に表示される外観を維持するために、外部デバイス300は、デバイス200からの出力データを変換し(例えば、表示すべき画像を並進、回転、拡大、縮小、伸張、圧縮、又は他の方法で操作し)、それによって、コンテンツがディスプレイ202上に表示されているかのように見える。例えば、図3Dに示すように、ディスプレイ202は、図3A~図3Cに示す位置に対して回転される。位置の変化を補償するため、外部デバイス300は、ユーザの視点から見ると画像がディスプレイ202上にマッピングされて見えるように、GUIスクリーン208の画像を圧縮し、透視効果を適用する。
図5は、いくつかの実施形態による、電子デバイス上でプライバシースクリーンを提供するための方法を示すフロー図である。方法500は、第1のディスプレイ(例えば、ディスプレイ202)を備える第1のデバイス(例えば、デバイス200)と、第1のディスプレイとは異なる第2のディスプレイ(例えば、ディスプレイ302)を備える第2のデバイス(例えば、デバイス300)とを含むシステムにおいて実行される。いくつかの実施形態では、第1のデバイスは、ラップトップ、タブレット、スマートフォン、又はスマートウォッチである。いくつかの実施形態では、第2のデバイスは、ヘッドマウントデバイスである。方法500のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
ブロック502において、第1のデバイスは、第1の入力(例えば、入力301)を受信する。いくつかの実施形態では、第1のディスプレイはタッチスクリーンディスプレイであり、第1の入力はタッチスクリーン上の接触である。ブロック504において、第1のデバイスは、第1の入力に応じて出力データを生成する。いくつかの実施形態では、出力データは、視覚出力(例えば、ビデオデータ)を含む。
ブロック506において、第1のデバイスは、第1のデバイスが第1の(例えば、通常)モード、又は第2の(例えば、プライベート)モードで動作しているかどうかを判定する。ブロック508において、第1のデバイスが第1のモードで動作している場合、第1のデバイスは、出力データに従って第1のディスプレイ上にコンテンツを表示する。任意選択的に、第1のデバイスが第1のモードで動作している場合、第1のデバイスは、出力データを第2のデバイスに送信することを控える。ブロック510において、第1のデバイスが第2のモードで動作している場合、第1のデバイスは、出力データに従って第1のディスプレイ上にコンテンツを表示することを控え、出力データを第2のデバイスに送信する。任意選択的に、出力データに従って第1のディスプレイ上にコンテンツを表示することを控えることは、第1のディスプレイ上にいかなるコンテンツも表示しないこと、第1のディスプレイ上に可視コンテンツを提示しないこと、又は第1のディスプレイの表示素子(例えば、LED)をオフにすることを含む。任意選択的に、第1のデバイスが第2のモードで動作している場合、第1のデバイスは、第1のデバイス及び第2のデバイスとは異なる第3のデバイスに、出力データを送信する。
ブロック512において、第2のデバイスは、(例えば、画像センサを使用して)第1のディスプレイの(例えば、第2のディスプレイに対する)位置を判定する。いくつかの実施形態では、第1のディスプレイの位置を判定することは、第2のデバイスの画像センサで第1のデバイスの画像を取得することと、取得された画像を使用して第1のディスプレイの(例えば、第2のディスプレイに対する)位置を判定することと、を含む。ブロック514において、第2のデバイスは、第2のディスプレイ上に、出力データ、及び第1のディスプレイの判定された位置に従ってコンテンツを表示する。任意選択的に、第2のディスプレイ上のコンテンツの位置は、第2のディスプレイの位置に基づく。任意選択的に、第2のディスプレイ上のコンテンツの位置は、第1のデバイスに対する第2のデバイスの位置に基づく。任意選択的に、第2のディスプレイ上のコンテンツの位置は、第1のディスプレイの位置に対応する。いくつかの実施形態では、第1のデバイスの画像は、第2のデバイスの画像センサを使用して取得され、コンテンツを表示することは、取得された画像を使用して、第1のデバイスの少なくとも一部分の表現を(例えば、第2のディスプレイ上に)表示することを含む。任意選択的に、第2のデバイスは、第1のディスプレイの(例えば、第2のディスプレイに対する)第2の位置を判定し、第1のディスプレイの判定された第2の位置に基づいて、第2のディスプレイ上のコンテンツの位置を変更する。
図6は、いくつかの実施形態による、電子デバイス上にプライバシースクリーンを提供するための方法を示すフロー図である。方法600は、第1のディスプレイ(例えば、ディスプレイ302)及び任意選択的に画像センサと結合された第1のデバイス(例えば、デバイス300)において実行される。いくつかの実施形態では、第1のデバイスは、シミュレーション現実の特徴をサポートするヘッドマウントシステムである。方法600におけるいくつかの動作は、任意選択的に組み合わされ、及びいくつかの動作の順序は、任意選択的に変更される。方法600におけるいくつかの動作は、任意選択的に方法500に含まれ、方法500におけるいくつかの動作は、任意選択的に方法600に含まれる。
ブロック602において、第1のデバイスは、第1のディスプレイとは異なる第2のディスプレイ(例えば、ディスプレイ202)を有する第2のデバイス(例えば、デバイス200)からの出力データを受信する。いくつかの実施形態では、第2のデバイスは、ラップトップ、タブレット、スマートフォン、又はスマートウォッチである。いくつかの実施形態では、出力は、第2のデバイスのタッチスクリーンディスプレイ上の接触に応じて、第2のデバイスによって生成される。任意選択的に、出力データは、第2のディスプレイ上の第2のデバイスによって表示可能なコンテンツを表す。任意選択的に、コンテンツは、視覚出力(例えば、ビデオデータ)を含む。
ブロック604において、第1のデバイスは、(例えば、画像センサを使用して)第2のディスプレイの(例えば、第1のデバイスに対する)位置を判定する。ブロック606において、第1のデバイスは、第2のデバイスから受信した出力データ、及び第2のディスプレイの判定された位置に基づいて、第1のディスプレイにコンテンツを表示させる。いくつかの実施形態では、第2のデバイスの画像は(例えば、第1のデバイスの画像センサを使用して)取得され、第1のディスプレイにコンテンツを表示させることは、取得された画像を使用して、第1のデバイスの少なくとも一部分の表現を表示させることを含む。任意選択的に、コンテンツの位置(例えば、第1のディスプレイ上のコンテンツの表示場所)は、第2のディスプレイの位置に基づく。任意選択的に、コンテンツの位置(例えば、第1のディスプレイ上のコンテンツの表示場所)は、第2のディスプレイの位置に対応する。任意選択的に、第1のデバイスは、第2のディスプレイの(例えば、第1のディスプレイに対する)第2の位置を判定し、第2のディスプレイの判定された第2の位置に基づいてコンテンツの位置を変更する。任意選択的に、第1のデバイスは、第2のデバイスにおける入力(例えば、入力310)に応じて、第1のディスプレイに表示されたコンテンツを更新する。任意選択的に、更新されたコンテンツは、第2のデバイスによって検出された入力に応じて、第2のデバイスによって実行される動作に従う。
いくつかの実施形態では、コンテンツは、第1のディスプレイがコンテンツを表示している間、第2のディスプレイ上に第2のデバイスによって表示されない。任意選択的に、第1のデバイスは、第2のディスプレイ上にコンテンツを表示することを控えるため、又は第2のディスプレイ上に可視コンテンツを提示することを控える命令を、第2のデバイスに送信する。任意選択的に、命令は、第2のディスプレイの要素をオフにする命令を含む。いくつかの実施形態では、第1のデバイスは、第1のデバイスと第2のデバイスとの間の通信リンクが確立されたことの確認を第2のデバイスに送信する。任意選択的に、第1のデバイスは、通信リンクが中断されていることに応じてインジケーションを提供する。いくつかの実施形態では、第1のデバイスは、第1のディスプレイ及び第2のディスプレイとは異なる第3のディスプレイ上に、コンテンツを表示させる。
上述の方法500及び/又は600の機能を実行するための実行可能命令は、任意選択的に、一時的若しくは非一時的コンピュータ可読記憶媒体(例えば、メモリ(単数又は複数)106)、又は1つ以上のプロセッサ(例えば、プロセッサ(単数又は複数)102)によって実行されるように構成されている他のコンピュータプログラム製品に含まれる。
上述の技術の態様は、電子デバイス上に改善されたプライバシースクリーンを提供するために個人情報を収集及び使用する可能性を企図する。そのような情報は、ユーザのインフォームドコンセントと共に収集されるべきである。
そのような個人情報を取り扱うエンティティは、(1)業界又は政府の要件を満たす又は超えると一般に認識され、(2)ユーザがアクセス可能であり、(3)必要に応じて更新され、(4)適用可能な法令に準拠している、十分に確立されたプライバシー慣行及び/又はプライバシーポリシー(例えば、サードパーティによって証明されたもの)に準拠することになる。そのような個人情報を取り扱うエンティティは、それらの合法的使用外で共有又は販売することなく、妥当かつ正当な使用のための情報を使用することになる。
しかしながら、ユーザは、個人情報のアクセス/使用を選択的に制限してもよい。例えば、ユーザは、個人情報の収集をオプトイン又はオプトアウトすることができる。加えて、上述の技術の態様は個人情報の使用を企図しているが、個人情報を必要とすることなく又は使用することなく、技術態様を実現することができる。例えば、場所情報、ユーザ名、及び/又はアドレスが収集される場合、それらは、個人を一意に識別しないように一般化及び/又はマスクすることができる。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。

Claims (18)

  1. 第1のディスプレイを備える第1のデバイスと、前記第1のディスプレイとは異なる第2のディスプレイを備える第2のデバイスとを含むシステムを動作させる方法であって、
    入力に応じて、前記第1のデバイスによって出力データを生成することと、
    前記第1のデバイスが、第1のモードで動作しているかを判定することと、
    前記第1のデバイスが、前記第1のモードで動作している間、前記出力データに従って前記第1のディスプレイ上にコンテンツを表示することと、
    前記第1のデバイスが前記第2のデバイスにより閲覧されていることを判定することと、
    前記第1のデバイスが前記第2のデバイスにより閲覧されている判定に応答して、
    前記第1のデバイスが、第2のモードで動作している間、前記出力データに従って前記第1のディスプレイ上にコンテンツを表示することを控え、前記出力データを前記第2のデバイスに送信することと、
    画像センサを使用して、前記第2のディスプレイに対する前記第1のディスプレイの位置を判定することと、
    前記第2のディスプレイ上に、前記出力データ、及び前記第2のディスプレイに対する前記第1のディスプレイの前記判定された位置に従ってコンテンツを表示することと、を含む、方法。
  2. 画像センサを使用して、前記第2のディスプレイに対する前記第1のディスプレイの位置を判定することが、
    前記第2のデバイスの画像センサを使用して、前記第1のデバイスの画像を取得することと、
    前記取得された画像を使用して、前記第2のディスプレイに対する前記第1のディスプレイの前記位置を判定することと、を含む、請求項1に記載の方法。
  3. 前記第2のデバイスの画像センサを使用して、前記第1のデバイスの画像を取得することを更に含み、
    前記第2のディスプレイ上に、前記出力データ、及び前記第2のディスプレイに対する前記第1のディスプレイの前記判定された位置に従ってコンテンツを表示することが、
    前記第2のディスプレイ上に、前記取得された画像を使用して前記第1のデバイスの少なくとも一部分の表現を表示することを含む、請求項1に記載の方法。
  4. 前記第2のディスプレイに対する前記第1のディスプレイの第2の位置を判定することと、
    前記第1のディスプレイの前記判定された第2の位置に基づいて、前記第2のディスプレイ上の前記コンテンツの前記位置を変更することと、を更に含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記出力データに従って前記第1のディスプレイ上にコンテンツを表示することを控えることが、前記第1のディスプレイ上に可視コンテンツを提示しないことを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記出力データに従って前記第1のディスプレイ上にコンテンツを表示することを控えることが、前記第1のディスプレイの表示素子をオフにすることを含む、請求項1から4のいずれか一項に記載の方法。
  7. 前記第1のディスプレイが、タッチスクリーンディスプレイであり、前記入力が、前記タッチスクリーンディスプレイ上の接触である、請求項1から6のいずれか一項に記載の方法。
  8. 前記第2のデバイスが、ヘッドマウントデバイスである、請求項1から7のいずれか一項に記載の方法。
  9. 前記出力データが、視覚出力を含む、請求項1から8のいずれか一項に記載の方法。
  10. 第1の電子デバイス及び第2の電子デバイスを含むシステムであって、
    前記第1の電子デバイスは、
    第1のディスプレイと、
    1以上の第1のプロセッサと、
    前記1以上の第1のプロセッサにより請求項1から9の何れか1項に記載の方法が実行されるように構成された命令を含む1つ以上のプログラムを記憶する第1のメモリと、
    を備え、
    前記第2の電子デバイスは、
    第2のディスプレイと、
    1つ以上の第2のプロセッサと、
    前記1つ以上のプロセッサにより請求項1から9の何れか1項に記載の方法が実行されるように構成された命令を含む1つ以上のプログラムを記憶する第2のメモリと、
    を備えたシステム。
  11. 第1のディスプレイ及び1以上の第1のプロセッサを備える第1の電子デバイスと、第2のディスプレイ及び1以上の第2のプロセッサを備える第2の電子デバイスとを有するシステムで実行される1つ以上のプログラムを記録したコンピュータ可読記憶媒体であって、
    前記1以上の第1のプロセッサ及び前記1以上の第2のプロセッサに、請求項1から9のいずれか一項に記載の方法を実行させるための前記プログラムを記録したコンピュータ可読記憶媒体。
  12. 第1のディスプレイを備える第1のデバイスと、
    第2のディスプレイを備える第2のデバイスであって、前記第1のディスプレイが前記第2のディスプレイとは異なる、前記第2のデバイスと、
    請求項1から9のいずれか一項に記載の方法を実行する手段と、を備える、システム。
  13. 第1のディスプレイと結合された第1のデバイスにおいて、
    入力に応じて出力データを作成することと、
    前記第1のディスプレイが、第1のモードで動作しているかを判定することと、
    前記第1のデバイスが、前記第1のモードで動作している間、前記出力データに従って前記第1のディスプレイ上にコンテンツを表示することと、
    前記第1のデバイスが、前記第1のディスプレイとは異なる第2のディスプレイを有する第2のデバイスにより閲覧されていることを判定することと、
    前記第1のデバイスが前記第2のデバイスにより閲覧されている判定に応答して、前記第1のデバイスの第2のモードをアクティブ化することと、
    前記第1のデバイスが、前記第2のモードで動作している間、
    前記出力データに従って前記第1のディスプレイ上にコンテンツを表示することを控え、
    前記出力データを前記第1のデバイスから前記第2のデバイスに送信することであって、前記出力データが、前記第2のディスプレイ上に前記第2のデバイスによって表示可能なコンテンツを表す、ことと、
    を含む、方法。
  14. 前記第1のデバイスにおける入力に応じて、前記コンテンツを更新することを更に含む、請求項13に記載の方法。
  15. 前記第2のデバイスが、ヘッドマウントデバイスである、請求項13又は14に記載の方法。
  16. 前記第1のデバイスが、タッチスクリーンディスプレイを備え、前記出力データが、前記タッチスクリーンディスプレイ上の接触に応じて前記第1のデバイスによって生成される、請求項13から15のいずれか一項に記載の方法。
  17. 1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、
    前記1つ以上のプログラムが、請求項13から16のいずれか一項に記載の方法を実行する、第1の電子デバイス。
  18. ディスプレイと結合された第1の電子デバイスで実行される1つ以上のプログラムを記録したコンピュータ可読記憶媒体であって、
    前記第1の電子デバイスのプロセッサによって、請求項13から16のいずれか一項に記載の方法を実行させるための前記プログラムを記録した、コンピュータ可読記憶媒体。
JP2020517967A 2017-09-29 2018-09-26 プライバシースクリーン Active JP7005753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762566187P 2017-09-29 2017-09-29
US62/566,187 2017-09-29
PCT/US2018/052868 WO2019067549A1 (en) 2017-09-29 2018-09-26 PRIVACY SCREEN FOR COMPUTER SIMULATED REALITY

Publications (2)

Publication Number Publication Date
JP2020536311A JP2020536311A (ja) 2020-12-10
JP7005753B2 true JP7005753B2 (ja) 2022-02-10

Family

ID=63966091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517967A Active JP7005753B2 (ja) 2017-09-29 2018-09-26 プライバシースクリーン

Country Status (6)

Country Link
US (3) US11243734B2 (ja)
EP (1) EP3676745B1 (ja)
JP (1) JP7005753B2 (ja)
KR (1) KR102340665B1 (ja)
CN (1) CN111213148A (ja)
WO (1) WO2019067549A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988776B (zh) * 2015-01-27 2019-11-26 阿里巴巴集团控股有限公司 信息卡处理方法及装置
CN111213148A (zh) 2017-09-29 2020-05-29 苹果公司 用于计算机模拟现实的隐私屏幕
US10997418B2 (en) 2019-09-09 2021-05-04 Ar, Llc Augmented, virtual and mixed-reality content selection and display
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10699124B1 (en) 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
US11874852B2 (en) * 2020-08-28 2024-01-16 Micron Technology, Inc. Instructive actions based on categorization of input data
CN113791708A (zh) * 2021-08-13 2021-12-14 维沃移动通信有限公司 屏幕隐私保护方法、装置及电子设备
WO2024019461A1 (ko) * 2022-07-22 2024-01-25 삼성전자주식회사 파티션의 일부분을 위한 마운트 동작을 수행하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015014977A (ja) 2013-07-08 2015-01-22 コニカミノルタ株式会社 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム
JP2017004354A (ja) 2015-06-12 2017-01-05 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513793B2 (en) * 2012-02-24 2016-12-06 Blackberry Limited Method and apparatus for interconnected devices
KR101627290B1 (ko) * 2013-04-16 2016-06-21 구태언 보안강화 머리착용형 디스플레이 장치 및 그 장치를 통해 암호화된 정보에 액세스 하는 방법
CN103823553B (zh) * 2013-12-18 2017-08-25 微软技术许可有限责任公司 对表面背后的场景的增强现实显示
KR102182162B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US9406157B2 (en) * 2014-04-21 2016-08-02 Airwatch Llc Concealing sensitive information on a display
US20160131903A1 (en) 2014-11-11 2016-05-12 Microsoft Technology Licensing, Llc Preventing display leakage in see-through displays
US10545714B2 (en) * 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
US10015537B2 (en) * 2016-06-30 2018-07-03 Baidu Usa Llc System and method for providing content in autonomous vehicles based on perception dynamically determined at real-time
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10579807B2 (en) * 2017-02-02 2020-03-03 International Business Machines Corporation Preventing image capture data leaks
US10580149B1 (en) * 2017-06-26 2020-03-03 Amazon Technologies, Inc. Camera-level image processing
CN111213148A (zh) 2017-09-29 2020-05-29 苹果公司 用于计算机模拟现实的隐私屏幕

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015014977A (ja) 2013-07-08 2015-01-22 コニカミノルタ株式会社 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム
JP2017004354A (ja) 2015-06-12 2017-01-05 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス

Also Published As

Publication number Publication date
WO2019067549A1 (en) 2019-04-04
KR102340665B1 (ko) 2021-12-16
CN111213148A (zh) 2020-05-29
US11768956B2 (en) 2023-09-26
US11243734B2 (en) 2022-02-08
EP3676745B1 (en) 2022-06-29
US20200225901A1 (en) 2020-07-16
JP2020536311A (ja) 2020-12-10
US20220113926A1 (en) 2022-04-14
EP3676745A1 (en) 2020-07-08
KR20200046089A (ko) 2020-05-06
US20230394170A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
JP7005753B2 (ja) プライバシースクリーン
US11762619B2 (en) Controlling external devices using reality interfaces
JP7081052B2 (ja) 模擬現実(sr)におけるデバイス共有及び対話性の表示
US11222454B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US20210365108A1 (en) Controlling representations of virtual objects in a computer-generated reality environment
US11714519B2 (en) Moving about a setting
US11694658B2 (en) Transferring a virtual object
US20230308495A1 (en) Asymmetric Presentation of an Environment
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220105

R150 Certificate of patent or registration of utility model

Ref document number: 7005753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150