JP6868688B2 - バーチャル環境におけるジェスチャに基づくアクセス制御 - Google Patents

バーチャル環境におけるジェスチャに基づくアクセス制御 Download PDF

Info

Publication number
JP6868688B2
JP6868688B2 JP2019520098A JP2019520098A JP6868688B2 JP 6868688 B2 JP6868688 B2 JP 6868688B2 JP 2019520098 A JP2019520098 A JP 2019520098A JP 2019520098 A JP2019520098 A JP 2019520098A JP 6868688 B2 JP6868688 B2 JP 6868688B2
Authority
JP
Japan
Prior art keywords
user
meeting
private
gesture data
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019520098A
Other languages
English (en)
Other versions
JP2020501223A (ja
Inventor
トフ,ジェイソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020501223A publication Critical patent/JP2020501223A/ja
Application granted granted Critical
Publication of JP6868688B2 publication Critical patent/JP6868688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093Calendar-based scheduling for persons or groups
    • G06Q10/1095Meeting or appointment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/06Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/062Network architectures or network communication protocols for network security for supporting key management in a packet data network for key distribution, e.g. centrally by trusted party
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083Network architectures or network communication protocols for network security for authentication of entities using passwords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/68Gesture-dependent or behaviour-dependent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Description

関連出願への相互参照
この出願は、「バーチャル環境におけるジェスチャに基づくアクセス制御(GESTURE-BASED ACCESS CONTROL IN VIRTUAL ENVIRONMENTS)」という名称を有する2016年12月5日に出願された米国仮特許出願第62/430,119号に対する優先権を主張する「バーチャル環境におけるジェスチャに基づくアクセス制御(GESTURE-BASED ACCESS CONTROL IN VIRTUAL ENVIRONMENTS)」という名称を有する2017年11月6日に出願された米国特許出願第15/804,212号の継続出願であり、米国特許出願第15/804,212号に対する優先権を主張しており、それらの開示は本願明細書において全文参照によって援用される。
この出願はさらに、2016年12月5日に出願された米国仮特許出願第62/430,119号に対する優先権を主張しており、その開示は本願明細書において全文参照によって援用される。
技術分野
この記載は、バーチャルリアリティ環境におけるアクセス制御に関し、具体的には、プライベートミーティングへのアクセスを制御することに関する。
ネットワークを介してコミュニケーションを行う何人かのユーザは、ネットワーク上のすべてのユーザには開放されていない、議論のためのプライベートミーティングを使用する場合がある。意図したユーザのみがネットワークを介してプライベートミーティングに出席することを保証する従来の技術は、当該プライベートミーティングのためのパスコードを生成することである。プライベートミーティングに出席する各ユーザは、プライベートミーティングに入るのを許可されるために、当該パスコードをサーバにタイプする。
概要
1つの一般的な局面において、方法は、バーチャルリアリティ(VR)サーバの処理回路が、VRサーバの外部のユーザがインタラクションするバーチャル環境を生成することを含み得、バーチャル環境はバーチャルミーティングルームを含む。上記方法はさらに、バーチャル環境のバーチャルミーティングルームにおけるプライベートミーティングをスケジューリングする要求を受信することを含み得、要求は、プライベートミーティングに出席することが承認されたユーザの集合を識別するユーザ識別子の集合と、プライベートミーティングに出席することが承認されたユーザの集合のうちのユーザによって形成されるジェスチャに起因するジェスチャデータとを含む。上記方法はさらに、ユーザを識別する新しいユーザ識別子と、ユーザによって生成される新しいジェスチャデータとを受信することを含み得る。上記方法はさらに、新しいユーザ識別子がユーザ識別子の集合のうちの1つとマッチするか否かと、新しいジェスチャ識別子がジェスチャ識別子の集合のうちの1つとマッチするか否かとに従って、プライベートミーティングへのアクセスをユーザに認めるかまたは拒否することを含み得る。
1つ以上の実現例の詳細を添付の図面および以下の説明で述べる。説明および図面ならびに請求の範囲から他の特徴が明らかになるであろう。
本願明細書において記載される改善された技術が実現され得る例示的な電子環境を示す図である。 図1に示されるような改善された技術を実現する例示的な方法を示すフローチャートである。 図1に示される改善された技術に従った、ジェスチャを形成するユーザの例示的な集合の図である。 図1に示される改善された技術に従った、ジェスチャを形成するユーザの例示的な集合の図である。 図1に示される改善された技術に従った、ジェスチャ識別子の例示的な集合の図である。 図1に示される改善された技術に従った、自身を承認されたユーザであるとそれぞれのトークンで識別するユーザの例示的な集合の図である。 図1に示される改善された技術に従った、自身を承認されたユーザであるとそれぞれのトークンで識別するユーザの例示的な集合の図である。 本願明細書に記載される回路と共に使用され得るコンピュータデバイスおよびモバイルコンピュータデバイスの例を示す図である。 例示的なVRヘッドマウントディスプレイ(HMD: head-mounted display)を示す図である。 例示的なVRHMDおよびコントローラを示す図である。 例示的なVRHMDおよびコントローラを示す図である。 例示的なVRHMDおよびコントローラを示す図である。
詳細な説明
ネットワークを介してコミュニケーションを行う何人かのユーザは、ネットワーク上のすべてのユーザには開放されていない、議論のためのプライベートミーティングを使用する場合がある。ネットワークを介するプライベートミーティングへのアクセスを制御する従来の技術は、当該プライベートミーティングのためのパスコードを生成することである。プライベートミーティングに出席する各ユーザは、プライベートミーティングに入るのを許可されるために、当該パスコードをサーバにタイプし得る。
プライベートミーティングへのアクセスを制御する従来のアプローチは、たとえば机上および電話といったユーザが没入していない環境では良好に機能する。しかしながら、VRのような3次元の没入型環境において、アクセス制御についての従来のアプローチは簡便ではなく、バーチャル環境内の適時のミーティングを実際に妨げ得る。
本願明細書において記載される実現例に従うと、VR環境におけるアクセス制御の改善された技術は、バーチャル環境内のプライベートミーティングに出席するユーザが、当該プライベートミーティングへ入るのを許可されるために実行する一連のジェスチャを規定することを伴う。したがって、ユーザは、バーチャル環境内で行われるべきミーティングをセットアップすると、プライベートミーティングへの入場許可を得る有効な秘密のハンドシェイクとして機能し得る一連のジェスチャ(たとえばスワイプ、円など)を規定し得る。1つの実現例では、プライベートミーティングに招待された各人には、プライベートミーティングへのアクセスを提供する、バーチャル環境において実行すべき同じジェスチャが与えられる。他の実現例では、各ユーザは、当該ユーザを識別する識別子とマッチした場合にアクセスを提供する自身のそれぞれのジェスチャを有する。そのようなジェスチャは、ユーザによって容易に規定および実行され、バーチャル環境内でのプライベートミーティングを制御するサーバによって認識されるという利点がある。
図1は、上記の改善された技術が実現され得る例示的な電子環境100を示す図である。図1に示されるように、電子環境100は、複数のユーザ112(1),…,112(N)を含んでおり、各ユーザは、ユーザデバイス114(1),…,114(N)によって駆動されるそれぞれのVRコントローラ110(1),…,110(N)を介してVR環境に没入している。電子環境100はさらに、VRサーバコンピュータ120およびネットワーク180を含んでいる。
VRコントローラ110は、没入型のバーチャル環境を提供するようユーザ112によって着用されるヘッドマウントディスプレイ(HMD)の形態を取り得る。例示的な電子環境100において、VRコントローラ110(1)を着用しているユーザ112(1)は、ユーザデバイス、すなわちユーザデバイス114(1)を保持する。ユーザデバイス114(1)はたとえば、没入型のバーチャル環境においてインタラクションするためにVRコントローラ110(1)とペアリングおよび通信し得るスマートフォン、コントローラ、ジョイスティック、または、別のポータブルハンドヘルド電子デバイスであってもよい。ユーザデバイス114(1)は、たとえば有線接続またはたとえばWiFi(登録商標)接続もしくはブルートゥース(登録商標)接続のような無線接続を介して、VRコントローラ110(1)に動作可能に結合されるか、または、VRコントローラ110(1)とペアリングされ得る。ユーザデバイス114(1)およびVRコントローラ110(1)のこのペアリングまたは動作可能な結合によって、ユーザデバイス114(1)とVRコントローラ110(1)との間の通信と、ユーザデバイス114(1)とVRコントローラ110(1)との間のデータの交換とが提供され得る。これにより、ユーザデバイス114(1)が、没入型のバーチャル環境においてインタラクションするためのVRコントローラ110(1)と通信するコントローラとして機能することが可能になり得る。すなわち、たとえば、ユーザデバイス114(1)によって発せられ選択のためにバーチャルな物体または特徴に方向付けされるビームもしくは光線、および/または、ユーザデバイス114(1)のタッチ面上で受け付けられる入力、および/または、ユーザデバイス114(1)の動きといったユーザデバイス114(1)の操作は、VRコントローラ110(1)によって提供される没入型のバーチャル環境において、対応する選択、動き、または、他のタイプのインタラクションに変換され得る。
VRサーバコンピュータ120は、没入型のバーチャル環境のためのデータを生成し、たとえばユーザデバイス114(1)へネットワーク180を介して当該データを送信するように構成される。図1に示されるように、VRサーバコンピュータ120は、ネットワーク180を介してユーザデバイス114(1)と通信するコンピュータシステムとして実現される。
いくつかの実施形態において、VRサーバコンピュータ120のコンポーネントのうちの1つ以上は、メモリ126に格納される命令を処理するように構成されるプロセッサ(たとえば処理ユニット124)であり得るか、または、当該プロセッサを含み得る。図1に示されるようなそのような命令の例は、バーチャル環境(VE:Virtual Environment)マネージャ160およびジェスチャマネージャ170を含む。さらに、図1に示されるように、メモリ126は、さまざまなデータを格納するように構成されており、そのようなデータを使用するそれぞれのマネージャに関して説明される。
VEマネージャ160は、VEデータ130としてVRサーバコンピュータ120において表わされるバーチャル環境を生成および処理するように構成される。たとえば、VEマネージャ130は、ユーザ112(1),…,112(n)が出席者であるバーチャル会議場を規定するように構成され得る。したがって、VEマネージャ160はVEプライベートミーティングマネージャ162を含む。
プライベートミーティングマネージャ162は、バーチャル環境内でのプライベートミーティングをスケジューリングし、当該プライベートミーティングへのアクセスを制御するように構成される。たとえば、バーチャル環境に没入しているユーザ112(1)が、たとえば出席するための承認が与えられた人のみによって出席されるミーティングのようなプライベートミーティングをスケジューリングすることを望む場合、ユーザ112(1)はプライベートミーティングルーム140を規定し得る。
1つの実現例では、ユーザ112(1)は、ミーティングをスケジューリングすることを望んでいることをVRコントローラ/ディスプレイ110(1)を介して示す。たとえば、そのような指示を受信すると、VEプライベートミーティングマネージャ162は、時間の選択および/またはプライベートミーティングの期間ならびにミーティングへの潜在的な招待者のリストを有するメニューをユーザ112(1)に表示する。この実現例では、ユーザ112(1)は、プライベートミーティングへの入場許可を得るために、招待に応ずる招待者の各々が知る必要がある単一のジェスチャを規定し得る。別の実現例では、それぞれの招待に応ずる招待者の各々は、プライベートミーティングへの入場許可を得るために再び実行するジェスチャを実行する。
ジェスチャマネージャ170は、ユーザによって実行されるジェスチャを、メモリ126に格納された予め規定されたジェスチャ識別子にマッチするように構成される。たとえば、プライベートミーティングをスケジューリングするユーザ112(1)は、ユーザがプライベートミーティングへのアクセスを得るために実行するジェスチャとして五角星を選択するとする。たとえばユーザ112(2)のようなユーザが当該プライベートミーティングへのアクセスを与えられることを望む場合、ユーザ112(2)はジェスチャを実行する。ジェスチャマネージャ170は、当該ジェスチャを、メモリ126に格納される五角星と比較するように構成される。実行されたジェスチャがこの星に十分に近い場合、ジェスチャマネージャ170は、ユーザ112(2)にはプライベートミーティングへのアクセスが認められ得ることをVEプライベートミーティングマネージャ162に示す。ユーザ112(2)のアバター150によって実行されたジェスチャが、上記星に十分に近くない(たとえば、五角を有していない)場合、ジェスチャマネージャ170は、ユーザ112(2)が上記星に十分に近いジェスチャを実行するまで、プライベートミーティングへのアクセスについて拒否され得ることをVEプライベートミーティングマネージャ162に示す。
いくつかの実現例では、プライベートミーティングにアクセスすることが承認された各ユーザは、自身のジェスチャデータ148を選択し得る。この場合、プライベートミーティングに出席するよう招待状を受信すると、たとえばユーザ112(2)のような各ユーザは、そのユーザ112(2)のユーザ識別子152に対応するジェスチャデータ148を選択する。ユーザ112(2)がプライベートミーティングにアクセスすることを要求すると、ジェスチャマネージャ170は、ユーザ識別子152を格納および承認されたユーザ識別子146と比較し、かつ、ユーザ112(2)によって実行されたジェスチャをそのユーザ112(2)のユーザ識別子146に対応するジェスチャデータ148と比較するように構成される。
いくつかの実現例では、ジェスチャデータ148は、シーケンスで複数の座標を含んでいる。複数の座標は、ユーザ112(1)がたとえばユーザデバイス114(1)といったようなユーザデバイスを保持してジェスチャを実行する際に当該ユーザデバイスが取る経路のサンプルを表す。
いくつかの実現例では、VEプライベートミーティングマネージャ162は、予め規定されたイベントトリガー142に従ってプライベートミーティングを始めるように構成される。たとえば、イベントトリガー142は、プライベートミーティングが行われることになる時間であってもよい。しかしながら、他の実現例では、イベントトリガー142は、バーチャル環境におけるユーザの数がユーザの何らかのしきい値数より大きいことを示すインジケータであってもよい。
いくつかの実現例では、VEプライベートマネージャ162は、プライベートミーティングが形成されることに応答して各ユーザのためにトークン144を生成する。各トークン144は、プライベートミーティングのために付加的なセキュリティを提供する。なぜならば、トークン144を有するユーザのみにプライベートミーティングへのアクセスが認められ得るからである。いくつかのさらに別の実現例では、各トークン144は暗号鍵を使用して生成される。
VRサーバコンピュータ120は、ネットワークインターフェイス122と、1つ以上の処理ユニット124と、メモリ126とを含んでいる。ネットワークインターフェイス122はたとえば、ネットワーク180から受信された電子および/または光学信号をVRサーバコンピュータ120による使用のために電子的な形態に変換するためのイーサネット(登録商標)アダプタおよびトークンリングアダプタなどを含んでいる。処理ユニット124の集合は、1つ以上の処理チップおよび/またはアセンブリを含んでいる。メモリ126は、揮発性メモリ(たとえばRAM)と、1つ以上のROM、ディスクドライブおよびソリッドステートドライブなどのような不揮発性メモリとの両方を含んでいる。処理ユニット124およびメモリ126の集合はともに、本願明細書に記載されるようなさまざまな方法および機能を実行するように構成される制御回路を形成する。
ユーザデバイス120のコンポーネント(たとえばモジュール、処理ユニット124)は、1つ以上のタイプのハードウェア、ソフトウェア、ファームウェア、オペレーティングシステムおよび/またはランタイムライブラリなどを含み得る1つ以上のプラットホーム(たとえば1つ以上の同様または異なるプラットホーム)に基づいて動作するように構成され得る。いくつかの実現例では、VRサーバコンピュータ120のコンポーネントは、デバイス(たとえばサーバファーム)のクラスタ内で動作するように構成され得る。そのような実現例では、VRサーバコンピュータ120のコンポーネントの機能および処理は、当該デバイスのクラスタのうちのいくつかのデバイスに分散され得る。
VRサーバコンピュータ120のコンポーネントは、属性を処理するように構成される任意のタイプのハードウェアおよび/またはソフトウェアであり得るか、または、当該ハードウェアおよび/またはソフトウェアを含み得る。いくつかの実現例では、図1におけるVRサーバコンピュータ120のコンポーネントにおいて示されるコンポーネントのうちの1つ以上の部分は、ハードウェアベースのモジュール(たとえばデジタル信号プロセッサ(DSP:digital signal processor)、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)、メモリ)、ファームウェアモジュール、および/もしくは、ソフトウェアベースのモジュール(たとえばコンピュータコードのモジュール、コンピュータにて実行され得るコンピュータ読取可能命令の集合)であり得るか、または、これらを含み得る。たとえば、いくつかの実現例では、VRサーバコンピュータ120のコンポーネントの1つ以上の部分は、少なくとも1つのプロセッサ(図示せず)による実行のために構成されるソフトウェアモジュールであり得るか、または、当該ソフトウェアモジュールを含み得る。いくつかの実現例では、これらのコンポーネントの機能は、図1に示されるものとは異なるモジュールおよび/または異なるコンポーネントに含まれ得る。
示されていないが、いくつかの実現例では、ユーザデバイス120(またはその部分)のコンポーネントは、たとえば、データセンタ(たとえばクラウドコンピューティング環境)、コンピュータシステムおよび/または1つ以上のサーバ/ホストデバイスなどにおいて動作するように構成され得る。いくつかの実現例では、VRサーバコンピュータ120(またはその部分)のコンポーネントは、ネットワーク内で動作するように構成され得る。したがって、VRサーバコンピュータ120(またはその部分)のコンポーネントは、1つ以上のデバイスおよび/または1つ以上のサーバデバイスを含み得るさまざまなタイプのネットワーク環境内で機能するように構成され得る。たとえば、ネットワークは、ローカルエリアネットワーク(LAN)および/またはワイドエリアネットワーク(WAN)などであり得るか、または、ローカルエリアネットワーク(LAN)および/またはワイドエリアネットワーク(WAN)などを含み得る。ネットワークは、ワイヤレスネットワーク、ならびに/または、たとえばゲートウェイデバイス、ブリッジおよび/もしくはスイッチなどを使用して実現されるワイヤレスネットワークであり得るか、または、当該ワイヤレスネットワークを含み得る。ネットワークは、インターネットプロトコル(IP:Internet Protocol)および/またはプロプラエタリプロトコルのようなさまざまなプロトコルに基づいた1つ以上のセグメントを含み得るか、および/または、部分を有し得る。ネットワークは、少なくともインターネットの部分を含み得る。
いくつかの実施形態では、VRサーバコンピュータ120のコンポーネントのうちの1つ以上は、メモリに格納される命令を処理するように構成されるプロセッサであり得るか、または、当該プロセッサを含み得る。たとえば、VE通信マネージャ160(および/またはその部分)ならびにVE競合解消マネージャ170は、1つ以上の機能を実現するプロセスに関係する命令を実行するように構成されるプロセッサおよびメモリの組み合わせであり得る。
いくつかの実現例では、メモリ126は、ランダムアクセスメモリ、ディスクドライブメモリおよび/またはフラッシュメモリなどのような任意のタイプのメモリであり得る。いくつかの実現例では、メモリ126は、VRサーバコンピュータ120のコンポーネントに関連付けられる1つより多いメモリコンポーネント(たとえば1つより多いRAMコンポーネントまたはディスクドライブメモリ)として実現され得る。いくつかの実現例では、メモリ126はデータベースメモリであり得る。いくつかの実現例では、メモリ126は非ローカルメモリであり得るか、または、当該非ローカルメモリを含み得る。たとえば、メモリ126は、複数のデバイス(図示せず)によって共有されるメモリであり得るか、または、当該メモリを含み得る。いくつかの実現例では、メモリ126は、ネットワーク内のサーバデバイス(図示せず)に関連付けられ得るとともに、VRサーバコンピュータ120のコンポーネントを供するように構成される。図2に示されるように、メモリ126は、VEデータ130、ユーザアバター150およびユーザ識別子154を含むさまざまなデータを格納するように構成される。
図2は、バーチャル環境内の競合を解消する例示的な方法200を示すフローチャートである。方法200は、VRサーバコンピュータ120のメモリ126に常駐するとともに処理ユニット124の集合によって実行される図1に関連して記載されたソフトウェア構成物によって実行され得る。
202において、VRサーバコンピュータ120は、VRサーバの外部のユーザが没入するバーチャル環境を生成する。バーチャル環境はバーチャルミーティングルームを含む。ユーザの集合のうちの各々はそれぞれのユーザデバイスを介してバーチャル環境に没入する。
204において、要求の受信に応答して、VRサーバコンピュータ120は、バーチャル環境のバーチャルミーティングルームにおいてプライベートミーティングをスケジューリングする要求を受信する。当該要求は、プライベートミーティングに出席することが承認されたユーザの集合を識別するユーザ識別子の集合と、ジェスチャの集合を識別するジェスチャ識別子の集合とを含む。
206において、VRサーバコンピュータ120は、ユーザを識別する新しいユーザ識別子と、ユーザが新しいジェスチャ識別子によって識別されるジェスチャを実行したことを示す新しいジェスチャインジケータとを受信する。
208において、VRサーバコンピュータ120は、新しいユーザ識別子がユーザ識別子の集合のうちの1つとマッチするか否かと、新しいジェスチャ識別子がジェスチャ識別子の集合のうちの1つと十分にマッチするか否かとに従って、プライベートミーティングへのアクセスをユーザに認めるかまたは拒否する。
図3Aおよび図3Bは、バーチャル環境における例示的なジェスチャを示す図である。図3Aに示されるように、ユーザ300はコントローラ302を有する。ユーザ300は、バーチャル環境における自身のアバター320およびプライベートミーティングルーム340を自身のヘッドマウントディスプレイ(HMD)310を介して見る。プライベートミーティングルーム340へのアクセスを得るために、ユーザはジェスチャ330を行う。
図3Bに示されるように、ユーザ350はコントローラ352を有する。ユーザ350は自身のアバター370を自身のヘッドマウントディスプレイ(HMD)360を介して見る。プライベートミーティングルーム340は、アバター370がプライベートミーティングルーム340からリモートであるので、バーチャル環境におけるユーザ350には見えない。プライベートミーティングルーム340へのアクセスを得るために、ユーザ350はジェスチャ380を行う。いくつかの実現例では、プライベートミーティングルーム340にユーザ350が入ることを可能にするジェスチャ380はジェスチャ330とは異なり得る。
図4は、ユーザ300および350によってそれぞれ形成されるジェスチャ330および380がマッチされるさまざまな例示的なジェスチャデータ400を示す図である。この例において、ジェスチャデータ400は、さまざまな幾何学的形状を含んでいる。ここで、ユーザ300がプライベートミーティングルーム340へのアクセスを提供するユーザ300の秘密ハンドシェイクとして識別子410を選択しているので、ジェスチャマネージャ170(図1)は五角星410にジェスチャ330をマッチさせる。ジェスチャマネージャ170は、ユーザ350が以前に選択していたジェスチャデータ430にジェスチャ380をマッチすることを試みる。この場合、ジェスチャマネージャ170はジェスチャデータ430にジェスチャ380をマッチさせることができない。なぜならばジェスチャ380はジェスチャデータ420により近くマッチするからである。
図5Aおよび図5Bは、図3に類似している図であるが、ジェスチャ比較の結果を示している。図5Aは、プライベートミーティングルーム340へのアクセスが認められているユーザ300のアバター320を示す。図5Bは、(たとえばプライベートミーティングルーム540の画像をグレイアウトすることによって)プライベートミーティングルーム340へのアクセスが拒否されたユーザ350のアバター370を示す。この場合、アクセス拒否を示すよう、アバター370はプライベートミーティングルーム340の近傍へ搬送され得る。ユーザ350は、再びプライベートミーティングルーム340にアクセスしようと試みることを許され得る。
図6は、本願明細書に記載の技術とともに用いられ得る汎用コンピュータデバイス600および汎用モバイルコンピュータデバイス650の例を示す。
図6に示されるように、コンピューティングデバイス600は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータといった、さまざまな形態のデジタルコンピュータを表わすことを意図している。コンピューティングデバイス650は、携帯情報端末、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスといった、さまざまな形態のモバイルデバイスを表わすことを意図している。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は例示であることが意図されているに過ぎず、本文書に記載のおよび/または請求の範囲に記載の本発明の実現例を限定することを意図していない。
コンピューティングデバイス600は、プロセッサ602、メモリ604、記憶装置606、メモリ604および高速拡張ポート610に接続している高速インターフェイス608、ならびに低速バス614および記憶装置606に接続している低速インターフェイス612を含む。コンポーネント602,604,606,608,610,および612の各々はさまざまなバスを用いて相互に接続されており、共通のマザーボード上にまたは他の態様で適宜搭載され得る。プロセッサ602は、コンピューティングデバイス600内で実行される命令を処理可能であり、この命令には、GUIのためのグラフィック情報を高速インターフェイス608に結合されているディスプレイ616などの外部入出力デバイス上に表示するためにメモリ604内または記憶装置606上に記憶されている命令が含まれる。他の実現例では、複数のプロセッサおよび/または複数のバスが、複数のメモリおよび複数種類のメモリとともに必要に応じて用いられ得る。また、複数のコンピューティングデバイス600が接続され得、各デバイスは(たとえばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)必要な動作の一部を提供する。
メモリ604は情報をコンピューティングデバイス600内に記憶する。一実現例では、メモリ604は1つまたは複数の揮発性メモリユニットである。別の実現例では、メモリ604は1つまたは複数の不揮発性メモリユニットである。また、メモリ604は、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能媒体であってもよい。
記憶装置606は、コンピューティングデバイス600に大容量記憶を提供可能である。一実現例では、記憶装置606は、フロッピー(登録商標)ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他のコンフィギュレーションにおけるデバイスを含む多数のデバイスといった、コンピュータ読取可能媒体であってもよく、または当該コンピュータ読取可能媒体を含んでいてもよい。コンピュータプログラムプロダクトが情報媒体内に有形に具体化され得る。また、コンピュータプログラムプロダクトは、実行されると上述のような1つ以上の方法を実行する命令を含み得る。情報媒体は、メモリ604、記憶装置606、またはプロセッサ602上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。
高速コントローラ608はコンピューティングデバイス600のための帯域幅集約的な動作を管理するのに対して、低速コントローラ612はより低い帯域幅集約的な動作を管理する。そのような機能の割当ては例示に過ぎない。一実現例では、高速コントローラ608はメモリ604、ディスプレイ616に(たとえばグラフィックスプロセッサまたはアクセラレータを介して)、およびさまざまな拡張カード(図示せず)を受付け得る高速拡張ポート610に結合される。当該実現例では、低速コントローラ612は記憶装置606および低速拡張ポート614に結合される。さまざまな通信ポート(たとえばUSB、ブルートゥース、イーサネット、無線イーサネット)を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータといったネットワーキングデバイスなどの1つ以上の入出力デバイスに、たとえばネットワークアダプタを介して結合され得る。
コンピューティングデバイス600は、図に示すように多数の異なる形態で実現されてもよい。たとえば、コンピューティングデバイス600は標準的なサーバ620として、またはそのようなサーバのグループ内で複数回実現されてもよい。また、コンピューティングデバイス600はラックサーバシステム624の一部として実現されてもよい。さらに、コンピューティングデバイス600はラップトップコンピュータ622などのパーソナルコンピュータにおいて実現されてもよい。あるいは、コンピューティングデバイス600からのコンポーネントは、デバイス650などのモバイルデバイス(図示せず)内の他のコンポーネントと組合されてもよい。そのようなデバイスの各々がコンピューティングデバイス600,650の1つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス600,650で構成されてもよい。
コンピューティングデバイス650は、数あるコンポーネントの中でも特に、プロセッサ652、メモリ664、ディスプレイ654などの入出力デバイス、通信インターフェイス666、およびトランシーバ668を含む。また、デバイス650には、マイクロドライブまたは他のデバイスなどの記憶装置が提供されて付加的なストレージが提供されてもよい。コンポーネント650,652,664,654,666,および668の各々はさまざまなバスを用いて相互に接続されており、当該コンポーネントのいくつかは共通のマザーボード上にまたは他の態様で適宜搭載され得る。
プロセッサ652は、メモリ664に記憶されている命令を含む、コンピューティングデバイス650内の命令を実行可能である。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイス、デバイス650が実行するアプリケーション、およびデバイス650による無線通信の制御といった、デバイス650の他のコンポーネントの協調を提供し得る。
プロセッサ652は、ディスプレイ654に結合された制御インターフェイス658およびディスプレイインターフェイス656を介してユーザと通信し得る。ディスプレイ654は、たとえば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)もしくはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス656は、ディスプレイ654を駆動してグラフィックおよび他の情報をユーザに提示するための適切な回路を含み得る。制御インターフェイス658はユーザからコマンドを受信し、当該コマンドをプロセッサ652に提出するために変換し得る。さらに、外部インターフェイス662が、デバイス650と他のデバイスとの近接通信を可能にするために、プロセッサ652と通信するよう提供されてもよい。外部インターフェイス662は、たとえば、ある実現例では有線通信を提供し、他の実現例では無線通信を提供してもよく、また、複数のインターフェイスが用いられてもよい。
メモリ664は情報をコンピューティングデバイス650内に記憶する。メモリ664は、1つもしくは複数のコンピュータ読取可能媒体、1つもしくは複数の揮発性メモリユニット、または1つもしくは複数の不揮発性メモリユニットの1つ以上として実現され得る。さらに、拡張メモリ674が提供され、たとえばSIMM(Single In Line Memory Module)カードインターフェイスを含み得る拡張インターフェイス672を介してデバイス650に接続されてもよい。このような拡張メモリ674はデバイス650に付加的なストレージスペースを提供し得るか、またはデバイス650のためのアプリケーションもしくは他の情報をさらに記憶し得る。具体的には、拡張メモリ674は上述のプロセスを実行または補足するための命令を含み得、さらにセキュア情報を含み得る。ゆえに、たとえば、拡張メモリ674はデバイス650のためのセキュリティモジュールとして提供されてもよく、デバイス650のセキュアな使用を許可する命令でプログラムされてもよい。さらに、ハッキング不可能なようにSIMMカード上に識別情報を置くといったように、セキュアなアプリケーションが付加的な情報とともにSIMMカードを介して提供されてもよい。
メモリは、以下に記載のように、たとえばフラッシュメモリおよび/またはNVRAMメモリを含み得る。一実現例では、コンピュータプログラムプロダクトが情報媒体内に有形に具体化される。コンピュータプログラムプロダクトは、実行されると上述のような1つ以上の方法を実行する命令を含む。情報媒体は、メモリ664、拡張メモリ674、またはプロセッサ652上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体であり、これは、たとえばトランシーバ668または外部インターフェイス662上で受信され得る。
デバイス650は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス666を介して無線通信し得る。通信インターフェイス666は、とりわけ、GSM(登録商標)音声通話、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSといった、さまざまなモードまたはプロトコル下の通信を提供し得る。そのような通信は、たとえば無線周波数トランシーバ668を介して起こり得る。さらに、ブルートゥース、WiFi、または他のそのようなトランシーバ(図示せず)を用いるなどして、短距離通信が起こり得る。さらに、GPS(全地球測位システム)レシーバモジュール670が付加的なナビゲーション関連および位置関連の無線データをデバイス650に提供し得、当該データはデバイス650上で実行されるアプリケーションによって適宜用いられ得る。
また、デバイス650は、ユーザから口頭情報を受信して当該情報を使用可能なデジタル情報に変換し得る音声コーデック660を用いて可聴的に通信し得る。音声コーデック660も同様に、たとえばデバイス650のハンドセット内で、スピーカを介すなどしてユーザに可聴音を生成し得る。そのような音は音声電話からの音を含んでいてもよく、録音された音(たとえば音声メッセージ、音楽ファイル等)を含んでいてもよく、さらに、デバイス650上で実行されるアプリケーションが生成する音を含んでいてもよい。
コンピューティングデバイス650は、図に示すように多数の異なる形態で実現されてもよい。たとえば、コンピューティングデバイス650はセルラー電話680として実現されてもよい。また、コンピューティングデバイス650は、スマートフォン682、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。
図7は、図3および図5に示されるようなヘッドマウントディスプレイの例示的な実現例を示す。図7において、HMD700を着用しているユーザはポータブルハンドヘルド電子デバイス702を保持している。ハンドヘルド電子デバイス702はたとえば、HMD700によって生成される没入型のバーチャル環境におけるインタラクションのためにHMD700とペアリングおよび通信し得るスマートフォン、コントローラ、ジョイスティック、または、別のポータブルハンドヘルド電子デバイスであり得る。ハンドヘルド電子デバイス702は、たとえば有線接続またはたとえばWiFi接続もしくはブルートゥース接続のような無線接続を介して、HMD700に動作可能に結合またはHMD700とペアリングされ得る。ハンドヘルド電子デバイス702およびHMD700のこのペアリングまたは動作可能な結合によって、ハンドヘルド電子デバイス702とHMD700との間の通信と、ハンドヘルド電子デバイス702とHMD700との間のデータの交換とが提供され得る。これにより、ハンドヘルド電子デバイス702は、HMD700によって生成される没入型のバーチャル環境においてインタラクションするためにHMD700と通信するコントローラとして機能することが可能になり得る。すなわち、たとえば、ハンドヘルド電子デバイス702によって発せられ選択のためにバーチャルな物体または特徴に方向付けされるビームもしくは光線、および/または、ハンドヘルド電子デバイス702のタッチ面上で受け付けられる入力、および/または、ハンドヘルド電子デバイス702の動きといったハンドヘルド電子デバイス702の操作は、HMD700によって生成される没入型のバーチャル環境において、対応する選択、動き、または、他のタイプのインタラクションに変換され得る。たとえば、HMD700とハンドヘルド電子デバイス702とはともに、上述したようにバーチャル環境を生成し得、上述したようにバーチャル環境におけるバーチャルな特徴に対してユーザのスケールまたはパースペクティブにおける変化を実行するようハンドヘルド電子デバイス702が操作され得る。
図8Aおよび図8Bは、たとえば図7においてユーザによって着用されるHMD700のような例示的なHMDの斜視図であり、図8Cは、たとえば図7に示されるハンドヘルド電子デバイス702のような例示的なハンドヘルド電子デバイスを示す。
ハンドヘルド電子デバイス802は、デバイス802の内部コンポーネントが受け入れられるハウジング803と、ユーザにアクセス可能である、ハウジング803の外側上のユーザインターフェイス804とを含み得る。ユーザインターフェイス804は、ユーザのタッチ入力を受信するように構成されるタッチ感知面806を含み得る。ユーザインターフェイス804はさらに、たとえば作動ボタン、ノブおよびジョイスティックなどといった、ユーザによる操作のための他のコンポーネントを含み得る。いくつかの実現例では、ユーザインターフェイス804の少なくとも部分はタッチスクリーンとして構成され得、ユーザインターフェイス804の当該部分は、ユーザへユーザインターフェイスアイテムを表示し、タッチ感知面806上でのユーザからのタッチ入力を受け付けるように構成される。ハンドヘルド電子デバイス802はさらに、たとえばユーザインターフェイス804において受信されたユーザ入力に応答して、たとえばビームまたは光線といった光をハウジング803におけるポートを通じて選択的に発するように構成される光源808を含み得る。
HMD800は、フレーム820に結合されるハウジング810を含み得、たとえばヘッドホンにマウントされるスピーカを含む音声出力デバイス830がさらにフレーム820に結合される。図8Bにおいて、ハウジング810の前方部分810aは、ハウジング810に受け入れられたコンポーネントのうちのいくつかが見えるように、ハウジング810のベース部分810bから離れるように回転される。ディスプレイ840は、ハウジング810の前方部分810aの内部対向側にマウントされ得る。前方部分810aがハウジング810のベース部分810bに対して閉位置にある場合、レンズ850は、ハウジング810においてユーザの目とディスプレイ840との間にマウントされ得る。いくつかの実現例において、HMD800は、HMD800の動作を促進するために、さまざまなセンサを含む感知システム860と、プロセッサ890を含む制御システム870と、さまざまな制御システムデバイスとを含み得る。
いくつかの実現例では、HMD800は、静止画および動画をキャプチャするカメラ880を含み得る。カメラ880によってキャプチャされる画像は、現実世界におけるユーザおよび/もしくはハンドヘルド電子デバイス802の物理位置またはバーチャル環境に対する物理環境をトラッキングするのを支援するために使用されてもよく、および/または、HMD800を取り外すことなく、もしくは、ユーザの視界からハウジング810を移動させるようHMD800の構成を別の態様で変更することなくユーザが一時的にバーチャル環境を離れて物理環境に戻ることを可能にするようパススルーモードでディスプレイ840上においてユーザに対して表示されてもよい。
いくつかの実現例において、HMD800は、ユーザの視線を検出およびトラッキングするために視線トラッキングデバイス865を含み得る。視線トラッキングデバイス865はたとえば、ユーザの視線の方向および動きを検出およびトラッキングするためにたとえば瞳孔のようなたとえばユーザの目の特定の部分といったユーザの目の画像をキャプチャするイメージセンサ865Aまたは複数のイメージセンサ865Aを含んでもよい。いくつかの実現例において、HMD800は、検出された視線が、没入型のバーチャル体験における対応するインタラクションに変換されるユーザ入力として処理されるように構成され得る。
本願明細書に記載のシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実現され得る。これらのさまざまな実現例は、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実現例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信するように、かつこれらにデータおよび命令を送信するように結合されている。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても公知)はプログラマブルプロセッサのための機械命令を含んでおり、高レベル手続きおよび/もしくはオブジェクト指向プログラミング言語で、ならびに/またはアセンブリ/機械言語で実現され得る。本願明細書において使用する「機械読取可能媒体」「コンピュータ読取可能媒体」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために用いられる任意のコンピュータプログラムプロダクト、装置および/またはデバイス(たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械命令を機械読取可能信号として受信する機械読取可能媒体を含む。「機械読取可能信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。
ユーザとのインタラクションを提供するために、本願明細書に記載のシステムおよび技術は、情報をユーザに表示するためのディスプレイデバイス(たとえばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)と、ユーザが入力をコンピュータに提供する際に使用可能なキーボードおよびポインティングデバイス(たとえばマウスまたはトラックボール)とを有するコンピュータ上で実現され得る。他の種類のデバイスを用いてユーザとのインタラクションを提供することもでき、たとえば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック(たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であり得、ユーザからの入力は、音響、スピーチ、または触覚入力を含む任意の形態で受信され得る。
本願明細書に記載のシステムおよび技術は、バックエンドコンポーネントを(たとえばデータサーバとして)含むコンピューティングシステムにおいて実現され得るか、ミドルウェアコンポーネント(たとえばアプリケーションサーバ)を含むコンピューティングシステムにおいて実現され得るか、フロントエンドコンポーネント(たとえば、ユーザが本願明細書に記載のシステムおよび技術の実現例とインタラクションする際に使用可能なグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティングシステムにおいて実現され得るか、または、そのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムにおいて実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信(たとえば通信ネットワーク)によって相互に接続され得る。通信ネットワークの例として、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが挙げられる。
コンピューティングシステムはクライアントおよびサーバを含み得る。クライアントおよびサーバは一般に互いにリモートであり、典型的に通信ネットワークを介してインタラクションする。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されて互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。
多数の実施形態を説明した。しかしながら、明細書の精神および範囲から逸脱することなくさまざまな変更がなされ得ることが理解されるであろう。
また、ある要素が、別の要素の上に存在する、別の要素に接続される、別の要素に電気的に接続される、別の要素に結合される、または、別の要素に電気的に結合されると称される場合、当該要素は、上記別の要素の上に直接的に存在し得るか、上記別の要素に直接的に接続され得るか、上記別の要素に直接的に結合され得るか、または、1つ以上の介在要素が存在し得るということが理解されるであろう。対照的に、ある要素が別の要素の上に直接的に存在するか、直接的に別の要素に接続されるか、または、直接的に別の要素に結合されると称される場合、介在要素は存在しない。「直接的に上に存在する」、「直接的に接続される」、または、「直接的に結合される」といった表現は、詳細な説明の全体にわたって使用されていないかもしれないが、直接的に上に存在するか、直接的に接続されるか、または、直接的に結合されるように示される要素はそのように称され得る。本願の請求の範囲は、明細書に記載される例示的な関係または図において示される例示的な関係を示すように修正され得る。
記載された実現例のある特徴が本願明細書に記載されるように例示されているが、当業者であれば、多くの修正例、置換例、変更例および等価例を思い浮かべるであろう。したがって、添付の請求の範囲は、すべてのそのような修正例および変更例を当該実現例の範囲内であるとして包含するように意図されるということが理解されるべきである。実現例は限定目的ではなく例示目的でのみ提示されており、形態および詳細のさまざまな変更が行なわれてもよいということが理解されるべきである。本願明細書において記載される装置および/または方法の任意の部分は、相互に排他的な組み合わせ以外であれば、任意の組み合わせで組み合わせられてもよい。本願明細書において記載される実現例は、記載された異なる実現例の機能、コンポーネントおよび/または特徴のさまざまなコンビネーションおよび/またはサブコンビネーションを含み得る。
また、図面に示す論理フローは、所望の結果を達成するために、示されている特定の順序、または起こる順序を必要としない。また、記載のフローとは他のステップが提供されてもよく、または当該フローからステップが除去されてもよく、記載のシステムに他のコンポーネントが追加されてもよく、または当該システムからコンポーネントが除去されてもよい。したがって、他の実施形態も添付の請求の範囲内にある。

Claims (20)

  1. 方法であって、
    バーチャルリアリティ(VR)サーバの処理回路が、前記VRサーバの外部のユーザがインタラクションするバーチャル環境を生成することを含み、前記バーチャル環境はバーチャルミーティングルームを含んでおり、
    前記方法はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおけるプライベートミーティングをスケジューリングする要求を受信することを含み、
    前記要求は、
    前記プライベートミーティングに出席することが承認された前記ユーザの集合を識別するユーザ識別子の集合と、
    前記プライベートミーティングに出席することが承認された前記ユーザの前記集合のうちのユーザによって形成されるジェスチャに起因するジェスチャデータとを含み、
    前記方法はさらに、
    ユーザを識別する新しいユーザ識別子と、前記ユーザによって生成される新しいジェスチャデータとを受信することと、
    前記新しいユーザ識別子がユーザ識別子の前記集合のうちの1つとマッチするか否かと、前記新しいジェスチャデータが前記ジェスチャデータとマッチするか否かとに従って、前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することとを含む、方法。
  2. 前記ジェスチャデータは、前記プライベートミーティングに出席することが承認されたユーザの前記集合のうちの前記ユーザの身体の部分の動きを示しており、前記動きは幾何学的形状を形成しており、
    前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することは、前記新しいジェスチャデータが前記幾何学的形状を示しているか否かを決定するようマッチング動作を実行することを含む、請求項1に記載の方法。
  3. 前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することは、前記新しいユーザ識別子がユーザ識別子の前記集合のうちの1つとマッチすることと、前記新しいジェスチャデータが前記ジェスチャデータとマッチすることとに応答して
    、前記ユーザを表わすアバターに対して搬送動作を実行することを含み、前記搬送動作は、前記ユーザが前記新しいジェスチャデータを生成した前記バーチャル環境内の位置から前記バーチャルミーティングルームへ前記アバターを動かす、請求項1または2に記載の方法。
  4. 前記方法はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することに応答して、
    ライベートミーティングルームを識別する、前記プライベートミーティングのためのトークンを生成することと、
    ユーザの前記集合のうちの各々に前記トークンを送信することとを含み、
    前記ユーザを識別する前記新しいユーザ識別子を受信することは、前記ユーザから前記トークンを得ることを含む、請求項1〜3のいずれか1項に記載の方法。
  5. 前記プライベートミーティングのための前記トークンを生成することは、暗号鍵を作成し、ユーザの前記集合のうちの各々に前記暗号鍵を配信することを含む、請求項4に記載の方法。
  6. 前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することは、前記プライベートミーティングの発生が始まるようスケジューリングされているイベントを示すイベント識別子を得ることを含み、
    前記要求は、前記イベントの前記発生に応答して受信される、請求項1〜5のいずれか1項に記載の方法。
  7. 前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することに応答して前記VRサーバのメモリに前記ジェスチャデータを格納することと、
    前記プライベートミーティングが解散した後、前記VRサーバの前記メモリから前記ジェスチャデータを削除することとをさらに含む、請求項1〜6のいずれか1項に記載の方法。
  8. ンピュータプログラムであって、バーチャルリアリティ(VR)サーバの処理回路によって実行されると、前記処理回路に方法を実行させるコードを含み、
    前記方法は、
    前記VRサーバの外部のユーザがインタラクションするバーチャル環境を生成することを含み、前記バーチャル環境はバーチャルミーティングルームを含んでおり、
    前記方法はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおけるプライベートミーティングをスケジューリングする要求を受信することを含み、
    前記要求は、
    前記プライベートミーティングに出席することが承認された前記ユーザの集合を識別するユーザ識別子の集合と、
    前記プライベートミーティングに出席することが承認された前記ユーザの前記集合のうちのユーザによって形成されるジェスチャに起因するジェスチャデータとを含み、
    前記方法はさらに、
    ユーザを識別する新しいユーザ識別子と、前記ユーザによって生成される新しいジェスチャデータとを受信することと、
    前記新しいユーザ識別子がユーザ識別子の前記集合のうちの1つとマッチするか否かと、前記新しいジェスチャデータが前記ジェスチャデータとマッチするか否かとに従って、前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することとを含む、コンピュータプログラム。
  9. 前記ジェスチャデータは、前記プライベートミーティングに出席することが承認されたユーザの前記集合のうちの前記ユーザの身体の部分の動きを示しており、前記動きは幾何学的形状を形成しており、
    前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することは、前記新しいジェスチャデータが前記幾何学的形状を示しているか否かを決定するようマッチング動作を実行することを含む、請求項8に記載のコンピュータプログラム。
  10. 前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することは、前記新しいユーザ識別子がユーザ識別子の前記集合のうちの1つとマッチすることと、前記新しいジェスチャデータが前記ジェスチャデータとマッチすることとに応答して、前記ユーザを表わすアバターに対して搬送動作を実行することを含み、前記搬送動作は、前記ユーザが前記新しいジェスチャデータを生成した前記バーチャル環境内の位置から前記バーチャルミーティングルームへ前記アバターを動かす、請求項8または9に記載のコンピュータプログラム。
  11. 前記方法はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することに応答して、
    ライベートミーティングルームを識別する、前記プライベートミーティングのためのトークンを生成することと、
    ユーザの前記集合のうちの各々に前記トークンを送信することとを含み、
    前記ユーザを識別する前記新しいユーザ識別子を受信することは、前記ユーザから前記トークンを得ることを含む、請求項8〜10のいずれか1項に記載のコンピュータプログラム。
  12. 前記プライベートミーティングのための前記トークンを生成することは、暗号鍵を作成し、ユーザの前記集合のうちの各々に前記暗号鍵を配信することを含む、請求項11に記載のコンピュータプログラム。
  13. 前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することは、前記プライベートミーティングの発生が始まるようスケジューリングされているイベントを示すイベント識別子を得ることを含み、
    前記要求は、前記イベントの前記発生に応答して受信される、請求項8〜12のいずれか1項に記載にコンピュータプログラム。
  14. 前記方法はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することに応答して前記VRサーバのメモリに前記ジェスチャデータを格納することと、
    前記プライベートミーティングが解散した後、前記VRサーバの前記メモリから前記ジェスチャデータを削除することとを含む、請求項8〜13のいずれか1項に記載のコンピュータプログラム。
  15. ネットワークインターフェイスと、
    メモリと、
    前記メモリに結合される制御回路とを含み、
    前記制御回路は、
    バーチャルリアリティ(VR)サーバの外部のユーザがインタラクションするバーチャル環境を生成することを行うように構成されており、前記バーチャル環境はバーチャルミーティングルームを含んでおり、
    前記制御回路はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおけるプライベートミーティングをスケジューリングする要求を受信することを行うように構成されており、
    前記要求は、
    前記プライベートミーティングに出席することが承認された前記ユーザの集合を識別するユーザ識別子の集合と、
    前記プライベートミーティングに出席することが承認された前記ユーザの前記集合のうちのユーザによって形成されるジェスチャに起因するジェスチャデータとを含み、
    前記制御回路はさらに、
    ユーザを識別する新しいユーザ識別子と、前記ユーザによって生成される新しいジェスチャデータとを受信することと、
    前記新しいユーザ識別子がユーザ識別子の前記集合のうちの1つとマッチするか否かと、前記新しいジェスチャデータが前記ジェスチャデータとマッチするか否かとに従って、前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することとを行うように構成されている、電子装置。
  16. 前記ジェスチャデータは、前記プライベートミーティングに出席することが承認されたユーザの前記集合のうちの前記ユーザの身体の部分の動きを示しており、前記動きは幾何学的形状を形成しており、
    前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することを行うように構成される前記制御回路は、前記新しいジェスチャデータが前記幾何学的形状を示しているか否かを決定するようマッチング動作を実行することを行うようにさらに構成される、請求項15に記載の電子装置。
  17. 前記プライベートミーティングへのアクセスを前記ユーザに認めるかまたは拒否することを行うように構成される前記制御回路は、前記新しいユーザ識別子がユーザ識別子の前記集合のうちの1つとマッチすることと、前記新しいジェスチャデータが前記ジェスチャデータとマッチすることとに応答して、前記ユーザを表わすアバターに対して搬送動作を実行することを行うようにさらに構成されており、前記搬送動作は、前記ユーザが前記新しいジェスチャデータを生成した前記バーチャル環境内の位置から前記バーチャルミーティングルームへ前記アバターを動かす、請求項15または16に記載の電子装置。
  18. 前記制御回路はさらに、
    前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することに応答して、
    ライベートミーティングルームを識別する、前記プライベートミーティングのためのトークンを生成することと、
    ユーザの前記集合のうちの各々に前記トークンを送信することとを行うように構成されており、
    前記ユーザを識別する前記新しいユーザ識別子を受信するように構成される前記制御回路は、前記ユーザから前記トークンを得るようにさらに構成されている、請求項15〜17のいずれか1項に記載の電子装置。
  19. 前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信するように構成される前記制御回路は
    、前記プライベートミーティングの発生が始まるようスケジューリングされているイベントを示すイベント識別子を得ることを行うようにさらに構成されており、
    前記要求は前記イベントの前記発生に応答して受信される、請求項15〜18のいずれか1項に記載の電子装置。
  20. 前記制御回路は、
    前記バーチャル環境の前記バーチャルミーティングルームにおける前記プライベートミーティングをスケジューリングする前記要求を受信することに応答して前記VRサーバのメモリにジェスチャ識別子の前記集合を格納することと、
    前記プライベートミーティングが解散した後、前記VRサーバの前記メモリからジェスチャ識別子の前記集合を削除することとを行うようにさらに構成される、請求項15〜19のいずれか1項に記載の電子装置。
JP2019520098A 2016-12-05 2017-11-07 バーチャル環境におけるジェスチャに基づくアクセス制御 Active JP6868688B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662430119P 2016-12-05 2016-12-05
US62/430,119 2016-12-05
US15/804,212 US10609018B2 (en) 2016-12-05 2017-11-06 Gesture-based access control in virtual environments
US15/804,212 2017-11-06
PCT/US2017/060415 WO2018106387A1 (en) 2016-12-05 2017-11-07 Gesture-based access control in virtual environments

Publications (2)

Publication Number Publication Date
JP2020501223A JP2020501223A (ja) 2020-01-16
JP6868688B2 true JP6868688B2 (ja) 2021-05-12

Family

ID=62244103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019520098A Active JP6868688B2 (ja) 2016-12-05 2017-11-07 バーチャル環境におけるジェスチャに基づくアクセス制御

Country Status (6)

Country Link
US (1) US10609018B2 (ja)
EP (1) EP3549046B1 (ja)
JP (1) JP6868688B2 (ja)
KR (1) KR102251253B1 (ja)
CN (1) CN109690540B (ja)
WO (1) WO2018106387A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
WO2020111579A1 (ko) * 2018-11-27 2020-06-04 삼성전자 주식회사 자산 관리를 위한 방법 및 장치
US11256822B2 (en) 2019-07-22 2022-02-22 Whitestar Communications, Inc. Systems and methods of gesture triggered automatic erasure on a private network
KR102561352B1 (ko) * 2020-10-12 2023-07-31 홍진기 효율적인 소통 환경이 구현된 가상의 강의 공간을 제공하는 방법 및 디바이스
CN112910880B (zh) * 2021-01-28 2022-04-12 腾讯科技(深圳)有限公司 虚拟房间创建方法、系统、装置、设备及介质
US11374911B1 (en) * 2021-01-29 2022-06-28 Zoom Video Communications, Inc. Systems and methods for locking encrypted video conferences
CN112506858B (zh) * 2021-02-05 2021-06-18 红石阳光(北京)科技股份有限公司 一种用于智能会议室的智慧大脑的文件管理方法
US20240031162A1 (en) * 2022-07-22 2024-01-25 Bank Of America Corporation System for digital identity detection and verification when traversing between virtual environments
US20240037861A1 (en) * 2022-07-29 2024-02-01 Bank Of America Corporation Virtual environment-to-virtual environment communication

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128350A1 (en) * 2002-03-25 2004-07-01 Lou Topfl Methods and systems for real-time virtual conferencing
JP2005141631A (ja) * 2003-11-10 2005-06-02 Hitachi Ltd 情報処理端末およびグループ機能制御方法
EP2145465A2 (en) * 2007-04-14 2010-01-20 Musecom Ltd. Virtual reality-based teleconferencing
JP2009122776A (ja) * 2007-11-12 2009-06-04 Internatl Business Mach Corp <Ibm> 仮想世界における情報制御方法および装置
CN101222347A (zh) * 2008-01-22 2008-07-16 华为技术有限公司 一种实现用户获取网络数据的方法及设备
US8051462B2 (en) 2008-05-09 2011-11-01 International Business Machines Corporation Secure communication modes in a virtual universe
US20090303984A1 (en) 2008-06-09 2009-12-10 Clark Jason T System and method for private conversation in a public space of a virtual world
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US10621585B2 (en) * 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US20120204118A1 (en) 2011-02-08 2012-08-09 Lefar Marc P Systems and methods for conducting and replaying virtual meetings
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US10567376B2 (en) * 2012-08-24 2020-02-18 Sensible Vision, Inc. System and method for providing secure access to an electronic device using multifactor authentication
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
US20140096036A1 (en) * 2012-09-28 2014-04-03 Avaya Inc. Transporting avatars and meeting materials into virtual reality meeting rooms
DE102013109779A1 (de) * 2012-10-18 2014-04-30 Avaya Inc. Transportieren von avataren und konferenzmaterialien in virtual-reality-konferenzräume
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US9276928B2 (en) * 2013-06-15 2016-03-01 Microsoft Corporation Sending session tokens through passive clients
US20150067536A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Gesture-based Content Sharing Between Devices
CN103888714B (zh) * 2014-03-21 2017-04-26 国家电网公司 一种基于虚拟现实的3d场景网络视频会议系统
JP6455263B2 (ja) * 2015-03-20 2019-01-23 株式会社リコー 情報処理装置、画面制御方法、プログラム及び情報処理システム
US9590999B2 (en) 2015-03-25 2017-03-07 International Business Machines Corporation Preview serving from an external preview service
US9769355B2 (en) * 2015-12-28 2017-09-19 Kabushiki Kaisha Toshiba Method and apparatus for gesture-based device access
US20180096507A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces

Also Published As

Publication number Publication date
CN109690540A (zh) 2019-04-26
WO2018106387A1 (en) 2018-06-14
US20180159841A1 (en) 2018-06-07
KR20190045939A (ko) 2019-05-03
JP2020501223A (ja) 2020-01-16
US10609018B2 (en) 2020-03-31
KR102251253B1 (ko) 2021-05-13
EP3549046B1 (en) 2021-01-06
CN109690540B (zh) 2023-08-29
EP3549046A1 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6868688B2 (ja) バーチャル環境におけるジェスチャに基づくアクセス制御
KR102423588B1 (ko) 정보 제공 방법 및 장치
US20220138722A1 (en) Facilitating smart geo-fencing-based payment transactions
US11743064B2 (en) Private collaboration spaces for computing systems
JP6782846B2 (ja) 仮想現実におけるオブジェクトの共同操作
CN109997136A (zh) 使用定位数据的多因素认证
US20200273250A1 (en) Positional recognition for augmented reality environment
US20170359456A1 (en) Communication system comprising head wearable devices
CN108697935B (zh) 虚拟环境中的化身
US10715468B2 (en) Facilitating tracking of targets and generating and communicating of messages at computing devices
US10254847B2 (en) Device interaction with spatially aware gestures
US20160154460A1 (en) Gaze Initiated Interaction Technique
JP2018534643A (ja) 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出
CN104364753A (zh) 用于突出显示活动界面元素的方法
US20160329006A1 (en) Interactive integrated display and processing device
CN105579946A (zh) 对由应用产生的共享状态信息进行管理
JP2019535054A (ja) 拡張/仮想現実環境において仮想キャラクタを配置するための方法およびコンピュータプログラム
CN107005550A (zh) 相关通信模式选择
CN106062794A (zh) 显示和导航隐式和显式企业人员关系
CN111182152A (zh) 使用机器可读码的设备认证和配对
Chen et al. A case study of security and privacy threats from augmented reality (ar)
WO2023071737A1 (en) Methods, devices, and media for managing a virtual workspace
US10895913B1 (en) Input control for augmented reality applications
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
US11181975B2 (en) Field of view movement variation-based security profile assignment to physical assets at a location

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6868688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250