JP7057393B2 - プログラム、ヘッドマウントディスプレイ及び情報処理装置 - Google Patents

プログラム、ヘッドマウントディスプレイ及び情報処理装置 Download PDF

Info

Publication number
JP7057393B2
JP7057393B2 JP2020108746A JP2020108746A JP7057393B2 JP 7057393 B2 JP7057393 B2 JP 7057393B2 JP 2020108746 A JP2020108746 A JP 2020108746A JP 2020108746 A JP2020108746 A JP 2020108746A JP 7057393 B2 JP7057393 B2 JP 7057393B2
Authority
JP
Japan
Prior art keywords
user
virtual space
hand
head
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020108746A
Other languages
English (en)
Other versions
JP2022006502A (ja
Inventor
亮 末冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Priority to JP2020108746A priority Critical patent/JP7057393B2/ja
Priority to US18/003,115 priority patent/US20230244318A1/en
Priority to CN202180045121.6A priority patent/CN115803704A/zh
Priority to PCT/JP2021/023491 priority patent/WO2021261463A1/ja
Publication of JP2022006502A publication Critical patent/JP2022006502A/ja
Application granted granted Critical
Publication of JP7057393B2 publication Critical patent/JP7057393B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/105—Arrangements for software license management or administration, e.g. for managing licenses at corporate level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/101—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities
    • G06F21/1015—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM] by binding digital rights to specific entities to users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、プログラム、ヘッドマウントディスプレイ及び情報処理装置に関する。
従来、仮想現実（ＶＲともいう）を提供するヘッドマウントディスプレイが知られており、仮想空間の中で、仮想空間上に表示されたアバターやオブジェクトを、ユーザが撮影することができる。例えば、特許文献１には、ユーザの四肢のいずれかの動きを検出し、この四肢のいずれかの動きに基づいて、撮影が行なわれることを検知することが開示されている。
特開２０１９－６７４５６号公報
しかしながら、特許文献１の技術では、ユーザの四肢の動きから仮想空間内の撮影を開始することまではできるが、ヘッドマウントディスプレイを被った仮想空間上で、キャプチャ範囲を指定して、スクリーンキャプチャすることが難しいという問題がある。
本発明は、上記問題に鑑みてなされたものであり、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化するプログラム、ヘッドマウントディスプレイ及び情報処理装置を提供することを目的とする。
本発明の第１の態様に係るプログラムは、ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、当該ヘッドマウントディスプレイもしくは当該情報処理装置を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、として機能させるためのプログラムである。
この構成によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
本発明の第２の態様に係るプログラムは、第１の態様に係るプログラムであって、現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する距離検出手段と、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する範囲検出手段と、を備え、前記決定手段は、前記範囲と前記距離に応じて、前記仮想空間における前記キャプチャ範囲を決定する。
この構成によれば、ユーザの頭と手の距離に応じて仮想空間におけるキャプチャ範囲が変化するので、ユーザの頭と手の距離に応じて画角が変化したキャプチャ画像データを取得することができる。
本発明の第３の態様に係るプログラムは、第２の態様に係るプログラムであって、前記距離検出手段は、ユーザの手にはめられたグローブ型デバイスもしくはユーザが手に持つコントローラと前記ヘッドマウントディスプレイとの間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出する。
この構成によれば、ユーザの頭と手の距離を検出することができる。
本発明の第４の態様に係るプログラムは、第１から３のいずれかの態様に係るプログラムであって、前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する検出手段と、前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、前記ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す表示処理手段と、を備える。
この構成によれば、キャプチャ画像範囲に、撮影不可オブジェクトもしくは撮影不可アバターが含まれ、ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施すことにより、撮影ライセンスが付与されていないユーザに対して、撮影不可オブジェクトもしくは撮影不可アバターの画像データを取得できないようにすることができる。
本発明の第５の態様に係るプログラムは、第４の態様に係るプログラムであって、前記表示させないための処理は、前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理である。
この構成によれば、撮影ライセンスが付与されていないユーザに対して、撮影不可オブジェクトもしくは撮影不可アバターの画像データを取得できないようにすることができる。
本発明の第６の態様に係るプログラムは、第１から５のいずれかの態様に係るプログラムであって、前記キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する検出手段と、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す表示処理手段と、を備える。
この構成によれば、キャプチャ画像範囲に、無断撮影不可オブジェクトもしくは無断撮影不可アバターが含まれ、ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施すことにより、撮影ライセンスが付与されていないユーザに対して、無断撮影不可オブジェクトもしくは無断撮影不可アバターの画像データを取得できないようにすることができる。
本発明の第７の態様に係るプログラムは、第１から６のいずれかの態様に係るプログラムであって、前記表示させないための処理は、前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターに対する透過処理もしくはモザイク処理である。
この構成によれば、撮影ライセンスが付与されていないユーザに対して、無断撮影不可オブジェクトもしくは無断撮影不可アバターの画像データを取得できないようにすることができる。
本発明の第８の態様に係るヘッドマウントディスプレイは、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、前記仮想空間において前記決定されたキャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、を備える。
この構成によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
本発明の第９の態様に係る情報処理装置は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、前記仮想空間において前記決定されたキャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、を備える。
この構成によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
本発明の一態様によれば、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
第１の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。 第１の実施形態に係るヘッドマウントディスプレイの概略構成図である。 仮想空間における手のオブジェクトで示す範囲を説明するための模式図である。 現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの一例である。 現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの別の例である。 第１の実施形態に係る処理の一例を示すフローチャートである。 第２の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。 第２の実施形態に係る情報処理装置の概略構成図である。
以下、各実施形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
＜第１の実施形態＞
図１は、第１の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。図１に示すように、第１の実施形態に係るヘッドマウントディスプレイシステムＳ１は、ヘッドマウントディスプレイ１と、ユーザが使用する操作デバイスの一例であるグローブ型デバイス３Ｌ、３Ｒを備える。ヘッドマウントディスプレイ１は、通信回路網ＮＷを介して、サーバ４と接続されている。サーバ４には、ユーザ情報、仮想現実の世界（ワールドという）に関するワールド情報、ワールド内の他のユーザの情報が格納されている。サーバ４から、これらの情報もしくはこれらの情報を加工した情報が通信回路網ＮＷを介して、ヘッドマウントディスプレイ１に送信される。
図２は、第１の実施形態に係るヘッドマウントディスプレイの概略構成図である。図２に示すように、第１の実施形態に係るヘッドマウントディスプレイ１は、ストレージ１１、メモリ１２、音声入力手段１３、ディスプレイ１４、通信モジュール１５、プロセッサ１６を備える。なおヘッドマウントディスプレイ１はカメラを備えてもよい。
ストレージ１１は、プロセッサ１６が読み出して実行するプログラムが記憶されている。メモリ１２は、一時的に情報を保持する。音声入力手段１３は、ユーザによる音声を受け付ける。ディスプレイ１４は、プロセッサ１６の指令に従って、ＶＲ用の画像を表示し、仮想現実をユーザに提供する。通信モジュール１５は、サーバ４及びグローブ型デバイス３Ｌ、３Ｒと通信する。この通信は有線であっても無線であってもよい。
プロセッサ１６は、ストレージ１１からプログラムを読み出して実行することにより、決定手段１６１、キャプチャ手段１６２、距離検出手段１６３、範囲検出手段１６４、検出手段１６５、判定手段１６６、表示処理手段１６７、モード切替手段１６８として機能する。
決定手段１６１は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する。ここで、ハンドジェスチャは、ユーザの手もしくは手のオブジェクトを使って表現されるジェスチャである。
キャプチャ手段１６２は、仮想空間において決定手段１６１によって決定されたキャプチャ範囲に表示された内容を画像データとして取得する。本実施形態ではその一例として、キャプチャ手段１６２は、音声入力手段１３がユーザの指示（例えば撮影指示もしくはキャプチャ指示）を受け付けた場合、仮想空間において決定手段１６１によって決定されたキャプチャ範囲に表示された内容を画像データとして取得する。
距離検出手段１６３は、現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する。具体的には例えば距離検出手段１６３は、ユーザの手にはめられたグローブ型デバイス３Ｌ、３Ｒとヘッドマウントディスプレイ１との間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出する。なお、グローブ型デバイス３Ｌ、３Ｒではなく、ユーザが手に持つコントローラが用いられる場合には、距離検出手段１６３は、ユーザが手に持つコントローラ（例えば、ハンドトラッキングコントローラまたはグリップ型コントローラ）とヘッドマウントディスプレイ１との間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出してもよい。いずれの構成にしろ、ユーザの頭と手の距離を検出することができる。ここで距離は、例えばヘッドマウントディスプレイ１に設けられたカメラによってグローブ型デバイス３Ｌ、３Ｒを写した撮影画像または外部に設けられたカメラによってヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒを写した撮影画像から決定されてもよいし、グローブ型デバイス３Ｌ、３Ｒとヘッドマウントディスプレイ１との間の通信（例えば赤外線通信）の往復時間から決定されてもよいし、他の公知の方法でもよい。
範囲検出手段１６４は、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する。ここで現実空間におけるユーザの手で示す範囲は、例えばグローブ型デバイス３Ｌ、３Ｒが指ごとのトラッキングが可能なセンサを有する場合、通信モジュール１５が当該グローブ型デバイス３Ｌ、３Ｒから受信したトラッキング信号を用いて検出されてもよいし、ヘッドマウントディスプレイ１にカメラが設けられている場合には、このカメラによって撮影されたグローブ型デバイス３Ｌ、３Ｒの画像から現実空間におけるユーザの手で示す範囲が検出されてもよいし、他の公知の方法でもよい。
決定手段１６１は、範囲検出手段１６４によって検出された範囲と距離検出手段１６３によって検出された距離に応じて、例えば所定の規則または対応関係に従って前記仮想空間における前記キャプチャ範囲を決定する。この構成によれば、ユーザの頭と手の距離に応じて仮想空間におけるキャプチャ範囲が変化するので、ユーザの頭と手の距離に応じて画角が変化したキャプチャ画像データを取得することができる。
検出手段１６５は、前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する。
判定手段１６６は、前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する。
表示処理手段１６７は、ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す。この前記表示させないための処理は、前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理である。
また検出手段１６５は、キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する。
判定手段１６６は、撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する。
表示処理手段１６７は、前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す。この構成によれば、キャプチャ画像範囲に、撮影不可オブジェクトもしくは撮影不可アバターが含まれ、ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施すことにより、撮影ライセンスが付与されていないユーザに対して、撮影不可オブジェクトもしくは撮影不可アバターの画像データを取得できないようにすることができる。この表示させないための処理は、前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理である。
図３は、仮想空間における手のオブジェクトで示す範囲を説明するための模式図である。図３に示すように、現実空間におけるグローブ型デバイス３Ｌ、３Ｒに位置関係に対応するように、仮想空間において左手オブジェクトＨＬ及び右手オブジェクトＨＲが表示される。そして、左手オブジェクトＨＬ及び右手オブジェクトＨＲで長方形の四隅の対角の２点が指定されることによって、手のオブジェクトによってキャプチャ範囲Ｒ１が指定される。このキャプチャ範囲Ｒ１内に、オブジェクトＯＢ１の一部が表示される。このように、仮想空間における手のオブジェクトで作り出す四角（スクエア）のサイズでキャプチャ範囲（撮影サイズともいう）が変化する。このキャプチャ範囲を例えば、ＦＨＤ（Full High Definition）、４Ｋなど標準的な記録フォーマットで画像データとして保存することが可能である。
ここで、現実空間におけるグローブ型デバイス３Ｌ、３Ｒを離すようにするとそれに対応して、仮想空間における左手オブジェクトＨＬと右手オブジェクトＨＲが離れ、キャプチャ範囲がキャプチャ範囲Ｒ１からキャプチャ範囲Ｒ２に広がる。これにより、このキャプチャ範囲Ｒ２内に、同じオブジェクトＯＢ１の全体が表示される。このように、現実空間におけるグローブ型デバイス３Ｌ、３Ｒに位置関係に対応して、仮想空間における左手オブジェクトＨＬと右手オブジェクトＨＲが動くとともに、例えば所定のアルゴリズムで仮想空間内におけるキャプチャ範囲が変わる。
続いて図４Ａ及び図４Ｂを用いて、現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの距離に応じて、ヘッドマウントディスプレイに表示される画像が変化することを説明する。
図４Ａは、現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの一例である。図４Ａに示すように、ヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒとの距離が短いほど、仮想空間内のキャプチャ範囲が広角で表示され、ユーザの撮影指示に応じて、キャプチャ範囲に表示された内容を画像データとして取得される。これによって、例えば画像ＩＭ１が得られる。
図４Ｂは、現実空間におけるヘッドマウントディスプレイとグローブ型デバイスとの位置関係と、キャプチャされる画像データの別の例である。図４Ｂに示すように、ヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒとの距離が長いほど、仮想空間内のキャプチャ範囲が挟角で表示され、ユーザの撮影指示に応じて、キャプチャ範囲に表示された内容を画像データとして取得される。これによって、例えば画像ＩＭ２が得られる。このように、ヘッドマウントディスプレイ１とグローブ型デバイス３Ｌ、３Ｒとの距離（すなわちユーザの手と頭の間の距離）に応じて、画角が変化する。
図５は、第１の実施形態に係る処理の一例を示すフローチャートである。
（ステップＳ１０）判定手段１６６は、ユーザの手による特定のジェスチャ（ハンドジェスチャともいう）を検出したか否か判定する。このジェスチャは、ユーザが使用する操作デバイスに応じて、ユーザの実際の手であってもよいし、仮想空間内の手のオブジェクトであってもよい。
（ステップＳ２０）ステップＳ１０においてユーザの手のジェスチャを検出された場合、モード切替手段１６８は、撮影モードに切り替える。
（ステップＳ３０）判定手段１６６は、音声入力手段１３が「静止画撮影」などの音声でキャプチャ指示を受け付けたか否か判定する。なお、ここでは、動画を撮影するときには、「録画開始」などの音声指示によって動画撮影指示を受け付けてもよい。また、音声指示ではなく、その他の入力信号（例えば、ユーザが使用する操作デバイスにボタンがある場合、ユーザがこのボタンを押した場合に、コントローラから送信されるボタンオンオフ信号）によって、静止画もしくは動画の撮影が開始されてよい。
（ステップＳ４０）検出手段１６５は、キャプチャ範囲（フレーム範囲ともいう）内のオブジェクト情報を参照する。
（ステップＳ５０）判定手段１６６は、検出手段１６５が撮影不可オブジェクトを検出したか否か判定する。撮影不可オブジェクトを検出しなかった場合、処理がステップＳ８０に進む。
（ステップＳ６０）ステップＳ５０において撮影不可オブジェクトが検出された場合、判定手段１６６は、検出された撮影不可オブジェクトについて、撮影者にライセンスがあるか否か判定する。検出された撮影不可オブジェクトについて、撮影者にライセンスがある場合、処理がステップＳ８０に進む。
（ステップＳ７０）ステップＳ６０において検出された撮影不可オブジェクトについて、撮影者にライセンスがない場合、例えば該当オブジェクトに透過処理、モザイク処理など表示させないための処理を施す。そして、処理がステップＳ８０に進む。
（ステップＳ８０）判定手段１６６は、検出手段１６５が無断撮影不可アバターを検出したか否か判定する。
（ステップＳ９０）ステップＳ８０において無断撮影不可アバターが検出された場合、判定手段１６６は、検出された無断撮影不可アバターについて、撮影者にライセンスがあるか否か判定する。検出された無断撮影不可アバターについて、撮影者にライセンスがある場合、処理がステップＳ１２０に進む。
（ステップＳ１００）ステップＳ９０において検出された無断撮影不可アバターについて、撮影者にライセンスがない場合、当該無断撮影不可アバターに対応する該当ユーザに撮影許可を求める。ここで、該当ユーザは例えば、当該無断撮影不可アバターを製作及び／または管理及び／または所有するユーザである。
（ステップＳ１１０）判定手段１６６は、該当ユーザから撮影許可を取得したか否か判定する。例えば該当オブジェクトに透過処理、モザイク処理など表示させないための処理を施す。そして、処理がステップＳ８０に進む。
（ステップＳ１２０）ステップＳ１１０において該当ユーザから撮影許可を取得した場合、キャプチャ範囲（フレーム範囲）内の画像を抽出する。そして、処理がステップＳ１４０に進む。
（ステップＳ１３０）ステップＳ１１０において該当ユーザから撮影許可を取得していない場合、該当アバターに透過処理、モザイク処理など表示させないための処理を施し、処理後のキャプチャ範囲内の画像を抽出する。そして、処理がステップＳ１４０に進む。
（ステップＳ１４０）キャプチャ手段１６２は、キャプチャ範囲内の画像データを例えばストレージ１１に保存する。保存先は、ストレージ１１ではなくてもよく、サーバ４であってもクラウドストレージであってもよい。
なお、キャプチャ手段１６２は、プリレンダリング画像データをサーバ４もしくはストレージ１１から取得してもよい。ここで、プリレンダリング画像データは、予めレンダリングされた画像で、通常の撮影時の画像よりも高解像度の画像データである。そしてキャプチャ手段１６２は、キャプチャ範囲（フレーム範囲）内のプリレンダリング画像データを保存してもよい。あるいは、サーバ４もしくはクラウド上に、プリレンダリング画像データが保存されてもよい。
（ステップＳ１５０）判定手段１６６は、ユーザの手による特定のジェスチャ（ハンドジェスチャ）をやめたか否か判定する。
（ステップＳ１６０）ステップＳ１６０で特定のジェスチャ（ハンドジェスチャ）をやめたと判定された場合、モード切替手段１６８は撮影モードを終了する。
以上、第１の実施形態に係るプログラムは、ヘッドマウントディスプレイ１で仮想現実を提供するために当該ヘッドマウントディスプレイ１で実行されるプログラムであって、当該ヘッドマウントディスプレイ１を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、として機能させるためのプログラムである。
また、第１の実施形態に係るヘッドマウントディスプレイ１は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、を備える。
この構成により、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
＜第２の実施形態＞
続いて第２の実施形態について説明する。第１の実施形態ではヘッドマウントディスプレイ１がプログラムを実行したが、第２の実施形態では、ヘッドマウントディスプレイ１に接続された情報処理装置２がプログラムを実行する。
図６は、第２の実施形態に係るヘッドマウントディスプレイシステムの概略構成図である。図１のヘッドマウントディスプレイシステムＳ１と比べて、ヘッドマウントディスプレイシステムＳ２は、ヘッドマウントディスプレイ１に接続された情報処理装置２が追加された構成になっている。情報処理装置２は例えばコンピュータである。
図７は、第２の実施形態に係る情報処理装置の概略構成図である。図７に示すように、情報処理装置２は、ストレージ２１と、メモリ２２と、入力インタフェース２３、出力インタフェース２４、通信インタフェース２５と、プロセッサ２６とを備える。
ストレージ２１には、本実施形態に係るプログラムが記憶されている。メモリ２２は、一時的にデータを記憶する。入力インタフェース２３は、ユーザからの入力を受け付ける。出力インタフェース２４は、例えばヘッドマウントディスプレイ１に配線を介して接続されており、ヘッドマウントディスプレイ１に映像信号を出力する。なお、一例として接続は有線であるものとして説明するが無線通信で接続されてもよい。通信モジュール１５は、サーバ４及びグローブ型デバイス３Ｌ、３Ｒと通信する。この通信は有線であっても無線であってもよい。
プロセッサ２６は、ストレージ２１からプログラムを読み出して実行することにより、決定手段１６１、キャプチャ手段１６２、距離検出手段１６３、範囲検出手段１６４、検出手段１６５、判定手段１６６、表示処理手段１６７、モード切替手段１６８として機能する。これらの手段の処理は、第１の実施形態と同様であるので、その説明を省略する。
以上、第２の実施形態に係るプログラムは、ヘッドマウントディスプレイ１で仮想現実を提供するために当該ヘッドマウントディスプレイ１に接続された情報処理装置２で実行されるプログラムであって、当該情報処理装置２を、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、として機能させるためのプログラムである。
また、第２の実施形態に係る情報処理装置２は、現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段１６１と、前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段１６２と、を備える。
この構成により、現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲をキャプチャして画像データとして取得できるので、仮想空間におけるキャプチャ範囲を指定して画像データを取得することを容易化することができる。
なお、各実施形態では、サーバ４ではなく、クラウドであってもよい。
なお、上述した実施形態で説明したヘッドマウントディスプレイ１または情報処理装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、ヘッドマウントディスプレイ１または情報処理装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、ヘッドマウントディスプレイ１または情報処理装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
さらに、一つまたは複数の情報処理機器によって情報処理装置２を機能させてもよい。複数の情報処理機器を用いる場合、複数の情報処理機器のうちの１つをコンピュータとし、当該コンピュータが所定のプログラムを実行することにより情報処理装置２の少なくとも１つの手段として機能が実現されてもよい。
以上、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１ ヘッドマウントディスプレイ
１１ ストレージ
１２ メモリ
１３ 音声入力手段
１４ ディスプレイ
１５ 通信モジュール
１６ プロセッサ
１６１ 決定手段
１６２ キャプチャ手段
１６３ 距離検出手段
１６４ 範囲検出手段
１６５ 検出手段
１６６ 判定手段
１６７ 表示処理手段
１６８ モード切替手段
２ 情報処理装置
２１ ストレージ
２２ メモリ
２３ 入力インタフェース
２４ 出力インタフェース
２５ 通信インタフェース
２６ プロセッサ
３Ｌ、３Ｒ グローブ型デバイス
４ サーバ
Ｓ１、Ｓ２ ヘッドマウントディスプレイシステム

Claims (12)

  1. ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、
    当該ヘッドマウントディスプレイもしくは当該情報処理装置を、
    現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する距離検出手段と、
    現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する範囲検出手段として機能させるためのプログラムであって、
    前記決定手段は、前記範囲と前記距離に応じて、前記仮想空間における前記キャプチャ範囲を決定する
    プログラム。
  2. 前記距離検出手段は、ユーザの手にはめられたグローブ型デバイスもしくはユーザが手に持つコントローラと前記ヘッドマウントディスプレイとの間の距離を、前記ユーザの頭と前記ユーザの手との間の距離として検出する
    請求項１に記載のプログラム。
  3. ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、
    当該ヘッドマウントディスプレイもしくは当該情報処理装置を、
    現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する検出手段と、
    前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    前記ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す表示処理手段として機能させるためのプログラム。
  4. 前記表示させないための処理は、前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記撮影不可オブジェクトもしくは撮影不可アバターに対する透過処理もしくはモザイク処理である
    請求項３に記載のプログラム。
  5. ヘッドマウントディスプレイで仮想現実を提供するために当該ヘッドマウントディスプレイもしくは当該ヘッドマウントディスプレイに接続された情報処理装置で実行されるプログラムであって、
    当該ヘッドマウントディスプレイもしくは当該情報処理装置を、
    現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    前記キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する検出手段と、
    前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す表示処理手段として機能させるためのプログラム。
  6. 前記表示させないための処理は、前記無断撮影不可オブジェクトもしくは無断撮影不可アバターに対する透過処理もしくはモザイク処理、または前記画像データに写った前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターに対する透過処理もしくはモザイク処理である
    請求項５に記載のプログラム。
  7. 現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する距離検出手段と、
    現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する範囲検出手段と、
    を備え、
    前記決定手段は、前記範囲と前記距離に応じて、前記仮想空間における前記キャプチャ範囲を決定する
    ヘッドマウントディスプレイ。
  8. 現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    現実空間における前記ユーザの頭と前記ユーザの手との間の距離を検出する距離検出手段と、
    現実空間におけるユーザの手で示す範囲もしくは仮想空間における手のオブジェクトで示す範囲を検出する範囲検出手段と、
    を備え、
    前記決定手段は、前記範囲と前記距離に応じて、前記仮想空間における前記キャプチャ範囲を決定する
    情報処理装置。
  9. 現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する検出手段と、
    前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    前記ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す表示処理手段と、
    を備えるヘッドマウントディスプレイ。
  10. 現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    前記キャプチャ範囲内のオブジェクト情報を参照し、撮影不可オブジェクトもしくは撮影不可アバターを検出する検出手段と、
    前記撮影不可オブジェクトもしくは前記撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    前記ユーザに撮影ライセンスが付与されていない場合、前記撮影不可オブジェクトもしくは前記撮影不可アバターを表示させないための処理を施す表示処理手段と、
    を備える情報処理装置。
  11. 現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    前記キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する検出手段と、
    前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す表示処理手段と、
    を備えるヘッドマウントディスプレイ。
  12. 現実空間におけるユーザの手によるハンドジェスチャもしくは仮想空間における手のオブジェクトによるハンドジェスチャを用いて、仮想空間におけるキャプチャ範囲を決定する決定手段と、
    前記仮想空間において前記キャプチャ範囲に表示された内容を画像データとして取得するキャプチャ手段と、
    前記キャプチャ範囲内のオブジェクト情報を参照し、無断撮影不可オブジェクトもしくは無断撮影不可アバターを検出する検出手段と、
    前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターが検出された場合において、前記ユーザに撮影ライセンスが付与されているか否か判定する判定手段と、
    前記ユーザに撮影ライセンスが付与されていない場合、前記無断撮影不可オブジェクトもしくは前記無断撮影不可アバターを表示させないための処理を施す表示処理手段と、
    を備える情報処理装置。
JP2020108746A 2020-06-24 2020-06-24 プログラム、ヘッドマウントディスプレイ及び情報処理装置 Active JP7057393B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020108746A JP7057393B2 (ja) 2020-06-24 2020-06-24 プログラム、ヘッドマウントディスプレイ及び情報処理装置
US18/003,115 US20230244318A1 (en) 2020-06-24 2021-06-22 Program, head-mounted display, and information processing device
CN202180045121.6A CN115803704A (zh) 2020-06-24 2021-06-22 程序、头戴式显示器和信息处理装置
PCT/JP2021/023491 WO2021261463A1 (ja) 2020-06-24 2021-06-22 プログラム、ヘッドマウントディスプレイ及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020108746A JP7057393B2 (ja) 2020-06-24 2020-06-24 プログラム、ヘッドマウントディスプレイ及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2022006502A JP2022006502A (ja) 2022-01-13
JP7057393B2 true JP7057393B2 (ja) 2022-04-19

Family

ID=79281189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020108746A Active JP7057393B2 (ja) 2020-06-24 2020-06-24 プログラム、ヘッドマウントディスプレイ及び情報処理装置

Country Status (4)

Country Link
US (1) US20230244318A1 (ja)
JP (1) JP7057393B2 (ja)
CN (1) CN115803704A (ja)
WO (1) WO2021261463A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062590A1 (ja) * 2022-09-22 2024-03-28 マクセル株式会社 仮想現実システム及びそれに用いるヘッドマウントディスプレイ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101898A (ja) 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2010206673A (ja) 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
WO2014128748A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP2016133541A (ja) 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
JP2016514298A5 (ja) 2014-02-12 2017-03-02
JP2019067222A (ja) 2017-10-03 2019-04-25 株式会社コロプラ 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101898A (ja) 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2010206673A (ja) 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
WO2014128748A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP2016514298A5 (ja) 2014-02-12 2017-03-02
JP2016133541A (ja) 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
JP2019067222A (ja) 2017-10-03 2019-04-25 株式会社コロプラ 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置

Also Published As

Publication number Publication date
CN115803704A (zh) 2023-03-14
WO2021261463A1 (ja) 2021-12-30
JP2022006502A (ja) 2022-01-13
US20230244318A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US10948993B2 (en) Picture-taking within virtual reality
JP4878083B2 (ja) 画像合成装置及び方法、プログラム
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
WO2019059020A1 (ja) 制御装置、制御方法、及びプログラム
WO2021261463A1 (ja) プログラム、ヘッドマウントディスプレイ及び情報処理装置
WO2020170604A1 (ja) 情報処理装置、情報処理方法、プログラム
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
JP5847591B2 (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP2001282428A (ja) 情報処理装置
JP2017037375A (ja) 撮像装置及びその制御方法
US20210350625A1 (en) Augmenting live images of a scene for occlusion
US10194087B2 (en) Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium
US20100060750A1 (en) Image processing apparatus, imaging apparatus, image processing method and computer program product for the same
JP6777507B2 (ja) 画像処理装置および画像処理方法
JP2015201734A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
JP2018180496A (ja) 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム
JP4544262B2 (ja) 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法
US20220413295A1 (en) Electronic device and method for controlling electronic device
WO2023275920A1 (ja) トリガー信号発生装置及び携帯端末
US20220252884A1 (en) Imaging system, display device, imaging device, and control method for imaging system
US20240201822A1 (en) Information processing apparatus, information processing system, information processing method, and storage medium
JP2018125729A (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP7148779B2 (ja) 画像処理装置と、その処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220407

R150 Certificate of patent or registration of utility model

Ref document number: 7057393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150