WO2022044357A1 - 端末装置、方法、およびプログラム - Google Patents

端末装置、方法、およびプログラム Download PDF

Info

Publication number
WO2022044357A1
WO2022044357A1 PCT/JP2020/047829 JP2020047829W WO2022044357A1 WO 2022044357 A1 WO2022044357 A1 WO 2022044357A1 JP 2020047829 W JP2020047829 W JP 2020047829W WO 2022044357 A1 WO2022044357 A1 WO 2022044357A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
terminal device
display device
display
control unit
Prior art date
Application number
PCT/JP2020/047829
Other languages
English (en)
French (fr)
Inventor
満帆子 新山
知昭 尾形
純 大木
一也 田邊
馨 豊口
知英 猪俣
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022044357A1 publication Critical patent/WO2022044357A1/ja
Priority to US18/172,357 priority Critical patent/US12086924B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • memories of activities in VR space can be recorded.
  • FIG. 1 is a diagram for explaining a configuration example of an information processing system according to an embodiment.
  • FIG. 3 is a diagram for explaining an identifier displayed on the display unit 12.
  • the calculation unit 171 has, for example, the terminal device 10 and the display device 20 based on the size of the identifier 111 displayed on the display unit 12 taken by the image pickup unit 21 of the display device 20. Calculate the relative distance between and.
  • the calculation unit 171 is, for example, relative to the display device 20 of the terminal device 10 based on the degree of distortion and the distortion direction of the identifier 111 displayed on the display unit 12 taken by the image pickup unit 21 of the display device 20. Calculate the slope.
  • FIG. 4 is a block diagram showing a configuration example of the display device according to the embodiment.
  • the display unit 22 displays various images.
  • the display unit 22 displays, for example, an image in VR space.
  • the display unit 22 is realized by, for example, an HMD.
  • the server 30 includes a communication unit 31, a storage unit 32, and a control unit 33.
  • the storage unit 32 stores various types of information.
  • the storage unit 32 stores, for example, map information in the VR space.
  • the map information includes various information such as scenery, buildings, and characters in the VR space.
  • the storage unit 32 can be realized by a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or a solid state drive.
  • the relative positions of the terminal device 10 and the display device 20 in the real space it is possible to adjust the shooting range displayed on the display unit of the virtual terminal device.
  • the user U adjusts the relative positions of the terminal device 10 and the display device 20 in the real space to obtain the avatar A1, the avatar A2, the avatar A3, and the avatar A4 in the VR space.
  • the shooting range can be adjusted so that the image appears in one photo.
  • the display control unit 173 recognizes the shooting range on the VR space displayed by the display device 20 based on the relative position calculated by the calculation unit 171 (step S13). Specifically, the display control unit 173 recognizes the shooting range displayed on the display unit of the virtual terminal device in the VR space. Then, the process proceeds to step S14.
  • the control unit 17 determines whether or not to end the process (step S18). Specifically, the operation control unit 175 determines that the process is terminated when the operation for ending the shooting is accepted or the operation for turning off the power of the terminal device 10 is accepted. When it is determined to end the process (step S18; Yes), the process of FIG. 8 is terminated. If it is determined that the process is not completed (step S18; No), the process proceeds to step S10.
  • the posture of the avatar in the VR space is changed in real time according to the posture of the user in the real space.
  • the posture of the avatar in the VR space can be easily changed, so that the usability is improved.
  • the sensor 27 includes various sensors.
  • the sensor 27 includes, for example, a sensor that detects a relative position between the terminal device 10B and the display device 20.
  • Examples of the sensor 27 include, but are not limited to, a laser radar (for example, LIDAR), an infrared sensor including an infrared irradiation unit and a light receiving sensor, and a ToF sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

端末装置（１０）は、ユーザによって使用される仮想現実を表示する表示装置（２０）と、端末装置（１０）との相対位置を算出する算出部（１７１）と、相対位置に基づいて、表示装置（２０）に表示されている仮想現実上で撮影する撮影範囲を変更する表示制御部（１７３）と、表示制御部（１７３）が変更した撮影範囲で撮影された仮想現実上の映像に関する映像データを取得する映像データ取得部（１７２）と、を備える。

Description

端末装置、方法、およびプログラム
　本開示は、端末装置、方法、およびプログラムに関する。
　仮想現実（ＶＲ：Virtual　Reality）を実現したＶＲ空間を複数のユーザで体験することのできる技術が知られている。
　例えば、特許文献１には、複数のユーザが同時にＶＲ空間内で各自の視点の位置や向きを動かしながらＶＲを体験することができる技術が記載されている。
特開２０１９－２１１８３５号公報
　ＶＲ空間上で複数のユーザ間による多様なコミュニケーションが実現されることが想定される。例えば、ＶＲ空間上において、各ユーザが個々に作成したアバターを用いて、仮想的に美術館などの展示施設、テーマパーク、旅行などに出かけたり、共通のゲームに参加したりするシチュエーションが想定される。そのため、現実世界で所定の操作を行うことで、ＶＲ空間上での思い出として風景を撮影したりアバター同士の集合写真を撮影したりして記録することが望まれる。
　本開示は、ＶＲ空間上の活動の思い出を記録することのできる端末装置、方法、およびプログラムを提供することを目的とする。
　本開示の一態様に係る端末装置は、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出する算出部と、前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更する表示制御部と、前記表示制御部が変更した撮影範囲で撮影された仮想現実上の映像に関する映像データを取得する映像データ取得部と、を備える。
　本開示の一態様に係る方法は、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、を含む。
　本開示の一態様に係るプログラムは、ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、をコンピュータに実行させる。
　本開示によれば、ＶＲ空間上の活動の思い出を記録することができる。
図１は、実施形態に係る情報処理システムの構成例を説明するための図である。 図２は、実施形態に係る端末装置の構成例を示すブロック図である。 図３は、表示部に表示される識別子を説明するための図である。 図４は、実施形態に係る表示装置の構成例を示すブロック図である。 図５は、実施形態に係るサーバの構成例を示すブロック図である。 図６は、実施形態に係る端末装置および表示装置の使用方法を説明するための図である。 図７は、実施形態に係る端末装置および表示装置の使用方法を説明するための図である。 図８は、実施形態に係る端末装置の処理の流れの一例を示すフローチャートである。 図９は、第１変形例に係る端末装置の構成例を示すブロック図である。 図１０は、第２変形例に係る端末装置の構成例を示すブロック図である。 図１１は、第２変形例に係る表示装置の構成例を示すブロック図である。
　以下、添付図面を参照して、本開示に係る実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［情報処理システム］
　図１を用いて、実施形態に係る情報処理システムについて説明する。図１は、実施形態に係る情報処理システムの構成例を説明するための図である。
　図１に示すように、情報処理システム１は、端末装置１０と、表示装置２０と、サーバ３０とを備える。端末装置１０と、表示装置２０と、サーバ３０とは、ネットワークＮを介して、通信可能に接続されている。情報処理システム１は、ＶＲ空間上での思い出を記録することのできるシステムである。端末装置１０は、例えば、スマートフォン、タブレット端末などを含む装置である。表示装置２０は、例えば、ＶＲを体験することのできる装置である。表示装置２０は、例えば、ユーザの頭部に装着されるＨＭＤ（Head　Mounted　Display）を含む装置である。ユーザは、例えば、表示装置２０を頭部に装着した状態で、サーバ３０上で他のユーザとアバターを用いたＶＲ空間上のテーマパークなどを体験することができる。
［端末装置］
　図２を用いて、実施形態に係る端末装置の構成について説明する。図２は、実施形態に係る端末装置の構成例を示すブロック図である。
　図２に示すように、端末装置１０は、表示部１２と、音声出力部１３と、操作部１４と、記憶部１５と、通信部１６と、制御部１７とを備える。表示部１２と、音声出力部１３と、操作部１４と、記憶部１５と、通信部１６と、制御部１７とは、それぞれ、バスＢ１により接続されている。
　撮像部１１は、端末装置１０の周辺の各種の映像を撮影する。撮像部１１は、例えば、表示装置２０を撮影する。撮像部１１は、図示しない撮像素子と、撮像素子の出力に基づいて映像データを生成する回路などを備える。撮像素子としては、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサおよびＣＣＤ（Charge　Coupled　Device）などが例示されるが、これらに限られない。
　表示部１２は、種々の情報を表示する。表示部１２は、例えば、各種の映像を表示する。表示部１２は、例えば、端末装置１０と、表示装置２０との相対位置を算出するための識別子を表示する。識別子については、後述する。表示部１２は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）または有機ＥＬ（Organic　Electro-Luminescence）ディスプレイ等を含むディスプレイで構成される。
　音声出力部１３は、各種の音声を出力する。音声出力部１３は、例えば、スピーカで実現することができる。
　操作部１４は、端末装置１０に対するユーザからの種々の操作を受け付ける。操作部１４は、例えば、ボタン、スイッチ、およびタッチパネルなどで構成されている。操作部１４は、例えば、表示装置２０との間の通信を開始したり終了したりする操作を受け付ける。操作部１４は、例えば、表示装置２０に表示された映像を撮影して取得するための操作、および撮影した映像を記憶部１５に記憶するための操作を受け付ける。
　記憶部１５は、各種の情報を記憶する。記憶部１５は、例えば、表示装置２０に表示されたＶＲ空間上の景色や建築物、キャラクターなどの種々のオブジェクトの映像データを記憶する。記憶部１５は、二次元の映像にレンダリングされた映像データを記憶してもよいし、三次元のオブジェクトと撮影範囲を特定する情報、または撮影範囲を特定する情報のみを記憶してもよい。記憶部１５は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。
　通信部１６は、端末装置１０と、外部の装置との間で通信を実行する。通信部１６は、例えば、表示装置２０と通信を実行する。
　制御部１７は、端末装置１０の各部の動作を制御する。制御部１７は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本開示に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。制御部１７は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。制御部１７は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
　制御部１７は、算出部１７１と、映像データ取得部１７２と、表示制御部１７３と、出力制御部１７４と、操作制御部１７５と、撮像制御部１７６と、記憶制御部１７７と、通信制御部１７８とを備える。
　算出部１７１は、端末装置１０と、表示装置２０との相対位置を算出する。算出部１７１は、例えば、映像データ取得部１７２により取得された、外部の撮像装置が撮影した表示部１２に表示された識別子の大きさに基づいて、端末装置１０と、表示装置２０との相対距離を算出する。算出部１７１は、例えば、撮影された映像に含まれる識別子の大きさと、端末装置１０と、表示装置２０との相対距離が対応付けられた図示しないテーブルなどに基づいて、端末装置１０と、表示装置２０との相対距離を算出すればよい。算出部１７１は、例えば、表示部１２に表示された識別子の歪みの度合い及び歪み方向などに基づいて、表示装置２０に対する端末装置１０の相対的な傾きを算出する。算出部１７１は、例えば、端末装置１０と、表示装置２０との相対距離と、表示装置２０に対する端末装置１０の相対的な傾きに基づいて、端末装置１０と、表示装置２０との相対位置を算出する。
　図３は、表示部１２に表示される識別子を説明するための図である。図３に示すように、算出部１７１は、例えば、表示装置２０の撮像部２１で撮影された、表示部１２に表示された識別子１１１の大きさに基づいて、端末装置１０と、表示装置２０との間の相対距離を算出する。算出部１７１は、例えば、表示装置２０の撮像部２１で撮影された表示部１２に表示された識別子１１１の歪みの度合い及び歪み方向などに基づいて、表示装置２０に対する端末装置１０の相対的な傾きを算出する。算出部１７１は、例えば、端末装置１０と、表示装置２０との相対距離と、表示装置２０に対する端末装置１０の相対的な傾きに基づいて、端末装置１０と、表示装置２０との相対位置を算出する。算出部１７１は、例えば、その他の外部カメラで撮影された識別子１１１の大きさに基づいて、端末装置１０と、表示装置２０との相対位置を算出してもよい。識別子１１１は、例えば、表示部１２の４隅に表示される。識別子１１１は、例えば、ＱＲコード（登録商標）であるが、これに限定されない。なお、識別子１１１は、表示部１２の中央部分などに１つ表示されるようにしてもよい。
　また、算出部１７１は、撮像部１１によって撮影された表示装置２０の撮影データに基づいて、端末装置１０と、表示装置２０との相対位置を算出してもよい。算出部１７１は、例えば、撮影データに含まれる表示装置２０の大きさを周知の画像認識処理を用いて判定し、判定された大きさに基づいて、端末装置１０と、表示装置２０との相対位置を算出してもよい。この場合、算出部１７１は、例えば、表示装置２０の大きさと、端末装置１０と、表示装置２０との相対距離が対応付けられたテーブルなどに基づいて、端末装置１０と、表示装置２０との相対距離を算出すればよい。算出部１７１は、例えば、表示装置２０の歪みの度合いと歪み方向に基づいて、表示装置２０に対する端末装置１０の相対的な傾きを算出すればよい。
　また、算出部１７１は、撮像部１１によって撮影された表示装置２０の筐体に設けられたＱＲコードなどの識別子の撮影データに基づいて、端末装置１０と、表示装置２０との相対位置を算出してもよい。算出部１７１は、例えば、撮影データに含まれる識別子の大きさと歪みを周知の画像認識処理を用いて判定し、判定された大きさに基づいて、端末装置１０と、表示装置２０との相対距離と、表示装置２０に対する端末装置１０の相対的な傾きを算出してもよい。算出部１７１は、例えば、判定された識別子の大きさと、歪みとに基づいて、端末装置１０と、表示装置２０との相対距離と、表示装置２０に対する端末装置１０の相対的な傾きとを把握することで、端末装置１０と、表示装置２０との相対位置を算出すればよい。この場合、算出部１７１は、例えば、識別子の大きさと、端末装置１０と、表示装置２０との相対距離が対応付けられたテーブルなどに基づいて、端末装置１０と、表示装置２０との相対距離を算出すればよい。算出部１７１は、例えば、識別子の歪みの度合いおよび歪み方向などに基づいて、表示装置２０に対する端末装置１０の相対的な傾きを算出すればよい。
　映像データ取得部１７２は、各種の映像データを取得する。映像データ取得部１７２は、例えば、表示装置２０から表示装置２０に表示されているＶＲ空間上の仮想の端末装置で撮影された映像データを取得する。映像データ取得部１７２は、例えば、操作制御部１７５が操作部１４に入力された表示装置２０に表示されたＶＲ空間上の映像を撮影するための操作信号を取得した場合に、表示装置２０に表示されているＶＲ空間上の仮想の端末装置で撮影された映像データを取得する。ＶＲ空間上の仮想の端末装置での撮影は、ＶＲ空間上における仮想の端末装置に備えられた仮想カメラの位置からＶＲ空間の所定範囲をキャプチャした映像を生成することを指す。ＶＲ空間上における仮想の端末装置は、端末装置１０と同一の形状、大きさにしてもよいし、異ならせてもよい。仮想の端末装置における仮想カメラの位置は、端末装置１０に撮像部１１を備える場合、端末装置１０における撮像部１１の位置と同一にしてもよいし、異ならせてもよい。仮想カメラの特性は、端末装置１０が撮像部１１を備える場合、撮像部１１の特性と一致させてもよいし、異ならせてもよい。仮想カメラの特性は、広角や望遠（ズームイン、ズームアウト）など、ユーザがＶＲ空間上での操作により適宜変更してもよい。仮想の端末装置の表示部に表示した操作画面によって、ユーザがＶＲ空間上での操作を行えるようにしてもよい。
　表示制御部１７３は、表示部１２に各種の映像を表示させる。表示制御部１７３は、例えば、端末装置１０と、表示装置２０との間の相対位置を算出するための識別子を表示部１２に表示させる。表示制御部１７３は、映像データ取得部１７２が表示装置２０から取得した、ＶＲ空間上で撮影された映像データに関する映像を表示部１２に表示する。
　表示制御部１７３は、例えば、表示装置２０で表示されているＶＲ空間上の仮想の端末装置でＶＲ空間上の種々のオブジェクトを撮影する際に、仮想の端末装置の表示部に表示される撮影範囲を制御する。表示制御部１７３は、例えば、現実の端末装置１０と、表示装置２０との相対位置に基づいて、ＶＲ空間上の仮想の端末装置の表示部に表示される撮影範囲を制御する。具体的には、表示制御部１７３は、例えば、現実の端末装置１０と、表示装置２０との相対位置の変化に応じて、ＶＲ空間上の仮想の端末装置の表示部に表示される撮影範囲が変化するように制御する。表示制御部１７３は、例えば、ＶＲ空間上の仮想の端末装置に表示される撮影範囲を変更させるための制御信号を、通信部１６を介して、表示装置２０に出力する。
　表示制御部１７３は、例えば、表示装置２０に表示されている映像に表示させるための、端末装置１０および表示装置２０を使用するユーザのアバターを生成する。表示制御部１７３は、例えば、端末装置１０および表示装置２０を使用するユーザの顔の映像データに基づいて、アバターを生成する。表示制御部１７３は、例えば、操作部１４がユーザから受け付けた操作情報に基づいて、アバターの顔を構成する各パーツを変更するにしてもよい。表示制御部１７３は、例えば、表示装置２０に生成したアバターを表示させるための制御信号を、通信部１６を介して、表示装置２０に出力する。
　出力制御部１７４は、音声出力部１３を制御して音声を出力させる。
　操作制御部１７５は、操作部１４に入力された操作に関する操作信号を取得する。操作制御部１７５は、例えば、取得した操作信号に関する制御信号を出力して、端末装置１０の動作を制御する。操作制御部１７５は、例えば、操作部１４に入力された表示装置２０に表示されたＶＲ空間上の映像を撮影するための操作に関する操作信号を取得する。
　撮像制御部１７６は、撮像部１１を制御する。撮像制御部１７６は、撮像部１１による撮像条件を設定して、撮像部１１に撮像を行わせる。撮像制御部１７６は、例えば、撮像部１１を制御して、筐体に設けられたＱＲコードなどの識別子の撮像を行わせる。なお、端末装置１０の表示部１２にＱＲコードなどの識別子を表示する場合には、撮像部１１と、撮像制御部１７６とは必要ではない。
　記憶制御部１７７は、各種のデータを記憶部１５に記憶する。記憶制御部１７７は、例えば、映像データ取得部１７２が取得した表示装置２０に表示されたＶＲ空間上で撮影された映像に関する映像データを記憶部１５に記憶する。
　通信制御部１７８は、通信部１６を制御して、端末装置１０と外部の装置との間の通信を制御する。通信制御部１７８は、例えば、通信部１６を制御して、端末装置１０と、表示装置２０との間の通信を制御する。
［表示装置］
　図４を用いて、実施形態に係る表示装置の構成について説明する。図４は、実施形態に係る表示装置の構成例を示すブロック図である。
　図４に示すように、表示装置２０は、撮像部２１と、表示部２２と、音声出力部２３と、操作部２４と、通信部２５とを備える。撮像部２１と、表示部２２と、音声出力部２３と、操作部２４と、通信部２５とは、それぞれ、バスＢ３により接続されている。
　本実施形態では、表示装置２０は、ユーザが頭部に装着するＨＭＤを含む装置であるものとして説明するが、これに限定されない。表示装置２０は、例えば、室内の机上などに設置される、液晶ディスプレイまたは有機ＥＬディスプレイ等を含むディスプレイで構成される表示装置であってもよい。
　撮像部２１は、表示装置２０の周辺の各種の映像を撮影する。撮像部２１は、例えば、端末装置１０の表示部１２に表示された識別子１１１を撮影する。撮像部２１は、図示しない撮像素子と、撮像素子の出力に基づいて映像データを生成する回路などを備える。撮像素子としては、ＣＭＯＳイメージセンサおよびＣＣＤなどが例示されるが、これらに限られない。
　表示部２２は、各種の映像を表示する。表示部２２は、例えば、ＶＲ空間上の映像を表示する。表示部２２は、例えば、ＨＭＤで実現される。
　音声出力部２３は、各種の音声を出力する。音声出力部２３は、例えば、スピーカで実現することができる。
　操作部２４は、表示装置２０に対するユーザからの種々の操作を受け付ける。操作部２４は、例えば、ボタン、およびスイッチなどで構成されている。操作部２４は、例えば、端末装置１０との間の通信を開始したり終了したりする操作を受け付ける。
　通信部２５は、表示装置２０と、外部の装置との間で通信を実行する。通信部２５は、例えば、端末装置１０と通信を実行する。通信部２５は、例えば、サーバ３０と通信を実行する。
　制御部２６は、表示装置２０の各部の動作を制御する。制御部２６は、例えば、ＣＰＵやＭＰＵ等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。制御部２６は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部２６は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
　制御部２６は、取得部２６１と、表示制御部２６２と、出力制御部２６３と、操作制御部２６４と、撮像制御部２６５と、通信制御部２６６とを備える。取得部２６１と、表示制御部２６２と、出力制御部２６３と、操作制御部２６４と、撮像制御部２６５と、通信制御部２６６とは、それぞれ、バスＢ４により接続されている。
　取得部２６１は、各種の情報を取得する。取得部２６１は、例えば、撮像部２１により撮影された端末装置１０の表示部１２に表示された識別子１１１の映像に関する映像データを取得する。
　表示制御部２６２は、表示部２２に表示されている映像を制御する。表示制御部２６２は、例えば、ＶＲに関する映像を表示部２２に表示させる。表示制御部２６２は、例えば、ＶＲ空間上で複数のユーザでテーマパークなどを体験させるための映像を表示部２２に表示させる。表示制御部２６２は、例えば、端末装置１０から受けた制御信号に従って、表示部２２に表示されている映像の表示範囲を変更したり、表示部２２に表示されている映像にアバターを表示させたりする。表示制御部２６２は、例えば、端末装置１０から受けた制御信号に従って、表示部２２に表示されているＶＲ空間上における仮想の端末装置に表示されている撮影範囲を変更する。表示制御部２６２が端末装置１０から受ける制御信号は、例えば、ＶＲ空間上の仮想の端末装置の表示部に表示される操作画面を、ユーザが端末装置１０の操作部１４にて操作し、その操作に基づいて生成される制御信号である。端末装置１０の表示部１２に識別子１１１を表示している場合、ユーザは、実際に手にしている端末装置１０を操作しているが、表示部１２には識別子１１１が表示されており、操作画面は表示されていない。一方、その操作に基づいて生成される制御信号は、端末装置１０から表示装置２０に送信され、表示制御部２６２が制御信号に基づいて、端末装置１０に対応したＶＲ空間上の仮想の端末装置の表示部に表示される操作画面を制御する。ユーザは表示装置２０から視覚によって仮想の操作画面の挙動を知覚し、端末装置１０から触覚によって実際の操作を知覚することになる。端末装置１０は、図示しないアクチュエータで振動を生成し、ユーザへ操作のフィードバックを与えてもよい。
　出力制御部２６３は、音声出力部２３から各種の音声を出力する。出力制御部２６３は、例えば、ＶＲ空間上の他のユーザの音声を出力する。出力制御部２６３は、例えば、ＶＲ空間上で一緒にテーマパークなどを体験している他のユーザの音声を音声出力部２３から出力させる。
　操作制御部２６４は、操作部２４に入力された操作に関する操作信号を取得する。操作制御部２６４は、例えば、取得した操作信号に関する制御信号を出力して、表示装置２０の動作を制御する。
　撮像制御部２６５は、撮像部２１を制御する。撮像制御部２６５は、撮像部２１による撮像条件を設定して、撮像部２１に撮像を行わせる。
　通信制御部２６６は、通信部２５を制御して、表示装置２０と外部の装置との間の通信を制御する。通信制御部２６６は、例えば、通信部２５を制御して、端末装置１０と、表示装置２０との間の通信を制御する。通信制御部２６６は、例えば、通信部２５を制御して、表示装置２０と、サーバ３０との間の通信を制御する。
［サーバ］
　図５を用いて、実施形態に係るサーバの構成について説明する。図５は、実施形態に係るサーバの構成例を示すブロック図である。
　図５に示すように、サーバ３０は、通信部３１と、記憶部３２と、制御部３３とを備える。
　通信部３１は、サーバ３０と、外部の装置との間で通信を実行する。通信部３１は、例えば、端末装置１０と通信を実行する。通信部３１は、例えば、表示装置２０と通信を実行する。
　記憶部３２は、各種の情報を記憶する。記憶部３２は、例えば、ＶＲ空間における地図情報を記憶する。地図情報には、ＶＲ空間における景色、建築物、キャラクターなどの各種の情報が含まれる。記憶部３２は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。
　制御部３３は、サーバ３０の各部の動作を制御する。制御部３３は、例えば、ＣＰＵやＭＰＵ等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。制御部３３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部３３は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
　制御部３３は、記憶部３２に記憶された地図情報に基づいて、ＶＲ空間を生成する。制御部３３は、例えば、仮想的なテーマパークなどを体験することのできるＶＲ空間を生成する。表示装置２０と、サーバ３０とが接続することで、表示装置２０のユーザは、例えば、複数のユーザと一緒にアバターを用いて、仮想的なテーマパークなどを体験することができる。
［端末装置と表示装置の使用方法］
　図６と、図７とを用いて、実施形態に係る端末装置および表示装置の使用方法について説明する。図６と、図７とは、実施形態に係る端末装置および表示装置の使用方法を説明するための図である。
　図６に示すように、表示装置２０は、例えば、ユーザＵの頭部に装着して使用される。言い換えれば、ユーザＵは、表示装置２０を用いて、ＶＲ空間上の仮想的なテーマパークなどを体験することができる。ユーザＵは、例えば、表示装置２０を使用している状態で、端末装置１０を操作することで、ＶＲ空間上のテーマパークの思い出として、景色、建築物、キャラクターなどのオブジェクトを撮影したり、他の複数のユーザと撮影したりすることができる。
　図７は、ＶＲ空間上での撮影データを示している。ユーザＵは、例えば、端末装置１０を操作することで、ＶＲ空間上における仮想の端末装置を用いて、ＶＲ空間上でユーザＵのアバターＡ１と、他のユーザのアバターＡ２、アバターＡ３、およびアバターＡ４とを含む画像を撮影することができる。撮影される画像は、静止画像であってもよいし、動画像であってもよい。撮影される画像の表示範囲は、端末装置１０と、表示装置２０との間の相対位置に応じて変化する。言い換えれば、ユーザＵは、端末装置１０と、表示装置２０との実空間上の相対位置を調整することで、ＶＲ空間の撮影範囲を変更することができる。ＶＲ空間上における撮影範囲は、ＶＲ空間上の仮想の端末装置の表示部に表示される。端末装置１０と、表示装置２０との実空間上の相対位置を調整することで、仮想の端末装置の表示部に表示される撮影範囲を調整することができる。具体的には、ユーザＵは、端末装置１０と、表示装置２０との実空間上の相対位置を調整することで、ＶＲ空間において、アバターＡ１と、アバターＡ２と、アバターＡ３と、アバターＡ４とが１枚の写真に写るように、撮影範囲を調整することができる。
［端末装置の処理］
　図８を用いて、実施形態に係る端末装置の処理の流れについて説明する。図８は、実施形態に係る端末装置の処理の流れの一例を示すフローチャートである。
　まず、操作制御部１７５は、操作部１４を介して、ＶＲ空間における仮想カメラの撮影モードがアウトカメラで撮影する撮影モードに設定されたか否かを判定する（ステップＳ１０）。アウトカメラで撮影する撮影モードに設定されたと判定された場合（ステップＳ１０；Ｙｅｓ）、ステップＳ１２に進む。アウトカメラで撮影する撮影モードに設定されていないと判定された場合（ステップＳ１０；Ｎｏ）、ステップＳ１１に進む。
　ステップＳ１０でＮｏと判定された場合、操作制御部１７５は、操作部１４を介して、ＶＲ空間における仮想カメラの撮影モードがインカメラで撮影する撮影モードに設定されたか否かを判定する（ステップＳ１１）。インカメラで撮影する撮影モードに設定された判定された場合（ステップＳ１１；Ｙｅｓ）、ステップＳ１２に進む。インカメラで撮影する撮影モードに設定されていないと判定された場合（ステップＳ１１；Ｎｏ）、ステップＳ１８に進む。
　ステップＳ１０でＹｅｓおよびステップＳ１１でＹｅｓと判定された場合、算出部１７１は、端末装置１０と、表示装置２０との相対位置を算出する（ステップＳ１２）。具体的には、算出部１７１は、表示装置２０の撮像部２１が撮影した、端末装置１０の表示部１２に表示された識別子１１１の大きさに基づいて、端末装置１０と、表示装置２０との相対位置を算出する。そして、ステップＳ１２に進む。
　表示制御部１７３は、算出部１７１が算出した相対位置に基づいて、表示装置２０で表示されているＶＲ空間上の撮影範囲を認識する（ステップＳ１３）。具体的には、表示制御部１７３は、ＶＲ空間上における仮想の端末装置の表示部に表示される撮影範囲を認識する。そして、ステップＳ１４に進む。
　操作制御部１７５は、操作部１４を介して、ステップＳ１３で認識されたＶＲ空間上の撮影範囲を撮影する操作を受け付けたか否かを判定する（ステップＳ１４）。ＶＲ空間上の撮影範囲を撮影する操作を受け付けたと判定された場合（ステップＳ１４；Ｙｅｓ）、ステップＳ１５に進む。ＶＲ空間上の撮影範囲を撮影する操作を受け付けていないと判定された場合（ステップＳ１４；Ｎｏ）、ステップＳ１８に進む。
　ステップＳ１４でＹｅｓと判定された場合、映像データ取得部１７２は、撮影されたＶＲ空間上の撮影範囲に関する撮影データを表示装置２０から取得する（ステップＳ１５）。ここで、表示制御部１７３は、映像データ取得部１７２が取得したＶＲ空間上の撮影データに関する映像を表示部１２に表示してもよい。また、撮影データは、静止画像であっても、動画像であってもよい。これにより、ユーザは、ＶＲ空間上で撮影された映像を把握することができる。そして、ステップＳ１６に進む。
　操作制御部１７５は、操作部１４を介して、ステップＳ１５で取得された撮影データを保存する操作を受け付けたか否かを判定する（ステップＳ１６）。撮影データを保存する操作を受け付けたと判定された場合（ステップＳ１６；Ｙｅｓ）、ステップＳ１７に進む。撮影データを保存する操作を受け付けていないと判定された場合（ステップＳ１６；Ｎｏ）、ステップＳ１８に進む。
　ステップＳ１６でＹｅｓと判定された場合、記憶制御部１７７は、ステップＳ１５で取得された撮影データを記憶部１５に保存する（ステップＳ１７）。そして、ステップＳ１８に進む。
　制御部１７は、処理を終了するか否かを判定する（ステップＳ１８）。具体的には、操作制御部１７５は、撮影を終了する操作を受け付けたり、端末装置１０の電源をオフしたりする操作を受け付けた場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ１８；Ｙｅｓ）、図８の処理を終了する。処理を終了しないと判定された場合（ステップＳ１８；Ｎｏ）、ステップＳ１０に進む。
　上述のとおり、本実施形態は、表示装置２０で表示されているＶＲ空間上の撮影範囲を、端末装置１０を用いた操作で撮影し、撮影した映像データを端末装置１０に保存する。これにより、本実施形態は、ＶＲ空間上での風景や、仮想的なテーマパークなどの思い出を端末装置１０に記録することができるため、ＳＮＳ（Social　Network　Service）上にＶＲ空間上で撮影した写真を発信することが容易となる。
　本実施形態は、ＶＲ空間上で他のユーザとアバターを用いて、仮想的なテーマパークを体験したり、コミュニケーションをとったりすることができる。また、本実施形態は、自身のアバターと、他のユーザのアバターとで、同一のＶＲ空間上で集合写真を撮影することができる。
［第１変形例］
　図９を用いて、本実施形態の第１変形例について説明する。図９は、第１変形例に係る端末装置の構成例を示すブロック図である。
　図９に示すように、端末装置１０Ａは、制御部１７Ａが姿勢検出部１７９を備える点で、図２に図示の端末装置１０と異なっている。
　姿勢検出部１７９は、表示装置２０を用いてＶＲを体験しているユーザの姿勢を検出する。姿勢検出部１７９は、例えば、ユーザの頭部、両腕、両脚を含む各部の姿勢を検出する。第１変形例では、例えば、映像データ取得部１７２は、外部の図示しない撮影装置からユーザを撮影した撮影データを取得する。この場合、姿勢検出部１７９は、映像データ取得部１７２が取得した撮影データに基づいて、ユーザの姿勢を検出すればよい。姿勢検出部１７９は、モーションキャプチャ、その他の周知の技術を用いて、ユーザの姿勢を検出してもよい。
　表示制御部１７３は、姿勢検出部１７９の検出結果に基づいて、表示装置２０に表示されているユーザのアバターの姿勢を変更する。表示制御部１７３は、例えば、姿勢検出部１７９によりユーザが右手を挙げていることを検出された場合には、ユーザのアバターの右手を挙げる。すなわち、表示制御部１７３は、姿勢検出部１７９により検出されたユーザの姿勢に合わせて、アバターの姿勢を変更する。
　上述のとおり、本実施形態の第１変形例は、実空間上のユーザの姿勢に合わせて、ＶＲ空間上のアバターの姿勢をリアルタイムに変更する。これにより、本開示の第１変形例は、ＶＲ空間上のアバターの姿勢を容易に変更することができるので、使用性が向上する。
［第２変形例］
　図１０を用いて、本実施形態の第２変形例について説明する。図１０は、第２変形例に係る端末装置の構成例を示すブロック図である。
　図１０に示すように、端末装置１０Ｂは、センサ１８を備える点で、図２に図示の端末装置１０と異なっている。
　センサ１８は、各種のセンサを含む。センサ１８は、例えば、端末装置１０Ｂと、表示装置２０との相対位置を検出するセンサを含む。センサ１８としては、レーザレーダ（例えば、ＬＩＤＡＲ：Laser　Imaging　Detection　and　Ranging）、赤外線照射部と受光センサとを含む赤外線センサ、およびＴｏＦ（Time　of　Flight）センサなどが例示されるが、これらに限られない。
　制御部１７Ｂの算出部１７１は、センサ１８による検出結果に基づいて、端末装置１０Ｂと、表示装置２０との相対位置を算出する。すなわち、第２変形例では、算出部１７１は、撮像部１１とは異なる空間把握手段を用いて、端末装置１０Ｂと、表示装置２０との相対位置を算出する。
　上述のとおり、本実施形態の第２変形例では、端末装置１０Ｂと、表示装置２０との相対位置を各種のセンサの検出結果に基づいて算出する。これにより、第２変形例では、設計の自由度を向上させることができる。
［第３変形例］
　図１１を用いて、本実施形態の第３変形例について説明する。図１１は、第３変形例に係る表示装置の構成例を示すブロック図である。
　図１１に示すように、表示装置２０Ａは、センサ２７を備える点と、制御部２６Ａが算出部２６７を備える点で、図４に図示の表示装置２０と異なっている。
　センサ２７は、各種のセンサを含む。センサ２７は、例えば、端末装置１０Ｂと、表示装置２０との相対位置を検出するセンサを含む。センサ２７としては、レーザレーダ（例えば、ＬＩＤＡＲ）、赤外線照射部と受光センサとを含む赤外線センサ、およびＴｏＦセンサなどが例示されるが、これらに限られない。
　算出部２６７は、センサ２７による検出結果に基づいて、端末装置１０と、表示装置２０Ａとの相対位置を算出する。すなわち、端末装置１０と、表示装置２０Ａとの相対位置は、端末装置１０ではなく表示装置２０Ａが算出してもよい。この場合、表示装置２０Ａは、算出した端末装置１０と、表示装置２０Ａとの相対位置に関する情報を、通信部２５を介して、端末装置１０に算出する。そして、表示制御部１７３は、例えば、算出部２６７が算出した端末装置１０と、表示装置２０Ａとの相対位置に基づいて、表示装置２０Ａに表示されているＶＲ空間上の仮想の端末装置の表示部に表示される撮影範囲を変更する。
　上述のとおり、本実施形態の第３変形例では、端末装置１０と、表示装置２０Ａとの相対位置は、表示装置２０Ａがセンサの検出結果に基づいて算出する。これにより、第３変形例では、設計の自由度を向上させることができる。
　以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の端末装置、方法、およびプログラムは、例えば、ユーザが頭部に装着するＨＭＤなどのウエラブルデバイスに利用することができる。
　１　情報処理システム
　１０，１０Ａ，１０Ｂ　端末装置
　１１，２１　撮像部
　１２，２２　表示部
　１３，２３　音声出力部
　１４，２４　操作部
　１５，３２　記憶部
　１６，２５，３１　通信部
　１７，１７Ａ，１７Ｂ，２６，２６Ａ，３３　制御部
　１８，２７　センサ
　２０　表示装置
　３０　サーバ
　１７１，２６７　算出部
　１７２　映像データ取得部
　１７３，２６２　表示制御部
　１７４，２６３　出力制御部
　１７５，２６４　操作制御部
　１７６，２６５　撮像制御部
　１７７　記憶制御部
　１７８，２６６　通信制御部
　１７９　姿勢検出部
　２６１　取得部

Claims (5)

  1. 　ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出する算出部と、
    　前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更する表示制御部と、
    　前記表示制御部が変更した撮影範囲で撮影された仮想現実上の映像に関する映像データを取得する映像データ取得部と、
    　を備える、端末装置。
  2. 　前記映像データ取得部は、外部の撮像装置もしくは前記表示装置の撮像部によって撮影された前記端末装置の表示部に表示された識別子の映像に関する映像データを取得し、または前記端末装置の撮像部によって撮影された前記表示装置に設けられた識別子の映像に関する映像データを取得し
    　前記算出部は、前記識別子の映像データに基づいて前記相対位置を算出する、
    　請求項１に記載の端末装置。
  3. 　前記ユーザの姿勢を検出する姿勢検出部を備え、
    　前記表示制御部は、前記表示装置に表示されている前記ユーザのアバターの姿勢を、前記姿勢検出部が検出した前記ユーザの姿勢に応じて変更する、
    　請求項１または２に記載の端末装置。
  4. 　ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、
    　前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、
    　変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、
    　を含む、方法。
  5. 　ユーザによって使用される仮想現実を表示する表示装置と、端末装置との相対位置を算出するステップと、
    　前記相対位置に基づいて、前記表示装置に表示されている仮想現実上で撮影する撮影範囲を変更するステップと、
    　変更された撮影範囲で撮影された仮想現実上の映像に関する映像データを取得するステップと、
    　をコンピュータに実行させる、プログラム。
PCT/JP2020/047829 2020-08-31 2020-12-22 端末装置、方法、およびプログラム WO2022044357A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/172,357 US12086924B2 (en) 2020-08-31 2023-02-22 Terminal device, method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-146358 2020-08-31
JP2020146358A JP2022041258A (ja) 2020-08-31 2020-08-31 端末装置、方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/172,357 Continuation US12086924B2 (en) 2020-08-31 2023-02-22 Terminal device, method, and computer program

Publications (1)

Publication Number Publication Date
WO2022044357A1 true WO2022044357A1 (ja) 2022-03-03

Family

ID=80355024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047829 WO2022044357A1 (ja) 2020-08-31 2020-12-22 端末装置、方法、およびプログラム

Country Status (3)

Country Link
US (1) US12086924B2 (ja)
JP (1) JP2022041258A (ja)
WO (1) WO2022044357A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033257A (ja) * 2005-07-27 2007-02-08 Canon Inc 情報処理方法および装置
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2017146651A (ja) * 2016-02-15 2017-08-24 株式会社コロプラ 画像処理方法及び画像処理プログラム
JP2019020908A (ja) * 2017-07-13 2019-02-07 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2019061434A (ja) * 2017-09-26 2019-04-18 株式会社コロプラ プログラム、情報処理装置、情報処理システム、および情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US10438394B2 (en) 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP7275480B2 (ja) 2018-05-31 2023-05-18 凸版印刷株式会社 Ｖｒにおける多人数同時操作システム、方法、およびプログラム
JP2020035392A (ja) 2018-08-31 2020-03-05 真一 福重 遠隔コミュニケーションシステム等
JP2020091897A (ja) 2020-02-25 2020-06-11 株式会社ドワンゴ 情報表示端末、情報送信方法、コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033257A (ja) * 2005-07-27 2007-02-08 Canon Inc 情報処理方法および装置
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2017146651A (ja) * 2016-02-15 2017-08-24 株式会社コロプラ 画像処理方法及び画像処理プログラム
JP2019020908A (ja) * 2017-07-13 2019-02-07 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2019061434A (ja) * 2017-09-26 2019-04-18 株式会社コロプラ プログラム、情報処理装置、情報処理システム、および情報処理方法

Also Published As

Publication number Publication date
US20230206546A1 (en) 2023-06-29
US12086924B2 (en) 2024-09-10
JP2022041258A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
CN106973228B (zh) 一种拍摄方法及电子设备
US8514285B2 (en) Image processing apparatus, image processing method and program
JP6723512B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7000050B2 (ja) 撮像制御装置及びその制御方法
JP2013162487A (ja) 画像表示装置及び撮像装置
WO2015072166A1 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
JP2007251429A (ja) 動画撮影装置及びズーム調整方法
JP6921031B2 (ja) 制御装置及び撮影方法
JP2015012304A (ja) 画像処理装置、画像処理方法、及び、プログラム
CN110291777B (zh) 图像采集方法、设备及机器可读存储介质
JP2021525043A (ja) タイムラプス撮影の制御方法および制御装置、撮像システムならびにプログラム
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
CN117319790A (zh) 基于虚拟现实空间的拍摄方法、装置、设备及介质
JP5200800B2 (ja) 撮影装置及び撮影システム
WO2022014170A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
CN111756992A (zh) 一种可穿戴设备跟拍的方法及可穿戴设备
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
WO2022044357A1 (ja) 端末装置、方法、およびプログラム
JP7350510B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN112927372A (zh) 电子装置、电子装置的控制方法及存储介质
KR102514702B1 (ko) 사진 촬영 이미지를 생성하기 위한 모바일 단말기 및 사진 촬영 이미지를 생성하는 방법
CN114625468B (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114612637B (zh) 一种场景画面显示方法、装置、计算机设备及存储介质
JP6261191B2 (ja) 表示制御装置、表示制御方法、プログラム
WO2022041013A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951606

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20951606

Country of ref document: EP

Kind code of ref document: A1