WO2017212999A1 - 映像生成装置及び映像生成方法、及び映像生成プログラム - Google Patents

映像生成装置及び映像生成方法、及び映像生成プログラム Download PDF

Info

Publication number
WO2017212999A1
WO2017212999A1 PCT/JP2017/020259 JP2017020259W WO2017212999A1 WO 2017212999 A1 WO2017212999 A1 WO 2017212999A1 JP 2017020259 W JP2017020259 W JP 2017020259W WO 2017212999 A1 WO2017212999 A1 WO 2017212999A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
data
video generation
video
avatar data
Prior art date
Application number
PCT/JP2017/020259
Other languages
English (en)
French (fr)
Inventor
加藤　勝也
泰弘 浜口
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/307,041 priority Critical patent/US20190221022A1/en
Publication of WO2017212999A1 publication Critical patent/WO2017212999A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Definitions

  • the present invention relates to a video generation device, a video generation method, and a video generation program.
  • Patent Literature 1 describes a display method in which a display object in a virtual space is displayed in a real space and used as an operation object.
  • Patent Document 1 requires a user's conscious operation, and there is a problem that the user's movement cannot be input and the result cannot be output as easily recognized information.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a video generation apparatus, a video generation method, and a video generation program that take a user's movement as an input and display the result as visual information. It is to provide.
  • the configuration of a video generation device, a video generation method, and a video generation program according to an aspect of the present invention is as follows.
  • An image generation apparatus is an image generation apparatus that generates a 3D pseudo-space image, the motion detection unit calculating at least one of a change in position, orientation, and angle of the image generation apparatus;
  • An avatar data generation unit that generates first avatar data and second avatar data including avatar coordinates, avatar motion, and model data in a 3D pseudo space, control data that controls the avatar, and the motion detection unit
  • An avatar data selection unit that selects an avatar based on the data calculated in step 3; a 3D video generation unit that generates the 3D pseudo-space image based on the selected avatar data and the data calculated by the motion calculation unit;
  • a video display unit for displaying the 3D pseudo-space video.
  • the data output from the motion detection unit includes a movement distance that is the change in the position
  • the avatar data selection unit includes pace data indicating a pace imposed on the user. And if the movement of the user satisfies the pace, the first avatar data is selected, and if the movement of the user does not satisfy the pace, the second avatar data is select.
  • the avatar data selection unit selects the first avatar data when the visible number of satellites used by the motion detection unit satisfies a predetermined number, and the visible data If the number does not satisfy the predetermined number, the second avatar data is selected.
  • a component that is different from a user's traveling direction of the avatar coordinate of the first avatar data is different from a user's traveling direction of the avatar coordinate of the second avatar data. Ingredients are different.
  • the avatar motion of the first avatar data is different from the avatar motion of the second avatar data.
  • the model data of the first avatar data is different from the model data of the second avatar data.
  • the color set by the model data of the first avatar data is different from the color set by the model data of the second avatar data.
  • An image generation method is an image generation method for generating a 3D pseudo-space image, and calculates at least one of a change in position, orientation, and angle of a device in which the image generation method is mounted.
  • a motion detection process, an avatar data generation process for generating first avatar data and second avatar data including avatar coordinates, avatar motion, and model data in the 3D pseudo space, and calculation by the motion calculation unit A 3D video generation process for generating the 3D pseudo-space video, and a video display process for displaying the 3D pseudo-space video based on the obtained data.
  • the video generation program causes a computer to execute the above-described video generation method.
  • the video generation apparatus can input a user's movement and display the result as visual information.
  • FIG. 1 is a diagram illustrating an example of a video generation apparatus 10 according to the present embodiment.
  • the video generation device 10 in the present embodiment includes a control unit (control step) 101, a motion calculation unit (motion calculation step) 102, an avatar data generation unit (avatar data generation step) 103, and avatar data selection.
  • the video generation device 10 can be realized by a glasses-type terminal.
  • the video generation device 10 may not include the video display unit 106.
  • the video generation device 10 may simply output a signal from the 3D video generation unit 105.
  • the video display unit 106 can be a glasses-type terminal.
  • the control unit 101 controls the video generation device 10. For example, the control unit 101 outputs control data to control the motion calculation unit 102, the avatar data generation unit 103, and the avatar data selection unit 104. Although no arrow is shown in the figure, the control unit 101 can control the 3D video generation unit 105 and the video display unit 106.
  • the motion calculation unit 102 calculates the moving distance of the video generation device 10.
  • Motion calculation includes GPS (Global Positioning System) sensor, GNSS (Global Navigation Satellite System) sensor, IMES (Indoor Messaging System) sensor, Bluetooth (registered trademark) sensor, UWB (Ultra Wide Band) sensor, wireless LAN sensor, and acoustic wave sensor. It can be realized by a visible light sensor, an infrared sensor, a rotation detection sensor, a geomagnetic sensor, or the like.
  • the motion calculation unit 102 outputs the calculated moving distance to the avatar data selection unit 104 and the 3D video generation unit 105.
  • the motion calculation unit 102 may calculate not only the change in the position of the video generation device 10 but also the orientation and angle of the video generation device 10.
  • the avatar data generation unit 103 generates the position, orientation, speed, speed, motion (avatar motion), model data, and the like of the avatar to be displayed on the video display unit 106.
  • the control unit 101 can output the avatar movement pace data to the avatar data generation unit 103.
  • the avatar data generation unit 103 can generate the avatar position, orientation, speed, speed, motion, and the like based on the input pace data.
  • the avatar data generation unit 103 can generate first avatar data and second avatar data.
  • the avatar data generation unit 103 outputs the first avatar data and the second avatar data to the avatar data selection unit 104.
  • the avatar data selection unit 104 selects either the first avatar data or the second avatar data input from the avatar data generation unit 103 based on the movement distance input from the motion calculation unit 102.
  • the avatar data selection unit 104 outputs the selected avatar data to the 3D video generation unit 105.
  • the avatar data generation unit 103 selects the first avatar data when the movement distance satisfies the pace data determined by the control unit 101, and selects the second avatar data when the movement distance does not satisfy the pace data. If the avatar data is different, the video generated by the 3D video generation unit 105 is also different. By doing in this way, the user wearing the video generation device 10 can know whether or not he / she can satisfy the pace data based on the difference in the video.
  • the first avatar data and the second avatar data can be selected based on the accuracy of the movement distance output by the motion calculation unit 102.
  • the user wearing the video generation device 10 can know the accuracy of his / her movement distance based on the difference in video.
  • the avatar data selection unit 104 selects the first avatar data when the number of visible GNSS satellites exceeds a predetermined threshold, and selects the second avatar data when the condition is not satisfied. it can.
  • the avatar data selection unit 104 may select the first avatar data and the second avatar data using the orientation and angle of the video generation device 10 input from the motion calculation unit 102. By doing in this way, the kind of user's motion used as an input can be increased.
  • the 3D video generation unit 105 generates a 3D video based on the movement distance input from the motion calculation unit 102 and the avatar data input from the avatar data selection unit 104.
  • the 3D video generation unit 105 can set model data including motion data for bones, bones and polygons, texture data, rigid body data for physical operations, and the like.
  • the display of the avatar on the video display unit 106 can be changed by the 3D video generation unit 105 changing the model data.
  • the avatar data input from the avatar data selection unit 104 may include model data. Specifically, when an avatar in a 3D pseudo space is projected onto the camera, one image that is reflected on the camera is generated.
  • the 3D video generation unit 105 can determine the camera coordinates based on the movement distance input from the motion calculation unit 102.
  • the 3D video generation unit 105 When the video display unit 106 supports stereo display, two cameras are set based on the movement distance input from the motion calculation unit 102, and two videos with parallax for the left eye and the right eye are generated. May be.
  • the 3D video generation unit 105 outputs the generated one or two videos to the video display unit 106.
  • the 3D video generation unit 105 may generate a 3D video using the orientation and angle of the video generation device 10 input from the motion calculation unit 102. By doing in this way, the freedom degree of the image
  • the video display unit 106 displays the video input from the 3D video generation unit 105.
  • the video display unit 106 is mounted on a glasses-type terminal or a smart glass.
  • the glasses-type terminal can realize an avatar AR (Augmented Reality) display.
  • the glasses-type terminal has displays on both eyes and two images are input from the 3D image generation unit 105, the images can be displayed on the left eye and right eye displays.
  • FIG. 2 shows an example of functions provided by the video generation device 10.
  • FIG. 2 shows a state where the user 202 has run on the route 201.
  • the movement distance calculated by the motion calculation unit 102 in FIG. 1 can be the length of the path 201.
  • the user 202 is wearing a glasses-type terminal 203 as an example of the video generation device 10.
  • the video to be displayed on the display (video display unit 106) of the glasses-type terminal 203 is generated based on the 3D pseudo space 21.
  • the x axis is horizontal
  • the y axis is vertical
  • the z axis is front.
  • the camera 211 represents the position and orientation of the glasses-type terminal 203 in the pseudo space.
  • a coordinate 213 is the z coordinate of the camera 211.
  • the value of the coordinate 213 can be a movement distance calculated by the motion calculation unit 102 in FIG.
  • the coordinate 214 is the z coordinate of the avatar 212 and changes at a set pace.
  • FIG. 3 shows an example in which the x-coordinate of the coordinate 214 in FIG. 2 differs between the first avatar data and the second avatar data.
  • the screen 30 is an example of a case where the user is delayed from the pace data, and the avatar 301 is displayed so as to run forward in the distance.
  • the screen 31 is an example of a case where the user can satisfy the pace data, and the avatar 311 is displayed not only close but also horizontally. By doing in this way, even if an avatar runs in front of a user, a user can know whether he can fill pace data.
  • the color of the avatar may be different between the first avatar data and the second avatar data.
  • the model data may be different between the first avatar data and the second avatar data.
  • the above-described avatar data may be changed. In this way, the user can know that he is at a position where the satellite cannot be seen.
  • Whether the user can meet the pace and whether the number of satellites viewed by the video generation device 10 is sufficient may be simultaneously output as video. For example, whether the user can meet the pace may be displayed in the example shown in FIG. 3, and whether the number of satellites is insufficient may be displayed by a color change.
  • the video generation apparatus, the video generation method, and the program that operates in the video generation program according to the present invention are a program that controls a CPU or the like (a computer is caused to function) so as to realize the functions of the above embodiments according to the present invention.
  • Program Information handled by these devices is temporarily stored in the RAM at the time of processing, then stored in various ROMs and HDDs, read out by the CPU, and corrected and written as necessary.
  • a recording medium for storing the program a semiconductor medium (for example, ROM, nonvolatile memory card, etc.), an optical recording medium (for example, DVD, MO, MD, CD, BD, etc.), a magnetic recording medium (for example, magnetic tape, Any of a flexible disk etc. may be sufficient.
  • the processing is performed in cooperation with the operating system or other application programs.
  • the functions of the invention may be realized.
  • the program when distributing to the market, can be stored and distributed on a portable recording medium, or transferred to a server computer connected via a network such as the Internet.
  • the storage device of the server computer is also included in the present invention.
  • part or all of the video generation apparatus, the video generation method, and the video generation program in the above-described embodiments may be realized as an LSI that is typically an integrated circuit.
  • Each functional block of the receiving apparatus may be individually chipped, or a part or all of them may be integrated into a chip. When each functional block is integrated, an integrated circuit controller for controlling them is added.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit based on the technology can also be used.
  • the present invention is not limited to the above-described embodiment. It goes without saying that the video generation device of the present invention is not limited to application to a mobile station device, but can be applied to portable devices, wearable devices, and the like.
  • the present invention is suitable for use in a video generation device, a video generation method, and a video generation program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

映像生成装置はユーザの動きを入力とし、その結果を視覚的な情報で表示する。３Ｄ擬似空間映像を生成する映像生成装置であって、前記映像生成装置の位置、向き、角度の変化の少なくとも１つを算出する動き検出部と、前記３Ｄ擬似空間におけるアバター座標、アバターモーション、モデルデータを含んで構成される第１のアバターデータと第２のアバターデータを生成するアバターデータ生成部と、前記アバターを制御する制御データと前記動き検出部で算出したデータとに基づいてアバターを選択するアバターデータ選択部と、前記選択されたアバターデータと前記動き算出部で算出したデータに基づいて、前記３Ｄ擬似空間映像を生成する３Ｄ映像生成部と、前記３Ｄ擬似空間映像を表示する映像表示部と、を備える。

Description

映像生成装置及び映像生成方法、及び映像生成プログラム
　本発明は、映像生成装置、映像生成方法、及び映像生成プログラムに関する。
　近年、メガネ型端末やスマートグラス等のウエアラブル機器が注目されている。特許文献１には、仮想空間内の表示オブジェクトを実空間に表示させ、それを操作オブジェクトとして用いる表示方法が記載されている。
ＷＯ２０１４／１２８７８７
　しかしながら、特許文献１に記載の方法ではユーザの意識的な操作が必要であり、ユーザの動きを入力とし、その結果を認識しやすい情報として出力することはできないという問題がある。
　本発明はこのような事情に鑑みてなされたものであり、その目的は、ユーザの動きを入力とし、その結果を視覚的な情報で表示する映像生成装置、映像生成方法、及び映像生成プログラムを提供することにある。
　上述した課題を解決するために本発明の一態様に係る映像生成装置、映像生成方法、及び映像生成プログラムの構成は、次の通りである。
　本発明の一態様による映像生成装置は、３Ｄ擬似空間映像を生成する映像生成装置であって、前記映像生成装置の位置、向き、角度の変化の少なくとも１つを算出する動き検出部と、前記３Ｄ擬似空間におけるアバター座標、アバターモーション、モデルデータを含んで構成される第１のアバターデータと第２のアバターデータを生成するアバターデータ生成部と、前記アバターを制御する制御データと前記動き検出部で算出したデータとに基づいてアバターを選択するアバターデータ選択部と、前記選択されたアバターデータと前記動き算出部で算出したデータに基づいて、前記３Ｄ擬似空間映像を生成する３Ｄ映像生成部と、前記３Ｄ擬似空間映像を表示する映像表示部と、を備える。
　また、本発明の一態様による映像生成装置において、前記動き検出部が出力するデータは前記位置の変化である移動距離を含み、前記アバターデータ選択部は、ユーザに課されるペースを示すペースデータと前記位置の変化とに基づいて、前記ユーザの移動が前記ペースを満たす場合、前記第１のアバターデータを選択し、前記ユーザの移動が前記ペースを満たさない場合、前記第２のアバターデータを選択する。
　また、本発明の一態様による映像生成装置において、前記アバターデータ選択部は、前記動き検出部が用いる衛星の可視数が所定の数を満たす場合、前記第１のアバターデータを選択し、前記可視数が前記所定の数を満たさない場合、前記第２のアバターデータを選択する。
　また、本発明の一態様による映像生成装置において、前記第１のアバターデータの前記アバター座標のユーザの進行方向と異なる成分が、前記第２のアバターデータの前記アバター座標のユーザの進行方向と異なる成分が異なる。
　また、本発明の一態様による映像生成装置において、前記第１のアバターデータの前記アバターモーションは、前記第２のアバターデータの前記アバターモーションと異なる。
　また、本発明の一態様による映像生成装置において、前記第１のアバターデータの前記モデルデータは、前記第２のアバターデータの前記モデルデータと異なる。
　また、本発明の映像生成装置において、前記第１のアバターデータの前記モデルデータが設定する色は、前記第２のアバターデータの前記モデルデータが設定する色と異なる。
　本発明の一態様による映像生成方法は、３Ｄ擬似空間映像を生成する映像生成方法であって、前記映像生成方法を実装している装置の位置、向き、角度の変化の少なくとも１つを算出する動き検出過程と、前記３Ｄ擬似空間におけるアバター座標、アバターモーション、モデルデータを含んで構成される第１のアバターデータと第２のアバターデータを生成するアバターデータ生成過程と、前記動き算出部で算出したデータに基づいて、前記３Ｄ擬似空間映像を生成する３Ｄ映像生成過程と、前記３Ｄ擬似空間映像を表示する映像表示過程と、を備える。
　本発明の一態様による映像生成プログラムは、上述した映像生成方法をコンピュータに実行させる。
　本発明によれば、映像生成装置は、ユーザの動きを入力とし、その結果を視覚的な情報で表示することができる。
本実施形態に係る映像生成装置の構成を示す概略ブロック図である。 本実施形態における機能の一例を示す図である。 本実施形態における映像生成装置が出力する映像の一例を示す図である。
　（第１の実施形態）
　図１は、本実施形態に係る映像生成装置１０の例を示す図である。図１に示すように、本実施形態における映像生成装置１０は、制御部（制御ステップ）１０１、動き算出部（動き算出ステップ）１０２、アバターデータ生成部（アバターデータ生成ステップ）１０３、アバターデータ選択部（アバターデータ選択ステップ）１０４、３Ｄ映像生成部（3D映像生成ステップ）１０５、映像表示部（映像表示ステップ）１０６を含んで構成される。例えば、映像生成装置１０はメガネ型端末で実現することができる。なお、映像生成装置１０が映像表示部１０６を含まなくても良い。例えば、映像生成装置１０は、３Ｄ映像生成部１０５からの信号を出力するだけでも良い。その場合、例えば映像表示部１０６がメガネ型端末となることができる。
　制御部１０１は、映像生成装置１０を制御する。例えば、制御部１０１は、動き算出部１０２、アバターデータ生成部１０３、アバターデータ選択部１０４を制御するために制御データを出力する。図に矢印が記載されていないが、制御部１０１は３Ｄ映像生成部１０５や映像表示部１０６を制御することができる。
　動き算出部１０２は、映像生成装置１０の移動距離を算出する。動き算出は、ＧＰＳ（Global Positioning System）センサ、ＧＮＳＳ（Global Navigation Satellite System）センサ、ＩＭＥＳ（Indoor Messaging System）センサ、Ｂｌｕｅｔｏｏｔｈ（登録商標）センサ、ＵＷＢ（Ultra Wide Band）センサ、無線ＬＡＮセンサ、音波センサ、可視光センサ、赤外線センサ、回転検出センサ、地磁気センサ等で実現することができる。動き算出部１０２は、算出した移動距離をアバターデータ選択部１０４と３Ｄ映像生成部１０５に出力する。
　なお、動き算出部１０２は映像生成装置１０の位置の変化だけでなく、映像生成装置１０の向きや角度を算出しても良い。
　アバターデータ生成部１０３は、映像表示部１０６で表示させるアバターの位置、向き、速度、速さ、モーション（アバターモーション）、モデルデータ等を生成する。例えば、制御部１０１がアバターデータ生成部１０３にアバターの動くペースデータを出力することができる。アバターデータ生成部１０３は、入力されたペースデータに基づいてアバターの位置、向き、速度、速さ、モーション等を生成することができる。アバターデータ生成部１０３は、第１のアバターデータと第２のアバターデータを生成することができる。アバターデータ生成部１０３は、第１のアバターデータと第２のアバターデータをアバターデータ選択部１０４に出力する。
　アバターデータ選択部１０４は、動き算出部１０２から入力される移動距離に基づいて、アバターデータ生成部１０３から入力される第１のアバターデータと第２のアバターデータのどちらかを選択する。アバターデータ選択部１０４は、選択したアバターデータを３Ｄ映像生成部１０５に出力する。例えば、アバターデータ生成部１０３は、移動距離が制御部１０１で決定されたペースデータを満たせている場合に第１のアバターデータを選択し、満たせていない場合に第２のアバターデータを選択する。アバターデータが異なると、３Ｄ映像生成部１０５が生成する映像も異なる。このようにすることで、映像生成装置１０を装着しているユーザは、映像の違いに基づいて、自分がペースデータを満たせているかどうかを知ることができる。または、動き算出部１０２が出力する移動距離の精度に基づいて、第１のアバターデータと第２のアバターデータを選択することができる。このようにすることで、映像生成装置１０を装着しているユーザは、映像の違いに基づいて、自分の移動距離の精度を知ることができる。例えば、アバターデータ選択部１０４は、可視ＧＮＳＳ衛星の数が定められた閾値を上回っている場合に第１のアバターデータを選択し、条件を満たさない場合に第２のアバターデータを選択することができる。なお、アバターデータ選択部１０４は、動き算出部１０２から入力される映像生成装置１０の向きや角度を用いて第１のアバターデータと第２のアバターデータを選択しても良い。このようにすることで、入力として用いるユーザの動きの種類を増加させることができる。
　３Ｄ映像生成部１０５は、動き算出部１０２から入力される移動距離と、アバターデータ選択部１０４から入力されるアバターデータに基づいて３Ｄ映像を生成する。具体的に、３Ｄ映像生成部１０５は、ボーンに対するモーションデータと、ボーンとポリゴン、テクスチャデータと物理演算用の剛体データ等から構成されるモデルデータを設定することができる。３Ｄ映像生成部１０５がモデルデータを変更することで、映像表示部１０６におけるアバターの表示を変更することができる。アバターデータ選択部１０４から入力されるアバターデータがモデルデータを含んでも良い。具体的に、３Ｄの擬似空間でのアバターがカメラに投影されたときに、カメラに映る１つの映像を生成する。３Ｄ映像生成部１０５は、カメラの座標を、動き算出部１０２から入力される移動距離に基づいて決定することができる。なお、映像表示部１０６がステレオ表示対応の場合は、動き算出部１０２から入力される移動距離から２台のカメラを設定し、左眼用と右眼用の視差のある２つの映像を生成しても良い。３Ｄ映像生成部１０５は、生成した１つまたは２つの映像を映像表示部１０６に出力する。なお、３Ｄ映像生成部１０５は、動き算出部１０２から入力される映像生成装置１０の向きや角度を用いて３Ｄ映像を生成しても良い。このようにすることで、表示する映像の自由度を増加させることができる。
　映像表示部１０６は、３Ｄ映像生成部１０５から入力される映像を表示する。例えば、映像表示部１０６は、メガネ型端末やスマートグラスに実装される。このようにすることで、メガネ型端末は、アバターのＡＲ（Augmented Reality: 拡張現実）表示を実現することができる。メガネ型端末が両眼にディスプレイを持ち、３Ｄ映像生成部１０５から２つの映像が入力される場合、左眼と右眼のそれぞれのディスプレイで表示することができる。
　図２は、映像生成装置１０が提供する機能の一例である。図２は、経路２０１をユーザ２０２が走った状態を表す。図１の動き算出部１０２が算出する移動距離は、経路２０１の長さとすることができる。ユーザ２０２は、映像生成装置１０の一例として、メガネ型端末２０３を装着している。メガネ型端末２０３のディスプレイ（映像表示部１０６）に表示する映像は、３Ｄの擬似空間２１に基づいて生成される。擬似空間２１において、ｘ軸が横、ｙ軸が縦、ｚ軸が前を表す。カメラ２１１は、擬似空間におけるメガネ型端末２０３の位置と向きを表す。アバター２１２は、設定されたペースで擬似空間内をｚ軸方向に移動する。座標２１３はカメラ２１１のｚ座標である。例えば、座標２１３の値は、図１の動き算出部１０２が算出する移動距離とすることができる。座標２１４は、アバター２１２のｚ座標であり、設定されたペースで変化する。カメラ２１１で得られる映像をメガネ型端末２０３のディスプレイに表示することで、ユーザ２０２は実空間でアバター２１２を追いかけているようなランニングを行なうことができる。なお、アバター２１２は、例えば、ユーザ２０２が正しいペースで走っている場合に、ユーザ２０２よりｚ座標が３ｍ大きい、とすることができる。このようにすることで、メガネ型端末２０３の視野角が小さくても上述した機能を実現することができる。
　図３は、図２の座標２１４のｘ座標が、第１のアバターデータと第２のアバターデータで異なる場合の一例である。画面３０は、ユーザがペースデータから遅れている場合の一例であり、アバター３０１は遠くを前向きに走っているように表示されている。画面３１は、ユーザがペースデータを満たせている場合の一例であり、アバター３１１は、近づくだけでなく、横に表示されている。このようにすることで、アバターがユーザの前を走る場合であっても、ユーザは、自分がペースデータを満たせているかどうかを知ることができる。
　なお、第１のアバターデータと第２のアバターデータで、アバターの色が異なっても良い。第１のアバターデータと第２のアバターデータで、モデルデータが異なっても良い。
　なお、映像生成装置１０から視えているＧＰＳ衛星やＧＮＳＳ衛星の数が所定の数字を下まわった場合、上述したアバターデータの変更を行なっても良い。このようにすることで、ユーザは衛星の視えない位置にいることを知ることができる。ユーザがペースを満たせているかどうかと、映像生成装置１０が視えている衛星数が充分かどうかを同時に映像として出力しても良い。例えば、ユーザがペースを満たせているかどうかは図３に記載の一例で表示するようにし、衛星数が不足しているかどうかを色の変化で表示するようにしても良い。
　なお、本発明に係る映像生成装置、映像生成方法、及び映像生成プログラムで動作するプログラムは、本発明に関わる上記実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭに蓄積され、その後、各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。プログラムを格納する記録媒体としては、半導体媒体（例えば、ROM、不揮発性メモリカード等）、光記録媒体（例えば、DVD、MO、MD、CD、BD等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであっても良い。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
　また市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれる。また、上述した実施形態における映像生成装置、映像生成方法、及び映像生成プログラムの一部、または全部を典型的には集積回路であるＬＳＩとして実現しても良い。受信装置の各機能ブロックは個別にチップ化しても良いし、一部、または全部を集積してチップ化しても良い。各機能ブロックを集積回路化した場合に、それらを制御する集積回路制御部が付加される。
　また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
　なお、本願発明は上述の実施形態に限定されるものではない。本願発明の映像生成装置は、移動局装置への適用に限定されるものではなく、携帯型の機器や、ウエアラブル機器などに適用出来ることは言うまでもない。
　以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も請求の範囲に含まれる。
　本発明は、映像生成装置、映像生成方法、及び映像生成プログラムに用いて好適である。
　なお、本国際出願は、２０１６年６月６日に出願した日本国特許出願第２０１６－１１２４４８号に基づく優先権を主張するものであり、日本国特許出願第２０１６－１１２４４８号の全内容を本国際出願に援用する。
１０　映像生成装置
１０１　制御部
１０２　動き算出部
１０３　アバターデータ生成部
１０４　アバターデータ選択部
１０５　３Ｄ映像生成部
１０６　映像表示部
２０１　経路
２０２　ユーザ
２０３　メガネ型端末
２１　擬似空間
２１１　カメラ
２１２　アバター
２１３、２１４　座標
３０、３１　画面
３０１、３１１　アバター

Claims (9)

  1. 　３Ｄ擬似空間映像を生成する映像生成装置であって、
    　前記映像生成装置の位置、向き、角度の変化の少なくとも１つを算出する動き検出部と、
    　前記３Ｄ擬似空間におけるアバター座標、アバターモーション、モデルデータを含んで構成される第１のアバターデータと第２のアバターデータを生成するアバターデータ生成部と、
    　前記アバターを制御する制御データと前記動き検出部で算出したデータとに基づいてアバターを選択するアバターデータ選択部と、
    　前記選択されたアバターデータと前記動き算出部で算出したデータに基づいて、前記３Ｄ擬似空間映像を生成する３Ｄ映像生成部と、
    　前記３Ｄ擬似空間映像を表示する映像表示部と、
    　を備える映像生成装置。
  2. 　前記動き検出部が出力するデータは前記位置の変化である移動距離を含み、
    　前記アバターデータ選択部は、
    　ユーザに課されるペースを示すペースデータと前記位置の変化とに基づいて、前記ユーザの移動が前記ペースを満たす場合、前記第１のアバターデータを選択し、前記ユーザの移動が前記ペースを満たさない場合、前記第２のアバターデータを選択する請求項１に記載の映像生成装置。
  3. 　前記アバターデータ選択部は、
    　前記動き検出部が用いる衛星の可視数が所定の数を満たす場合、前記第１のアバターデータを選択し、前記可視数が前記所定の数を満たさない場合、前記第２のアバターデータを選択する請求項１または２に記載の映像生成装置。
  4. 　前記第１のアバターデータの前記アバター座標のユーザの進行方向と異なる成分が、前記第２のアバターデータの前記アバター座標のユーザの進行方向と異なる成分が異なる請求項１から３のいずれかに記載の映像生成装置。
  5. 　前記第１のアバターデータの前記アバターモーションは、前記第２のアバターデータの前記アバターモーションと異なる請求項１または４に記載の映像生成装置。
  6. 　前記第１のアバターデータの前記モデルデータは、前記第２のアバターデータの前記モデルデータと異なる請求項１から５のいずれかに記載の映像生成装置。
  7. 　前記第１のアバターデータの前記モデルデータが設定する色は、前記第２のアバターデータの前記モデルデータが設定する色と異なる請求項６に記載の映像生成装置。
  8. 　３Ｄ擬似空間映像を生成する映像生成方法であって、
    　前記映像生成方法を実装している装置の位置、向き、角度の変化の少なくとも１つを算出する動き検出過程と、
    　前記３Ｄ擬似空間におけるアバター座標、アバターモーション、モデルデータを含んで構成される第１のアバターデータと第２のアバターデータを生成するアバターデータ生成過程と、
    　前記動き算出部で算出したデータに基づいて、前記３Ｄ擬似空間映像を生成する３Ｄ映像生成過程と、
    　前記３Ｄ擬似空間映像を表示する映像表示過程と、
    　を備える映像生成方法。
  9. 　請求項８に記載の映像生成方法をコンピュータに実行させるための映像生成プログラム。
PCT/JP2017/020259 2016-06-06 2017-05-31 映像生成装置及び映像生成方法、及び映像生成プログラム WO2017212999A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/307,041 US20190221022A1 (en) 2016-06-06 2017-05-31 Video generation device, video generation method, and video generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-112448 2016-06-06
JP2016112448A JP2019133207A (ja) 2016-06-06 2016-06-06 映像生成装置及び映像生成方法、及び映像生成プログラム

Publications (1)

Publication Number Publication Date
WO2017212999A1 true WO2017212999A1 (ja) 2017-12-14

Family

ID=60578666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020259 WO2017212999A1 (ja) 2016-06-06 2017-05-31 映像生成装置及び映像生成方法、及び映像生成プログラム

Country Status (3)

Country Link
US (1) US20190221022A1 (ja)
JP (1) JP2019133207A (ja)
WO (1) WO2017212999A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377824A (zh) * 2019-07-15 2019-10-25 贝壳技术有限公司 信息推送方法、装置、计算机可读存储介质及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650349B1 (ko) * 2019-12-03 2024-03-22 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000136928A (ja) * 1998-11-02 2000-05-16 Shimizu Corp Ｇｐｓを利用した走行式地形測量装置
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
JP2013167941A (ja) * 2012-02-14 2013-08-29 Sony Corp 表示制御装置、表示制御方法、及びプログラム
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
WO2015033446A1 (ja) * 2013-09-06 2015-03-12 株式会社フューチャースコープ ランニング支援システムおよびこれに用いるヘッドマウントディスプレイ装置
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000136928A (ja) * 1998-11-02 2000-05-16 Shimizu Corp Ｇｐｓを利用した走行式地形測量装置
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
JP2013167941A (ja) * 2012-02-14 2013-08-29 Sony Corp 表示制御装置、表示制御方法、及びプログラム
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
WO2015033446A1 (ja) * 2013-09-06 2015-03-12 株式会社フューチャースコープ ランニング支援システムおよびこれに用いるヘッドマウントディスプレイ装置
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377824A (zh) * 2019-07-15 2019-10-25 贝壳技术有限公司 信息推送方法、装置、计算机可读存储介质及电子设备
CN110377824B (zh) * 2019-07-15 2020-06-05 贝壳找房(北京)科技有限公司 信息推送方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
JP2019133207A (ja) 2019-08-08
US20190221022A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
US10453175B2 (en) Separate time-warping for a scene and an object for display of virtual reality content
JP6979475B2 (ja) ヘッドマウントディスプレイ追跡
US10916063B1 (en) Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
US20180350032A1 (en) Smoothly varying foveated rendering
US11508116B2 (en) Method and system for automated camera collision and composition preservation
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US20150317831A1 (en) Transitions between body-locked and world-locked augmented reality
US10755486B2 (en) Occlusion using pre-generated 3D models for augmented reality
EP3106963B1 (en) Mediated reality
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
EP3832605B1 (en) Method and device for determining potentially visible set, apparatus, and storage medium
US10768711B2 (en) Mediated reality
EP3414645A1 (en) Limited field of view in virtual reality
JP7405085B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
CN112166397A (zh) 用于加速头戴式显示器的位置跟踪的装置、系统和方法
WO2017212999A1 (ja) 映像生成装置及び映像生成方法、及び映像生成プログラム
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6530453B2 (ja) ゲームプログラム及びゲームシステム
US20220207816A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
WO2017094313A1 (ja) 映像生成装置及び映像生成方法及び映像生成プログラム
US12033270B2 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
US10650595B2 (en) Mediated reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810178

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17810178

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP