WO2017208957A1 - 画像生成装置、画像生成システム、および画像生成方法 - Google Patents

画像生成装置、画像生成システム、および画像生成方法 Download PDF

Info

Publication number
WO2017208957A1
WO2017208957A1 PCT/JP2017/019505 JP2017019505W WO2017208957A1 WO 2017208957 A1 WO2017208957 A1 WO 2017208957A1 JP 2017019505 W JP2017019505 W JP 2017019505W WO 2017208957 A1 WO2017208957 A1 WO 2017208957A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint position
line
sight direction
delay time
Prior art date
Application number
PCT/JP2017/019505
Other languages
English (en)
French (fr)
Inventor
大輔 中田
一文 長
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Publication of WO2017208957A1 publication Critical patent/WO2017208957A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to an apparatus, system, and method for generating an image.
  • a game is played by operating a controller or the like while wearing a head-mounted display (HMD) connected to a game machine on the head and watching the screen displayed on the head-mounted display.
  • HMD head-mounted display
  • the user sees only the video displayed on the head mounted display, so that the sense of immersion in the video world is enhanced and the entertainment of the game is further enhanced.
  • a virtual reality image is displayed on the head mounted display, and the user wearing the head mounted display rotates the head, a virtual space around 360 degrees can be displayed.
  • the feeling of immersion in the video is enhanced and the operability of applications such as games is improved.
  • a head-mounted display is provided with a head tracking function and a virtual reality image is generated by changing the viewpoint and the line of sight in conjunction with the movement of the user's head
  • the virtual reality image is generated and displayed. Due to the latency, the user's head orientation assumed at the time of video generation and the user's head orientation at the time when the video is displayed on the head-mounted display, the user seems drunk May fall into a sense.
  • the virtual reality video generated by the server is received via the network and displayed on the client, the delay between the video generation and the display time increases because of a further network delay.
  • the present invention has been made in view of these problems, and an object thereof is to provide an image generation apparatus and an image generation method capable of displaying an image in consideration of latency from image generation to display. .
  • an image generation apparatus includes a delay time acquisition unit that acquires a delay time required to draw and display an image that is visible in a line-of-sight direction from a viewpoint position at a certain time.
  • a motion amount prediction unit that predicts at least one motion amount in the viewpoint position and the line-of-sight direction during the delay time, and a defect region generated in an image displayed in a display range determined by the viewpoint position and the line-of-sight direction after movement
  • a defect area calculation unit that is obtained based on the amount of movement; and an image generation unit that generates the image in an extended area including the defect area.
  • This image generation system is an image generation system in which a server and a client are connected via a network, and the server device has a delay required to draw and display an image that looks in the line-of-sight direction from a viewpoint position at a certain time.
  • a missing area calculation unit that obtains a missing area that occurs in an image to be generated based on the amount of motion, an image generation unit that generates the image in a range of an extended area including the missing area, and an image that transmits the image to a client device Including a providing unit.
  • the client device includes a reprojection unit that performs a process of shifting the image received from the server device according to the amount of motion.
  • Still another aspect of the present invention is an image generation apparatus.
  • This device is an image generation device that is mounted on a client connected to a server via a network, and obtains information about the viewpoint position and line-of-sight direction of a user wearing a wearable display and transmits the information to the server And an image generated in a range of an extended area including a missing area corresponding to at least one of the movement amount in the viewpoint position and the line-of-sight direction from the server, and shifting the received image according to the movement amount And a reprojection unit that provides the image to a wearable display.
  • Still another aspect of the present invention is an image generation method.
  • This method includes a step of acquiring a delay time required to draw and display an image that is visible in a line-of-sight direction from a viewpoint position at a certain time, and a movement amount of at least one of the viewpoint position and the line-of-sight direction during the delay time Predicting based on the amount of motion, the image in the range of the extended region including the defective region, the step of predicting the image, the step of obtaining a defective region generated in the image displayed in the display range determined by the viewpoint position and the line-of-sight direction after movement Generating.
  • an image can be displayed in consideration of latency from image generation to display.
  • FIG. 7A and FIG. 7B are diagrams for explaining reprojection.
  • FIG. 8A to FIG. 8C are diagrams for explaining a method of expanding the drawing area.
  • FIG. 9A and FIG. 9B are diagrams for explaining a method of using the extended drawing area. It is a flowchart which shows the procedure of the drawing area expansion process by the image generation apparatus which concerns on this Embodiment.
  • FIG. 1 is an external view of the head mounted display 100.
  • the head mounted display 100 is a display device that is worn on the user's head and enjoys still images and moving images displayed on the display, and listens to sound and music output from the headphones.
  • the position information of the head of the user wearing the head mounted display 100 and the posture information such as the rotation angle and inclination of the head can be measured by a gyro sensor or an acceleration sensor built in or externally attached to the head mounted display 100. .
  • the head mounted display 100 may further be provided with a camera for photographing the user's eyes.
  • the camera mounted on the head mounted display 100 can detect the user's gaze direction, pupil movement, blinking, and the like.
  • the head mounted display 100 is an example of a “wearable display”.
  • a method for generating an image displayed on the head mounted display 100 will be described.
  • the image generating method according to the present embodiment is not limited to the head mounted display 100 in a narrow sense, but a glasses, a glasses type display, a glasses type camera,
  • the present invention can also be applied when headphones, headsets (headphones with microphones), earphones, earrings, ear-mounted cameras, hats, hats with cameras, hair bands, and the like are attached.
  • FIG. 2 is a functional configuration diagram of the head mounted display 100.
  • the control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, commands and data.
  • the input interface 20 receives operation signals and setting signals from the user and supplies them to the control unit 10.
  • the output interface 30 receives the image signal from the control unit 10 and displays it on the display.
  • the backlight 32 supplies a backlight to the liquid crystal display.
  • the communication control unit 40 transmits data input from the control unit 10 to the outside by wired or wireless communication via the network adapter 42 or the antenna 44.
  • the communication control unit 40 also receives data from the outside via wired or wireless communication via the network adapter 42 or the antenna 44 and outputs the data to the control unit 10.
  • the storage unit 50 temporarily stores data, parameters, operation signals, and the like processed by the control unit 10.
  • the attitude sensor 64 detects attitude information such as the position, rotation angle, and tilt of the head mounted display 100.
  • the posture sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like. You may detect a back-and-forth, right-and-left and up-and-down movement of the user's head using a motion sensor that combines at least one of a three-axis geomagnetic sensor, a three-axis acceleration sensor, and a three-axis gyro (angular velocity) sensor.
  • the external input / output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 72 is an external memory such as a flash memory.
  • the clock unit 80 sets time information according to a setting signal from the control unit 10 and supplies time data to the control unit 10.
  • the control unit 10 can supply images and text data to the output interface 30 to be displayed on the display, or can be supplied to the communication control unit 40 and transmitted to the outside.
  • FIG. 3 is a configuration diagram of the image generation system according to the present embodiment.
  • the head mounted display 100 is connected to a client 200 such as a game machine, a personal computer, or a portable terminal through an interface 300 for connecting peripheral devices such as wireless communication or USB.
  • Client 200 is further connected to server 400 via network 600.
  • the server 400 can provide a cloud service.
  • the number of servers 400 is not limited to one, and there may be a plurality of servers, and a plurality of servers 400 may execute one task by distributed processing.
  • the server 400 can transmit virtual reality video to a plurality of clients 200 via the network 600.
  • a plurality of users wear head mounted displays 100 connected to their respective clients 200 and browse virtual reality images from their respective viewpoints.
  • FIG. 4 is a functional configuration diagram of the image generation apparatus 700 according to the present embodiment. This figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the image generation apparatus 700 is mounted on the server 400.
  • the image generation apparatus 700 is mounted on the client 200.
  • a part of the functional configuration of the image generation apparatus 700 may be mounted on the server 400 and the remaining functional configuration may be mounted on the client 200.
  • at least a part of the functions of the image generation apparatus 700 may be implemented in the control unit 10 of the head mounted display 100.
  • the zoom instruction acquisition unit 710 acquires the zoom magnification indicated by the user via the input interface 20 of the head mounted display 100.
  • the zoom magnification acquired by the zoom instruction acquisition unit 710 is supplied to the sensitivity adjustment unit 720 and the image processing unit 750.
  • the position / rotation information acquisition unit 730 acquires information related to the position and rotation of the head of the user wearing the head mounted display 100 based on the attitude information detected by the attitude sensor 64 of the head mounted display 100.
  • the position / rotation information acquisition unit 730 acquires the position and rotation of the user's head based on the sensitivity instructed from the sensitivity adjustment unit 720. For example, when the user turns his / her neck, the posture sensor 64 detects a change in the angle of the user's head, but the sensitivity adjustment unit 720 changes the detected angle until the change in angle exceeds a predetermined value. Is instructed to the position / rotation information acquisition unit 730 to ignore.
  • the sensitivity adjustment unit 720 adjusts the sensitivity of head angle detection based on the zoom magnification acquired from the zoom instruction acquisition unit 710. As the zoom magnification increases, the sensitivity of head angle detection decreases. When the zoom is performed, the angle of view becomes small. Therefore, the vibration of the display image due to the shaking of the head can be suppressed by reducing the sensitivity of the head angle detection.
  • the coordinate conversion unit 740 uses the position and rotation of the head mounted display 100 acquired by the position / rotation information acquisition unit 730 to perform coordinate conversion for generating an image to be displayed on the head mounted display 100 with a tracking function. Do.
  • the image processing unit 750 reads the image data from the image storage unit 760, and in accordance with the coordinate conversion by the coordinate conversion unit 740, a zoom instruction acquisition unit 710 displays an image that is seen in the line-of-sight direction from the viewpoint position of the user wearing the head mounted display 100. Are generated at the zoom magnification designated from the above and provided to the image providing unit 770.
  • the image data may be a moving image or a still image content created in advance, or may be rendered computer graphics.
  • the delay time acquisition unit 780 acquires a delay time required from drawing an image seen in the line-of-sight direction from the viewpoint position at a certain time until displaying it on the head mounted display 100. This delay time includes not only the time required for drawing processing but also the time required to transmit image data over the network.
  • the delay time acquisition unit 780 calculates the delay time based on the three-dimensional drawing hardware performance and the network usage band measured in real time.
  • the motion amount prediction unit 790 calculates the viewpoint position during the delay time obtained by the delay time acquisition unit 780 Predict the amount of movement in the line of sight.
  • the motion amount predicting unit 790 can obtain the motion amount in the viewpoint position and the line-of-sight direction by multiplying the translation speed and angular velocity of the head of the user wearing the head mounted display 100 by the delay time.
  • the missing area calculation unit 800 obtains a missing area generated in the image displayed in the display range of the camera angle of view of the head mounted display 100 after the viewpoint position and the line-of-sight direction are moved based on the viewpoint position and the amount of movement in the line-of-sight direction. .
  • the image processing unit 750 When the missing area is designated by the missing area calculation unit 800, the image processing unit 750 generates an image that can be seen from the user's viewpoint position in the line-of-sight direction within the extended area including the missing area. When there is no movement in the user's viewpoint position or line-of-sight direction and no missing area is designated by the missing area calculation unit 800, an image that is visible in the line-of-sight direction from the user's viewpoint position is generated in the normal drawing range.
  • the image providing unit 770 supplies the image data generated by the image processing unit 750 to the head mounted display 100.
  • FIG. 5 is a diagram for explaining an all-around image 500 displayed on the head mounted display 100.
  • an image 510a in the range of the angle of view 150a in the direction of the head mounted display 100a is displayed, and the user turns his neck and faces right front.
  • an image 510b in the range of the angle of view 150b in the direction of the head mounted display 100b is displayed.
  • the viewpoint position and the line-of-sight direction for viewing the all-around image displayed on the head-mounted display 100 change according to the movement of the head, it is possible to enhance the feeling of immersion in the all-around image.
  • FIG. 6 is a diagram for explaining the reason why the entire surrounding image displayed on the head mounted display 100 is delayed.
  • an image 510b in the range of the angle of view 150b in the direction of the head mounted display 100b is generated and displayed on the head mounted display 100.
  • the position and rotation of the head mounted display 100b have already changed as indicated by reference numeral 150c.
  • the image is visible in the range of 150b. Due to this time lag, an image slightly deviated from the direction in which the user is looking is displayed on the head mounted display 100, and the user may feel some kind of “drunk”.
  • the rotation of the head mounted display 100 is detected, the next drawing range is determined, the CPU issues a drawing command, the GPU (Graphics Processing Unit) executes the rendering, and the drawn image is the head mounted display. It takes time to output to 100. If drawing is performed at a frame rate of, for example, 60 fps (frames / second), even if the CPU is sufficiently high speed, one frame is required until the image is output after the rotation of the head mounted display 100 is detected. Delay occurs. This is about 16.67 milliseconds under a frame rate of 60 fps, which is a sufficient time for humans to detect a shift.
  • FIG. 7A and FIG. 7B are diagrams for explaining reprojection.
  • FIG. 7A shows the viewing frustum 910 when viewing the virtual space from the viewpoint 900.
  • an image 920 is displayed in the display range defined by the viewing frustum 910.
  • the generated image 920 is drawn as it is in the display range defined by the viewing frustum 910 as described in FIG. The user perceives the deviation.
  • the generated image 920 is displayed at a position shifted to the lower left from the position where it is originally displayed, and then the original display range defined by the viewing frustum 910 is correct.
  • reprojection it is possible to suppress a sense of incongruity that humans feel because the image does not instantaneously follow the movement of the head.
  • FIG. 8A to FIG. 8C are diagrams for explaining a method of extending the drawing area.
  • FIG. 8A shows a state where the image 920 is displayed in the display range defined by the view frustum 910 when the viewpoint 900 is stopped.
  • FIG. 8B when the viewpoint 900 is moving, the generated image 920 is displayed while being shifted from the display range defined by the view frustum 910 after the viewpoint is moved.
  • the drawn image data does not exist in the area indicated by reference numeral 930, and a missing area occurs in the image displayed in the display range. Therefore, as shown in FIG. 8C, an extended area 940 including a missing area 930 is set, and image data is generated using the extended area 940 as a drawing area.
  • FIG. 9A and 9 (b) are diagrams for explaining a method of using the extended drawing area.
  • FIG. 9A shows a state in which a part of the image drawn in the extended area 940 is displayed in the display range defined by the viewing frustum 910 when the viewpoint 900 is stopped.
  • FIG. 9B when the viewpoint 900 moves to the right, the display range defined by the view frustum 910 after moving the viewpoint shifts to the upper right, in other words, the generated image shifts to the lower left.
  • the extended area 940 where the image is generated is set to include the display range of the viewing frustum 910 after the viewpoint is moved, the image displayed in the display range of the viewing frustum 910 after the viewpoint is moved is displayed. No defect region occurs.
  • FIG. 10 is a flowchart showing the procedure of the drawing area expansion process performed by the image generation apparatus 700.
  • the server 400 acquires parameters determined at the time of initial setting, such as three-dimensional drawing hardware performance, and stores them in the storage unit as delay measurement parameters (S10).
  • the three-dimensional rendering hardware performance includes GPU processor speed, CPU processor speed, memory size, memory bandwidth, and the like.
  • the client 200 acquires parameters determined at the initial setting, such as the display resolution of the head mounted display 100, the camera angle of view, and the time interval for acquiring the movement of the head of the user wearing the head mounted display 100, and transmits them to the server.
  • the server stores the received time interval for acquiring the head movement in the storage unit as a motion prediction parameter, and stores the received display resolution and camera angle of view in the storage unit as a display range determination parameter (S12).
  • the client 200 acquires real-time measurement values such as the movement amount and speed of the user's head movement and transmits them to the server, and the server stores the received real-time measurement values in the storage unit as motion prediction parameters (S14).
  • the communication unit of the server 400 measures the communication speed of the network and stores it in the storage unit as a delay measurement parameter (S16).
  • the delay time acquisition unit 780 of the server 400 calculates the time required for drawing processing and transmission of the drawing result as the delay time from the delay measurement parameters stored in the storage unit (S18).
  • the delay measurement parameters used here are the network bandwidth, three-dimensional drawing hardware performance, and the like.
  • the motion amount prediction unit 790 of the server 400 calculates the motion amount of the user's head during the delay time from the motion prediction parameters stored in the storage unit (S20).
  • the motion prediction parameters used here include a time interval for acquiring a user's head movement, an angular velocity of the head movement, a translation velocity, and the like.
  • the missing area calculation unit 800 of the server 400 calculates the missing area of the image displayed in the display range after the head is moved based on the display range determination parameter and the amount of movement of the head (S22). When the head moves, the display range also moves, and a defective area is generated in the drawn image.
  • the missing area calculation unit 800 of the server 400 draws an image within the extended area including the missing area (S24).
  • the server 400 transmits the drawing result of the extended area range to the client 200 (S26).
  • the client 200 performs reprojection processing, cuts out a portion that is visible in the line-of-sight direction from the viewpoint position after movement from the drawing result of the received extended area, and outputs it to the head mounted display 100 (S28). Since an area that is originally damaged by moving the image by reprojection is drawn in advance as an extended area, even if a portion that looks in the line-of-sight direction from the moved viewpoint position is cut out from the drawing result, the lost portion does not occur in the image .
  • step S30 If there is a movement on the user's head (Y in S30), the process returns to step S14 and the subsequent processing is repeated. If there is no movement in the user's head (N in S30), the drawing area expansion process is terminated and the normal drawing process is resumed.
  • the delay time includes the time required for the client 200 to perform drawing processing.
  • the same drawing area expansion processing can be applied except that the time required for communication is not included.
  • the defect region is predicted in advance so that the image drawn in the field of view of the head mounted display 100 does not occur due to the movement of the user's head. , Extend the drawing area. As a result, even if there is a delay due to drawing processing or communication, the image to be drawn is not lost, and it becomes difficult for the user to perceive the delay, and sickness can be prevented.
  • the first use case is a form in which drawing is executed on the cloud server and the drawing result is transmitted to the client. Since it is possible to prepare hardware with higher performance than the device at hand of the user on the cloud server, even if the drawing area is expanded, the drawing process can be executed without load compared to the device at the user's hand Can do.
  • the second use case is a form in which processing is distributed to a plurality of external devices on the network, drawing is performed, and the drawing result is transmitted to the client.
  • External devices connected to the network share a part of the drawing process, and the drawing results are collected in a device at hand of the user, synthesized, and output.
  • the extended area may be divided and processing may be shared by a plurality of external devices. Since a plurality of external devices share and execute the drawing process, the drawing process can be executed without load compared with the device at hand of the user even if the drawing area is expanded.
  • the third use case is a form in which a device at hand of a user extends a drawing area and performs drawing without connecting to a network. If the device at hand of the user has sufficient three-dimensional drawing performance, drawing output in which the delay in drawing processing is concealed can be performed by drawing area expansion processing.
  • the fourth use case is a form in which reproduction of moving image content around 360 degrees is executed by the cloud server, and only an area that is visible in the user's line of sight is cut out and transmitted to the client.
  • playback of high-resolution content such as 4K resolution and 8K resolution requires high-performance hardware, and an environment that provides higher-performance hardware than a terminal at hand such as a cloud service is required.
  • a cloud service is required.
  • control units 20 input interfaces, 30 output interfaces, 32 backlights, 40 communication control units, 42 network adapters, 44 antennas, 50 storage units, 64 attitude sensors, 70 external input / output terminal interfaces, 72 external memory, 80 clock units , 100 head-mounted display, 200 client, 300 interface, 400 server, 500 all-around image, 600 network, 700 image generation device, 710 zoom instruction acquisition unit, 720 sensitivity adjustment unit, 730 position / rotation information acquisition unit, 740 coordinate conversion Unit, 750 image processing unit, 760 image storage unit, 770 image providing unit, 780 delay time acquisition unit, 790 motion amount prediction unit 800 missing region calculation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

遅延時間取得部７８０は、ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得する。動き量予測部７９０は、遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測する。欠損領域計算部８００は、移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求める。画像処理部７５０は、欠損領域を含む拡張領域の範囲で画像を生成する。

Description

画像生成装置、画像生成システム、および画像生成方法
　この発明は、画像を生成する装置、システムおよび方法に関する。
　ゲーム機に接続されたヘッドマウントディスプレイ（ＨＭＤ）を頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（Virtual Reality）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。
　このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までにレイテンシがあるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚に陥ることがある。また、サーバが生成した仮想現実の映像をネットワーク経由で受信してクライアントで表示する場合は、さらにネットワークの遅延が加わるため、映像の生成時と表示時の間のずれが大きくなる。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、画像の生成から表示までのレイテンシを考慮して画像を表示することのできる画像生成装置および画像生成方法を提供することにある。
　上記課題を解決するために、本発明のある態様の画像生成装置は、ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得する遅延時間取得部と、前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測する動き量予測部と、移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求める欠損領域計算部と、前記欠損領域を含む拡張領域の範囲で前記画像を生成する画像生成部とを含む。
　本発明の別の態様は、画像生成システムである。この画像生成システムは、サーバとクライアントとがネットワークで接続された画像生成システムであって、前記サーバ装置は、ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得する遅延時間取得部と、前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測する動き量予測部と、移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求める欠損領域計算部と、前記欠損領域を含む拡張領域の範囲で前記画像を生成する画像生成部と、前記画像をクライアント装置に送信する画像提供部とを含む。前記クライアント装置は、前記サーバ装置から受信した前記画像を前記動き量に応じてずらす処理を行うリプロジェクション部を含むを特徴とする。
　本発明のさらに別の態様は、画像生成装置である。この装置は、ネットワークを介してサーバに接続されたクライアントに実装される画像生成装置であって、ウェアラブルディスプレイを装着したユーザの視点位置および視線方向に関する情報を取得して前記サーバに送信する通信部と、前記視点位置および視線方向の少なくとも一方の動き量に応じた欠損領域を含む拡張領域の範囲で生成された画像を前記サーバから受信し、受信した前記画像を前記動き量に応じてずらす処理を行った上で前記画像をウェアラブルディスプレイに提供するリプロジェクション部とを含む。
　本発明のさらに別の態様は、画像生成方法である。この方法は、ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得するステップと、前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測するステップと、移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求めるステップと、前記欠損領域を含む拡張領域の範囲で前記画像を生成するステップとを含むことを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、画像の生成から表示までのレイテンシを考慮して画像を表示することができる。
ヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係る画像生成システムの構成図である。 本実施の形態に係る画像生成装置の機能構成図である。 ヘッドマウントディスプレイに表示される全周囲画像を説明する図である。 ヘッドマウントディスプレイに表示される全周囲画像に遅れが生じる理由を説明する図である。 図７（ａ）および図７（ｂ）は、リプロジェクションを説明する図である。 図８（ａ）～図８（ｃ）は、描画領域を拡張する方法を説明する図である。 図９（ａ）および図９（ｂ）は、拡張された描画領域を利用する方法を説明する図である。 本実施の形態に係る画像生成装置による描画領域拡張処理の手順を示すフローチャートである。
　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
　ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢情報を計測することができる。
　ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。
　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
　図２は、ヘッドマウントディスプレイ１００の機能構成図である。
　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。
　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。
　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
　姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置、回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。
　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。
　時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。
　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。
　図３は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００でゲーム機やパーソナルコンピュータ、携帯端末などのクライアント２００に接続される。クライアント２００は、さらにネットワーク６００を介してサーバ４００に接続される。サーバ４００はクラウドサービスを提供することができる。サーバ４００は一台に限らず、複数台あってもよく、複数台のサーバ４００が分散処理により一つのタスクを実行してもよい。
　サーバ４００は、ネットワーク６００を介して複数のクライアント２００に仮想現実の映像を送信することができる。複数のユーザは、それぞれのクライアント２００に接続されたヘッドマウントディスプレイ１００を装着してそれぞれの視点から仮想現実の映像を閲覧する。
　図４は、本実施の形態に係る画像生成装置７００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　クライアント２００をサーバ４００に接続するサーバクライアントシステムの場合、画像生成装置７００はサーバ４００に実装される。クライアント２００をサーバ４００に接続せずに単体で利用するスタンドアロンシステムの場合は、画像生成装置７００はクライアント２００に実装される。サーバクライアントシステムの場合、画像生成装置７００の一部の機能構成をサーバ４００に実装し、残りの機能構成をクライアント２００に実装してもよい。サーバクライアントシステム、スタンドアロンシステムのいずれの場合にも、画像生成装置７００の少なくとも一部の機能をヘッドマウントディスプレイ１００の制御部１０に実装してもよい。
　ズーム指示取得部７１０は、ヘッドマウントディスプレイ１００の入力インタフェース２０を介してユーザが指示するズームの倍率を取得する。ズーム指示取得部７１０が取得したズーム倍率は感度調整部７２０と画像処理部７５０に供給される。
　位置・回転情報取得部７３０は、ヘッドマウントディスプレイ１００の姿勢センサ６４により検知される姿勢情報にもとづいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置と回転に関する情報を取得する。
　位置・回転情報取得部７３０は、感度調整部７２０から指示された感度にもとづいて、ユーザの頭部の位置と回転を取得する。たとえば、ユーザが首を回すと、姿勢センサ６４によりユーザの頭部の角度の変化が検出されるが、感度調整部７２０は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように位置・回転情報取得部７３０に指示する。
　また、感度調整部７２０は、ズーム指示取得部７１０から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。
　座標変換部７４０は、位置・回転情報取得部７３０により取得されたヘッドマウントディスプレイ１００の位置および回転を用いて、トラッキング機能付きのヘッドマウントディスプレイ１００に表示すべき画像を生成するための座標変換を行う。
　画像処理部７５０は、画像記憶部７６０から画像データを読み出し、座標変換部７４０による座標変換にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える画像を、ズーム指示取得部７１０から指定されたズーム倍率で生成し、画像提供部７７０に与える。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。
　遅延時間取得部７８０は、ある時刻での視点位置から視線方向に見える画像を描画してからヘッドマウントディスプレイ１００に表示するまでに要する遅延時間を取得する。この遅延時間には描画処理に要する時間の他、画像データをネットワークで送信するのに要する時間が含まれる。遅延時間取得部７８０は、３次元描画ハードウェア性能と、リアルタイムに測定されるネットワーク利用帯域にもとづいて遅延時間を求める。
　動き量予測部７９０は、位置・回転情報取得部７３０から取得されるヘッドマウントディスプレイ１００の位置および回転の変化量にもとづいて、遅延時間取得部７８０により求められた遅延時間の間の視点位置と視線方向の動き量を予測する。動き量予測部７９０は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進速度や角速度に遅延時間を乗じることで視点位置や視線方向の動き量を求めることができる。
　欠損領域計算部８００は、視点位置および視線方向が動いた後のヘッドマウントディスプレイ１００のカメラ画角の表示範囲に表示される画像に生じる欠損領域を視点位置と視線方向の動き量にもとづいて求める。
　画像処理部７５０は、欠損領域計算部８００から欠損領域を指定された場合は、欠損範囲を含む拡張領域の範囲でユーザの視点位置から視線方向に見える画像を生成する。ユーザの視点位置や視線方向に動きがなく、欠損領域計算部８００から欠損領域を指定されない場合は、通常の描画範囲でユーザの視点位置から視線方向に見える画像を生成する。
　画像提供部７７０は、画像処理部７５０により生成された画像データをヘッドマウントディスプレイ１００に供給する。
　図５は、ヘッドマウントディスプレイ１００に表示される全周囲画像５００を説明する図である。全周囲画像５００に対して、ユーザが左前方を向いている場合、ヘッドマウントディスプレイ１００ａの方向で画角１５０ａの範囲にある画像５１０ａが表示され、ユーザが首を回して右前方を向いている場合、ヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲にある画像５１０ｂが表示される。
　このように頭部の動きに応じてヘッドマウントディスプレイ１００に表示される全周囲画像を見る視点位置と視線方向も変わるため、全周囲画像に対する没入感を高めることができる。
　図６は、ヘッドマウントディスプレイ１００に表示される全周囲画像に遅れが生じる理由を説明する図である。ユーザが首を回して右前方を向いた場合、ヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲にある画像５１０ｂを生成し、ヘッドマウントディスプレイ１００に表示するが、画像５１０ｂの表示の時点では、既にヘッドマウントディスプレイ１００ｂの位置と回転が符号１５０ｃで示すように変化している。そのため、本来は画角１５０ｃの範囲で見える画像をヘッドマウントディスプレイ１００ｃに表示する必要があるが、実際に生成されて表示される画像は、少し前の時点のヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲で見える画像となってしまう。この時間差によるずれのため、ユーザが見ている方向とは少しずれた画像がヘッドマウントディスプレイ１００に表示され、ユーザはある種の「酔い」を感じることがある。
　このように、ヘッドマウントディスプレイ１００の回転を検知し、次の描画範囲を確定し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、ヘッドマウントディスプレイ１００の回転を検知してから画像を出力するまでに１フレーム分の遅れが生じる。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。
　そこで、従来は、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行うことで人間がずれを感知しにくいようにしている。以下、「リプロジェクション」について説明した後、本実施の形態の描画領域拡張による描画遅延体感低減方法を説明する。
　図７（ａ）および図７（ｂ）は、リプロジェクションを説明する図である。図７（ａ）は、視点９００から仮想空間を見るときの視錐台９１０を示す。図７（ａ）では視錐台９１０で規定される表示範囲に画像９２０が表示されている。しかしながらユーザが頭部を右に回転させ、視点９００が右に移動していた場合、生成された画像９２０を視錐台９１０で規定される表示範囲にそのまま描画すると、図６で説明したようにユーザはずれを感知してしまう。
　頭部を右に移動させると、目の前の画像は右から左に、より正確に言えば左下に流れていくはずである。そこで、図７（ｂ）に示すように、生成された画像９２０を本来表示される位置よりも左下にずらした位置に表示し、その後、視錐台９１０で規定される本来の表示範囲に正しい画像を遅れて描画する。この処理をリプロジェクションと呼んでいる。リプロジェクションにより、画像が頭部の動きに瞬時に追従しないために人間が感じる違和感を抑えることができる。
　しかし、特にサーバクライアントシステムでヘッドマウントディスプレイ１００に描画する場合、描画処理にかかる時間に通信時間がさらに加わり、遅延が大きくなるため、リプロジェクションによる遅延対策だけでは違和感を十分に低減することができなくなる。生成された画像９２０を本来表示される位置からずらした位置に表示した後、視錐台９１０で規定される本来の表示範囲に正しい画像を描画するが、この正しい画像の描画が通信トラフィックの影響でさらに遅延するからである。そこで、本実施の形態では、描画領域を拡張することによって、ユーザが体感する遅延を低減する。
　図８（ａ）～図８（ｃ）は、描画領域を拡張する方法を説明する図である。図８（ａ）は視点９００が停止している場合に、視錐台９１０で規定される表示範囲に画像９２０が表示されている様子を示す。図８（ｂ）に示すように、視点９００が移動している場合は、生成された画像９２０を視点移動後の視錐台９１０で規定される表示範囲からずらして表示する。この場合、符号９３０で示される領域には描画された画像データが存在せず、表示範囲に表示される画像に欠損領域が生じる。そこで、図８（ｃ）に示すように、欠損領域９３０を含む拡張領域９４０を設定し、拡張領域９４０を描画領域として画像データを生成する。
　図９（ａ）および図９（ｂ）は、拡張された描画領域を利用する方法を説明する図である。図９（ａ）は視点９００が停止している場合に、拡張領域９４０に描画された画像の一部が視錐台９１０で規定される表示範囲に表示されている様子を示す。図９（ｂ）に示すように、視点９００が右に移動すると、視点移動後の視錐台９１０で規定される表示範囲が右上にずれる、言い換えれば、生成された画像が左下にずれる。しかし、画像が生成される拡張領域９４０は、視点移動後の視錐台９１０の表示範囲を含むように設定されているため、視点移動後の視錐台９１０の表示範囲に表示される画像には欠損領域が生じることがない。
　このように視点９００の移動に合わせてリプロジェクションが行われても、生成される画像は拡張領域９４０の範囲に広く描画されているので、表示される画像に欠損領域が生じることがない。その後、視点移動後の視錐台９１０の表示範囲に本来表示されるべき画像を描画して遅れて表示すればよいから、ユーザが体感する遅延を隠蔽することができる。
　図１０は、画像生成装置７００による描画領域拡張処理の手順を示すフローチャートである。
　サーバ４００は３次元描画ハードウェア性能などの初期設定時に決まるパラメータを取得し、遅延計測用パラメータとして記憶部に保存する（Ｓ１０）。３次元描画ハードウェア性能には、ＧＰＵのプロセッサ速度、ＣＰＵのプロセッサ速度、メモリサイズ、メモリ帯域などが含まれる。
　クライアント２００はヘッドマウントディスプレイ１００の表示解像度、カメラ画角、ヘッドマウントディスプレイ１００を装着したユーザの頭部の動きを取得する時間間隔などの初期設定時に決まるパラメータを取得し、サーバに送信する。サーバは受信した頭部の動きを取得する時間間隔を動き予測用パラメータとして記憶部に保存し、受信した表示解像度やカメラ画角を表示範囲決定用パラメータとして記憶部に保存する（Ｓ１２）。
　クライアント２００はユーザの頭部の動きの移動量や速度などのリアルタイム測定値を取得し、サーバに送信し、サーバは受信したリアルタイム測定値を動き予測用パラメータとして記憶部に保存する（Ｓ１４）。
　サーバ４００の通信部はネットワークの通信速度を計測して遅延計測用パラメータとして記憶部に保存する（Ｓ１６）。
　サーバ４００の遅延時間取得部７８０は、記憶部に保存された遅延計測用パラメータから描画処理と描画結果の送信にかかる時間を遅延時間として計算する（Ｓ１８）。ここで利用される遅延計測用パラメータは、ネットワーク帯域、３次元描画ハードウェア性能などである。
　サーバ４００の動き量予測部７９０は、記憶部に保存された動き予測用パラメータから遅延時間の間のユーザの頭部の動き量を計算する（Ｓ２０）。ここで利用される動き予測用パラメータは、ユーザの頭部の動きを取得する時間間隔、頭部の動きの角速度、並進速度などである。
　サーバ４００の欠損領域計算部８００は、表示範囲決定用パラメータと頭部の動き量にもとづいて、頭部の移動後の表示範囲に表示される画像の欠損領域を計算する（Ｓ２２）。頭部が移動すると表示範囲も移動し、描画される画像に欠損領域が生じる。
　サーバ４００の欠損領域計算部８００は、欠損領域を含む拡張領域の範囲で画像を描画する（Ｓ２４）。サーバ４００は、拡張領域の範囲の描画結果をクライアント２００に送信する（Ｓ２６）。
　クライアント２００は、リプロジェクション処理を行い、受信した拡張領域の描画結果から移動後の視点位置から視線方向に見える部分を切り出してヘッドマウントディスプレイ１００に出力する（Ｓ２８）。リプロジェクションによる画像の移動で本来欠損が生じる領域があらかじめ拡張領域として描画されているため、移動後の視点位置から視線方向に見える部分を描画結果から切り出しても画像に欠損部分が生じることはない。
　ユーザの頭部に動きがあれば（Ｓ３０のＹ）、ステップＳ１４に戻り、それ以降の処理を繰り返す。ユーザの頭部に動きがなければ（Ｓ３０のＮ）、描画領域拡張処理を終了し、通常の描画処理に戻る。
　上記のフローチャートでは、サーバクライアントシステムの場合を説明したが、クライアント２００をサーバ４００に接続せずに単体で利用する場合は、上記の遅延時間にはクライアント２００が描画処理にかかる時間が含まれるが、通信にかかる時間が含まれない点を除き、同様の描画領域拡張処理を適用することができる。
　以上述べたように、本実施の形態の画像生成装置７００によれば、ユーザの頭部の移動によってヘッドマウントディスプレイ１００の視野に描画される画像に欠損が生じないようにあらかじめ欠損領域を予測し、描画領域を拡張する。その結果、描画処理や通信による遅延があっても、描画される画像に欠損が生じず、ユーザは遅延を知覚しにくくなり、酔いを防止することができる。
　以下、いくつかのユースケースを説明する。第１のユースケースは、クラウドサーバ上で描画を実行し、クライアントに描画結果を送信する形態である。クラウドサーバ上ではユーザの手元にあるデバイスよりも高性能なハードウェアを用意することが可能であるため、描画領域を拡張してもユーザの手元のデバイスと比べて負荷なく描画処理を実行することができる。
　第２のユースケースは、ネットワーク上の複数の外部機器に処理を分散して描画を行い、クライアントに描画結果を送信する形態である。ネットワークに接続された外部機器が描画処理の一部を分担し、描画結果がユーザの手元のデバイスに集約され、合成されて出力される。拡張領域を描画する際、拡張領域を分割して複数の外部機器に処理を分担させてもよい。複数台の外部機器が描画処理を分担して実行することで、描画領域を拡張してもユーザの手元のデバイスと比べて負荷なく描画処理を実行することができる。
　第３のユースケースは、ネットワークに接続せずにユーザの手元にあるデバイスが描画領域を拡張して描画を行う形態である。ユーザの手元のデバイスに十分な３次元描画性能があれば、描画領域拡張処理により、描画処理にかかる遅延を隠蔽した描画出力が可能である。
　第４のユースケースは、３６０度全周囲の動画コンテンツの再生をクラウドサーバで実行し、ユーザーの視線方向に見える領域のみを切り出して、クライアントに送信する形態である。例えば、４Ｋ解像度、８Ｋ解像度などの高解像度のコンテンツの再生には高性能ハードウェアが必要となり、クラウドサービスのようなユーザの手元にある端末よりも高性能のハードウェアを提供する環境が必要になる。
　４Ｋ解像度、８Ｋ解像度などの高解像度のコンテンツをすべてクライアントに送信するには、非常に高帯域なネットワーク通信が必要となる。そこで、ユーザの視線方向に見える領域のみを切り出してクライアントに送信することでクラウドサービスの能力を利用しつつ、必要となるネットワーク帯域を低減することができる。しかし、再生される動画の一部の領域しか、クライアントには送信されないため、視点が移動するとリプロジェクション処理が必要となり、欠損領域が生じる。そこで、３６０度動画から切り出す範囲を拡張することで、３６０度動画コンテンツの再生においても欠損を生じないようにして遅延を隠蔽することができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　バックライト、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　８０　時計部、　１００　ヘッドマウントディスプレイ、　２００　クライアント、　３００　インタフェース、　４００　サーバ、　５００　全周囲画像、　６００　ネットワーク、　７００　画像生成装置、　７１０　ズーム指示取得部、　７２０　感度調整部、　７３０　位置・回転情報取得部、　７４０　座標変換部、　７５０　画像処理部、　７６０　画像記憶部、　７７０　画像提供部、　７８０　遅延時間取得部、　７９０　動き量予測部、　８００　欠損領域計算部。
　画像を生成する技術に利用できる。

Claims (6)

  1. 　ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得する遅延時間取得部と、
    　前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測する動き量予測部と、
    　移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求める欠損領域計算部と、
    　前記欠損領域を含む拡張領域の範囲で前記画像を生成する画像生成部とを含むことを特徴とする画像生成装置。
  2. 　前記画像をクライアントに送信する画像提供部をさらに含み、
    　前記遅延時間には前記画像をクライアントに送信するために要する通信時間が含まれることを特徴とする請求項１に記載の画像生成装置。
  3. 　サーバとクライアントとがネットワークで接続された画像生成システムであって、
    　前記サーバは、
    　ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得する遅延時間取得部と、
    　前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測する動き量予測部と、
    　移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求める欠損領域計算部と、
    　前記欠損領域を含む拡張領域の範囲で前記画像を生成する画像生成部と、
    　前記画像をクライアント装置に送信する画像提供部とを含み、
    　前記クライアントは、
    　前記サーバから受信した前記画像を前記動き量に応じてずらす処理を行うリプロジェクション部を含むを特徴とする画像生成システム。
  4. 　ネットワークを介してサーバに接続されたクライアントに実装される画像生成装置であって、
    　ウェアラブルディスプレイを装着したユーザの視点位置および視線方向に関する情報を取得して前記サーバに送信する通信部と、
    　前記視点位置および視線方向の少なくとも一方の動き量に応じた欠損領域を含む拡張領域の範囲で生成された画像を前記サーバから受信し、受信した前記画像を前記動き量に応じてずらす処理を行った上で前記画像をウェアラブルディスプレイに提供するリプロジェクション部とを含むことを特徴とする画像生成装置。
  5. 　ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得するステップと、
    　前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測するステップと、
    　移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求めるステップと、
    　前記欠損領域を含む拡張領域の範囲で前記画像を生成するステップとを含むことを含むことを特徴とする画像生成方法。
  6. 　ある時刻における視点位置から視線方向に見える画像を描画してから表示するまでに要する遅延時間を取得する機能と、
    　前記遅延時間の間の視点位置および視線方向の少なくとも一方の動き量を予測する機能と、
    　移動後の視点位置および視線方向で定まる表示範囲に表示される画像に生じる欠損領域を前記動き量にもとづいて求める機能と、
    　前記欠損領域を含む拡張領域の範囲で前記画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。
PCT/JP2017/019505 2016-06-01 2017-05-25 画像生成装置、画像生成システム、および画像生成方法 WO2017208957A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-110455 2016-06-01
JP2016110455A JP2017215875A (ja) 2016-06-01 2016-06-01 画像生成装置、画像生成システム、および画像生成方法

Publications (1)

Publication Number Publication Date
WO2017208957A1 true WO2017208957A1 (ja) 2017-12-07

Family

ID=60477506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019505 WO2017208957A1 (ja) 2016-06-01 2017-05-25 画像生成装置、画像生成システム、および画像生成方法

Country Status (2)

Country Link
JP (1) JP2017215875A (ja)
WO (1) WO2017208957A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199184A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7121523B2 (ja) * 2018-04-10 2022-08-18 キヤノン株式会社 画像表示装置、画像表示方法
WO2020026419A1 (ja) * 2018-08-02 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10600236B2 (en) 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
KR102142876B1 (ko) * 2018-11-15 2020-08-10 서울과학기술대학교 산학협력단 클라우드 기반의 가상현실 서비스를 위한 버퍼 관리 방법 및 장치
JP7167760B2 (ja) * 2019-02-15 2022-11-09 株式会社Ｊｖｃケンウッド 画像調整システム
WO2020166582A1 (ja) 2019-02-15 2020-08-20 株式会社Ｊｖｃケンウッド 画像調整システム、画像調整装置、及び画像調整方法
EP3973684A1 (en) * 2019-05-20 2022-03-30 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Immersive media content presentation and interactive 360° video communication
JP7184192B2 (ja) * 2019-07-01 2022-12-06 日本電信電話株式会社 遅延測定装置、遅延測定方法及びプログラム
JP7429512B2 (ja) * 2019-09-30 2024-02-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法
WO2023084356A1 (ja) * 2021-11-12 2023-05-19 株式会社半導体エネルギー研究所 表示装置、及び電子機器
WO2023100468A1 (ja) * 2021-12-01 2023-06-08 ソニーセミコンダクタソリューションズ株式会社 表示装置、表示システム、および表示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004109994A (ja) * 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
JP2008299669A (ja) * 2007-05-31 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004109994A (ja) * 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
JP2008299669A (ja) * 2007-05-31 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2012033038A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 模擬映像生成装置、方法、プログラム
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199184A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム
JP7496412B2 (ja) 2020-03-30 2024-06-06 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2017215875A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
WO2017208957A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
WO2017221784A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
WO2017086263A1 (ja) 情報処理装置および画像生成方法
JP5891131B2 (ja) 画像生成装置および画像生成方法
WO2015068656A1 (ja) 画像生成装置および画像生成方法
EP3008548B1 (en) Head-mountable apparatus and systems
WO2017183279A1 (ja) 画像処理装置および画像処理方法
US11003408B2 (en) Image generating apparatus and image generating method
JP6216398B2 (ja) 画像生成装置および画像生成方法
WO2015122052A1 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US10863161B2 (en) HMD delivery system and method
WO2019086893A1 (en) Content generation apparatus and method
US11100716B2 (en) Image generating apparatus and image generation method for augmented reality
JP6487512B2 (ja) ヘッドマウントディスプレイおよび画像生成方法
JP7203157B2 (ja) 映像処理装置およびプログラム
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17806514

Country of ref document: EP

Kind code of ref document: A1