JP6332658B1 - Display control apparatus and program - Google Patents

Display control apparatus and program Download PDF

Info

Publication number
JP6332658B1
JP6332658B1 JP2017042997A JP2017042997A JP6332658B1 JP 6332658 B1 JP6332658 B1 JP 6332658B1 JP 2017042997 A JP2017042997 A JP 2017042997A JP 2017042997 A JP2017042997 A JP 2017042997A JP 6332658 B1 JP6332658 B1 JP 6332658B1
Authority
JP
Japan
Prior art keywords
virtual
visual field
display
unit
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017042997A
Other languages
Japanese (ja)
Other versions
JP2018147308A (en
Inventor
洋二 水上
洋二 水上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2017042997A priority Critical patent/JP6332658B1/en
Application granted granted Critical
Publication of JP6332658B1 publication Critical patent/JP6332658B1/en
Publication of JP2018147308A publication Critical patent/JP2018147308A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】両眼視差を利用した仮想空間の表示を、より見やすくすること。【解決手段】両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能な表示部を備えたヘッドマウントディスプレイの表示を制御する表示制御装置は、表示部の方向に関する情報に基づいて仮想視点からの視界方向を検出する検出部と、検出部が検出した視界方向に基づく視界画像を、仮想視点からの仮想視線方向を基準として生成する視界画像生成部と、仮想空間内に配置される特定オブジェクトのうち視界画像に含まれる特定オブジェクトと仮想視点との位置関係に基づいて、仮想視線方向を変更する変更部と、視界画像生成部が生成した視界画像を表示部に表示させる表示制御部と、を備える。【選択図】図7A virtual space display using binocular parallax is made easier to see. A display control apparatus for controlling display of a head mounted display including a display unit capable of displaying a view field image representing a view field from a virtual viewpoint in a virtual space as a stereoscopic image using binocular parallax. A detection unit that detects a visual field direction from a virtual viewpoint based on information on the direction of the display unit, and a visual field image generation that generates a visual field image based on the visual field direction detected by the detection unit with reference to the virtual visual line direction from the virtual viewpoint A visual field generated by the visual field image generation unit, a change unit that changes the virtual visual line direction based on a positional relationship between the virtual object and the specific object included in the visual field image among the specific objects arranged in the virtual space, and the visual field generated by the visual field image generation unit A display control unit that displays an image on the display unit. [Selection] Figure 7

Description

本発明は、表示制御装置、及びプログラムに関する。   The present invention relates to a display control device and a program.

ユーザの頭部に装着し、該ユーザの眼前に配置されたディスプレイに仮想空間における画像を表示可能なヘッドマウントディスプレイ(HMD:Head Mounted Display)がある(例えば、特許文献1)。   There is a head mounted display (HMD) that can be mounted on a user's head and can display an image in a virtual space on a display placed in front of the user's eyes (for example, Patent Document 1).

特許第5767386号公報Japanese Patent No. 5767386

しかしながら、HMDを利用した両眼視差による仮想空間の表示(VR(Virtual Reality)表示)は、非常に現実感の高いものとなってきている一方、現実の見え方とは違いが存在する。この違いにより、仮想空間の表示が見難い表示となったり、あるいはVR酔いを起こしたりすることがある。   However, virtual space display (VR (Virtual Reality) display) using binocular parallax using HMD has become very realistic, but there is a difference from how it looks in reality. Due to this difference, the display of the virtual space may be difficult to see, or VR sickness may occur.

本発明のいくつかの態様は、両眼視差を利用した仮想空間の表示を、より見やすくすることができる表示制御装置、及びプログラムを提供することを目的の一つとする。   It is an object of some aspects of the present invention to provide a display control device and a program that can make a virtual space display using binocular parallax easier to see.

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする表示制御装置、及びプログラムを提供することを目的の一つとする。   Another object of another aspect of the present invention is to provide a display control device and a program that can achieve the effects described in the embodiments described later.

上述した課題を解決するために、本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能な表示部を備えたヘッドマウントディスプレイの表示を制御する表示制御装置であって、前記表示部の方向に関する情報に基づいて前記仮想視点からの視界方向を検出する検出部と、前記検出部が検出した視界方向に基づく前記視界画像を、前記仮想視点からの仮想視線方向を基準として生成する視界画像生成部と、前記仮想空間内に配置される特定オブジェクトのうち前記視界画像に含まれる特定オブジェクトと前記仮想視点との位置関係に基づいて、前記仮想視線方向を変更する変更部と、前記視界画像生成部が生成した前記視界画像を表示部に表示させる表示制御部と、を備える表示制御装置である。   In order to solve the above-described problem, an aspect of the present invention provides a head including a display unit capable of displaying a visual field image representing a visual field from a virtual viewpoint in a virtual space as a stereoscopic image using binocular parallax. A display control device that controls display of a mount display, the detection unit detecting a visual field direction from the virtual viewpoint based on information on the direction of the display unit, and the visual field based on the visual field direction detected by the detection unit A view image generation unit that generates an image based on a virtual line-of-sight direction from the virtual viewpoint; and a positional relationship between a specific object included in the view image and a virtual viewpoint among specific objects arranged in the virtual space A change unit that changes the virtual line-of-sight direction based on the display, and a display control unit that causes the display unit to display the view image generated by the view image generation unit. A control device.

また、本発明の一態様は、コンピュータを、上記の表示制御装置として機能させるためのプログラムである。   One embodiment of the present invention is a program for causing a computer to function as the display control device.

第1の実施形態に係るHMDの使用例を示す図。The figure which shows the usage example of HMD which concerns on 1st Embodiment. 第1の実施形態に係る仮想空間内の視界の説明図。Explanatory drawing of the visual field in the virtual space which concerns on 1st Embodiment. 視界画像の一例を示す図。The figure which shows an example of a visual field image. 仮想空間に配置されているオブジェクトの一例を示す図。The figure which shows an example of the object arrange | positioned in virtual space. 図4に示す仮想空間における視界画像の一例を示す図。The figure which shows an example of the visual field image in the virtual space shown in FIG. 右眼と左眼の距離が仮想視線方向に影響することを説明する説明図。Explanatory drawing explaining that the distance of a right eye and a left eye influences a virtual gaze direction. 第1の実施形態に係る視界画像の視線方向の変更を説明する説明図。Explanatory drawing explaining the change of the gaze direction of the visual field image which concerns on 1st Embodiment. 近距離仮想視線方向への変更処理を行っていない視界画像の一例を示す図。The figure which shows an example of the visual field image which has not performed the change process to a near distance virtual visual line direction. 近距離仮想視線方向への変更処理を行った視界画像の一例を示す図。The figure which shows an example of the visual field image which performed the change process to a near distance virtual gaze direction. 第1の実施形態に係るHMDシステムのハードウェア構成の一例を示す図。The figure which shows an example of the hardware constitutions of the HMD system which concerns on 1st Embodiment. 第1の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。The block diagram which shows an example of a function structure of the game device which concerns on 1st Embodiment. 第1の実施形態に係る視界画像生成処理の一例を示すフローチャート。6 is a flowchart illustrating an example of a view field image generation process according to the first embodiment. 第2の実施形態に係る視界画像生成処理の一例を示すフローチャート。The flowchart which shows an example of the visual field image generation process which concerns on 2nd Embodiment. 第3の実施形態に係る視界画像生成処理の一例を示すフローチャート。The flowchart which shows an example of the visual field image generation process which concerns on 3rd Embodiment.

以下、本発明の一実施形態について、図面を参照して説明する。
[第1の実施形態]
本発明の第1の実施形態について説明する。
本実施形態では、3D(3次元)の仮想空間を立体視可能なHMD(Head Mounted Display)における表示を例に説明する。例えば、HMDは、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を、右眼と左眼との両眼視差(以下、単に「視差」ともいうことがある)を利用した立体視画像として表示可能である。仮想視点は、仮想空間内におけるユーザの眼の位置に相当する視点であり、例えば、ユーザが仮想空間を利用したゲームをプレイする場合、ユーザ(プレイヤ)またはユーザ(プレイヤ)のキャラクタの視点を示す。キャラクタとは、表示されうるオブジェクトであって、例えば、ゲームに登場する人、動物、モンスター、ロボット、物体(例えば、乗り物)等を表すものである。例えば、キャラクタは、ユーザの操作対象となったり、ユーザの操作またはゲーム処理等に基づいて移動したりする。また、HMDは、ジャイロセンサ等のHMDの動きや傾きを検知するセンサを搭載しており、装着されているユーザの頭部の動きや傾きの変化などを検知し、その変化に応じて仮想空間の視界画像を表示する。例えば、HMDに映し出される視界画像は、ユーザの頭部が右方向を向けば仮想空間内の右方向の視界画像に変化し、上方向を向けば仮想空間内の上方向の視界画像に変化し、あたかもその場にいるような没入感をユーザに与えることができる。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[First embodiment]
A first embodiment of the present invention will be described.
In the present embodiment, a display in an HMD (Head Mounted Display) capable of stereoscopically viewing a 3D (three-dimensional) virtual space will be described as an example. For example, the HMD is worn on the user's head and a view image representing a view from a virtual viewpoint in a virtual space may be referred to as binocular parallax (hereinafter simply referred to as “parallax”) between the right eye and the left eye. ) Can be displayed as a stereoscopic image. The virtual viewpoint is a viewpoint corresponding to the position of the user's eyes in the virtual space. For example, when the user plays a game using the virtual space, the viewpoint of the user (player) or the user (player) character is shown. . A character is an object that can be displayed and represents, for example, a person, an animal, a monster, a robot, an object (for example, a vehicle) or the like appearing in a game. For example, the character becomes a user's operation target or moves based on the user's operation or game processing. Further, the HMD is equipped with a sensor for detecting the movement and tilt of the HMD such as a gyro sensor, detects a change in the head and tilt of the user's head, and the virtual space according to the change. The view image of is displayed. For example, the visual field image displayed on the HMD changes to a right visual field image in the virtual space when the user's head is directed rightward, and changes to an upward visual image in the virtual space when the user heads upward. It is possible to give the user an immersive feeling as if they were on the spot.

図1は、本実施形態に係るHMDの使用例を示す図である。本図では、ユーザの頭部にHMD10が装着されている様子を示している。ここで、ユーザが直立する方向である垂直方向をZ軸とし、Z軸に直交する軸であってユーザからHMD10の表示画面へ直交する方向をX軸とし、Z軸及びX軸と直交する軸をY軸とする。なお、HMD10の表示画面において、縦方向がZ軸方向、横方向がY軸方向、奥行き方向がX軸方向にそれぞれ対応する。   FIG. 1 is a diagram illustrating a usage example of the HMD according to the present embodiment. This figure shows a state in which the HMD 10 is worn on the user's head. Here, the vertical direction in which the user stands upright is the Z axis, the axis is orthogonal to the Z axis, and the direction orthogonal to the display screen of the HMD 10 from the user is the X axis, and the axis is orthogonal to the Z axis and the X axis. Is the Y axis. In the display screen of the HMD 10, the vertical direction corresponds to the Z-axis direction, the horizontal direction corresponds to the Y-axis direction, and the depth direction corresponds to the X-axis direction.

また、Z軸を軸とした回転方向への変化をヨー方向(または左右方向)への変化ともいい、Y軸を軸とした回転方向への変化をピッチ方向(または上下方向)への変化ともいい、X軸を軸とした回転方向への変化をロール方向への変化ともいう。   A change in the rotation direction about the Z axis is also called a change in the yaw direction (or left and right direction), and a change in the rotation direction about the Y axis is called a change in the pitch direction (or up and down direction). A change in the rotation direction about the X axis is also referred to as a change in the roll direction.

図2は、本実施形態に係る仮想空間内の視界の説明図である。この図において、仮想視点KをX軸、Y軸、及びZ軸の交点(原点)とし、仮想視点Kからの視界方向(視界の中心方向)をX軸方向とすると、仮想視点Kからの視界を表す視界画像の範囲(即ち、視界)は、視界方向(X軸方向)を中心としたヨー角α(破線aと破線bとの内角、及び破線cと破線dとの内角)とピッチ角β(破線aと破線dとの内角、及び破線bと破線cとの内角)とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、HMDシステム1に表示させる仮想空間の視界画像の画角として予め設定された角度である。例えば、X軸上の点x1における視界は、点x1においてX軸に直交する面L1と視界を示す破線a、b、c、dとの交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲となる。   FIG. 2 is an explanatory diagram of the field of view in the virtual space according to the present embodiment. In this figure, when the virtual viewpoint K is the intersection (origin) of the X axis, Y axis, and Z axis, and the view direction from the virtual viewpoint K (the center direction of the view) is the X axis direction, the view from the virtual viewpoint K The range of the field of view image (that is, the field of view) that represents the yaw angle α (the inner angle between the broken line a and the broken line b and the inner angle between the broken line c and the broken line d) and the pitch angle centered on the field of view direction (X-axis direction). This is a range determined by β (inner angle between the broken line a and the broken line d and inner angle between the broken line b and the broken line c). Here, the yaw angle α and the pitch angle β are angles set in advance as the angle of view of the visual field image of the virtual space displayed on the HMD system 1. For example, the field of view at the point x1 on the X axis is a quadrangle whose vertexes are intersections a1, b1, c1, and d1 of the surface L1 orthogonal to the X axis at the point x1 and the broken lines a, b, c, and d indicating the field of view. It will be enclosed.

つまり、視界方向(X軸方向)を中心としたヨー角αとピッチ角βとの内側の範囲が視界であり、仮想空間に配置されているオブジェクトのうち、この視界の中に配置されているオブジェクト(構造物、植物、キャラクタ等)等が視界画像として立体視表示される。ユーザの頭部がピッチ方向またはヨー方向に変化すると、その変化に応じて視界方向がX軸方向からピッチ方向またはヨー方向に変化し、視界もピッチ方向またはヨー方向に変化する。また、ユーザの頭部がロール方向に変化すると、視界方向はX軸方向のまま、視界がロール方向に回転する。   That is, the range inside the yaw angle α and the pitch angle β centered on the visual field direction (X-axis direction) is the visual field, and the object disposed in the virtual space is disposed in this visual field. Objects (structures, plants, characters, etc.) are displayed stereoscopically as a view field image. When the user's head changes in the pitch direction or the yaw direction, the visual field direction changes from the X-axis direction to the pitch direction or the yaw direction according to the change, and the visual field also changes in the pitch direction or the yaw direction. When the user's head changes in the roll direction, the view direction rotates in the roll direction while the view direction remains in the X-axis direction.

一般的に、視界画像は歪曲及び伸縮されて表示される。図3は、視界画像の一例を示す図である。図示する例は、屋内のプール施設の視界画像であるが、コースロープやコースライン、観客席など実際には直線であるものが、視界画像の中心から離れるほど画像の歪曲や伸縮の度合が大きくなる。これは、所謂ボリューム歪像ともいわれるものであり、広角歪として物理的に発生する現象である。ここで、視界画像の中心とは、視界の中心であり、一例として、仮想視点からの仮想視線方向の先の位置に相当する。仮想視線方向は、仮想視点からの視線の先を示す方向であり、仮想空間を撮影する仮想カメラのレンズの中心(光軸方向)に相当する。即ち、仮想視線方向は、視界画像において最も歪の少ない方向となる。図3に示す例では、仮想視線方向の先の位置が視界画像の中心であるため、視界画像の中心が最も歪曲や伸縮が少なく、中心から離れるほど画像の歪曲や伸縮の度合が大きくなる。仮想視線方向が視界画像の中心からずれると、ずれたところが最も歪曲や伸縮が少なくなる。つまり、視界画像は、視界方向によって範囲が定まり、且つ仮想視線方向を基準として歪曲や伸縮の度合が定まる。   Generally, a view field image is displayed with distortion and expansion / contraction. FIG. 3 is a diagram illustrating an example of a view field image. The example shown in the figure is a view image of an indoor swimming pool facility, but a straight line such as a course rope, a course line, or a spectator seat has a greater degree of image distortion or expansion as the distance from the center of the view image increases. Become. This is also called a so-called volume distortion image, and is a phenomenon that physically occurs as wide-angle distortion. Here, the center of the field-of-view image is the center of the field of view, and as an example, corresponds to the position in the virtual line-of-sight direction from the virtual viewpoint. The virtual line-of-sight direction is a direction that indicates the point of the line of sight from the virtual viewpoint, and corresponds to the center (optical axis direction) of the lens of the virtual camera that captures the virtual space. That is, the virtual line-of-sight direction is the direction with the least distortion in the view field image. In the example shown in FIG. 3, since the position in the virtual visual line direction is the center of the visual field image, the center of the visual field image has the least distortion and expansion / contraction, and the degree of image distortion and expansion / contraction increases as the distance from the center increases. When the virtual line-of-sight direction is deviated from the center of the field-of-view image, the place of deviation is least distorted and stretched. That is, the range of the view image is determined by the view direction, and the degree of distortion and expansion / contraction is determined with the virtual view direction as a reference.

ここで、図4及び図5を参照して、一般的な視界画像の歪について説明する。図4は、仮想空間に配置されているオブジェクトの一例を示す図である。この図では、上方向(Z軸の上方向)からの仮想空間を表しており、仮想視点Kからの仮想視線方向の先にオブジェクトH1が存在し、仮想視線方向から角度θ離れた方向(Z軸を中心として右方向へ角度θ回転した方向)の先にオブジェクトH2が存在している。オブジェクトH1とオブジェクトH2とは同形の長方形の面を有する板であり、どちらのオブジェクトも仮想視点Kと対面する向き(オブジェクトの面と直交する方向が仮想視点Kとなる向き)に向いている(図4では、上方向から見た図であるため板の厚みを表している)。   Here, with reference to FIG.4 and FIG.5, the distortion of a general visual field image is demonstrated. FIG. 4 is a diagram illustrating an example of objects arranged in the virtual space. In this figure, the virtual space from the upper direction (upward direction of the Z axis) is represented, and the object H1 exists ahead of the virtual visual line direction from the virtual viewpoint K, and the direction (Z) away from the virtual visual line direction. The object H2 exists ahead of the axis (rotated to the right by the angle θ). The object H1 and the object H2 are plates having the same rectangular surface, and both of the objects face the virtual viewpoint K (orientation in which the direction orthogonal to the object plane is the virtual viewpoint K) ( In FIG. 4, since it is the figure seen from the upper direction, the thickness of a board is represented.

図5は、図4に示す仮想空間における視界画像の一例を示す図である。図示する視界画像G10では、オブジェクトH1は仮想視点Kからの仮想視線方向に存在しているため、実際の形である長方形をほぼ保って表示される。一方、HMD10を動かさずにオブジェクトH2をユーザが見た場合、仮想視線方向から離れているため、長方形よりもやや歪曲及び伸縮されて表示されることになる。このように、視界画像は、仮想視線方向を基準として、仮想視線方向から離れるほど画像の歪曲や伸縮の度合が大きくなる(図中の破線を参照)。   FIG. 5 is a diagram illustrating an example of a view field image in the virtual space illustrated in FIG. 4. In the illustrated field-of-view image G10, the object H1 is present in the direction of the virtual line of sight from the virtual viewpoint K, and thus is displayed while maintaining the actual rectangle. On the other hand, when the user views the object H2 without moving the HMD 10, since the user is away from the virtual line-of-sight direction, the object H2 is displayed with being slightly distorted and stretched rather than the rectangle. As described above, the visual field image has a degree of distortion and expansion / contraction as the distance from the virtual line-of-sight direction becomes larger with reference to the virtual line-of-sight direction (see the broken line in the figure).

しかし、現実空間においてユーザがオブジェクトH2を見た場合、このようなことは起こらず、オブジェクトH1と同様にほぼ長方形に見える。これは、仮想空間内の仮想視線方向と実際のユーザの眼の視線方向とが異なることによって生じるものである。仮想空間の視界画像の表示の場合、実際には上記のように現実とは異なる見え方をしていることになる。この現実の見え方との違いにより、仮想空間の表示が見難い表示となったり、あるいはVR酔いを起こしたりする場合がある。   However, when the user views the object H2 in the real space, such a situation does not occur, and it looks almost rectangular like the object H1. This is caused by a difference between the virtual visual line direction in the virtual space and the actual visual line direction of the user's eyes. In the case of displaying a visual field image in the virtual space, it actually looks different from the reality as described above. Due to the difference from the actual appearance, the display of the virtual space may be difficult to see or may cause VR sickness.

この問題は、仮想視点Kと視界画像に表示されるオブジェクトとの距離が近いほど顕著となる。具体的には、ユーザの右眼と左眼の距離が上記の仮想視線方向に大きく影響が出るくらいにユーザが近いオブジェクトを見る場合に顕著となる。   This problem becomes more prominent as the distance between the virtual viewpoint K and the object displayed in the view field image is shorter. Specifically, this is noticeable when the user sees an object that is close enough that the distance between the right eye and the left eye of the user greatly affects the virtual visual line direction.

図6は、オブジェクトとの距離が近いほど右眼と左眼の距離が仮想視線方向に影響することを説明する説明図である。この図は、上方向(Z軸の上方向)からの仮想空間を表しており、仮想視点Kから比較的に遠い位置にオブジェクトH3が存在し、比較的に近い位置にオブジェクトH4が存在している。ユーザの左眼に対応する仮想視点を左眼仮想視点K(L)とし、右眼に対応する仮想視点を右眼仮想視点K(R)とすると、左眼用の視界画像の仮想視線方向は、左眼仮想視点K(L)からX軸方向に沿った左眼仮想視線方向KL1となる。また、右眼用の視界画像の仮想視線方向は、右眼仮想視点K(R)からX軸方向に沿った右眼仮想視線方向KR1となる。ここでは、左眼仮想視線方向KL1と右眼仮想視線方向KR1とは、X軸方向と平行かつ互いに平行に設定されているが、若干の角度を持って互いに近づく方向に設定されてもよい。この左眼仮想視線方向KL1と右眼仮想視線方向KR1とのそれぞれが、左眼用の視界画像と右眼用の視界画像とのそれぞれを生成する際に基準となる仮想視線方向である。   FIG. 6 is an explanatory diagram for explaining that the distance between the right eye and the left eye affects the virtual line-of-sight direction as the distance from the object is shorter. This figure shows a virtual space from the upper direction (upward direction of the Z axis), and the object H3 exists at a position relatively far from the virtual viewpoint K, and the object H4 exists at a position relatively close. Yes. If the virtual viewpoint corresponding to the user's left eye is the left eye virtual viewpoint K (L) and the virtual viewpoint corresponding to the right eye is the right eye virtual viewpoint K (R), the virtual line-of-sight direction of the left eye view image is The left eye virtual visual line direction KL1 along the X-axis direction from the left eye virtual viewpoint K (L). Further, the virtual visual line direction of the right-eye view image is the right eye virtual visual line direction KR1 along the X-axis direction from the right eye virtual viewpoint K (R). Here, the left-eye virtual line-of-sight direction KL1 and the right-eye virtual line-of-sight direction KR1 are set parallel to the X-axis direction and parallel to each other, but may be set to directions close to each other with a slight angle. Each of the left eye virtual line-of-sight direction KL1 and the right eye virtual line-of-sight direction KR1 is a virtual line-of-sight direction used as a reference when generating the left-eye view image and the right-eye view image.

また、図示する角度「m」、「n」は、仮想視線方向とオブジェクトH3、H4に対するユーザの実際の視線方向との角度の差を示している。比較的に遠い位置にあるオブジェクトH3に対する実際の視線方向が視線方向KL2(左眼の視線方向)と視線方向KR2(右眼の視線方向)であり、比較的に近い位置にあるオブジェクトH4に対する実際の視線方向が視線方向KL3(左眼の視線方向)と視線方向KR3(右眼の視線方向)である。オブジェクトH3に対する実際の視線方向KL2と左眼仮想視線方向KL1との角度の差が「m」であり、オブジェクトH4に対する実際の視線方向KL3と左眼仮想視線方向KL1との角度の差が「n」である。オブジェクトH3よりも近い位置にあるオブジェクトH4の方が仮想視線方向と実際の視線方向との角度の差が大きくなるため(m<n)、仮想視線方向からより離れることとなり、オブジェクトの歪曲及び伸縮の度合も大きくなる。ここでは、左眼側の角度の差のみを示しているが、右眼側の右眼仮想視線方向KR1向と実際の視線方向KR3との角度の差も同様に、オブジェクトH3よりも近い位置にあるオブジェクトH4の方が大きくなり、オブジェクトの歪曲及び伸縮の度合も大きくなる。そのため、近い位置にあるオブジェクトほど、右眼から見た場合と左眼から見た場合の形が異なる度合いが大きくなり、視認しにくい状況となる。場合によっては一つのオブジェクトの表示として視認できず、右眼と左眼にそれぞれ別のオブジェクトがあるように視認されてしまうこともあり得る。   In addition, the illustrated angles “m” and “n” indicate the difference in angle between the virtual line-of-sight direction and the user's actual line-of-sight direction with respect to the objects H3 and H4. The actual line-of-sight directions for the object H3 at a relatively far position are the line-of-sight direction KL2 (the line of sight of the left eye) and the line of sight KR2 (the line of sight of the right eye), and the actual line of sight with respect to the object H4 at a relatively close position. Are the gaze direction KL3 (the gaze direction of the left eye) and the gaze direction KR3 (the gaze direction of the right eye). The difference in angle between the actual viewing direction KL2 and the left eye virtual viewing direction KL1 with respect to the object H3 is “m”, and the difference in angle between the actual viewing direction KL3 and the left eye virtual viewing direction KL1 with respect to the object H4 is “n”. It is. Since the difference in angle between the virtual line-of-sight direction and the actual line-of-sight direction is larger in the object H4 located closer to the object H3 (m <n), the object H4 is further away from the virtual line-of-sight direction, causing distortion and expansion / contraction of the object. The degree of increases. Here, only the angle difference between the left eye side is shown, but the angle difference between the right eye virtual visual line direction KR1 direction on the right eye side and the actual visual line direction KR3 is also at a position closer to the object H3. An object H4 becomes larger, and the degree of distortion and expansion / contraction of the object also increases. For this reason, the closer the object is, the greater the degree of difference in shape when viewed from the right eye and when viewed from the left eye. In some cases, it may not be visible as a display of one object, and it may be viewed as if there are different objects in the right eye and the left eye.

そこで、本実施形態では、仮想視点とオブジェクトとの距離に応じて仮想視線の方向を変更することにより、近距離にあるオブジェクトであっても見やすい表示を実現する。具体的には、左右両眼の視界画像を生成する際に基準となる上記の仮想視線方向を「基本仮想視線方向」として設定し、これに対し、近距離を見るための仮想視線方向を「近距離仮想視線方向」として、基本仮想視線方向とは異なる別の仮想視線方向を設定する。なお、仮想視点は、前述したように仮想空間内におけるユーザの眼の位置に相当する視点であるが、左眼の位置でもよいし、右眼の位置でもよいし、両眼の距離に基づく位置でもよいし、左眼と右眼の中心の位置などであってもよい。   Therefore, in this embodiment, by changing the direction of the virtual line of sight according to the distance between the virtual viewpoint and the object, a display that is easy to see even for an object at a short distance is realized. Specifically, the virtual visual line direction as a reference when generating the left and right eye field-of-view images is set as the “basic virtual visual line direction”, while the virtual visual line direction for viewing a short distance is set to “ As the “short distance virtual line-of-sight direction”, another virtual line-of-sight direction different from the basic virtual line-of-sight direction is set. The virtual viewpoint is a viewpoint corresponding to the position of the user's eye in the virtual space as described above, but may be the position of the left eye, the position of the right eye, or a position based on the distance between both eyes. Alternatively, the center of the left eye and the right eye may be used.

図7は、本実施形態に係る視界画像の視線方向の変更を説明する説明図である。この図は、図6に示すオブジェクトH4について、近距離仮想視線方向が設定される例を示している。左眼仮想視線方向KL1と右眼仮想視線方向KR1とが基本仮想視線方向である。近距離仮想視線方向は、左眼用としては左眼仮想視線方向KL1より右方向(即ち、オブジェクトH4がある方向)に移動した左眼仮想視線方向KL4に設定され、右眼用としては、右眼仮想視線方向KR1より左方向(即ち、オブジェクトH4がある方向)に移動した右眼仮想視線方向KR4に設定される。例えば、基本仮想視線方向である左眼仮想視線方向KL1と実際の視線方向KL3との角度の差が「n1」であるのに対して、近距離仮想視線方向である左眼仮想視線方向KL4と実際の視線方向KL3との角度の差は「n1」より小さい「n2」であり(n1>n2)、差異が少なくなる。ここでは、左眼側の角度の差のみを示しているが、右眼側も同様に、基本仮想視線方向である右眼仮想視線方向KR1と実際の視線方向KR3との角度の差よりも、近距離仮想視線方向である右眼仮想視線方向KR4と実際の視線方向KR3との角度の差の方が差異が少なくなる。よって、基本仮想視線方向から近距離仮想視線方向に変更することで、近距離を見た場合の実際の眼の視線方向と仮想視線方向との差異をより少なくすることができる。   FIG. 7 is an explanatory diagram illustrating a change in the line-of-sight direction of the field-of-view image according to the present embodiment. This figure shows an example in which the short distance virtual line-of-sight direction is set for the object H4 shown in FIG. The left-eye virtual line-of-sight direction KL1 and the right-eye virtual line-of-sight direction KR1 are basic virtual line-of-sight directions. The short-distance virtual line-of-sight direction is set to the left-eye virtual line-of-sight direction KL4 that is moved in the right direction (that is, the direction in which the object H4 is present) from the left-eye virtual line-of-sight direction KL1 for the left eye. It is set to the right eye virtual line-of-sight direction KR4 moved to the left (that is, the direction in which the object H4 is present) from the eye virtual line-of-sight direction KR1. For example, the difference in angle between the left-eye virtual line-of-sight direction KL1 that is the basic virtual line-of-sight direction and the actual line-of-sight direction KL3 is “n1”, whereas the left-eye virtual line-of-sight direction KL4 that is the short-range virtual line-of-sight direction The difference in angle with the actual line-of-sight direction KL3 is “n2” which is smaller than “n1” (n1> n2), and the difference is reduced. Here, only the angle difference between the left eye side is shown, but the right eye side similarly shows the angle difference between the right eye virtual line-of-sight direction KR1, which is the basic virtual line-of-sight direction, and the actual line-of-sight direction KR3. The difference in the angle difference between the right eye virtual visual line direction KR4, which is the short distance virtual visual line direction, and the actual visual line direction KR3 is smaller. Therefore, by changing from the basic virtual line-of-sight direction to the short-distance virtual line-of-sight direction, the difference between the actual eye line-of-sight direction and the virtual line-of-sight direction when viewing a short distance can be reduced.

図8は、近距離仮想視線方向への変更処理を行っていない視界画像の一例を示す図である。一方、図9は、近距離仮想視線方向への変更処理を行った視界画像の一例を示す図である。つまり、図8及び図9では、両眼の仮想視点の位置が同じであり、仮想視線方向のみが異なる。なお、図8及び図9では、近距離に配置されたオブジェクトとしてキャラクタが表示される視界画像を例に、左眼用の視界画像を左側に、右眼用の視界画像を右側に並べて示している。例えば、キャラクタの口に注目した場合、図8に示す未処理の左眼用の視界画像における口の右半分IL1は、歪が少なく水平に近い形をしているが、右眼用の視界画像における口の右半分IR1は、横方向に圧縮かつ縦方向に伸びて歪んでおり、両者はかなり異なる形状になっている。この視界画像をHMD10で見た場合、左右の視界画像で同一の口の形状が異なって見えるため、同一の口として認識しにくくなる。これに対し、図9に示す近距離仮想視線方向への変更処理を行った視界画像では、右眼用の視界画像におけるキャラクタの口の右半分IR2の形状は、図8に比べて歪が少なくなっている。これにより、左眼用の視界画像におけるキャラクタの口の右側部分IL2と右眼用の視界画像におけるキャラクタの口の右側部分IR2との形状の差異が図8に比べて減少しているため、同一の口として認識しやすくなる。   FIG. 8 is a diagram illustrating an example of a field-of-view image that is not subjected to the process of changing to the near-distance virtual line-of-sight direction. On the other hand, FIG. 9 is a diagram illustrating an example of a field-of-view image that has been subjected to the changing process in the short distance virtual line-of-sight direction. That is, in FIGS. 8 and 9, the positions of the virtual viewpoints of both eyes are the same, and only the virtual line-of-sight direction is different. In FIGS. 8 and 9, the left eye view image is shown on the left side and the right eye view image is shown on the right side, taking as an example the view image in which the character is displayed as an object placed at a short distance. Yes. For example, when attention is paid to the mouth of the character, the right half IL1 of the mouth in the unprocessed left-eye view image shown in FIG. 8 has little distortion and is nearly horizontal, but the right-eye view image. The right half IR1 of the mouth is compressed in the horizontal direction and stretched in the vertical direction and is distorted. When this field-of-view image is viewed with the HMD 10, the same mouth shape looks different in the left and right field-of-view images, making it difficult to recognize as the same mouth. On the other hand, in the view image in which the process of changing to the short distance virtual line-of-sight direction shown in FIG. 9 is performed, the shape of the right half IR2 of the character's mouth in the view image for the right eye is less distorted than in FIG. It has become. Thereby, the difference in shape between the right portion IL2 of the character's mouth in the left-eye view image and the right portion IR2 of the character's mouth in the right-eye view image is reduced as compared with FIG. It becomes easy to recognize as a mouth.

このように、本実施形態では、仮想視点とオブジェクトとの位置関係に基づいて、視界画像を生成する際の仮想視線方向を変更することで、両眼視差を利用した仮想空間の表示を、より見やすくすることができる。なお、仮想視線方向を変更するのは、実際にユーザが近距離のオブジェクトを見ているが否かによって変更するのが望ましい。そのため、本実施形態では、仮想空間内のオブジェクトと仮想視点との距離に基づいて仮想視線方向を変更するか否かを判定する。   As described above, in the present embodiment, by changing the virtual line-of-sight direction when generating the view field image based on the positional relationship between the virtual viewpoint and the object, the display of the virtual space using the binocular parallax can be further performed. You can make it easier to see. Note that it is desirable to change the virtual line-of-sight direction depending on whether or not the user is actually looking at an object at a short distance. Therefore, in this embodiment, it is determined whether or not to change the virtual line-of-sight direction based on the distance between the object in the virtual space and the virtual viewpoint.

また、この仮想視線方向の変更処理は、仮想空間内に存在する全てのオブジェクトを対象とするのではなく、特定のオブジェクト(特定オブジェクト)に対象を限定する。例えば、特定オブジェクトは、予め設定されたオブジェクトであり、キャラクタ(人、知人、ペット等)や所持品等である。なお、特定オブジェクトは、ユーザの操作によって予め設定されたオブジェクトであってもよい。例えば、特定オブジェクトは、ユーザの操作によってロックオンされたオブジェクト、タッチされたオブジェクト等であってもよい。このように限定することで、不必要に上記の変更処理を行うことを抑制することができる。例えば、注目する必要の無い、背景としての観葉植物等はむしろ仮想視線方向の変更処理を行わない方が、自然であり、またVR酔いも抑制できる。   Also, the virtual line-of-sight direction changing process does not target all objects existing in the virtual space, but limits the target to a specific object (specific object). For example, the specific object is a preset object, such as a character (person, acquaintance, pet, etc.) or personal belongings. The specific object may be an object set in advance by a user operation. For example, the specific object may be an object locked on by a user operation, an object touched, or the like. By limiting in this way, it can suppress performing said change process unnecessarily. For example, it is natural for a foliage plant or the like as a background that does not need to be noticed to be subjected to the process of changing the virtual gaze direction, and VR sickness can be suppressed.

なお、図及び図の例では特定オブジェクトが左眼仮想視点K(L)と右眼仮想視点K(R)とから等位置となる直線上にある例としたが、特定オブジェクトはこの直線上になくてもよく、この直線に対して左右または上下にずれた位置にあってもよい。上記の仮想視線方向の変更処理を行う場合、左眼仮想視点K(L)と右眼仮想視点K(R)とが特定オブジェクトの方向を向きさえすればよい。 In the examples of FIGS. 6 and 7 , the specific object is on a straight line that is equidistant from the left-eye virtual viewpoint K (L) and the right-eye virtual viewpoint K (R). It does not have to be on the upper side, and may be in a position shifted to the left or right or up and down with respect to this straight line. When performing the above-described virtual visual line direction changing process, the left eye virtual viewpoint K (L) and the right eye virtual viewpoint K (R) need only face the direction of the specific object.

以下、本実施形態に係るHMDシステムの構成について、詳しく説明する。
〔HMDシステムの構成〕
図10は、本実施形態に係るHMDシステムのハードウェア構成の一例を示す図である。図示するHMDシステム1は、HMD10と、HMD10にゲーム画像を表示させるゲーム装置20とを備えている。
Hereinafter, the configuration of the HMD system according to the present embodiment will be described in detail.
[Configuration of HMD system]
FIG. 10 is a diagram illustrating an example of a hardware configuration of the HMD system according to the present embodiment. The illustrated HMD system 1 includes an HMD 10 and a game device 20 that causes the HMD 10 to display a game image.

HMD10は、表示部11と、センサ12と、通信部13と、CPU(Central Processing Unit)14とを備えている。表示部11は、画像やテキスト等の情報を表示するディスプレイであり、例えば、液晶ディスプレイパネル、有機EL(ElectroLuminescence)ディスプレイパネルなどを含んで構成される。例えば、表示部11は、仮想空間内の仮想視点(HMDを装着しているユーザの眼)からの視界画像として、両眼視差を利用した立体視画像(右眼用画像及び左眼用画像)を表示する。また、表示部11は、仮想空間内に配置された各種オブジェクトを視界画像とともに表示する。各種オブジェクトとは、例えば、ゲームに登場するキャラクタやアイテム、ゲームの進行に応じて行われる演出、ユーザの操作により選択可能な選択メニューや各種アイコン等である。   The HMD 10 includes a display unit 11, a sensor 12, a communication unit 13, and a CPU (Central Processing Unit) 14. The display unit 11 is a display that displays information such as images and text, and includes, for example, a liquid crystal display panel, an organic EL (ElectroLuminescence) display panel, and the like. For example, the display unit 11 uses a binocular parallax (a right-eye image and a left-eye image) as a view field image from a virtual viewpoint (a user's eye wearing an HMD) in the virtual space. Is displayed. The display unit 11 displays various objects arranged in the virtual space together with the view field image. The various objects include, for example, characters and items appearing in the game, effects produced in accordance with the progress of the game, selection menus and various icons that can be selected by user operations.

センサ12は、HMD10の方向に関する情報を検知するセンサである。例えば、センサ12は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ12は、方向の変化を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。例えば、センサ12は、ジャイロセンサに限られるものではなく、加速度センサ、傾斜センサ、地磁気センサ等であってもよい。通信部13は、ゲーム装置20と有線または無線により通信を行う。CPU14は、HMD10が備える各部を制御する制御中枢として機能する。例えば、CPU14は、ゲーム装置20から送信されるゲーム画像(例えば、視界画像)の画像データを通信部13を介して取得し、表示部11に表示させる。また、CPU14は、センサ12の検知結果に基づいてHMD10の方向に関する情報を、ゲーム装置20へ送信する。   The sensor 12 is a sensor that detects information related to the direction of the HMD 10. For example, the sensor 12 is a gyro sensor that detects the angle, angular velocity, angular acceleration, and the like of an object. The sensor 12 may be a sensor that detects a change in direction, or a sensor that detects the direction itself. For example, the sensor 12 is not limited to a gyro sensor, and may be an acceleration sensor, a tilt sensor, a geomagnetic sensor, or the like. The communication unit 13 communicates with the game apparatus 20 by wire or wireless. CPU14 functions as a control center which controls each part with which HMD10 is provided. For example, the CPU 14 acquires image data of a game image (for example, a view field image) transmitted from the game apparatus 20 via the communication unit 13 and causes the display unit 11 to display the image data. Further, the CPU 14 transmits information related to the direction of the HMD 10 to the game apparatus 20 based on the detection result of the sensor 12.

なお、上述したHMD10が備える各ハードウェア構成は、バス(Bus)を介して相互に通信可能に接続されている。   Note that the hardware configurations of the HMD 10 described above are connected to each other via a bus so that they can communicate with each other.

ゲーム装置20は、仮想空間を用いたゲームのゲーム処理を実行するコンピュータ装置であり、家庭用ゲーム機、パーソナルコンピュータ、ゲームセンター等に設置されているアーケードゲーム機、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)、タブレットPC、等が適用できる。本実施形態では、ゲーム装置20は家庭用ゲーム機であるとして説明する。   The game device 20 is a computer device that executes a game process of a game using a virtual space, and is a home game machine, a personal computer, an arcade game machine installed in a game center or the like, a mobile phone such as a smartphone or a feature phone. A personal digital assistant (PDA), a tablet PC, or the like can be applied. In the present embodiment, the game apparatus 20 will be described as a consumer game machine.

図示するゲーム装置20は、入力部21と、スピーカ22と、記憶部23と、通信部24と、CPU25と、を備えている。入力部21は、ユーザの操作により各種の指示が入力される入力装置である。例えば、入力部21は、コントローラ、キーボードやマウス、タッチパッドや、音声により各種の指示が入力されるマイクロホンなど、その他の入力装置であってもよい。スピーカ22は、音声信号に基づいて音声を出力する出力装置である。なお、スピーカ22に代えて、外部スピーカやヘッドフォンやイヤフォン等に音声信号を出力する音声出力端子であってもよい。また、スピーカ22は、HMD10側に備えられてもよい。   The illustrated game device 20 includes an input unit 21, a speaker 22, a storage unit 23, a communication unit 24, and a CPU 25. The input unit 21 is an input device through which various instructions are input by a user operation. For example, the input unit 21 may be another input device such as a controller, a keyboard, a mouse, a touch pad, or a microphone in which various instructions are input by voice. The speaker 22 is an output device that outputs sound based on an audio signal. Instead of the speaker 22, an audio output terminal that outputs an audio signal to an external speaker, a headphone, an earphone, or the like may be used. The speaker 22 may be provided on the HMD 10 side.

記憶部23は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)、RAM(Random Access Memory)などを含み、仮想空間内にオブジェクトが配置されている仮想空間データ(画像データ)や、仮想空間を用いたゲームのプログラムやデータ等を記憶する。通信部24は、HMD10と有線または無線により通信を行う。   The storage unit 23 includes, for example, HDD (Hard Disk Drive), SSD (Solid State Drive), EEPROM (Electrically Erasable Programmable Read-Only Memory), ROM (Read-Only Memory, etc.). It stores virtual space data (image data) in which objects are arranged in the virtual space, game programs and data using the virtual space, and the like. The communication unit 24 communicates with the HMD 10 by wire or wireless.

CPU25は、ゲーム装置20が備える各部を制御する制御中枢として機能する。例えば、CPU25は、記憶部23に記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、HMD10へ表示させるゲーム画像の表示を制御する制御部として機能する。   The CPU 25 functions as a control center that controls each unit included in the game apparatus 20. For example, the CPU 25 executes a game process by executing a game program stored in the storage unit 23 and functions as a control unit that controls display of a game image to be displayed on the HMD 10.

なお、上述したゲーム装置20が備える各ハードウェア構成は、バス(Bus)を介して相互に通信可能に接続されている。   Note that the respective hardware configurations included in the above-described game device 20 are connected to each other via a bus so that they can communicate with each other.

〔機能構成〕
図11は、本実施形態に係るゲーム装置20の機能構成の一例を示すブロック図である。ゲーム装置20は、記憶部23に記憶されているプログラムをCPU25が実行することにより実現される機能構成として、制御部250を備えている。制御部250は、検出部251と、視界画像生成部252と、変更部253と、表示制御部254と、を備え、ゲーム画像(例えば、視界画像)の表示を制御する表示制御装置の少なくとも一部として機能する。ここでは、制御部250が、HMD10に表示させる視界画像を生成する際に仮想視線方向を変更する機能について説明する。
[Function configuration]
FIG. 11 is a block diagram illustrating an example of a functional configuration of the game apparatus 20 according to the present embodiment. The game apparatus 20 includes a control unit 250 as a functional configuration realized by the CPU 25 executing a program stored in the storage unit 23. The control unit 250 includes a detection unit 251, a view image generation unit 252, a change unit 253, and a display control unit 254, and is at least one of display control devices that control display of a game image (for example, a view image). It functions as a part. Here, the function of changing the virtual line-of-sight direction when the control unit 250 generates a view field image to be displayed on the HMD 10 will be described.

検出部251は、HMD10から通信部24を介して取得するセンサ12の検知結果に基づいて、HMD10の方向に関する情報を検出する。また、検出部251は、HMD10の方向に関する情報に基づいて、仮想空間における仮想視点からの視界方向を検出する。例えば、検出部251は、HMD10の方向または方向の変化を示す情報に基づいて、視界方向または視界方向の変化を検出する。なお、検出部251は、HMD10の方向の変化速度に関する情報に基づいて視界方向の変化速度に関する情報を検出してもよい。   The detection unit 251 detects information related to the direction of the HMD 10 based on the detection result of the sensor 12 acquired from the HMD 10 via the communication unit 24. Further, the detection unit 251 detects the visual field direction from the virtual viewpoint in the virtual space based on the information regarding the direction of the HMD 10. For example, the detection unit 251 detects the viewing direction or the change in the viewing direction based on the information indicating the direction of the HMD 10 or the change in the direction. Note that the detection unit 251 may detect information related to the change speed of the visual field direction based on information related to the change speed of the direction of the HMD 10.

視界画像生成部252は、記憶部23に記憶されている仮想空間データに基づく仮想空間内の仮想視点からの視界を表す視界画像(左右両眼それぞれの視界画像)を、検出部251が検出した視界方向に基づいて生成する。また、視界画像生成部252は、この視界画像を生成する際に、仮想視点からの仮想視線方向を基準として生成する。仮想視線方向は、通常は基本仮想視線方向に設定されており、仮想視点と特定オブジェクトとの位置関係によって近距離仮想視線方向に変更される。   The field-of-view image generation unit 252 detects a field-of-view image (a field-of-view image for each of the left and right eyes) representing the field of view from the virtual viewpoint in the virtual space based on the virtual space data stored in the storage unit 23. Generate based on view direction. The visual field image generation unit 252 generates the visual field image based on the virtual visual line direction from the virtual viewpoint when generating the visual field image. The virtual line-of-sight direction is normally set to the basic virtual line-of-sight direction, and is changed to the short-distance virtual line-of-sight direction depending on the positional relationship between the virtual viewpoint and the specific object.

変更部253は、仮想空間内に配置される特定オブジェクトのうち視界画像に含まれる特定オブジェクトと仮想視点との位置関係に基づいて、視界画像生成部252が視界画像(左右両眼それぞれの視界画像)を生成する際に基準となる仮想視線方向(左眼仮想視線方向、右眼仮想視線方向)を変更する。例えば、変更部253は、特定オブジェクトと仮想視点との距離に基づいて、仮想視線方向を変更する。具体的には、変更部253は、特定オブジェクトと仮想視点との距離が一定距離以内の場合に、特定オブジェクトへの方向と仮想視線方向との差が少なくなるように、基本仮想視線方向から近距離仮想視線方向(即ち、特定オブジェクトへの実際の視線方向に近づく方向)へ変更する(図7参照)。   Based on the positional relationship between the specific object included in the view field image and the virtual viewpoint among the specific objects arranged in the virtual space, the changing unit 253 causes the view field image generation unit 252 to view the view image (the view image of each of the left and right eyes). ) Is changed as a reference (left-eye virtual line-of-sight direction, right-eye virtual line-of-sight direction). For example, the changing unit 253 changes the virtual line-of-sight direction based on the distance between the specific object and the virtual viewpoint. Specifically, when the distance between the specific object and the virtual viewpoint is within a certain distance, the changing unit 253 approaches the basic virtual line-of-sight direction so that the difference between the direction toward the specific object and the virtual line-of-sight direction is reduced. The distance is changed to the virtual visual line direction (that is, the direction approaching the actual visual line direction to the specific object) (see FIG. 7).

ここで、特定オブジェクトと仮想視点との距離は、例えば、仮想空間内における特定オブジェクトの座標位置と仮想視点の座標位置とに基づいて算出される。特定オブジェクトの座標位置は、特定オブジェクトに設定された特定の位置であり、移動を伴うものであってもよい。仮想視点の座標位置は、仮想空間内に予め設定されたユーザの位置に基づくものであり、同様に移動を伴うものであってもよい。   Here, the distance between the specific object and the virtual viewpoint is calculated based on, for example, the coordinate position of the specific object and the coordinate position of the virtual viewpoint in the virtual space. The coordinate position of the specific object is a specific position set for the specific object, and may be accompanied by movement. The coordinate position of the virtual viewpoint is based on the position of the user preset in the virtual space, and may be accompanied by movement as well.

また、上記の一定距離とは、近距離仮想視線方向へ変更する閾値として予め設定された値であり、任意に設定することができる。例えば、この一定距離は、ユーザの右眼と左眼の距離が仮想視線方向に大きく影響が出るくらいの特定オブジェクトと仮想視点との距離を考慮して設定される。   Moreover, said fixed distance is a value preset as a threshold value changed to a short distance virtual visual line direction, and can be set arbitrarily. For example, the fixed distance is set in consideration of the distance between the specific object and the virtual viewpoint so that the distance between the right eye and the left eye of the user greatly affects the virtual line-of-sight direction.

一方、仮想視点と特定オブジェクトとが一定距離より離れている場合には、変更部253は、近距離仮想視線方向への変更処理を実行しない。これは、仮想視点から特定オブジェクトにある程度の距離があれば実際の視線方向と差が少なく上記のような問題が発生しにくく、この変更処理の必要性が希薄となることと、むやみに仮想視線を動かすことによってVR酔いが生じてしまうことを防止できることによる。   On the other hand, when the virtual viewpoint and the specific object are separated from each other by a certain distance, the changing unit 253 does not execute the changing process in the short distance virtual line-of-sight direction. This is because if there is a certain distance from the virtual viewpoint to the specific object, the difference from the actual line-of-sight direction is small and the above-mentioned problems are unlikely to occur. This is because it is possible to prevent VR sickness from occurring by moving.

また、変更部253は、近距離仮想視線方向へ変更した後に、特定オブジェクトと仮想視点との距離が一定距離より離れた場合には、近距離仮想視線方向から基本仮想視線方向へ戻す。   Further, after changing to the short distance virtual line-of-sight direction, the changing unit 253 returns from the short-distance virtual line-of-sight direction to the basic virtual line-of-sight direction when the distance between the specific object and the virtual viewpoint is longer than a certain distance.

表示制御部254は、視界画像生成部252が生成した視界画像のデータを通信部24を介してHMD10に送信することにより、HMD10の表示部11に表示させる。以下では、表示制御部254が視界画像のデータを通信部24を介して送信することによりHMD10に表示部11に表示させることを、省略して、表示制御部254が表示部11(またはHMD10)に表示させる、とも記述する。これにより、視界画像生成部252が生成した視界画像(左右両眼それぞれの視界画像)がHMD10の表示部11に両眼視差を利用した立体視画像として表示される。   The display control unit 254 causes the display unit 11 of the HMD 10 to display the field of view image data generated by the field of view image generation unit 252 by transmitting the data to the HMD 10 via the communication unit 24. In the following description, the display control unit 254 transmits the view field image data via the communication unit 24 to cause the HMD 10 to display the data on the display unit 11, and the display control unit 254 displays the display unit 11 (or HMD 10). It is also displayed. As a result, the field-of-view images generated by the field-of-view image generation unit 252 (the field images of the left and right eyes) are displayed on the display unit 11 of the HMD 10 as a stereoscopic image using binocular parallax.

〔視界画像生成処理の動作〕
次に、図12を参照して、ゲーム装置20が視界画像を生成する際に仮想視線方向を変更する視界画像生成処理の動作を説明する。図12は、本実施形態に係る視界画像生成処理の一例を示すフローチャートである。まず、制御部250は、HMD10のセンサ12の検知結果に基づいて視界方向を検出する(ステップS100)。次に、制御部250は、検出した視界方向に基づいて、仮想空間内の視界の中に特定オブジェクトがあるか否かを判定する(ステップS102)。
[Operation of view image generation processing]
Next, with reference to FIG. 12, the operation of the visual field image generation process for changing the virtual visual line direction when the game apparatus 20 generates a visual field image will be described. FIG. 12 is a flowchart illustrating an example of a view field image generation process according to the present embodiment. First, the control unit 250 detects the viewing direction based on the detection result of the sensor 12 of the HMD 10 (step S100). Next, the control unit 250 determines whether there is a specific object in the field of view in the virtual space based on the detected field of view direction (step S102).

視界の中に特定オブジェクトがあると判定された場合(YES)、制御部250は、仮想視点から特定オブジェクトまでの距離を検出する。(ステップS104)。   When it is determined that there is a specific object in the field of view (YES), the control unit 250 detects the distance from the virtual viewpoint to the specific object. (Step S104).

次に、制御部250は、検出した仮想視点から特定オブジェクトまでの距離が一定距離以内であるか否かを判定する(ステップS106)。仮想視点から特定オブジェクトまでの距離が一定距離以内であると判定された場合(YES)、制御部250は、視界画像を生成する際の基準となる仮想視線方向を近距離仮想視線方向に設定する。即ち、制御部250は、基本仮想視線方向から近距離仮想視線方向へ変更する(ステップS108)。   Next, the control unit 250 determines whether or not the distance from the detected virtual viewpoint to the specific object is within a certain distance (step S106). When it is determined that the distance from the virtual viewpoint to the specific object is within a certain distance (YES), the control unit 250 sets the virtual line-of-sight direction serving as a reference when generating the view field image to the short-distance virtual line-of-sight direction. . That is, the control unit 250 changes from the basic virtual line-of-sight direction to the short-distance virtual line-of-sight direction (step S108).

一方、ステップS102において視界の中に特定オブジェクトがないと判定された場合(NO)、及び、ステップS106において仮想視点から特定オブジェクトまでの距離が一定距離以内ではないと判定された場合(NO)、制御部250は、視界画像を生成する際の基準となる仮想視線方向を基本仮想視線方向に設定する。即ち、制御部250は、仮想視線方向を近距離仮想視線方向へ変更しない(ステップS110)。   On the other hand, if it is determined in step S102 that there is no specific object in the field of view (NO), and if it is determined in step S106 that the distance from the virtual viewpoint to the specific object is not within a certain distance (NO), The control unit 250 sets the virtual visual line direction serving as a reference when generating the visual field image as the basic virtual visual line direction. That is, the control unit 250 does not change the virtual visual line direction to the short distance virtual visual line direction (step S110).

そして、制御部250は、ステップS108またはステップS110において設定された近距離仮想視線方向または基本仮想視線方向を基準として、ステップS100において検出された視界方向の視界画像を生成する(ステップS112)。   And the control part 250 produces | generates the visual field image of the visual field direction detected in step S100 on the basis of the short distance virtual visual line direction or basic virtual visual line direction set in step S108 or step S110 (step S112).

〔第1の実施形態のまとめ〕
以上説明してきたように、本実施形態に係るゲーム装置20(表示制御装置の一例)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能な表示部11を備えたHMD10の表示を制御する。例えば、ゲーム装置20は、検出部251と、視界画像生成部252と、変更部253と、表示制御部254とを備えている。検出部251は、表示部11(HDM10)の方向に関する情報に基づいて仮想視点からの視界方向を検出する。視界画像生成部252は、検出部25が検出した視界方向に基づく視界画像を、仮想視点からの仮想視線方向を基準として生成する。変更部253は、仮想空間内に配置される特定オブジェクトのうち視界画像に含まれる特定オブジェクトと仮想視点との位置関係に基づいて、仮想視線方向を変更する。表示制御部254は、視界画像生成部252が生成した視界画像を表示部11に表示させる。
[Summary of First Embodiment]
As described above, the game apparatus 20 (an example of a display control apparatus) according to the present embodiment displays a view image representing a view from a virtual viewpoint in a virtual space as a stereoscopic image using binocular parallax. The display of HMD10 provided with the possible display part 11 is controlled. For example, the game apparatus 20 includes a detection unit 251, a view field image generation unit 252, a change unit 253, and a display control unit 254. The detection unit 251 detects the viewing direction from the virtual viewpoint based on the information regarding the direction of the display unit 11 (HDM 10). The visual field image generation unit 252 generates a visual field image based on the visual field direction detected by the detection unit 25 with reference to the virtual visual line direction from the virtual viewpoint. The changing unit 253 changes the virtual line-of-sight direction based on the positional relationship between the specific object included in the view field image and the virtual viewpoint among the specific objects arranged in the virtual space. The display control unit 254 causes the display unit 11 to display the view image generated by the view image generation unit 252.

これにより、ゲーム装置20は、仮想視点と特定オブジェクトとの位置関係に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。また、それによりVR酔いを抑制することができる。   As a result, the game apparatus 20 changes the virtual line-of-sight direction when generating the view image based on the positional relationship between the virtual viewpoint and the specific object, so that the left-eye view image and the right-eye view image are used. Differences due to distortion and expansion / contraction of the image of the specific object can be suppressed, and display of the visual field image in the virtual space using binocular parallax can be made easier to see. Moreover, VR sickness can be suppressed thereby.

例えば、特定オブジェクトと仮想視点との位置関係は、特定オブジェクトと仮想視点との距離に基づく位置関係である。これにより、ゲーム装置20は、仮想視点と特定オブジェクトとの距離に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。   For example, the positional relationship between the specific object and the virtual viewpoint is a positional relationship based on the distance between the specific object and the virtual viewpoint. As a result, the game apparatus 20 changes the virtual line-of-sight direction when generating the view image based on the distance between the virtual viewpoint and the specific object, so that the game device 20 specifies the view image for the left eye and the view image for the right eye. Differences due to distortion and expansion / contraction of the image of the object can be suppressed, and the display of the visual field image in the virtual space using binocular parallax can be made easier to see.

一例として、変更部253は、特定オブジェクトと仮想視点との距離が一定距離以内の場合に、仮想視線方向を変更する。これにより、ゲーム装置20は、特定オブジェクトが近距離にある場合には、その特定オブジェクトをユーザが見ていると判断し、その特定オブジェクトに合わせて近距離仮想視線方向に変更するので、特定オブジェクトが近距離にある場合であっても視界画像を見やすくすることができる。   As an example, the changing unit 253 changes the virtual line-of-sight direction when the distance between the specific object and the virtual viewpoint is within a certain distance. Thereby, when the specific object is at a short distance, the game apparatus 20 determines that the user is looking at the specific object, and changes to the short distance virtual line-of-sight direction according to the specific object. It is possible to make the field-of-view image easier to see even when is at a short distance.

具体的には、変更部253は、仮想視点から特定オブジェクトへの方向と仮想視線方向との差が少なくなるように、仮想視線方向を変更する。これにより、ゲーム装置20は、近距離を見た場合の実際のユーザの眼の視線方向と仮想視線方向との差異を少なくするため、ユーザが見ていると判断した特定オブジェクトの画像の歪曲及び伸縮を抑えることができる。よって、ゲーム装置20は、ユーザが見ていると判断した特定オブジェクトを現実の見え方と同じように視界画像を表示させることができるため、より見やすくすることができるとともに、VR酔いを抑制できる。   Specifically, the changing unit 253 changes the virtual line-of-sight direction so that the difference between the direction from the virtual viewpoint to the specific object and the virtual line-of-sight direction is reduced. Thereby, in order to reduce the difference between the visual line-of-sight direction of the actual user's eyes and the virtual line-of-sight direction when viewing the short distance, the game apparatus 20 distorts the image of the specific object determined to be viewed by the user and Expansion and contraction can be suppressed. Therefore, the game apparatus 20 can display the view image in the same way as the actual appearance of the specific object determined to be viewed by the user, thereby making it easier to see and suppressing VR sickness.

また、特定オブジェクトは、予め設定されたオブジェクトである。これにより、ゲーム装置20は、主要なオブジェクト(例えば、キャラクタ)を特定オブジェクトに設定しておくことで、その主要なオブジェクトが近距離に存在した場合であっても画像の歪曲及び伸縮を抑えることができるため、より見やすくすることができるとともに、VR酔いを抑制できる。また、ゲーム装置20は、複数のオブジェクトの中から特定のオブジェクトに限定することで、不必要に仮想視線方向を変更することを軽減できるため、VR酔いを軽減できる。   The specific object is a preset object. Thereby, the game apparatus 20 sets a main object (for example, a character) as a specific object, thereby suppressing distortion and expansion / contraction of the image even when the main object exists at a short distance. Can be made easier to see, and VR sickness can be suppressed. In addition, the game device 20 can reduce VR sickness because it can reduce the unnecessary change of the virtual line-of-sight direction by limiting to a specific object from the plurality of objects.

[第2の実施形態]
次に、本発明の第2の実施形態について説明する。
本実施形態に係るHMDシステム1の基本的な構成は、図10及び図11に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。第1の実施形態では、仮想視点と特定オブジェクトとの距離に基づいて仮想視線方向の変更処理を行う例を説明したが、本実施形態では、仮想視点と特定オブジェクトとに応じた輻輳角に基づいて仮想視線方向の変更処理を行う例を説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described.
Since the basic configuration of the HMD system 1 according to the present embodiment is the same as the configurations illustrated in FIGS. 10 and 11, characteristic processing in the present embodiment will be described. In the first embodiment, the example in which the virtual line-of-sight direction change processing is performed based on the distance between the virtual viewpoint and the specific object has been described. However, in the present embodiment, based on the convergence angle corresponding to the virtual viewpoint and the specific object. An example of changing the virtual line-of-sight direction will be described.

輻輳角は、特定オブジェクトとの距離と相関がある。例えば、図6に示すように、仮想視点KとオブジェクトH3とに応じた輻輳角r1は、左眼仮想視点K(L)からオブジェクトH3へ向かう視線方向KL2と、右眼仮想視点K(R)からオブジェクトH3へ向かう視線方向KR2とのなす角となる。一方、仮想視点KとオブジェクトH4とに応じた輻輳角r2は、左眼仮想視点K(L)からオブジェクトH4へ向かう視線方向KL3と、右眼仮想視点K(R)からオブジェクトH4へ向かう視線方向KR3とのなす角となる。オブジェクトH3よりも近距離のオブジェクトH4に対する輻輳角r2の方が、オブジェクトH3に対する輻輳角r1よりも大きい角度となる(輻輳角r1<輻輳角r2)。即ち、輻輳角が大きいほど、特定オブジェクトとの距離が近いことになる。   The convergence angle correlates with the distance to the specific object. For example, as shown in FIG. 6, the convergence angle r1 corresponding to the virtual viewpoint K and the object H3 includes the line-of-sight direction KL2 from the left eye virtual viewpoint K (L) to the object H3 and the right eye virtual viewpoint K (R). The angle formed by the line-of-sight direction KR2 toward the object H3. On the other hand, the convergence angle r2 corresponding to the virtual viewpoint K and the object H4 includes the line-of-sight direction KL3 from the left-eye virtual viewpoint K (L) to the object H4 and the line-of-sight direction from the right-eye virtual viewpoint K (R) to the object H4. This is the angle formed with KR3. The convergence angle r2 with respect to the object H4 at a shorter distance than the object H3 is larger than the convergence angle r1 with respect to the object H3 (convergence angle r1 <convergence angle r2). That is, the greater the convergence angle, the closer the distance to the specific object.

変更部253は、仮想空間内に配置される特定オブジェクトのうち視界画像に含まれる特定オブジェクトと仮想視点とに応じた輻輳角に基づく位置関係に基づいて、視界画像生成部252が視界画像(左右両眼それぞれの視界画像)を生成する際に基準となる仮想視線方向(左眼仮想視線方向、右眼仮想視線方向)を変更する。具体的には、変更部253は、特定オブジェクトと仮想視点とに応じた輻輳角が一定値以上の場合に、特定オブジェクトへの方向と仮想視線方向との差が少なくなるように、基本仮想視線方向から近距離仮想視線方向(即ち、特定オブジェクトへの実際の視線方向に近づく方向)へ変更する。   Based on the positional relationship based on the convergence angle corresponding to the specific object included in the view image and the virtual viewpoint among the specific objects arranged in the virtual space, the changing unit 253 causes the view image generating unit 252 to change the view image (left and right). The virtual visual line direction (left eye virtual visual line direction, right eye virtual visual line direction), which is a reference when generating a visual field image of each eye), is changed. Specifically, the changing unit 253 determines the basic virtual line of sight so that the difference between the direction toward the specific object and the virtual line-of-sight direction is reduced when the convergence angle corresponding to the specific object and the virtual viewpoint is equal to or greater than a certain value. The direction is changed to the near distance virtual line-of-sight direction (that is, the direction approaching the actual line-of-sight direction to the specific object).

なお、上記の一定値は、近距離仮想視線方向へ変更する閾値として予め設定された値であり、任意に設定することができる。例えば、この一定値は、ユーザの右眼と左眼の距離が仮想視線方向に大きく影響が出るくらいの特定オブジェクトと仮想視点との距離に相当する輻輳角を考慮して設定される。   In addition, said fixed value is a value preset as a threshold value changed to a short distance virtual visual line direction, and can be set arbitrarily. For example, this constant value is set in consideration of the convergence angle corresponding to the distance between the specific object and the virtual viewpoint so that the distance between the right eye and the left eye of the user greatly affects the virtual line-of-sight direction.

一方、仮想視点と特定オブジェクトとに応じた輻輳角が一定値より小さい場合には、変更部253は、近距離仮想視線方向への変更処理を実行しない。また、変更部253は、近距離仮想視線方向へ変更した後に、特定オブジェクトと仮想視点とに応じた輻輳角が一定値未満となった場合には、近距離仮想視線方向から基本仮想視線方向へ戻す。   On the other hand, when the convergence angle according to the virtual viewpoint and the specific object is smaller than a certain value, the changing unit 253 does not execute the changing process in the short distance virtual line-of-sight direction. In addition, after changing to the short distance virtual line-of-sight direction, the changing unit 253 changes from the short-distance virtual line-of-sight direction to the basic virtual line-of-sight direction when the convergence angle corresponding to the specific object and the virtual viewpoint becomes less than a certain value. return.

図13は、本実施形態に係る視界画像生成処理の一例を示すフローチャートである。この図13において、ステップS200、S202、S208、S210、S212の各処理は、図12のステップS100、S102、S108、S110、S112の各処理と同様の処理であるため、その説明を適宜省略する。   FIG. 13 is a flowchart illustrating an example of a view field image generation process according to the present embodiment. In FIG. 13, the processes in steps S200, S202, S208, S210, and S212 are the same as the processes in steps S100, S102, S108, S110, and S112 in FIG. .

ステップS204において、制御部250は、仮想視点と特定オブジェクトとに応じた輻輳角を検出する。次に、制御部250は、検出した輻輳角が一定値以上であるか否かを判定する(ステップS206)。輻輳角が一定値以上であると判定された場合(YES)、制御部250は、視界画像を生成する際の基準となる仮想視線方向を近距離仮想視線方向に設定する。即ち、制御部250は、基本仮想視線方向から近距離仮想視線方向へ変更する(ステップS208)。   In step S204, the control unit 250 detects a convergence angle according to the virtual viewpoint and the specific object. Next, the control unit 250 determines whether or not the detected convergence angle is greater than or equal to a certain value (step S206). When it is determined that the convergence angle is equal to or greater than a certain value (YES), the control unit 250 sets the virtual visual line direction serving as a reference when generating the visual field image as the short distance virtual visual line direction. That is, the control unit 250 changes from the basic virtual line-of-sight direction to the short-distance virtual line-of-sight direction (step S208).

一方、ステップS202において視界の中に特定オブジェクトがないと判定された場合(NO)、及び、ステップS206において輻輳角が一定値未満であると判定された場合(NO)、制御部250は、視界画像を生成する際の基準となる仮想視線方向を基本仮想視線方向に設定する。即ち、制御部250は、仮想視線方向を近距離仮想視線方向へ変更しない(ステップS210)。   On the other hand, if it is determined in step S202 that there is no specific object in the field of view (NO), and if it is determined in step S206 that the convergence angle is less than a certain value (NO), the control unit 250 A virtual line-of-sight direction serving as a reference for generating an image is set as a basic virtual line-of-sight direction. That is, the control unit 250 does not change the virtual line-of-sight direction to the short-distance virtual line-of-sight direction (step S210).

以上説明したように、本実施形態においては、特定オブジェクトと仮想視点との位置関係は、仮想視点と特定オブジェクトとに応じた輻輳角に基づく位置関係である。これにより、ゲーム装置20は、仮想視点と特定オブジェクトに応じた輻輳角に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。   As described above, in the present embodiment, the positional relationship between the specific object and the virtual viewpoint is a positional relationship based on the convergence angle corresponding to the virtual viewpoint and the specific object. Thereby, the game apparatus 20 changes the virtual visual line direction when generating the visual field image based on the virtual viewpoint and the convergence angle corresponding to the specific object, so that the visual field image for the left eye and the visual field image for the right eye Thus, it is possible to suppress the difference due to distortion and expansion / contraction of the image of the specific object, and it is possible to make the display of the visual field image in the virtual space using binocular parallax easier to see.

例えば、変更部253は、上記輻輳角が一定値以上の場合に、仮想視線方向を変更する。これにより、ゲーム装置20は、輻輳角が一定値以上の場合、即ち特定オブジェクトが近距離にある場合には、その特定オブジェクトをユーザが見ていると判断し、その特定オブジェクトに合わせて近距離仮想視線方向に変更するので、特定オブジェクトが近距離にある場合であっても視界画像を見やすくすることができる。   For example, the changing unit 253 changes the virtual line-of-sight direction when the convergence angle is equal to or greater than a certain value. Thereby, the game device 20 determines that the user is looking at the specific object when the convergence angle is equal to or greater than a certain value, that is, when the specific object is at a short distance, and the short distance according to the specific object. Since it changes to a virtual visual line direction, even if it is a case where a specific object exists in a short distance, a visual field image can be made easy to see.

[第3の実施形態]
次に、本発明の第3の実施形態について説明する。
本実施形態に係るHMDシステム1の基本的な構成は、図10及び図11に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。本実施形態では、第1及び第2の実施形態で説明した仮想視線方向の変更に加えて、視界の広さも変更する例を説明する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described.
Since the basic configuration of the HMD system 1 according to the present embodiment is the same as the configurations illustrated in FIGS. 10 and 11, characteristic processing in the present embodiment will be described. In the present embodiment, an example will be described in which, in addition to the change in the virtual line-of-sight direction described in the first and second embodiments, the field of view is also changed.

図5を参照して説明したように、視界画像は、仮想視線方向から離れるほど画像の歪曲や伸縮の度合が大きくなる。そのため、視界を狭めることにより、視界画像において歪曲及び伸縮する画像領域を少なく抑えることができる。なお、視界を狭めるとは、結果的にはズーム(拡大)するのと同様の処理である。通常の視界に広さに対して狭める範囲は、任意に設定することができ、予め設定されていてもよいし、特定オブジェクトとの距離または特定オブジェクトの大きさ等に基づいて設定されてもよい。   As described with reference to FIG. 5, the degree of distortion and expansion / contraction of an image increases as the view field image moves away from the virtual line-of-sight direction. Therefore, by narrowing the field of view, the image area that is distorted and stretched in the field of view image can be reduced. Narrowing the field of view is a process similar to zooming (enlarging) as a result. The range narrowed with respect to the area in the normal field of view can be arbitrarily set, and may be set in advance, or may be set based on the distance to the specific object, the size of the specific object, or the like. .

本実施形態では、変更部253は、仮想視線方向を変更する際に、視界画像の仮想空間における視界の広さを変更する。例えば、変更部253は、仮想視線方向を近距離視線方向に変更する際に、視界画像の仮想空間における視界の広さを通常の視界の広さよりも狭くする。   In the present embodiment, the changing unit 253 changes the size of the visual field in the virtual space of the visual field image when changing the virtual visual line direction. For example, when changing the virtual line-of-sight direction to the short-distance line-of-sight direction, the changing unit 253 makes the field of view in the virtual space of the field-of-view image narrower than the normal field of view.

これにより、ゲーム装置20は、ユーザが近距離を見る場合には、近距離視線方向に変更するのに加えて、視界を狭めることで歪曲及び伸縮する画像領域を少なく抑えることができるため、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。   Thereby, when the user looks at a short distance, in addition to changing to the short-distance line-of-sight direction, the game apparatus 20 can suppress the image area that is distorted and stretched by narrowing the field of view. The display of the visual field image in the virtual space using the eye parallax can be made easier to see.

図14は、本実施形態に係る視界画像生成処理の一例を示すフローチャートである。この図14において、ステップS300、S302、S304、S306、S308、S312、S316の各処理は、図12のステップS100、S102、S104、S106、S108、S110、S112の各処理と同様の処理であるため、その説明を適宜省略する。   FIG. 14 is a flowchart illustrating an example of a view field image generation process according to the present embodiment. In FIG. 14, the processes in steps S300, S302, S304, S306, S308, S312, and S316 are the same as the processes in steps S100, S102, S104, S106, S108, S110, and S112 in FIG. Therefore, the description is omitted as appropriate.

ステップS306において仮想視点から特定オブジェクトまでの距離が一定距離以内であると判定された場合(YES)、制御部250は、視界画像を生成する際の基準となる仮想視線方向を近距離仮想視線方向に設定する。即ち、制御部250は、基本仮想視線方向から近距離仮想視線方向へ変更する(ステップS308)。また、制御部250は、視界の広さを通常の標準値から狭い範囲に変更する(ステップS310)。   When it is determined in step S306 that the distance from the virtual viewpoint to the specific object is within a certain distance (YES), the control unit 250 sets the virtual visual line direction serving as a reference when generating the visual field image as the short distance virtual visual line direction. Set to. That is, the control unit 250 changes from the basic virtual line-of-sight direction to the short-distance virtual line-of-sight direction (step S308). Further, the control unit 250 changes the field of view from a normal standard value to a narrow range (step S310).

一方、ステップS302において視界の中に特定オブジェクトがないと判定された場合(NO)、及び、ステップS306において仮想視点から特定オブジェクトまでの距離が一定距離以内ではないと判定された場合(NO)、制御部250は、視界画像を生成する際の基準となる仮想視線方向を基本仮想視線方向に設定する。即ち、制御部250は、仮想視線方向を近距離仮想視線方向へ変更しない(ステップS312)。また、制御部250は、視界の広さを通常の標準値に設定する(ステップS314)。   On the other hand, if it is determined in step S302 that there is no specific object in the field of view (NO), and if it is determined in step S306 that the distance from the virtual viewpoint to the specific object is not within a certain distance (NO), The control unit 250 sets the virtual visual line direction serving as a reference when generating the visual field image as the basic virtual visual line direction. That is, the control unit 250 does not change the virtual visual line direction to the short distance virtual visual line direction (step S312). Further, the controller 250 sets the field of view to a normal standard value (step S314).

なお、図14に示す視界画像生成処理は、仮想視点と特定オブジェクトとの距離に基づいて仮想視線方向の変更処理と視界の変更処理とを行う例であるが、第2の実施形態で説明したように、仮想視点と特定オブジェクトに応じた輻輳角に基づいて仮想視線方向の変更処理と視界の変更処理とを行ってもよい。即ち、図12に示す視界画像生成処理に視界の変更処理を加えた例であるが、図13に示す視界画像生成処理に視界の変更処理を加えてもよい。   Note that the visual field image generation process shown in FIG. 14 is an example of performing a virtual visual line direction changing process and a visual field changing process based on the distance between the virtual viewpoint and the specific object, but has been described in the second embodiment. In this way, the virtual line-of-sight direction change process and the view field change process may be performed based on the virtual viewpoint and the convergence angle corresponding to the specific object. That is, in this example, the view changing process is added to the view image generating process shown in FIG. 12, but the view changing process may be added to the view image generating process shown in FIG.

[変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1〜3の実施形態において説明した各構成は、任意に組み合わせることができる。
[Modification]
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above-described embodiment, and includes a design and the like within a scope not departing from the gist of the present invention. For example, the configurations described in the first to third embodiments can be arbitrarily combined.

また、上記実施形態では、仮想視線方向の変更処理の対象となる特定オブジェクトが予め設定されたオブジェクト(例えば、キャラクタ等)である例を説明したが、これに限られるものではない。例えば、特定オブジェクトは、視界画像内において所定の表示態様となったオブジェクトであってもよい。所定の表示態様となったオブジェクトとは、例えば、近距離のオブジェクトであって、そのオブジェクトの表示面積の割合が視界画像の面積に対して所定の割合(例えば、50%)以上になったオブジェクトである。つまり、上記実施形態で説明したように特定オブジェクトを予め設定しておくのではなく、視界画像内に含まれる近距離のオブジェクトの表示面積の割合によって特定オブジェクトに設定し、仮想視線方向の変更処理を行ってもよい。例えば、視界画像内に仮想視点から30cm以内に位置する近距離のオブジェクトの表示面積の割合が視界画像に対して50%以上になった場合に、当該オブジェクトを特定オブジェクトとして仮想視線方向の変更処理を行うようにしてもよい。これにより、ゲーム装置20は、予め設定された特定オブジェクトに限らず、視界画像の多くの割合を占める近距離のオブジェクトがある場合には、当該オブジェクトをユーザが見ているものと判断して仮想視線方向の変更処理を行うため、その特定オブジェクトの画像の歪曲及び伸縮を抑えることができ、より見やすくすることができる。   In the above-described embodiment, an example in which the specific object that is the target of the virtual line-of-sight direction change process is an object (for example, a character) set in advance has been described, but the present invention is not limited to this. For example, the specific object may be an object having a predetermined display form in the view field image. An object having a predetermined display mode is, for example, an object at a short distance, and an object whose display area ratio is equal to or higher than a predetermined ratio (for example, 50%) with respect to the area of the view field image. It is. That is, the specific object is not set in advance as described in the above embodiment, but the specific object is set according to the ratio of the display area of the short-distance object included in the view field image, and the virtual gaze direction changing process is performed. May be performed. For example, when the ratio of the display area of a short-distance object located within 30 cm from the virtual viewpoint in the view image becomes 50% or more with respect to the view image, the virtual line-of-sight direction changing process using the object as the specific object May be performed. As a result, the game device 20 determines that the user is looking at the object when there is a short-distance object that occupies a large proportion of the view field image as well as the specific object set in advance. Since the line-of-sight direction changing process is performed, distortion and expansion / contraction of the image of the specific object can be suppressed, and the viewing can be made easier.

また、上記実施形態において、HMD10がユーザの頭部に装着可能な構成例を説明したが、HMD10は、頭部に完全に装着可能な形状の構成に限られるものではない。例えば、HMD10は、ユーザが眼の前に把持することで、ユーザの眼と表示部11との位置関係を所定の関係に保ち、仮想空間内の視界画像や各種オブジェクトを視認可能とする装置(例えば、双眼鏡のような形状)であってもよい。   In the above embodiment, the configuration example in which the HMD 10 can be mounted on the user's head has been described. However, the HMD 10 is not limited to a configuration having a shape that can be completely mounted on the head. For example, the HMD 10 is a device that allows a user to grasp a visual field image and various objects in a virtual space while holding the positional relationship between the user's eyes and the display unit 11 in a predetermined relationship by grasping in front of the eyes. For example, it may be a shape like binoculars).

また、HMD10は、スマートフォン等の端末装置をアタッチメントに装着することでHMDとして利用できるものであってもよい。この場合、端末装置の表示部及びセンサがHMD10の表示部11及びセンサ12として機能し、また、端末装置のCPUが、ゲーム装置20のCPU25として機能する。即ち、ゲーム装置20の制御部250が備える、検出部251、視界画像生成部252、変更部253、及び表示制御部254、及びゲーム装置20の記憶部23の仮想空間データ等は、上記の端末装置が備える。   The HMD 10 may be used as an HMD by attaching a terminal device such as a smartphone to the attachment. In this case, the display unit and the sensor of the terminal device function as the display unit 11 and the sensor 12 of the HMD 10, and the CPU of the terminal device functions as the CPU 25 of the game device 20. That is, the detection unit 251, the view image generation unit 252, the change unit 253, the display control unit 254, and the virtual space data of the storage unit 23 of the game device 20 included in the control unit 250 of the game device 20 are the above-described terminals. The device is equipped.

また、上記実施形態では、仮想空間を利用したゲームを例に説明したが、これに限られるものではない。例えば、仮想空間を利用したアプリケーションであれば、ゲームに限らず、どのようなアプリケーションであってもよい。また、オブジェクトが配置される仮想空間は、現実空間に基づくものであってもよい。例えば、現実空間をユーザが移動することにより、現実空間内のユーザの視点に応じた視界の景色がリアルタイムに撮影されながら視界画像として表示されるものであってもよい。その場合、特定オブジェクトは、現実空間に基づく視界画像に追加されてもよいし、現実空間内の実オブジェクトの中から認識されてもよい。   Moreover, although the said embodiment demonstrated to the example the game using virtual space, it is not restricted to this. For example, any application that uses a virtual space is not limited to a game. Further, the virtual space in which the object is arranged may be based on the real space. For example, when the user moves in the real space, a view scene corresponding to the user's viewpoint in the real space may be displayed as a view image while being captured in real time. In this case, the specific object may be added to the view image based on the real space, or may be recognized from the real object in the real space.

また、上記実施形態では、HMD10の方向に応じて視界方向変化する例を説明したが、これに限られるものではなく、視界は固定であってもよい。視界が固定の場合であっても、仮想視点と特定オブジェクトとの位置関係に基づいて、仮想視線方向の変更処理が行われてもよい。   Moreover, although the said embodiment demonstrated the example which changes a visual field direction according to the direction of HMD10, it is not restricted to this, A visual field may be fixed. Even when the field of view is fixed, the virtual line-of-sight direction changing process may be performed based on the positional relationship between the virtual viewpoint and the specific object.

また、上述の制御部250の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部250としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、制御部250で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて制御部250で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に制御部250で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。   Further, the program for realizing the function of the control unit 250 described above is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed as the control unit 250. You may perform the process of. Here, “loading and executing a program recorded on a recording medium into a computer system” includes installing the program in the computer system. The “computer system” here includes an OS and hardware such as peripheral devices. Further, the “computer system” may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and dedicated line. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. As described above, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM. The recording medium also includes a recording medium provided inside or outside that is accessible from the distribution server in order to distribute the program. The code of the program stored in the recording medium of the distribution server may be different from the code of the program that can be executed by the control unit 250. That is, the format stored in the distribution server is not limited as long as it can be downloaded from the distribution server and installed in a form that can be executed by the control unit 250. Note that the program may be divided into a plurality of parts and downloaded at different timings and then combined in the control unit 250, or the distribution server that distributes each of the divided programs may be different. Furthermore, a “computer-readable recording medium” holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or client when the program is transmitted via a network. Including things. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

また、上述した制御部250の機能の一部または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。   Also, some or all of the functions of the control unit 250 described above may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each function described above may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integrated circuit technology that replaces LSI appears due to the advancement of semiconductor technology, an integrated circuit based on the technology may be used.

[付記]
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
[Appendix]
From the above description, the present invention is grasped as follows, for example. In order to facilitate understanding of the present invention, reference numerals in the accompanying drawings are appended in parentheses for convenience, but the present invention is not limited to the illustrated embodiment.

(付記1)本発明の一態様に係る表示制御装置(20)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能な表示部(11)を備えたヘッドマウントディスプレイ(10)の表示を制御する表示制御装置であって、前記表示部の方向に関する情報に基づいて前記仮想視点からの視界方向を検出する検出部(251、S100、S200、S300)と、前記検出部が検出した視界方向に基づく前記視界画像を、前記仮想視点からの仮想視線方向を基準として生成する視界画像生成部(252、S112、S212、S316)と、前記仮想空間内に配置される特定オブジェクトのうち前記視界画像に含まれる特定オブジェクトと前記仮想視点との位置関係に基づいて、前記仮想視線方向を変更する変更部(253、S108、S208、S308)と、前記視界画像生成部が生成した前記視界画像を表示部に表示させる表示制御部(254)と、を備える。   (Additional remark 1) The display control apparatus (20) which concerns on 1 aspect of this invention is a display part which can display the visual field image showing the visual field from the virtual viewpoint in virtual space as a stereoscopic vision image using binocular parallax ( 11) a display control device for controlling the display of the head mounted display (10), the detection unit (251, S100, detecting the visual field direction from the virtual viewpoint based on the information on the direction of the display unit) (S200, S300), a view image generation unit (252, S112, S212, S316) that generates the view image based on the view direction detected by the detection unit with reference to the virtual view direction from the virtual viewpoint, and Based on a positional relationship between a specific object included in the view field image and a virtual viewpoint among specific objects arranged in the virtual space, the virtual line-of-sight direction is determined. Provided further change section (253, S108, S208, S308), the display control unit for displaying the visual image the field of view image generating unit has generated to the display section (254), the.

付記1の構成によれば、表示制御装置は、仮想視点と特定オブジェクトとの位置関係に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。また、それによりVR酔いを抑制することができる。   According to the configuration of Supplementary Note 1, the display control apparatus changes the virtual line-of-sight direction when generating the visual field image based on the positional relationship between the virtual viewpoint and the specific object. Differences in the image of the specific object due to distortion and expansion / contraction can be suppressed, and display of the virtual space view image using binocular parallax can be made easier to see. Moreover, VR sickness can be suppressed thereby.

(付記2)また、本発明の一態様は、付記1に記載の表示制御装置であって、前記位置関係は、前記特定オブジェクトと前記仮想視点との距離に基づく位置関係である。   (Additional remark 2) Moreover, 1 aspect of this invention is a display control apparatus of Additional remark 1, Comprising: The said positional relationship is a positional relationship based on the distance of the said specific object and the said virtual viewpoint.

付記2の構成によれば、表示制御装置は、仮想視点と特定オブジェクトとの距離に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。   According to the configuration of Supplementary Note 2, the display control device changes the virtual visual line direction when generating the visual field image based on the distance between the virtual visual point and the specific object. Differences in the image of the specific object due to distortion and expansion / contraction with the view image can be suppressed, and display of the view image in the virtual space using binocular parallax can be made easier to see.

(付記3)また、本発明の一態様は、付記2に記載の表示制御装置であって、前記変更部は、前記距離が一定距離以内の場合に、前記仮想視線方向を変更する。   (Additional remark 3) Moreover, 1 aspect of this invention is a display control apparatus of Additional remark 2, Comprising: The said change part changes the said virtual gaze direction, when the said distance is less than a fixed distance.

付記3の構成によれば、表示制御装置は、特定オブジェクトが近距離にある場合には、その特定オブジェクトをユーザが見ていると判断し、その特定オブジェクトに合わせて近距離仮想視線方向に変更するので、特定オブジェクトが近距離にある場合であっても視界画像を見やすくすることができる。   According to the configuration of Supplementary Note 3, when the specific object is at a short distance, the display control device determines that the user is looking at the specific object, and changes the direction to the near virtual sight line direction according to the specific object. Therefore, it is possible to make it easier to see the view field image even when the specific object is at a short distance.

(付記4)また、本発明の一態様は、付記2または付記3に記載の表示制御装置であって、前記位置関係は、前記仮想視点と前記特定オブジェクトとに応じた輻輳角に基づく位置関係である。   (Additional remark 4) Moreover, 1 aspect of this invention is a display control apparatus of Additional remark 2 or Additional remark 3, Comprising: The said positional relationship is a positional relationship based on the convergence angle according to the said virtual viewpoint and the said specific object. It is.

付記4の構成によれば、表示制御装置は、仮想視点と特定オブジェクトに応じた輻輳角に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。   According to the configuration of Supplementary Note 4, the display control apparatus changes the virtual visual line direction when generating the visual field image based on the virtual viewpoint and the convergence angle corresponding to the specific object. Differences in the image of the specific object due to distortion and expansion / contraction can be suppressed with the visual field image for use, and the display of the visual field image in the virtual space using binocular parallax can be made easier to see.

(付記5)また、本発明の一態様は、付記4に記載の表示制御装置であって、前記変更部は、前記輻輳角が一定値以上の場合に、前記仮想視線方向を変更する。   (Additional remark 5) Moreover, 1 aspect of this invention is a display control apparatus of Additional remark 4, Comprising: The said change part changes the said virtual gaze direction, when the said convergence angle is more than a fixed value.

付記5の構成によれば、表示制御装置は、輻輳角が一定値以上の場合、即ち特定オブジェクトが近距離にある場合には、その特定オブジェクトをユーザが見ていると判断し、その特定オブジェクトに合わせて近距離仮想視線方向に変更するので、特定オブジェクトが近距離にある場合であっても視界画像を見やすくすることができる。   According to the configuration of Supplementary Note 5, when the convergence angle is equal to or greater than a certain value, that is, when the specific object is at a short distance, the display control device determines that the specific object is being viewed by the user, Therefore, the visual field image can be easily viewed even when the specific object is at a short distance.

(付記6)また、本発明の一態様は、付記1から付記5のいずれか一に記載の表示制御装置であって、前記変更部は、前記仮想視点から前記特定オブジェクトへの方向と前記仮想視線方向との差が少なくなるように、前記仮想視線方向を変更する。   (Additional remark 6) Moreover, 1 aspect of this invention is a display control apparatus as described in any one of Additional remark 1 to Additional remark 5, Comprising: The said change part is the direction from the said virtual viewpoint to the said specific object, and said virtual The virtual line-of-sight direction is changed so that the difference from the line-of-sight direction is reduced.

付記6の構成によれば、表示制御装置は、近距離を見た場合の実際のユーザの眼の視線方向と仮想視線方向との差異を少なくするため、ユーザが見ていると判断した特定オブジェクトの画像の歪曲及び伸縮を抑えることができる。   According to the configuration of Supplementary Note 6, the display control device reduces the difference between the visual line-of-sight direction of the actual user's eyes and the virtual line-of-sight direction when looking at a short distance, and thus the specific object determined to be viewed by the user Distortion and expansion / contraction of the image can be suppressed.

(付記7)また、本発明の一態様は、付記1から付記6のいずれか一に記載の表示制御装置であって、前記特定オブジェクトは、予め設定されたオブジェクトである。   (Additional remark 7) Moreover, 1 aspect of this invention is a display control apparatus as described in any one of Additional remark 1 to Additional remark 6, Comprising: The said specific object is a preset object.

付記7の構成によれば、表示制御装置は、主要なオブジェクト(例えば、キャラクタ)を特定オブジェクトに設定しておくことで、その主要なオブジェクトが近距離に存在した場合であっても画像の歪曲及び伸縮を抑えることができるため、より見やすくすることができる。また、表示制御装置は、複数のオブジェクトの中から特定のオブジェクトに限定することで、不必要に仮想視線方向を変更することを軽減できるため、VR酔いを軽減できる。   According to the configuration of Supplementary Note 7, the display control device sets a main object (for example, a character) as a specific object, so that even if the main object exists at a short distance, image distortion can occur. And since expansion and contraction can be suppressed, it can be made easier to see. In addition, the display control device can reduce VR sickness because it can reduce unnecessary change of the virtual line-of-sight direction by limiting to a specific object from among a plurality of objects.

(付記8)また、本発明の一態様は、付記1から付記7のいずれか一に記載の表示制御装置であって、前記特定オブジェクトは、前記視界画像内において所定の表示態様となったオブジェクトである。   (Additional remark 8) Moreover, 1 aspect of this invention is a display control apparatus as described in any one of Additional remark 1 to Additional remark 7, Comprising: The said specific object is an object used as the predetermined | prescribed display aspect in the said visual field image. It is.

付記8の構成によれば、表示制御装置は、予め設定された特定オブジェクトに限らず、視界画像のうちの多くの割合を占める近距離のオブジェクトがある場合には、当該オブジェクトをユーザが見ている特定オブジェクトであると判断して仮想視線方向の変更処理を行うため、その特定オブジェクトの画像の歪曲及び伸縮を抑えることができ、より見やすくすることができる。   According to the configuration of Supplementary Note 8, the display control device is not limited to the specific object set in advance, and when there is a short-distance object that occupies a large proportion of the view field image, the user looks at the object. Since the virtual line-of-sight direction changing process is performed by determining that the object is a specific object, distortion and expansion / contraction of the image of the specific object can be suppressed, which makes it easier to view.

(付記9)また、本発明の一態様は、付記1から付記8のいずれか一に記載の表示制御装置であって、前記変更部は、前記仮想視線方向を変更する際に、前記視界画像の前記仮想空間における視界範囲の広さを変更する。   (Additional remark 9) Moreover, 1 aspect of this invention is a display control apparatus as described in any one of Additional remark 1 to Additional remark 8, Comprising: When the said change part changes the said virtual gaze direction, the said visual field image The range of the field of view in the virtual space is changed.

付記9の構成によれば、表示制御装置は、ユーザが近距離を見る場合には、近距離視線方向に変更するのに加えて、視界を狭めることで歪曲及び伸縮する画像領域を少なく抑えることができるため、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。   According to the configuration of Supplementary Note 9, when the user looks at a short distance, in addition to changing to the short-distance line-of-sight direction, the display control apparatus reduces the image area that is distorted and stretched by narrowing the field of view. Therefore, the display of the visual field image in the virtual space using binocular parallax can be made easier to see.

(付記10)また、本発明の一態様に係るプログラムは、コンピュータを、付記1から付記9のいずれか一に記載の表示制御装置として機能させるためのプログラムである。   (Additional remark 10) Moreover, the program which concerns on 1 aspect of this invention is a program for functioning a computer as a display control apparatus as described in any one of Additional remark 1 to Additional remark 9.

付記10の構成によれば、プログラムは、仮想視点と特定オブジェクトとの位置関係に基づいて視界画像を生成する際の仮想視線方向を変更するので、左眼用の視界画像と右眼用の視界画像とで特定オブジェクトの画像の歪曲及び伸縮による違いを抑制することができ、両眼視差を利用した仮想空間の視界画像の表示を、より見やすくすることができる。また、それによりVR酔いを抑制することができる。   According to the configuration of Supplementary Note 10, since the program changes the virtual visual line direction when generating the visual field image based on the positional relationship between the virtual viewpoint and the specific object, the left eye visual field image and the right eye visual field are changed. Differences between the image and the image of the specific object due to distortion and expansion / contraction can be suppressed, and display of the visual field image in the virtual space using binocular parallax can be made easier to see. Moreover, VR sickness can be suppressed thereby.

1 HMDシステム、10 HMD、11 表示部、12 センサ、13 通信部、14 CPU、20 ゲーム装置、21 入力部、22 スピーカ、23 記憶部、24 通信部、25 CPU、250 制御部、251 検出部、252 視界画像生成部、253 変更部、254 表示制御部   1 HMD system, 10 HMD, 11 display unit, 12 sensor, 13 communication unit, 14 CPU, 20 game device, 21 input unit, 22 speaker, 23 storage unit, 24 communication unit, 25 CPU, 250 control unit, 251 detection unit 252 View image generation unit, 253 change unit, 254 display control unit

Claims (6)

両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能な表示部を備えたヘッドマウントディスプレイの表示を制御する表示制御装置であって、
前記表示部の方向に関する情報に基づいて前記仮想視点からの視界方向を検出する検出部と、
前記検出部が検出した視界方向に基づく前記視界画像を、前記仮想視点からの仮想視線方向を基準として生成する視界画像生成部と、
前記仮想空間内に配置される予め設定された特定オブジェクトのうち前記視界画像に含まれる特定オブジェクトと前記仮想視点との距離に基づく位置関係に基づいて、前記特定オブジェクトと前記仮想視点との距離が一定距離以内の場合に、前記仮想視線方向を変更する変更部と、
前記視界画像生成部が生成した前記視界画像を表示部に表示させる表示制御部と、
を備える表示制御装置。
A display control device for controlling display of a head mounted display including a display unit capable of displaying a view field image representing a view field from a virtual viewpoint in a virtual space as a stereoscopic image using binocular parallax,
A detection unit for detecting a viewing direction from the virtual viewpoint based on information on the direction of the display unit;
A visual field image generation unit that generates the visual field image based on the visual field direction detected by the detection unit on the basis of the virtual visual line direction from the virtual viewpoint;
On the basis of the positional relationship based on the distance between the virtual viewpoint with a specific object included in the field image of the predetermined specific object placed in a virtual space, the distance between the virtual view point and the specific objects A change unit that changes the virtual line-of-sight direction when within a certain distance ; and
A display control unit for displaying the visual field image generated by the visual field image generation unit on a display unit;
A display control device.
両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能な表示部を備えたヘッドマウントディスプレイの表示を制御する表示制御装置であって、
前記表示部の方向に関する情報に基づいて前記仮想視点からの視界方向を検出する検出部と、
前記検出部が検出した視界方向に基づく前記視界画像を、前記仮想視点からの仮想視線方向を基準として生成する視界画像生成部と、
前記仮想空間内に配置される予め設定された特定オブジェクトのうち前記視界画像に含まれる特定オブジェクトと前記仮想視点とに応じた輻輳角に基づく位置関係に基づいて、前記特定オブジェクトと前記仮想視点とに応じた輻輳角が一定値以上の場合に、前記仮想視線方向を変更する変更部と、
前記視界画像生成部が生成した前記視界画像を表示部に表示させる表示制御部と、
を備える表示制御装置。
A display control device for controlling display of a head mounted display including a display unit capable of displaying a view field image representing a view field from a virtual viewpoint in a virtual space as a stereoscopic image using binocular parallax,
A detection unit for detecting a viewing direction from the virtual viewpoint based on information on the direction of the display unit;
A visual field image generation unit that generates the visual field image based on the visual field direction detected by the detection unit on the basis of the virtual visual line direction from the virtual viewpoint;
Wherein based on the virtual viewpoint and the positional relationship based on the convergence angle corresponding to the specific object contained in the field image of the predetermined specific object placed in a virtual space, wherein the specific object and the virtual viewpoint And a change unit that changes the virtual line-of-sight direction when the angle of convergence according to
A display control unit for displaying the visual field image generated by the visual field image generation unit on a display unit;
A display control device.
前記変更部は、
前記仮想視点から前記特定オブジェクトへの方向と前記仮想視線方向との差が少なくなるように、前記仮想視線方向を変更する、
請求項1または請求項に記載の表示制御装置。
The changing unit is
Changing the virtual line-of-sight direction so that a difference between the direction from the virtual viewpoint to the specific object and the virtual line-of-sight direction is reduced;
The display control apparatus according to claim 1 or 2 .
前記特定オブジェクトは、前記視界画像内において所定の表示態様となったオブジェクトである、
請求項1から請求項のいずれか一項に記載の表示制御装置。
The specific object is an object that has become a predetermined display mode in the view image.
The display control apparatus as described in any one of Claims 1-3 .
前記変更部は、
前記仮想視線方向を変更する際に、前記視界画像の前記仮想空間における視界の広さを変更する、
請求項1から請求項のいずれか一項に記載の表示制御装置。
The changing unit is
When changing the virtual line-of-sight direction, changing the width of the visual field in the virtual space of the visual field image;
The display control apparatus as described in any one of Claims 1-4 .
コンピュータを、請求項1から請求項のいずれか一項に記載の表示制御装置として機能させるためのプログラム。 The program for functioning a computer as a display control apparatus as described in any one of Claims 1-5 .
JP2017042997A 2017-03-07 2017-03-07 Display control apparatus and program Active JP6332658B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017042997A JP6332658B1 (en) 2017-03-07 2017-03-07 Display control apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017042997A JP6332658B1 (en) 2017-03-07 2017-03-07 Display control apparatus and program

Publications (2)

Publication Number Publication Date
JP6332658B1 true JP6332658B1 (en) 2018-05-30
JP2018147308A JP2018147308A (en) 2018-09-20

Family

ID=62238873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017042997A Active JP6332658B1 (en) 2017-03-07 2017-03-07 Display control apparatus and program

Country Status (1)

Country Link
JP (1) JP6332658B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02280280A (en) * 1989-03-20 1990-11-16 Tektronix Inc Stereoscopic image data generating method
JPH11161815A (en) * 1997-07-02 1999-06-18 Sega Enterp Ltd Stereoscopic display device and recording medium recording program for executing image processing for the display device
JP2003348621A (en) * 2002-05-27 2003-12-05 Canon Inc Means for setting two-viewpoint camera
JP2006185448A (en) * 2005-12-26 2006-07-13 Olympus Corp Distance computing device
JP2012003328A (en) * 2010-06-14 2012-01-05 Nintendo Co Ltd Three-dimensional image display program, three-dimensional image display apparatus, three-dimensional image display system, and three-dimensional image display method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02280280A (en) * 1989-03-20 1990-11-16 Tektronix Inc Stereoscopic image data generating method
JPH11161815A (en) * 1997-07-02 1999-06-18 Sega Enterp Ltd Stereoscopic display device and recording medium recording program for executing image processing for the display device
JP2003348621A (en) * 2002-05-27 2003-12-05 Canon Inc Means for setting two-viewpoint camera
JP2006185448A (en) * 2005-12-26 2006-07-13 Olympus Corp Distance computing device
JP2012003328A (en) * 2010-06-14 2012-01-05 Nintendo Co Ltd Three-dimensional image display program, three-dimensional image display apparatus, three-dimensional image display system, and three-dimensional image display method

Also Published As

Publication number Publication date
JP2018147308A (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6780642B2 (en) Information processing equipment, information processing methods and programs
EP3396511B1 (en) Information processing device and operation reception method
JP5996814B1 (en) Method and program for providing image of virtual space to head mounted display
JP6342038B1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
JP6058855B1 (en) Information processing method and program for causing computer to execute information processing method
JP6134019B1 (en) Virtual reality space providing method and virtual reality space providing program
JP6332652B1 (en) Display control apparatus and program
US10504296B2 (en) Information processing method and system for executing the information processing method
JP6276434B1 (en) Method for supporting movement in virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP6236691B1 (en) Terminal device and program
US10277814B2 (en) Display control method and system for executing the display control method
JP6257825B1 (en) Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP6207691B1 (en) Information processing method and program for causing computer to execute information processing method
JP6113337B1 (en) Display control method and program for causing a computer to execute the display control method
JP2018094086A (en) Information processing device and image formation method
JP6332658B1 (en) Display control apparatus and program
JP2018109940A (en) Information processing method and program for causing computer to execute the same
JP6284112B2 (en) Terminal device and program
JP6347375B1 (en) Display control apparatus and program
JP2018124989A (en) Method for supporting movement in virtual space, program for implementing that method in computer, and information processor for implementing that program
WO2024057783A1 (en) Information processing device provided with 360-degree image viewpoint position identification unit
JP2017142769A (en) Method and program for providing head-mounted display with virtual space image
JP2017078890A (en) Program for three-dimensionally displaying virtual reality space, computer therefor and head-mounted display device therefor
JP2018200688A (en) Program to provide virtual space, information processing device to execute the same and method for providing virtual space
JP2018088268A (en) Terminal device and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180417

R150 Certificate of patent or registration of utility model

Ref document number: 6332658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250