JP5952931B1 - Computer program - Google Patents
Computer program Download PDFInfo
- Publication number
- JP5952931B1 JP5952931B1 JP2015059354A JP2015059354A JP5952931B1 JP 5952931 B1 JP5952931 B1 JP 5952931B1 JP 2015059354 A JP2015059354 A JP 2015059354A JP 2015059354 A JP2015059354 A JP 2015059354A JP 5952931 B1 JP5952931 B1 JP 5952931B1
- Authority
- JP
- Japan
- Prior art keywords
- posture
- visual field
- view
- virtual space
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】ユーザがＨＭＤを装着して仮想空間に没入している状態において、ユーザの姿勢に応じてＨＭＤに表示される視界を適切に自動調整して、ユーザの姿勢変更に伴う仮想空間内の視界変更を効果的に実施すること【解決手段】本コンピュータ・プログラムは、ヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間の仮想カメラからの視界領域を決定する視界決定部、ヘッドマウント・ディスプレイに表示するために、仮想空間情報を用いて視界領域に対する視界画像を生成する画像生成部、傾き情報に基づいて、ヘッドマウント・ディスプレイを装着したユーザの姿勢を判定すると共に、第１姿勢から第２姿勢への姿勢変更を検知する姿勢検知部、並びに、第２姿勢での仮想カメラからの視界領域に対し、第１姿勢に対する視界画像を適用するように視界を調整する視界調整部としてヘッドマウント・ディスプレイに接続されたコンピュータに機能させる。【選択図】図８In a state in which a user wears an HMD and is immersed in a virtual space, the field of view displayed on the HMD is automatically adjusted appropriately according to the user's posture, and the virtual space in the virtual space accompanying the user's posture change Effectively changing the field of view The computer program determines a field of view from a virtual camera in a virtual space based on tilt information detected by a tilt sensor included in a head-mounted display. Visual field determination unit, image generation unit that generates a visual field image for the visual field region using virtual space information for display on the head mounted display, and determination of the posture of the user wearing the head mounted display based on the tilt information And a posture detection unit that detects a posture change from the first posture to the second posture, and a view from the virtual camera in the second posture. Area contrast, to function in the head-mounted display connected to a computer as a visibility adjusting section to adjust the field of view to apply the view field image with respect to the first orientation. [Selection] Figure 8
Description
本発明は、コンピュータ・プログラムに関し、より詳細には、ユーザがヘッドマウント・ディスプレイ（ＨＭＤ）を頭部に装着し、３次元仮想空間に没入している状況において、自身の姿勢を変更した場合に、ＨＭＤに表示される３次元仮想空間の視界を調整するようコンピュータに制御させるコンピュータ・プログラムに関するものである。 The present invention relates to a computer program, and more specifically, when a user changes his / her posture in a situation where a user mounts a head-mounted display (HMD) on the head and is immersed in a three-dimensional virtual space. The present invention relates to a computer program that controls a computer to adjust the field of view of a three-dimensional virtual space displayed on an HMD.
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに３次元仮想空間画像を提示可能なＨＭＤが知られている。特に、特許文献１に開示されるようなＨＭＤでは、３次元仮想空間に３６０度のパノラマ画像を表示可能である。このようなＨＭＤは通例、各種センサ（例えば、加速度センサや角速度センサ）を備え、ＨＭＤ本体の姿勢データを計測する。特に、頭部の回転角に関する情報に従ってパノラマ画像の視線方向変更を可能にする。即ち、ＨＭＤを装着したユーザが自身の頭部を回転させると、それに併せて、３６０度のパノラマ画像の視線方向を変更するのを可能にする。このようなＨＭＤは、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させる。 There is known an HMD that is mounted on a user's head and can present a three-dimensional virtual space image to the user by a display or the like placed in front of the user. In particular, with an HMD as disclosed in Patent Document 1, a 360-degree panoramic image can be displayed in a three-dimensional virtual space. Such an HMD typically includes various sensors (for example, an acceleration sensor and an angular velocity sensor) and measures posture data of the HMD main body. In particular, it is possible to change the line-of-sight direction of the panoramic image according to information on the rotation angle of the head. That is, when the user wearing the HMD rotates his / her head, it is possible to change the viewing direction of the panoramic image of 360 degrees. Such an HMD increases a sense of immersion in the video world and improves entertainment properties for the user.
その例として、図１に示す各画面が３次元仮想空間としてＨＭＤに表示されるアプリケーションを想定する。例えば、図１（ａ）は、３次元仮想空間内の所定の視界領域に複数の仮想テレビが配置されるような仮想マルチディスプレイ・アプリケーションである。また、図１（ｂ）は、３次元仮想空間平面をユーザのキャラクタが動き回るようなアクション型ＲＰＧのゲーム・アプリケーションである。 As an example, an application in which each screen shown in FIG. 1 is displayed on the HMD as a three-dimensional virtual space is assumed. For example, FIG. 1A shows a virtual multi-display application in which a plurality of virtual televisions are arranged in a predetermined view area in a three-dimensional virtual space. FIG. 1B shows an action-type RPG game application in which a user character moves around in a three-dimensional virtual space plane.
これらアプリケーション・プログラムが実行され、ユーザが操作している最中に、例えば、図２に示すような座位から仰臥位への姿勢変更をユーザが実施したとする。上記のような従来技術のＨＭＤに表示される画像は、当該姿勢変更と連動して、図１（ａ）や図１（ｂ）のような水平方向の視界画像から垂直方向の視界画像へと移行されることになる。この点、３次元仮想空間に没入した状態で座位から仰臥位に姿勢変更したユーザは、図１（ａ）や図１（ｂ）のような水平方向の視界画像を見続けることは困難となる（臥位の状態で無理矢理ＨＭＤを水平方向に向けなければ視界画像を見ることができない）。他方、図１（ａ）や図１（ｂ）の画面表示を行うアプリケーションでは、主に水平方向の視界にコンテンツが用意され、垂直方向の視界には「空」や「雲」程度しか表示されないことも多い。 Assume that the user changes the posture from the sitting position to the supine position as shown in FIG. 2 while these application programs are being executed and operated by the user. The images displayed on the conventional HMD as described above are linked with the posture change from a horizontal view image as shown in FIGS. 1A and 1B to a vertical view image. Will be migrated. In this regard, it is difficult for a user who has changed his / her posture from the sitting position to the supine position while immersing in the three-dimensional virtual space, and continues to view the horizontal view image as shown in FIGS. 1 (a) and 1 (b). (If you do not force the HMD in the horizontal direction in the supine position, you cannot see the view image). On the other hand, in the application that displays the screen shown in FIGS. 1A and 1B, content is prepared mainly in the horizontal field of view, and only “sky” or “cloud” is displayed in the vertical field of view. There are many things.
特に図１（ａ）の仮想マルチディスプレイ・アプリケーションのようなアプリケーションによっては、図２のようにユーザが座位から仰臥位への姿勢変更を実施した場合であっても、座位状態の視界を維持させることにより、コンピュータが視界を制御して水平方向の視界のコンテンツをＨＭＤに表示させ続けることが好ましい。ユーザにとっては、寝ながらにして上を向いたままコンテンツを視聴可能となるからである。 In particular, depending on the application such as the virtual multi-display application in FIG. 1A, even when the user changes the posture from the sitting position to the supine position as shown in FIG. 2, the field of view in the sitting position is maintained. Accordingly, it is preferable that the computer controls the field of view and continuously displays the content of the field of view in the horizontal direction on the HMD. This is because the user can view the content while facing up while sleeping.
本発明は、ユーザがＨＭＤを装着して３次元仮想空間に没入している状態において、実世界でのユーザの姿勢に応じてＨＭＤに表示される仮想的な視界を適切に自動調整するようコンピュータに仮想カメラを制御させ、ユーザの姿勢変更に伴う３次元仮想空間内の視界変更を効果的に実施することを目的とする。 The present invention provides a computer that appropriately adjusts the virtual field of view displayed on the HMD in accordance with the user's posture in the real world when the user is wearing the HMD and is immersed in the three-dimensional virtual space. It is an object of the present invention to control the virtual camera and effectively change the field of view in the three-dimensional virtual space accompanying the change of the user's posture.
上記の課題を解決するために、本発明によるコンピュータ・プログラムは、仮想空間情報を格納した空間情報格納部と、ヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間に配置した仮想カメラからの視界領域を決定する視界決定部と、ヘッドマウント・ディスプレイに表示するために、仮想空間情報を用いて、視界領域に対する視界画像を生成する画像生成部と、傾き情報に基づいて、ヘッドマウント・ディスプレイを装着したユーザの姿勢を判定すると共に、第１姿勢から第２姿勢への姿勢変更を検知する姿勢検知部と、姿勢変更の検知に応じて、第２姿勢での仮想カメラからの視界領域に対し、第１姿勢に対する視界画像を適用するように視界を調整する視界調整部と、としてヘッドマウント・ディスプレイに接続されたコンピュータに機能させる。 In order to solve the above problems, a computer program according to the present invention provides a virtual space based on a spatial information storage unit storing virtual space information and tilt information detected by a tilt sensor included in a head-mounted display. A visual field determination unit that determines a visual field region from a virtual camera disposed in the image generation unit, an image generation unit that generates a visual field image for the visual field region using virtual space information for display on a head-mounted display, and an inclination information And determining the posture of the user wearing the head mounted display, and detecting the posture change from the first posture to the second posture, and detecting the posture change in the second posture. A view adjustment unit that adjusts the field of view so that the field of view image for the first posture is applied to the field of view from the virtual camera. To work on is connected to the door-display computer.
また、本発明によるコンピュータ・プログラムは、上記視界決定部において、視界領域が更に、コンピュータに接続され且つヘッドマウント・ディスプレイを検知可能な位置センサによって検知されるヘッドマウント・ディスプレイの位置情報に基づいて決定される。 Further, the computer program according to the present invention is based on the position information of the head mounted display detected by a position sensor in which the field of view is further connected to the computer and capable of detecting the head mounted display. It is determined.
更に、本発明によるコンピュータ・プログラムでは、仮想空間が複数のメッシュを有する天球状に形成され、空間情報格納部において、仮想空間情報が各メッシュに関連付けられ、上記視界調整部において、第２姿勢での仮想カメラからの視界領域を構成する各メッシュに第１姿勢の視界領域を構成する各メッシュを位置合わせするように、第１姿勢の視界画像を球面に沿ってスライド移動させる。 Further, in the computer program according to the present invention, the virtual space is formed as a celestial sphere having a plurality of meshes, the virtual space information is associated with each mesh in the spatial information storage unit, and the visual field adjustment unit is in the second posture. The view image of the first posture is slid along the spherical surface so that each mesh constituting the view region of the first posture is aligned with each mesh constituting the view region from the virtual camera.
加えて、本発明によるコンピュータ・プログラムは、上記視界調整部において、第１姿勢から第２姿勢への傾き情報の変化に従って、第２姿勢における仮想カメラの位置を中心に仮想空間の軸を回転して座標変換する。 In addition, the computer program according to the present invention rotates the axis of the virtual space around the position of the virtual camera in the second posture in accordance with the change in the tilt information from the first posture to the second posture in the visual field adjustment unit. To convert coordinates.
本発明によれば、ＨＭＤを装着し、３次元仮想空間に没入した状態にあるユーザは、特定の視界を維持するために、自身の姿勢を無理に維持する必要がなくなる。例えば、ユーザが座位姿勢で前方を向いている状態から、仰臥位姿勢で上方を向いている状態に姿勢変更した場合であっても、同一の視界画像情報をＨＭＤに表示することが可能になる。即ち、本発明は、実世界でのユーザの姿勢変更に伴う３次元仮想空間内の視界変更を効果的に実施でき、ＨＭＤの傾け動作に関する効果的なユーザ操作支援を実現することを可能にするものである。 According to the present invention, a user who wears an HMD and is immersed in a three-dimensional virtual space does not need to forcibly maintain his / her posture in order to maintain a specific field of view. For example, even when the posture is changed from a state where the user is facing forward in the sitting posture to a state where the user is facing upward in the supine posture, it is possible to display the same view image information on the HMD. . That is, the present invention can effectively change the field of view in the three-dimensional virtual space accompanying the change of the user's posture in the real world, and can realize effective user operation support regarding the tilting motion of the HMD. Is.
以下に、図面を参照して、本発明の実施の形態による、ユーザの姿勢変更に伴う視界調整をコンピュータに制御させるためのコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。 A computer program for causing a computer to control visual field adjustment accompanying a change in posture of a user according to an embodiment of the present invention will be described below with reference to the drawings. In the figure, the same components are denoted by the same reference numerals.
図３は、本発明の実施形態によるコンピュータ・プログラムを実施するための、ヘッドマウント・ディスプレイ（以下、「ＨＭＤ」と称する。）を用いたＨＭＤシステム１００の全体概略図である。図示のように、ＨＭＤシステム１００は、ＨＭＤ本体１１０、コンピュータ（制御回路部）１２０、およびポジション・トラッキング・カメラ（位置センサ）１３０を備える。 FIG. 3 is an overall schematic diagram of an HMD system 100 using a head mounted display (hereinafter referred to as “HMD”) for executing a computer program according to an embodiment of the present invention. As illustrated, the HMD system 100 includes an HMD main body 110, a computer (control circuit unit) 120, and a position tracking camera (position sensor) 130.
ＨＭＤ１１０は、ディスプレイ１１２およびセンサ１１４を具備する。ディスプレイ１１２は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ１１２に表示される画面のみを観察することができる。当該非透過型のＨＭＤ１１０を装着したユーザは、外界の視界を全て失うため、制御回路部１２０において実行されるアプリケーションによりディスプレイ１１２に表示される３次元仮想空間に完全に没入する表示態様となる。ＨＭＤ１１０が具備するセンサ１１４は、ディスプレイ１１２近辺に固定される。センサ１１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の各種動きを検知することができる。特に角速度センサの場合には、図４のように、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度（傾き）の時間変化を決定することができる。 The HMD 110 includes a display 112 and a sensor 114. The display 112 is a non-transmissive display device configured to completely cover the user's field of view, and the user can observe only the screen displayed on the display 112. Since the user wearing the non-transparent HMD 110 loses all of the outside field of view, the display mode is completely immersed in the three-dimensional virtual space displayed on the display 112 by the application executed in the control circuit unit 120. The sensor 114 included in the HMD 110 is fixed near the display 112. The sensor 114 includes a geomagnetic sensor, an acceleration sensor, and / or a tilt (angular velocity, gyro) sensor, and detects various movements of the HMD 110 (display 112) attached to the user's head through one or more of them. Can do. Particularly in the case of an angular velocity sensor, as shown in FIG. 4, according to the movement of the HMD 110, the angular velocity around the three axes of the HMD 110 is detected over time, and the time change of the angle (tilt) around each axis is determined. Can do.
そこで、図４を参照して傾きセンサで検知可能な角度情報データについて具体的に説明する。図示のように、ＨＭＤを装着したユーザの頭部を中心として、ＸＹＺ座標が規定される。ユーザが直立する垂直方向をＹ軸、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ方向をＺ軸、Ｙ軸およびＺ軸と直交する方向の軸をＸ軸とする。傾きセンサでは、各軸回りの角度、具体的にはＹ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、およびＺ軸を軸とした回転を示すロール角で決定される傾きを検知し、その経時的な変化により、動き検知部２２０が視界情報として角度（傾き）情報データを決定する。 Therefore, the angle information data that can be detected by the tilt sensor will be specifically described with reference to FIG. As illustrated, XYZ coordinates are defined around the head of the user wearing the HMD. The vertical direction in which the user stands upright is the Y axis, the direction orthogonal to the Y axis and connecting the center of the display 112 and the user is the Z axis, and the axis in the direction orthogonal to the Y axis and Z axis is the X axis. In the tilt sensor, an angle around each axis, specifically, a yaw angle indicating rotation about the Y axis, a pitch angle indicating rotation about the X axis, and a roll angle indicating rotation about the Z axis Is detected, and the motion detection unit 220 determines angle (tilt) information data as view information based on the change over time.
図３に戻り、ＨＭＤシステム１００が備えるコンピュータ（制御回路部）１２０は、ＨＭＤを装着したユーザを３次元仮想空間に没入させ、３次元仮想空間に基づく動作を実施させるための制御回路装置として機能する。図示のように、制御回路部１２０は、ＨＭＤ１１０とは別のハードウェアとして構成してよい。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータとすることができる。即ち、図示はしないが、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意のコンピュータとすることができる。代替として、制御回路部１２０は、視界調整装置としてＨＭＤ１１０内部に搭載されてもよい。この場合は、制御回路部１２０は、視界調整装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をＨＭＤ１１０側、またはネットワークを通じたサーバ・コンピュータ（非図示）側に実装してもよい。 Returning to FIG. 3, the computer (control circuit unit) 120 included in the HMD system 100 functions as a control circuit device for immersing the user wearing the HMD into the three-dimensional virtual space and performing an operation based on the three-dimensional virtual space. To do. As illustrated, the control circuit unit 120 may be configured as hardware different from the HMD 110. The hardware can be a computer such as a personal computer or a server computer via a network. That is, although not shown, any computer including a CPU, a main memory, an auxiliary memory, a transmission / reception unit, a display unit, and an input unit connected to each other by a bus can be used. Alternatively, the control circuit unit 120 may be mounted inside the HMD 110 as a visual field adjustment device. In this case, the control circuit unit 120 can implement all or part of the functions of the visual field adjustment device. When only a part is implemented, the remaining functions may be implemented on the HMD 110 side or on a server computer (not shown) side via a network.
ＨＭＤシステム１００が備えるポジション・トラッキング・カメラ（位置センサ）１３０は、制御回路部１２０に通信可能に接続され、ＨＭＤ１１０の位置追跡機能を有する。ポジション・トラッキング・カメラ１３０は、赤外線センサおよび／または複数の光学カメラを用いて実現される。ＨＭＤシステム１００は、ポジション・トラッキング・カメラ１３０を具備し、ユーザ頭部のＨＭＤの位置を検知することによって、実空間のＨＭＤの位置および３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付けて、特定することができる。 A position tracking camera (position sensor) 130 provided in the HMD system 100 is communicably connected to the control circuit unit 120 and has a position tracking function of the HMD 110. The position tracking camera 130 is realized using an infrared sensor and / or a plurality of optical cameras. The HMD system 100 includes a position tracking camera 130, and detects the position of the HMD of the user's head, thereby determining the position of the HMD in the real space and the virtual space position of the virtual camera / immersive user in the three-dimensional virtual space. It is possible to identify and associate accurately.
より具体的には、ポジション・トラッキング・カメラ１３０は、図５に例示的に示すように、ＨＭＤ１１０上に仮想的に設けられ、赤外線を検知する複数の検知点の実空間位置をユーザの動きに対応して経時的に検知する。そして、ポジション・トラッキング・カメラ１３０により検知された実空間位置の経時的変化に基づいて、ＨＭＤ１１０の動きに応じて、実空間のＨＭＤの位置および３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付けて、特定することができる。 More specifically, as shown in FIG. 5, the position tracking camera 130 is virtually provided on the HMD 110, and the real space positions of a plurality of detection points that detect infrared rays are used as the user's movements. Corresponding detection over time. Then, based on the temporal change in the real space position detected by the position tracking camera 130, the position of the HMD in the real space and the virtual camera / immersive user virtual space in the three-dimensional virtual space according to the movement of the HMD 110. The position can be accurately associated and specified.
ポジション・トラッキング・カメラ１３０による位置特定に関連し、本発明の実施形態による、３次元仮想空間２内に配置される仮想カメラ１およびポジション・トラッキング・カメラ１３０の位置関係について図６および図７の模式図を参照して説明する。図６はＸＹＺ軸で構成される３次元の模式図であり、一方、図７はＸＺ軸で構成されるＹ軸方向から見た２次元の模式図（平面図）である。図６に示すように、３次元仮想空間中に仮想カメラ１、仮想カメラ１を収容する３次元仮想空間２、および３次元仮想空間２の外側のポジション・トラッキング・カメラ１３０が仮想的に配置される。 FIG. 6 and FIG. 7 show the positional relationship between the virtual camera 1 and the position tracking camera 130 arranged in the three-dimensional virtual space 2 according to the embodiment of the present invention in relation to the position specification by the position tracking camera 130. This will be described with reference to the schematic diagram. FIG. 6 is a three-dimensional schematic diagram composed of XYZ axes, while FIG. 7 is a two-dimensional schematic diagram (plan view) viewed from the Y-axis direction composed of XZ axes. As shown in FIG. 6, the virtual camera 1, the three-dimensional virtual space 2 that accommodates the virtual camera 1, and the position tracking camera 130 outside the three-dimensional virtual space 2 are virtually arranged in the three-dimensional virtual space. The
３次元仮想空間２は、天球状に複数のメッシュを有するように形成される。より正確には、３次元仮想空間を構成する各メッシュは、略正方形または長方形の平板として構成される。そして、当該メッシュごとに、仮想空間情報が関連付けられており、該関連付けられた仮想空間情報に基づいて視界画像がそれぞれ形成される。本発明の実施形態では、一例として、図７に更に示すように、ＸＺ平面において、天球の中心点が仮想カメラ１とポジション・トラッキング・カメラ１３０を結ぶ線上に常に配置されるように位置調整するのがよい。即ち、例えば、ＨＭＤを装着したユーザが移動して仮想カメラ１の位置がＸ軸方向に移動した場合には、規定される３次元仮想空間２は、その中心が仮想カメラ１とポジション・トラッキング・カメラ１３０の線分上となるよう領域変更されることになる。 The three-dimensional virtual space 2 is formed so as to have a plurality of meshes in a spherical shape. More precisely, each mesh constituting the three-dimensional virtual space is configured as a substantially square or rectangular flat plate. Then, virtual space information is associated with each mesh, and a view field image is formed based on the associated virtual space information. In the embodiment of the present invention, as an example, as further shown in FIG. 7, the position adjustment is performed so that the center point of the celestial sphere is always arranged on the line connecting the virtual camera 1 and the position tracking camera 130 in the XZ plane. It is good. That is, for example, when the user wearing the HMD moves and the position of the virtual camera 1 moves in the X-axis direction, the defined three-dimensional virtual space 2 is centered on the virtual camera 1 and the position tracking position. The area is changed to be on the line segment of the camera 130.
これより図８以降を参照して、本発明の実施形態により、ユーザの姿勢変更に伴う視界調整処理について説明する。図８は、本発明の実施形態による、当該視界調整処理に関するコンピュータ・プログラムを実装するために、制御回路部１２０に関係するコンポーネントの主要機能の構成を示したブロック図である。制御回路部１２０では、主に、センサ１１４／１３０からの入力を受け、該入力を処理してＨＭＤ（ディスプレイ）１１２への出力を行う。制御回路部１２０は、主に、動き検知部２１０、視界決定部２２０および視界画像生成部２３０、並びに、姿勢検知部２５０および視界調整部２６０を含む。そして、仮想空間情報を格納した空間情報格納部２８０等の各種テーブルと相互作用することにより各種情報を処理するように構成される。 With reference to FIG. 8 and subsequent drawings, a visual field adjustment process accompanying a change in the posture of the user will be described according to the embodiment of the present invention. FIG. 8 is a block diagram illustrating a configuration of main functions of components related to the control circuit unit 120 in order to implement a computer program related to the visibility adjustment processing according to the embodiment of the present invention. The control circuit unit 120 mainly receives an input from the sensor 114/130, processes the input, and outputs it to the HMD (display) 112. The control circuit unit 120 mainly includes a motion detection unit 210, a visual field determination unit 220, a visual field image generation unit 230, an attitude detection unit 250, and a visual field adjustment unit 260. And it is comprised so that various information may be processed by interacting with various tables, such as the space information storage part 280 which stored virtual space information.
動き検知部２１０では、センサ１１４／１３０で測定された動き情報の入力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の各種動きデータを決定する。本発明の実施形態では、特に、ＨＭＤが具備する傾きセンサ（ジャイロ・センサ）１１４により経時的に検知される傾き（角度）情報、およびＨＭＤを検知可能な位置センサ（ポジション・トラッキング・カメラ）１３０により経時的に検知される位置情報を決定する。 The motion detection unit 210 determines various types of motion data of the HMD 110 worn on the user's head based on the input of motion information measured by the sensor 114/130. In the embodiment of the present invention, in particular, inclination (angle) information detected with time by an inclination sensor (gyro sensor) 114 included in the HMD, and a position sensor (position tracking camera) 130 capable of detecting the HMD. Determines position information detected over time.
視界決定部２２０では、空間情報格納部２８０に格納された３次元仮想空間情報、並びに、動き検知部２１０で検知された傾き情報および位置情報に基づいて、３次元仮想空間に配置した仮想カメラの位置、方向、そして、該仮想カメラからの視界領域を決定する。なお、位置センサ１３０は任意としてよく、位置センサを使用しない場合は、仮想カメラは常に天球の中心点に配置するように構成するのがよい。 In the field-of-view determination unit 220, based on the 3D virtual space information stored in the space information storage unit 280 and the tilt information and position information detected by the motion detection unit 210, the virtual camera arranged in the 3D virtual space is displayed. The position, direction, and field of view from the virtual camera are determined. Note that the position sensor 130 may be arbitrary, and when the position sensor is not used, it is preferable that the virtual camera is always arranged at the center point of the celestial sphere.
そこで、図９および図１０の模式図を参照して、上記視界決定部２２０で決定される、３次元仮想空間２の天球面に沿った視界領域について説明する。図９は、視界領域に関する３次元の模式図であり、図１０は２次元の模式図（側面図および平面図）である。図９に示したように、視界領域６は、仮想カメラ１の位置および方向（視界方向５）に従って、所定の視界角度に基づいて決定される。視界角度は、図１０（ａ）に示したＸＹ平面図（側面図）における極角α、および図１０（ｂ）に示したＸＺ平面図（平面図）における方位角βとして予め設定することができる。つまり、視界領域６は、仮想カメラ１の位置からの視線方向５に対して、ＸＹ平面図における極角θおよびＸＺ平面図における方位角βを有した球面上の領域とすることができる。 Therefore, with reference to the schematic diagrams of FIGS. 9 and 10, the visual field area along the celestial sphere of the three-dimensional virtual space 2 determined by the visual field determination unit 220 will be described. FIG. 9 is a three-dimensional schematic diagram relating to the visual field region, and FIG. 10 is a two-dimensional schematic diagram (side view and plan view). As shown in FIG. 9, the visual field region 6 is determined based on a predetermined visual field angle in accordance with the position and direction of the virtual camera 1 (visual field direction 5). The viewing angle may be set in advance as the polar angle α in the XY plan view (side view) shown in FIG. 10A and the azimuth angle β in the XZ plan view (plan view) shown in FIG. it can. That is, the visual field region 6 can be a region on a spherical surface having the polar angle θ in the XY plan view and the azimuth angle β in the XZ plan view with respect to the line-of-sight direction 5 from the position of the virtual camera 1.
図８に戻り、視界画像生成部２３０では、ＨＭＤに表示するために、上記図９および図１０で説明したような視界決定部２２０で決定した視界領域に対する３６０度パノラマの一部の視界画像を、仮想空間情報を用いて生成することができる。なお、視界画像は、２次元画像を左目用と右目用の２つを生成し、ＨＭＤにおいてこれら２つを重畳させて生成することで、ユーザには３次元画像の如くＨＭＤに表示可能である。 Returning to FIG. 8, the visual field image generation unit 230 displays a partial 360-degree panoramic view image for the visual field region determined by the visual field determination unit 220 as described above with reference to FIGS. 9 and 10 for display on the HMD. Can be generated using virtual space information. It is to be noted that the field-of-view image can be displayed on the HMD like a three-dimensional image by generating two two-dimensional images for the left eye and for the right eye and superimposing these two in the HMD. .
姿勢検知部２５０では、傾きセンサ１１４により経時的に検知される傾き情報に基づいて、ＨＭＤを装着したユーザの姿勢を判定すると共に、１つの姿勢から他の姿勢への姿勢変更を検知する。例えば、図２のように、座位の姿勢から臥位の姿勢への変更（またはその逆）を検知することができる。なお、姿勢検知部２５０で検知される姿勢として、図２の座位および臥位のみならず、ユーザがリクライニングした座席に座った際の斜位も含めてもよい。また、これらに限定されず、例えば、立位を座位と更に区別してもよいし、臥位として仰臥位だけでなく伏臥位、右側臥位、左側臥位を更に区別してもよいし、斜位として右前斜位および左斜位を更に区別してもよい。 The posture detection unit 250 determines the posture of the user wearing the HMD based on the tilt information detected over time by the tilt sensor 114 and detects a posture change from one posture to another. For example, as shown in FIG. 2, it is possible to detect a change from a sitting posture to a lying posture (or vice versa). The posture detected by the posture detection unit 250 may include not only the sitting position and the recumbent position in FIG. 2 but also an oblique position when the user sits on the reclining seat. In addition, for example, the standing position may be further distinguished from the sitting position, and the prone position may be further distinguished from the prone position, the prone position, the right side position, and the left side position, and the oblique position. The right front oblique position and the left oblique position may be further distinguished.
視界調整部２６０では、姿勢検知部２５０での姿勢変更の検知に応じてＨＭＤを視界調整モード（例えば「寝たまま」モード）に移行する。そして、第２姿勢での仮想カメラからの視界領域に対し、第１姿勢に対する視界画像を適用するように視界を調整する。即ち、姿勢変更前の姿勢（例えば「座位」姿勢）時における視界画像を、姿勢変更後の姿勢（例えば「臥位」姿勢）での仮想カメラからの視界領域に提供してＨＭＤに表示する。当該視界調整処理の詳細については、図１１以降を用いて処理フローを用いて後記する。 The visual field adjustment unit 260 shifts the HMD to the visual field adjustment mode (for example, “staying asleep” mode) in response to the detection of the posture change by the posture detection unit 250. Then, the visual field is adjusted so that the visual field image for the first posture is applied to the visual field region from the virtual camera in the second posture. That is, the view field image in the posture before the posture change (for example, the “sitting” posture) is provided to the view region from the virtual camera in the posture after the posture change (for example, the “posture” posture) and displayed on the HMD. The details of the visibility adjustment process will be described later using a processing flow with reference to FIG.
なお図８において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解されて然るべきである。 In FIG. 8, each element described as a functional block for performing various processes can be configured by a CPU, a memory, and other integrated circuits in terms of hardware, and loaded into the memory in terms of software. It is realized by various programs. Therefore, it should be understood by those skilled in the art that these functional blocks can be realized by hardware, software, or a combination thereof.
次に、図１１および図１２を参照して、ユーザの姿勢変更に伴う視界調整をコンピュータに制御させるための処理フローについて説明する。図示のように、情報処理は、主に、ＨＭＤ１１０とコンピュータ（制御回路部）１２０の間の相互作用を通じて実施される。図１１は、ユーザのＨＭＤ傾け動作と共に没入型３次元仮想空間における視界を変更しながら視界画像を表示する所謂通常モードでの処理フローについて示す。一方、図１２は、ユーザの実世界における姿勢変更を検知することを通じて、仮想空間内での視界調整を実施する所謂視界調整モードでの処理フローについて示す。 Next, with reference to FIG. 11 and FIG. 12, a processing flow for causing the computer to control the visual field adjustment accompanying the change in the posture of the user will be described. As shown in the figure, the information processing is mainly performed through an interaction between the HMD 110 and the computer (control circuit unit) 120. FIG. 11 shows a processing flow in a so-called normal mode in which a visual field image is displayed while changing the visual field in the immersive three-dimensional virtual space together with the user's HMD tilting operation. On the other hand, FIG. 12 shows a processing flow in a so-called visual field adjustment mode for performing visual field adjustment in the virtual space by detecting a posture change of the user in the real world.
まず図１１では、ＨＭＤ１１０は、ステップＳ１０−１のように、定常的に各センサ１１４／１３０を用いてユーザ頭部の動きを検知している。それを受けて、制御回路部１２０では、動き検知部２１０によってＨＭＤ１１０の位置情報および傾き情報を決定する。そして、ステップＳ２０−１では、動き検知部２１０により、位置情報に基づいて３次元仮想空間内に配置される仮想カメラの位置を決定すると共に、ステップＳ２０−２では、同じく動き検知部２１０により、傾き情報に基づき仮想カメラの向きを決定する。 First, in FIG. 11, the HMD 110 constantly detects the movement of the user's head using the sensors 114/130 as in step S10-1. In response, the control circuit unit 120 determines position information and inclination information of the HMD 110 by the motion detection unit 210. In step S20-1, the motion detection unit 210 determines the position of the virtual camera arranged in the three-dimensional virtual space based on the position information. In step S20-2, the motion detection unit 210 also determines the position of the virtual camera. The direction of the virtual camera is determined based on the tilt information.
引き続き、ステップＳ２０−３では、視界決定部２２０により、仮想カメラの位置および向き、並びに仮想カメラの所定の視野角度に基づいて、３次元仮想空間内の仮想カメラからの視界領域を決定する（図９および図１０も参照のこと。）。そして、ステップＳ２０−４では、ＨＭＤ１１２に表示するために、視界画像生成部２３０により、当該決定した視界領域に対する視界画像を生成する。具体的には、３次元仮想空間の天球面が複数のメッシュに分割されており、視界画像生成部２３０は、視界領域に対応するメッシュ部分に関連づけられた、空間情報格納部２８０に格納した仮想空間情報を用いることによって視界画像を生成することができる。次いで、ステップS１０−２に進み、ステップＳ２０−４で生成した視界画像をＨＭＤのディスプレイ１１２に表示する。 Subsequently, in step S20-3, the visual field determination unit 220 determines a visual field region from the virtual camera in the three-dimensional virtual space based on the position and orientation of the virtual camera and a predetermined viewing angle of the virtual camera (FIG. (See also 9 and FIG. 10.) In step S <b> 20-4, the view image generation unit 230 generates a view field image for the determined view field region for display on the HMD 112. Specifically, the celestial sphere of the three-dimensional virtual space is divided into a plurality of meshes, and the visual field image generation unit 230 stores the virtual information stored in the spatial information storage unit 280 associated with the mesh portion corresponding to the visual field region. A field-of-view image can be generated by using the spatial information. Next, the process proceeds to step S10-2, and the field-of-view image generated in step S20-4 is displayed on the display 112 of the HMD.
上記ステップＳ１０−１、Ｓ２０−１からＳ２０−４、次いでＳ１０−２が一連の基本処理ルーチンであり、アプリケーション実行中は、これらステップは基本的に繰り返し処理される。３次元仮想空間に没入したユーザにとっては、通常の動作モードとして、自身の頭部を傾ける動作を通じて、様々な位置および方向からの３次元仮想空間の視界をビュー可能である。他方、このような基本処理ルーチンと併せて、制御回路部１２０の姿勢検知部２５０では、ＨＭＤの位置センサによる傾き情報からユーザの姿勢を定常的に検知している。そこで、図１２に、ユーザの姿勢検知に関連する処理フローについて示す。 Steps S10-1, S20-1 to S20-4, and then S10-2 are a series of basic processing routines, and these steps are basically repeatedly processed during application execution. As a normal operation mode, a user who is immersed in the three-dimensional virtual space can view the field of view of the three-dimensional virtual space from various positions and directions through the operation of tilting his / her head. On the other hand, along with such a basic processing routine, the posture detection unit 250 of the control circuit unit 120 steadily detects the posture of the user from the tilt information from the position sensor of the HMD. FIG. 12 shows a processing flow related to user posture detection.
ステップＳ２０−５では、姿勢検知部２５０により、傾きセンサで検知される傾き情報に基づいてＨＭＤを装着した姿勢を検知する。これに併せて、ステップＳ２０−６では、姿勢検知部２５０により検知された姿勢が、第１姿勢から第２姿勢へと姿勢変更があったかを判定する。ユーザの姿勢は、傾き情報において水平面（ＸＺ平面）に対する垂直方向（Ｙ軸方向）の角度情報に基づいて判定される。また、第１姿勢から第２姿勢への姿勢変更は、第２姿勢が一定時間維持されたことをトリガにして決定するのがよい。 In step S20-5, the posture detection unit 250 detects the posture in which the HMD is mounted based on the tilt information detected by the tilt sensor. At the same time, in step S20-6, it is determined whether or not the posture detected by the posture detection unit 250 has been changed from the first posture to the second posture. The posture of the user is determined based on angle information in the vertical direction (Y-axis direction) with respect to the horizontal plane (XZ plane) in the tilt information. In addition, the posture change from the first posture to the second posture is preferably determined by using the second posture maintained for a certain time as a trigger.
図１３に示すように、ユーザの姿勢は、例えばＨＭＤの傾き方向（視線方向）について水平面からの垂直方向の角度で決定することができる。図１３では、第１視線方向の角度がΓ１、第２視線方向の角度がΓ２であり、例えば、−１０度＜Γ１＜＋１０度である場合のユーザ姿勢は「座位」、８０度＜Γ２＜１００度である場合のユーザ姿勢は「臥位」といった具合に、視線方向についての垂直方向の角度が予め決められた範囲内にあるかに従ってユーザ姿勢を決定することができる。なお、当該範囲は任意に設定可能である。そして、角度Γ１の「座位」姿勢から角度Γ２の「臥位」姿勢へと遷移し、且つ当該「臥位」姿勢が一定時間維持された場合に、姿勢検知部２５０では実空間におけるユーザの姿勢変更があったものと判定される。 As shown in FIG. 13, the posture of the user can be determined by, for example, the angle in the vertical direction from the horizontal plane with respect to the inclination direction (line-of-sight direction) of the HMD. In FIG. 13, the angle of the first line-of-sight direction is Γ1, and the angle of the second line-of-sight direction is Γ2. For example, when −10 degrees <Γ1 <+10 degrees, the user posture is “sitting” and 80 degrees <Γ2 < When the angle is 100 degrees, the user posture can be determined according to whether the angle in the vertical direction with respect to the line-of-sight direction is within a predetermined range, such as “in a supine position”. The range can be arbitrarily set. Then, when a transition is made from the “sitting position” posture at the angle Γ1 to the “spine position” posture at the angle Γ2, and the “spine position” is maintained for a certain time, the posture detection unit 250 performs the posture of the user in the real space. It is determined that there has been a change.
図１２に戻り、上記ステップＳ２０−６でユーザの姿勢変更を判定後、制御回路部１２０では、視界調整のための視界調整モードにモード変更を行う。例えば、「臥位」への姿勢変更後は「寝たままモード」として、ユーザが寝ながらにして「座位」の時の視界画像をビューできるよう視界調整用のモード変更を行う。そしてステップＳ２０−８では、視界調整部２６０によって視界調整処理を実施する。即ち、「臥位」姿勢での仮想カメラからの視界領域に対し、「座位」姿勢に対する視界画像を適用するように視界を調整する（詳細は図１４〜図１７に関連して後記する）。そして、ＨＭＤ１１０では、「座位」姿勢に対する視界画像を表示するよう、「臥位」姿勢の視界画像から画像移行させる。なお、画像移行の態様として、一度に画像切り替えを行ってもよいし、これ以外にも、時間と共に徐々にトランジションさせるものとしてもよい。このような視界調整処理を通じて、ユーザが「臥位」姿勢であっても、以前の「座位」姿勢に対する視界画像を継続してビュー可能なように視界を調整することができる。 Returning to FIG. 12, after determining the posture change of the user in step S20-6, the control circuit unit 120 changes the mode to the visual field adjustment mode for visual field adjustment. For example, after changing the posture to “recumbent position”, the mode is changed to “sleeping mode”, and the view adjustment mode is changed so that the user can view the view image in the “sitting position” while sleeping. In step S20-8, the visual field adjustment unit 260 performs a visual field adjustment process. That is, the field of view is adjusted so that the field-of-view image for the “sitting” posture is applied to the field-of-view region from the virtual camera in the “recumbent” posture (details will be described later in connection with FIGS. 14 to 17). Then, the HMD 110 shifts the image from the view image of the “sitting position” so as to display the view image of the “sitting position”. As an image transfer mode, the images may be switched at once, or in addition to this, the transition may be performed gradually with time. Through such a view adjustment process, it is possible to adjust the view so that the view image for the previous “sitting” posture can be continuously viewed even when the user is in the “posture” posture.
ところで、人間による「座位」姿勢での頭部傾け動作と「臥位」姿勢での頭部傾け動作を比較すると、一般的には、「臥位」姿勢における方が首の可動域が小さいものとなる。即ち、「臥位」姿勢の場合に表示可能な視界全体が狭いものとなる。そこで、本発明の実施形態では、ＨＭＤの傾け動作によりユーザが仮想空間内で視界を変更する際は、視界決定部２２０において、ユーザ操作性を考慮して、「座位」姿勢時に傾きセンサにより検知される傾き情報の傾け移動量に対応した仮想カメラ移動量に対し、「臥位」姿勢時の傾け移動量に対応した仮想カメラ移動量の方が大きくなるように加重するよう工夫するのがよい。 By the way, when comparing the head tilting movement in the “sitting position” by the human and the head tilting movement in the “recumbent position”, the range of motion of the neck is generally smaller in the “recumbent position”. It becomes. That is, the entire field of view that can be displayed in the “recumbent” posture is narrow. Therefore, in the embodiment of the present invention, when the user changes the field of view in the virtual space by the tilting operation of the HMD, the field of view determination unit 220 detects the user's operability with the tilt sensor in the “sitting position”. It is recommended that the virtual camera movement amount corresponding to the tilt movement amount of the tilt information is weighted so that the virtual camera movement amount corresponding to the tilt movement amount in the “posture” posture is larger than the virtual camera movement amount corresponding to the tilt movement amount of the tilt information. .
次に、図１４から図１７を参照して、先に説明した図１２のステップＳ２０−８での視界調整部２６０による、第２姿勢の視界領域に対し、第１姿勢に対する視界画像を適用する視界調整処理について、その詳細を幾らかの実施例を用いて説明する。なお、ここでも第１姿勢として「座位」姿勢を、第２姿勢として「臥位」姿勢を想定する。即ち、図２に示すような姿勢変更を想定する。図１４および図１５は第１実施例を示し、図１６および図１７に第２実施例を示している。 Next, with reference to FIGS. 14 to 17, the visual field image for the first posture is applied to the visual field region of the second posture by the visual field adjustment unit 260 in step S <b> 20-8 of FIG. 12 described above. Details of the visual field adjustment processing will be described with reference to some embodiments. Here, the “sitting” posture is assumed as the first posture, and the “spine” posture is assumed as the second posture. That is, a posture change as shown in FIG. 2 is assumed. 14 and 15 show the first embodiment, and FIGS. 16 and 17 show the second embodiment.
図１４は、本発明の第１実施例による視界調整処理についての模式図である。図示のように、「座位」姿勢での仮想カメラからの視界領域６ａが「座位」姿勢での視界領域６ｂに対応付けられる。より詳細には、図６に示したように、３次元仮想空間は複数のメッシュを有する天球状に形成され、ここでは、仮想空間情報が各メッシュに関連付けられている。そして、「臥位」姿勢での仮想カメラからの視界領域６ｂを構成する各メッシュに対して、「座位」姿勢の視界領域を構成する各メッシュを位置合わせするように構成する。その上で、「座位」姿勢の視界領域に対する視界画像を、図１４の点線のように球面に沿ってスライド移動させることにより、視界領域６ｂにおいて表示するよう視界調整を実施する。なお、図示のように、当該視界調整時には、仮想カメラの位置が第１点（ｘａ，ｙａ，ｚａ）から第２点（ｘｂ，ｙｂ，ｚｂ）に変更され、異なる配置としている。これは、ユーザが「座位」姿勢から「臥位」姿勢へと変更する際のユーザの上半身の長さ（座高）を考慮したものである。 FIG. 14 is a schematic diagram of the visibility adjustment process according to the first embodiment of the present invention. As shown in the figure, the visual field region 6a from the virtual camera in the “sitting” posture is associated with the visual field region 6b in the “sitting” posture. More specifically, as shown in FIG. 6, the three-dimensional virtual space is formed as a celestial sphere having a plurality of meshes, and here, virtual space information is associated with each mesh. Then, each mesh constituting the visual field area 6b from the virtual camera in the “recumbent” posture is aligned with each mesh constituting the visual field area in the “sitting” posture. Then, the view adjustment for the view area 6b is performed by sliding the view image for the view area in the “sitting position” posture along the spherical surface as indicated by the dotted line in FIG. As shown in the figure, at the time of the visibility adjustment, the position of the virtual camera is changed from the first point (x a , y a , z a ) to the second point (x b , y b , z b ), and a different arrangement is made. It is said. This takes into account the length (sitting height) of the upper body of the user when the user changes from the “sitting position” to the “recumbent position”.
図１５は、図１４に模式的に示した第１実施例の視界調整処理についての全般処理フロー図である。ステップＳ１００−１では、視界決定部２２０により「座位」姿勢での視界領域６ａを形成するメッシュを特定する。また、視界画像生成部２３０により各メッシュに関連付けられた空間情報から視界画像を生成する。次いで、ステップＳ１００−２では、ユーザが視界を変更させた際に、視界決定部２２０により視界領域６ｂを形成するメッシュを特定する。ここでは、ユーザは「臥位」姿勢に変更したものと想定する。 FIG. 15 is a general process flow diagram of the visual field adjustment process of the first embodiment schematically shown in FIG. In step S <b> 100-1, the visual field determination unit 220 specifies a mesh that forms the visual field region 6 a in the “sitting” posture. Further, the view image generation unit 230 generates a view image from the spatial information associated with each mesh. Next, in step S100-2, when the user changes the field of view, the mesh that forms the field of view region 6b is specified by the field of view determination unit 220. Here, it is assumed that the user has changed to the “posture” posture.
そして、ステップＳ１００−３において、姿勢検知部２５０によりユーザの「座位」姿勢から「臥位」姿勢への姿勢変更を検知する。引き続き、ステップＳ１００−４において、視界調整部２６０により、ステップＳ１００−２で特定された視界領域６ｂのメッシュが、ステップＳ１００−１で特定された視界領域６ａのメッシュに対応付けられる。そして、ステップＳ１００−５では、視界調整部２６０により、「臥位」姿勢での視界領域６ｂの各メッシュに「座位」姿勢での視界領域６ａの各メッシュを位置合わせするように、「座位」姿勢での視界画像を天球面に沿ってスライド移動させる。そうすると、「臥位」姿勢での視界領域６ｂに「座位」姿勢での視界画像を表示される。このようにして、視界調整処理が実施される。 In step S <b> 100-3, the posture detection unit 250 detects a change in posture of the user from the “sitting” posture to the “posture” posture. Subsequently, in step S100-4, the visual field adjustment unit 260 associates the mesh of the visual field region 6b specified in step S100-2 with the mesh of the visual field region 6a specified in step S100-1. In step S100-5, the visual field adjustment unit 260 aligns the meshes in the visual field region 6a in the “sitting position” with the meshes in the visual field region 6b in the “prone position” posture. The view image in the posture is slid along the celestial sphere. Then, the field-of-view image in the “sitting position” is displayed in the field-of-view area 6b in the “spine position”. In this way, the visibility adjustment process is performed.
図１６は、本発明の第２実施例による視界調整処理についての模式図である。図示のように、「臥位」姿勢における仮想カメラの位置（ｘｂ，ｙｂ，ｚｂ）を中心にＸＹＺ座標の３次元仮想空間を回転させてＸ’Ｙ’Ｚ’座標に軸変換する。即ち、「座位」姿勢での視界領域６ａが回転された結果、「臥位」姿勢での視界領域６ｃとなる。より具体的には、姿勢検知部２５０によって、ユーザによる実世界での「座位」姿勢から「臥位」姿勢への姿勢変更を検知すると、傾き情報の変化に従って、視界調整部２６０によって、「臥位」姿勢における仮想カメラの位置（ｘｂ，ｙｂ，ｚｂ）を中心に３次元仮想空間の軸を回転して座標変換することを通じて視界調整を実施する。なお、実施例２においても、ユーザが「座位」姿勢から「臥位」姿勢へと変更する際のユーザの座高を考慮し、第１実施例と同様、仮想カメラの位置が回転前の第１点（ｘａ，ｙａ，ｚａ）と回転後の第２点（ｘｂ，ｙｂ，ｚｂ）で異なるものとしている。 FIG. 16 is a schematic diagram of the visibility adjustment process according to the second embodiment of the present invention. As shown in the figure, the three-dimensional virtual space of the XYZ coordinates is rotated around the position (x b , y b , z b ) of the virtual camera in the “recumbent” posture, and the axes are converted to the X′Y′Z ′ coordinates. . That is, as a result of the rotation of the visual field area 6a in the “sitting position” posture, the visual field area 6c in the “vertical position” is obtained. More specifically, when the posture detection unit 250 detects a change in posture from the “sitting” posture in the real world to the “recumbent” posture by the user, the visual field adjustment unit 260 performs “ The visual field adjustment is performed by rotating the axis of the three-dimensional virtual space around the position (x b , y b , z b ) of the virtual camera in the “position” posture to perform coordinate conversion. Also in the second embodiment, in consideration of the user's sitting height when the user changes from the “sitting position” to the “recumbent position”, as in the first embodiment, the position of the virtual camera is the first position before the rotation. The point (x a , y a , z a ) is different from the second point (x b , y b , z b ) after rotation.
図１７は、図１６に模式的に示した第２実施例の視界調整処理についての全般処理フロー図である。ステップＳ２００−１では、視界決定部２２０により「座位」姿勢での視界領域６ａを形成するメッシュを特定する。また、各メッシュに関連付けられた空間情報を用いて視界画像を生成する。その後に、ステップＳ２００−２では、姿勢検知部２５０により「座位」姿勢から「臥位」姿勢への姿勢変更を検知すると共に、視界調整部２６０により「座位」姿勢から「臥位」姿勢への傾き情報の変化を回転行列として特定する。より具体的には、図４に示したようなＸ軸を軸とした回転を示すピッチ角、Ｙ軸を軸とした回転を示すヨー角、そしてＺ軸を軸とした回転を示すロール角で決定される傾きを特定し、各角度に従って軸回転のための回転行列を決定する。なお、当業者にとって当該回転行列は公知のものである。 FIG. 17 is a general process flow diagram of the visual field adjustment process of the second embodiment schematically shown in FIG. In step S <b> 200-1, the mesh that forms the visual field region 6 a in the “sitting” posture is specified by the visual field determination unit 220. Moreover, a visual field image is produced | generated using the spatial information linked | related with each mesh. After that, in step S200-2, the posture detection unit 250 detects the posture change from the “sitting position” to the “recumbent position”, and the view adjustment unit 260 changes the “sitting position” to the “recumbent position”. A change in inclination information is specified as a rotation matrix. More specifically, as shown in FIG. 4, a pitch angle indicating rotation about the X axis, a yaw angle indicating rotation about the Y axis, and a roll angle indicating rotation about the Z axis. The determined inclination is specified, and a rotation matrix for axis rotation is determined according to each angle. Note that the rotation matrix is known to those skilled in the art.
併せて、ステップＳ２００−３では、視界決定部２２０により「臥位」姿勢における３次元仮想空間内の仮想カメラの位置を特定する。そして、ステップＳ２００−４において、視界調整部２６０により３次元仮想空間の軸回転を通じた座標変換を実施する。より具体的には、ステップＳ２００−２で決定した回転行列を用いて、ステップＳ２００−３で特定した仮想カメラ位置を中心に、「座位」視界領域を「臥位」視界領域に回転させる。このようにして、最後にステップＳ２００−５において、ＨＭＤには「臥位」視界領域に「座位」視界領域の視界画像が適用され表示される。 At the same time, in step S200-3, the visual field determination unit 220 identifies the position of the virtual camera in the three-dimensional virtual space in the “postural position”. In step S200-4, the visual field adjustment unit 260 performs coordinate conversion through axial rotation of the three-dimensional virtual space. More specifically, using the rotation matrix determined in step S200-2, the “sitting” field of view is rotated to the “prone” field of view around the virtual camera position specified in step S200-3. In this way, finally, in step S200-5, the field image of the “sitting” field of view is applied to the “MD” field of view and displayed on the HMD.
以上、本発明の実施形態についていくつかの例示と共に説明してきたが、本発明は上記実施形態に限定されるものではない。特許請求の範囲に記載される本発明の趣旨及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。 As mentioned above, although embodiment of this invention has been described with some illustrations, this invention is not limited to the said embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the claims.
１ 仮想カメラ
２ 没入型３次元仮想空間
５ 視界方向
６，６ａ〜６ｃ 視界領域
１００ ＨＭＤシステム
１１０ ＨＭＤ
１１２ ディスプレイ
１１４ 傾きセンサ（ジャイロ・センサ）
１２０ コンピュータ（制御回路部）
１３０ 位置センサ（ポジション・トラッキング・カメラ）
２１０ 動き検知部
２２０ 視界決定部
２３０ 視界画像生成部
２５０ 姿勢検知部
２６０ 視界調整部
２８０ 空間情報格納部
DESCRIPTION OF SYMBOLS 1 Virtual camera 2 Immersive 3D virtual space 5 View direction 6, 6a-6c View field 100 HMD system 110 HMD
112 Display 114 Tilt sensor (gyro sensor)
120 Computer (Control circuit part)
130 Position sensor (position tracking camera)
210 motion detector 220 visual field determination unit 230 visual field image generation unit 250 posture detection unit 260 visual field adjustment unit 280 spatial information storage unit
Claims (8)
ヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間に配置した仮想カメラからの視界領域を決定する視界決定部と、
前記ヘッドマウント・ディスプレイに表示するために、前記仮想空間情報を用いて、前記視界領域に対する視界画像を生成する画像生成部と、
前記ヘッドマウント・ディスプレイを装着したユーザの姿勢を、前記傾き情報において水平面に対する垂直方向の角度情報に基づいて判定すると共に、第１姿勢から第２姿勢への姿勢変更を検知する姿勢検知部と、
前記姿勢変更の検知に応じて、前記第２姿勢での前記仮想カメラからの視界領域に対し、前記第１姿勢に対する視界画像を適用するように視界を調整する視界調整部と
として前記ヘッドマウント・ディスプレイに接続されたコンピュータに機能させ、
前記第１姿勢が座位であり、前記第２姿勢が臥位であり、
前記視界決定部において、前記第１姿勢における前記傾き情報が有する傾け移動量に対応した仮想空間内の仮想カメラ移動量に対し、前記第２姿勢における傾け移動量に対応した仮想空間内の仮想カメラ移動量の方が大きくなるように加重される、コンピュータ・プログラム。 A spatial information storage unit storing virtual spatial information;
A field-of-view determining unit that determines a field-of-view area from a virtual camera arranged in the virtual space, based on tilt information detected by a tilt sensor included in the head-mounted display;
An image generation unit that generates a field-of-view image for the field-of-view area using the virtual space information for display on the head-mounted display ;
The posture of the user wearing the previous SL head mounted display, the determination based on the vertical angle information with respect to a horizontal plane in the tilt information, and a position detector for detecting a posture change from the first posture to the second posture ,
In response to detection of the posture change, the head mount and the head mount as a visual field adjustment unit that adjusts the visual field so that the visual field image for the first posture is applied to the visual field region from the virtual camera in the second posture. Let the computer connected to the display work ,
The first posture is a sitting position and the second posture is a supine position;
In the visual field determination unit, the virtual camera in the virtual space corresponding to the tilt movement amount in the second posture with respect to the virtual camera movement amount in the virtual space corresponding to the tilt movement amount included in the tilt information in the first posture. Ru weighted as towards the movement amount increases, the computer program.
前記視界決定部において、前記視界領域が更に、前記コンピュータに接続され且つ前記ヘッドマウント・ディスプレイを検知可能な位置センサによって検知される前記ヘッドマウント・ディスプレイの位置情報に基づいて決定される、コンピュータ・プログラム。 A computer program according to claim 1,
In the visual field determination unit, the visual field region is further determined based on positional information of the head mounted display that is detected by a position sensor connected to the computer and capable of detecting the head mounted display. program.
前記視界調整部において、前記第１姿勢から前記第２姿勢への傾き情報の変化に従って、前記第２姿勢における仮想カメラの位置を中心に前記仮想空間の軸を回転させて座標変換する、コンピュータ・プログラム。In the visual field adjustment unit, in accordance with a change in inclination information from the first posture to the second posture, the axis of the virtual space is rotated around the position of the virtual camera in the second posture, and coordinate conversion is performed. program.
ヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間に配置した仮想カメラからの視界領域を決定する視界決定部と、
前記ヘッドマウント・ディスプレイに表示するために、前記仮想空間情報を用いて、前記視界領域に対する視界画像を生成する画像生成部と、
前記傾き情報に基づいて、前記ヘッドマウント・ディスプレイを装着したユーザの姿勢を判定すると共に、第１姿勢から第２姿勢への姿勢変更を検知する姿勢検知部と、
前記姿勢変更の検知に応じて、前記第２姿勢での前記仮想カメラからの視界領域に対し、前記第１姿勢に対する視界画像を適用するように視界を調整する視界調整部と
として前記ヘッドマウント・ディスプレイに接続されたコンピュータに機能させ、
前記仮想空間が複数のメッシュを有する天球状に形成され、
前記空間情報格納部において、前記仮想空間情報が各メッシュに関連付けられ、
前記視界調整部において、前記第２姿勢での前記仮想カメラからの視界領域を構成する各メッシュに前記第１姿勢の視界領域を構成する各メッシュを位置合わせするように、前記第１姿勢の視界画像を天球面に沿ってスライド移動させる、コンピュータ・プログラム。 A spatial information storage unit storing virtual spatial information;
A field-of-view determining unit that determines a field-of-view area from a virtual camera arranged in the virtual space, based on tilt information detected by a tilt sensor included in the head-mounted display;
An image generation unit that generates a field-of-view image for the field-of-view area using the virtual space information for display on the head-mounted display;
Based on the tilt information, the posture of the user wearing the head mounted display is determined, and a posture detection unit that detects a posture change from the first posture to the second posture;
A visual field adjustment unit that adjusts the visual field so as to apply the visual field image for the first posture to the visual field region from the virtual camera in the second posture in response to the detection of the posture change;
As a computer connected to the head-mounted display as
The virtual space is formed in a celestial sphere having a plurality of meshes,
In the spatial information storage unit, the virtual space information is associated with each mesh,
In the visual field adjustment unit, the field of view of the first posture is aligned so that each mesh constituting the visual field region of the first posture is aligned with each mesh constituting the visual field region from the virtual camera in the second posture. A computer program that slides an image along a celestial sphere.
前記視界決定部において、前記視界領域が更に、前記コンピュータに接続され且つ前記ヘッドマウント・ディスプレイを検知可能な位置センサによって検知される前記ヘッドマウント・ディスプレイの位置情報に基づいて決定される、コンピュータ・プログラム。In the visual field determination unit, the visual field region is further determined based on positional information of the head mounted display that is detected by a position sensor connected to the computer and capable of detecting the head mounted display. program.
前記姿勢検知部において、前記ユーザの姿勢が、前記傾き情報において水平面に対する垂直方向の角度情報に基づいて判定される、コンピュータ・プログラム。The computer program in which in the said attitude | position detection part, the said user's attitude | position is determined based on the angle information of the orthogonal | vertical direction with respect to a horizontal surface in the said inclination information.
前記第１姿勢が座位であり、前記第２姿勢が臥位であり、The first posture is a sitting position and the second posture is a supine position;
前記視界決定部において、前記第１姿勢における前記傾き情報が有する傾け移動量に対応した仮想空間内の仮想カメラ移動量に対し、前記第２姿勢における傾け移動量に対応した仮想空間内の仮想カメラ移動量の方が大きくなるように加重される、コンピュータ・プログラム。In the visual field determination unit, the virtual camera in the virtual space corresponding to the tilt movement amount in the second posture with respect to the virtual camera movement amount in the virtual space corresponding to the tilt movement amount included in the tilt information in the first posture. A computer program that is weighted so that the amount of travel is greater.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015059354A JP5952931B1 (en) | 2015-03-23 | 2015-03-23 | Computer program |
| PCT/JP2016/058553 WO2016152734A1 (en) | 2015-03-23 | 2016-03-17 | Computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015059354A JP5952931B1 (en) | 2015-03-23 | 2015-03-23 | Computer program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016098311A Division JP2016181267A (en) | 2016-05-16 | 2016-05-16 | Computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5952931B1 true JP5952931B1 (en) | 2016-07-13 |
| JP2016177748A JP2016177748A (en) | 2016-10-06 |
Family
ID=56375155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015059354A Active JP5952931B1 (en) | 2015-03-23 | 2015-03-23 | Computer program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5952931B1 (en) |
| WO (1) | WO2016152734A1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3302740A1 (en) * | 2015-06-01 | 2018-04-11 | Thomson Licensing | Reactive animation for virtual reality |
| JP2019114930A (en) * | 2017-12-22 | 2019-07-11 | 株式会社セガゲームス | Information processing apparatus and program |
| WO2020059327A1 (en) * | 2018-09-18 | 2020-03-26 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2021047227A (en) * | 2019-09-17 | 2021-03-25 | セイコーエプソン株式会社 | Display device, control program of display device, method for controlling display device, and display system |
| WO2023047865A1 (en) * | 2021-09-27 | 2023-03-30 | 株式会社Ｎｔｔドコモ | Virtual space presentation device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014197066A (en) * | 2013-03-29 | 2014-10-16 | ソニー株式会社 | Display controller, display control method and program |
| JP2015007835A (en) * | 2013-06-24 | 2015-01-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
-
2015
- 2015-03-23 JP JP2015059354A patent/JP5952931B1/en active Active
-
2016
- 2016-03-17 WO PCT/JP2016/058553 patent/WO2016152734A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014197066A (en) * | 2013-03-29 | 2014-10-16 | ソニー株式会社 | Display controller, display control method and program |
| JP2015007835A (en) * | 2013-06-24 | 2015-01-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016177748A (en) | 2016-10-06 |
| WO2016152734A1 (en) | 2016-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11914147B2 (en) | Image generation apparatus and image generation method using frequency lower than display frame rate | |
| JP5981591B1 (en) | Computer program and computer system for controlling object operations in an immersive virtual space | |
| JP5952931B1 (en) | Computer program | |
| JP5996814B1 (en) | Method and program for providing image of virtual space to head mounted display | |
| JP6002286B1 (en) | Head mounted display control method and head mounted display control program | |
| JP5869712B1 (en) | Head-mounted display system and computer program for presenting a user's surrounding environment in an immersive virtual space | |
| JP2013258614A (en) | Image generation device and image generation method | |
| JP6087453B1 (en) | Method and program for providing virtual space | |
| WO2017033777A1 (en) | Program for controlling head-mounted display system | |
| WO2016199736A1 (en) | Virtual space position designation method, program, recording medium having program recorded thereon, and device | |
| JP2017093946A (en) | Image display method and program | |
| JP2016181267A (en) | Computer program | |
| WO2017122270A1 (en) | Image display device | |
| JP2017021824A (en) | Head-mounted display control method and head-mounted display control program | |
| JP2017045296A (en) | Program for controlling head-mounted display system | |
| JP2018032217A (en) | Information processing method, program enabling computer to execute method and computer | |
| US11474595B2 (en) | Display device and display device control method | |
| US9679352B2 (en) | Method for operating a display device and system with a display device | |
| JP2019028638A (en) | Head-mounted display and video display device thereof | |
| JPWO2019225354A1 (en) | Information processing equipment, information processing methods and programs | |
| US20230367403A1 (en) | Terminal device, virtual object manipulation method, and virtual object manipulation program | |
| JP2018110871A (en) | Information processing method, program enabling computer to execute method and computer | |
| JP2017191474A (en) | User interface program and device using sensor in hmd device | |
| TWI620100B (en) | Method, virtual reality apparatus and recording medium for displaying fast moving frames of virtual reality | |
| JP6290493B2 (en) | Information processing method, program for causing computer to execute information processing method, and computer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160610 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5952931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |