JP6503407B2

JP6503407B2 - Content display program, computer device, content display method, and content display system

Info

Publication number: JP6503407B2
Application number: JP2017090344A
Authority: JP
Inventors: 直弥加島; 佳久明石; ブーシェ・ロビン・晃; 孝福田
Original assignee: Square Enix Co Ltd; GREE Inc
Current assignee: Square Enix Co Ltd; GREE Inc
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2019-04-17
Anticipated expiration: 2037-04-28
Also published as: JP2018190078A

Description

本発明は、コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システムに関する。 The present invention relates to a content display program, a computer device, a content display method, and a content display system.

現実世界の情報を入力情報として、仮想空間に影響を与える技術がある。現実世界と仮想空間を組み合わせる技術の一例として、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実）やＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ：仮想現実）等が挙げられる。 There is a technology that affects the virtual space by using real world information as input information. AR (Augmented Reality: Augmented Reality), VR (Virtual Reality: Virtual Reality), etc. may be mentioned as an example of a technique for combining the real world and a virtual space.

このような技術を用いて表示されたコンテンツを視聴する際に、いわゆる３Ｄ酔い又はＶＲ酔いという不快感を伴う症状に悩まされることがある。このような症状は、視覚と体感との不一致、あるいは、画面中に表示される文字と仮想世界におけるオブジェクトとの動きの相違による目への刺激から生じるとされている。 When viewing content displayed using such a technique, the user may be afflicted with an unpleasant sensation such as so-called 3D or VR sickness. Such symptoms are considered to result from eye irritation caused by a mismatch between vision and physical sensation, or a difference between movement of characters displayed on the screen and objects in the virtual world.

本発明の少なくとも１つの実施の形態の目的は、コンテンツを視聴する際に、目への刺激を軽減し、不快感を伴う症状を発生し難くすることが可能なコンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システムを提供することを目的とする。 An object of at least one embodiment of the present invention is to provide a content display program, computer apparatus, and content that can reduce eye irritation and make it difficult to generate symptoms accompanied by discomfort when viewing content. An object of the present invention is to provide a display method and a content display system.

非限定的な観点によると、本発明に係るコンテンツ表示プログラムは、表示装置と接続可能なコンピュータ装置において実行される、コンテンツ表示プログラムであって、コンピュータ装置を、表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得する姿勢情報取得手段、取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御する仮想カメラ制御手段、仮想カメラにより撮影された画像を生成する画像生成手段、生成された画像と、コンテンツに関連する関連情報とを重ね合わせて表示装置に表示する表示手段として機能させ、前記表示手段が、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示する、コンテンツ表示プログラムである。 According to a non-limiting aspect, the content display program according to the present invention is a content display program executed in a computer device connectable to a display device, the computer device, the attitude of the display device, the attitude of the computer device Or, posture information acquisition means for acquiring posture information on the posture of the user, virtual camera control means for controlling a virtual camera for photographing a virtual space according to the acquired posture information, and an image photographed by the virtual camera The image generation means, the generated image, and the related information related to the content are superimposed and displayed as a display means on the display device, and the display means includes the vertical direction of the related information and the horizontal direction of the virtual space. It is a content display program which displays so that the angle which Ty forms may meet predetermined conditions.

非限定的な観点によると、本発明に係るコンピュータ装置は、表示装置と接続可能な、コンテンツを表示するコンピュータ装置であって、表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得する姿勢情報取得手段と、取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御する仮想カメラ制御手段と、仮想カメラにより撮影された画像を生成する画像生成手段と、生成された画像と、コンテンツに関連した関連情報とを重ね合わせて表示装置に表示する表示手段とを備え、前記表示手段が、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示するコンピュータ装置である。 According to a non-limiting aspect, the computer device according to the present invention is a computer device capable of connecting to a display device and displaying content, the attitude of the display device, the attitude of the computer device, or the attitude information on the attitude of the user , Virtual camera control means for controlling a virtual camera for photographing the virtual space according to the acquired posture information, image generation means for generating an image photographed by the virtual camera, and Display means for superimposing the displayed image and the related information related to the content and displaying it on a display device, wherein the display means is such that the angle between the vertical direction of the related information and the horizontal direction of the virtual space is predetermined It is a computer apparatus which displays in piles so that the conditions of (1) may be satisfied.

非限定的な観点によると、本発明に係るコンテンツ表示方法は、表示装置と接続可能な、コンテンツを表示するコンテンツ表示方法であって、表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得するステップと、取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御するステップと、仮想カメラにより撮影された画像を生成するステップと、生成された画像と、コンテンツに関連した関連情報とを重ね合わせて表示装置に表示するステップとを有し、前記表示するステップにおいて、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示する、コンテンツ表示方法である。 According to a non-limiting aspect, the content display method according to the present invention is a content display method connectable to a display device and displaying content, and relates to the posture of the display device, the posture of the computer device, or the posture of the user. The steps of acquiring posture information, controlling the virtual camera for photographing the virtual space according to the acquired posture information, generating an image photographed by the virtual camera, the generated image, and the content And superimposing the related information related to the image on the display device, and in the displaying step, an angle formed by the vertical direction of the related information and the horizontal direction of the virtual space satisfies a predetermined condition It is a content display method to be superimposed and displayed.

非限定的な観点によると、本発明に係るコンテンツ表示システムは、表示装置と、該表示装置と接続可能なコンピュータ装置を有するコンテンツ表示システムであって、表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得する姿勢情報取得手段と、取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御する仮想カメラ制御手段と、仮想カメラにより撮影された画像を生成する画像生成手段と、生成された画像と、コンテンツに関連する関連情報とを重ね合わせて表示装置に表示する表示手段とを備え、前記表示手段が、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示するコンテンツ表示システムである。 According to a non-limiting aspect, the content display system according to the present invention is a content display system including a display device and a computer device connectable to the display device, the attitude of the display device, the attitude of the computer device, or According to posture information acquisition means for acquiring posture information regarding a user's posture, virtual camera control means for controlling a virtual camera for photographing a virtual space according to the acquired posture information, and an image photographed by the virtual camera An image generation means, a display means for superimposing the generated image and related information related to the content and displaying it on a display device, the display means includes the vertical direction of the related information and the horizontal direction of the virtual space It is a content display system which displays by overlapping so that the angle which a tip forms may fulfill predetermined conditions.

本発明の各実施形態により１または２以上の不足が解決される。 Each embodiment of the present invention solves one or more deficiencies.

本発明の実施の形態の少なくとも１つに対応する、システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a system corresponding to at least one of the embodiments of the present invention. 本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置の構成を示すブロック図である。It is a block diagram showing composition of a display apparatus corresponding to at least one of an embodiment of the present invention. 本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置を頭部に装着した場合にユーザの姿勢を特定するための直交座標系を示す図である。FIG. 7 is a diagram showing an orthogonal coordinate system for specifying the posture of the user when the display device is mounted on the head, corresponding to at least one of the embodiments of the present invention. 本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。It is a block diagram which shows the structure of a computer apparatus corresponding to at least one of embodiment of this invention. 本発明の実施の形態の少なくとも１つに対応する、コンテンツを表示した表示画面の例である。It is an example of the display screen which displayed the content corresponding to at least one of embodiment of this invention. 本発明の実施の形態の少なくとも１つに対応する、仮想空間の概念を表す図である。It is a figure showing the concept of virtual space corresponding to at least one of the embodiment of the present invention. 本発明の実施の形態の少なくとも１つに対応する、ユーザが首を傾けた際に表示される表示画面の例である。It is an example of the display screen displayed when a user inclines a head corresponding to at least one of embodiment of this invention. 本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。5 is a flowchart of a program execution process corresponding to at least one of the embodiments of the present invention. 本発明の実施の形態の少なくとも１つに対応する、角度の判定を説明する図である。It is a figure explaining determination of an angle corresponding to at least one of the embodiments of the present invention. 本発明の実施の形態の少なくとも１つに対応する、関連情報の表示態様の変更について説明する図である。It is a figure explaining the change of the display mode of related information corresponding to at least one of embodiment of this invention. 本発明の実施の形態の少なくとも１つに対応する、ユーザの視線方向と関連情報の表示される位置の関係を表す模式図である。It is a schematic diagram showing the relationship of the gaze position of a user, and the position where related information is displayed corresponding to at least one of embodiment of this invention. 本発明の実施の形態の少なくとも１つに対応する、コンテンツ表示処理のフローチャートである。It is a flow chart of contents display processing corresponding to at least one of the embodiments of the present invention.

以下、添付図面を参照して、本発明の実施の形態について説明する。以下、効果に関する記載は、本発明の実施の形態の効果の一側面であり、ここに記載するものに限定されない。また、以下で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同である。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Hereinafter, the description regarding the effects is an aspect of the effects of the embodiment of the present invention, and is not limited to those described herein. In addition, the order of the respective processes constituting the flowchart to be described below is in order as long as no contradiction or inconsistency occurs in the process contents.

［第一の実施の形態］
本発明の第一の実施の形態の概要について説明をする。以下では、本発明の第一の実施の形態として、表示装置と接続可能なコンピュータ装置において実行されるコンテンツ表示プログラムを例示して説明をする。本発明の第一の実施の形態では、一例として、ディスプレイ装置（以下、ヘッドマウントディスプレイ又はＨＭＤともいう）をユーザの頭部に装着してコンテンツを表示するシステムを挙げる。コンテンツとして、ＶＲに使用される３６０°視認可能な画像を挙げるが、本発明はこれに限定されない。 First Embodiment
An outline of the first embodiment of the present invention will be described. Hereinafter, as a first embodiment of the present invention, a content display program executed in a computer apparatus connectable to a display device will be described as an example. In the first embodiment of the present invention, as an example, a system is described in which a display device (hereinafter, also referred to as a head mounted display or an HMD) is mounted on the head of a user to display content. The content includes 360 ° visible images used for VR, but the present invention is not limited thereto.

図１は、本発明の実施の形態の少なくとも１つに対応する、システムの構成を示すブロック図である。図１（ａ）は、システムの構成に関する１つの例を表す図である。システムは、センサを搭載したディスプレイ装置１と、光線を照射する照射装置２と、ディスプレイ装置１にて表示される画像を生成又は処理するコンピュータ装置３と、センサを搭載したコントローラ４とから構成される。 FIG. 1 is a block diagram showing the configuration of a system corresponding to at least one of the embodiments of the present invention. FIG. 1 (a) is a diagram illustrating an example of the configuration of the system. The system comprises a display device 1 equipped with a sensor, an irradiation device 2 for emitting a light beam, a computer device 3 generating or processing an image displayed on the display device 1, and a controller 4 equipped with a sensor Ru.

ディスプレイ装置１は、視界を覆うようにして頭部に装着するゴーグル型の表示装置であることが好ましい。ディスプレイは透過率の高い透過型ディスプレイであっても、透過率の低い非透過型ディスプレイであってもよい。また、ディスプレイ装置１は、搭載された複数のセンサを用いて、ユーザの姿勢を特定することができる。ディスプレイ装置１の構成については後述する。 The display device 1 is preferably a goggle type display device mounted on the head so as to cover the field of view. The display may be a transmissive display with high transmittance or a non-transmissive display with low transmittance. In addition, the display device 1 can specify the posture of the user by using a plurality of mounted sensors. The configuration of the display device 1 will be described later.

照射装置２は、広範囲にレーザ光線を照射する装置である。照射装置２の周囲にレーザ光線が照射されると、ディスプレイ装置１及びコントローラ４に搭載された光センサによってレーザ光線が感知され、ディスプレイ装置１及びコントローラ４の位置を特定する。この位置特定方法は、「Ｌｉｇｈｔｈｏｕｓｅ方式」と呼ばれるものである。より正確に位置を特定するために、照射装置２は、所定の間隔を空けて少なくとも２台設置されることが好ましい。なお、ディスプレイ装置１の姿勢、及びコントローラ４の姿勢等の姿勢情報が取得できればよく、照射装置２等によるディスプレイ装置１の位置の特定、及びコントローラ４の位置の特定は、必ずしも実行しなくてもよい。 The irradiation apparatus 2 is an apparatus which irradiates a laser beam to a wide range. When the laser beam is irradiated around the irradiation device 2, the laser beam is detected by the light sensor mounted on the display device 1 and the controller 4, and the positions of the display device 1 and the controller 4 are specified. This position specifying method is called "Lighthouse method". In order to specify the position more accurately, it is preferable that at least two irradiation devices 2 be installed at a predetermined interval. It is sufficient that posture information of the display device 1 and the posture of the controller 4 can be acquired, and the specification of the position of the display device 1 by the irradiation device 2 or the like and the specification of the position of the controller 4 are not necessarily performed. Good.

コンピュータ装置３は、ディスプレイ装置１及びコントローラ４と通信により接続可能である。通信は、有線又は無線によるものであってもよい。コンピュータ装置３は、ディスプレイ装置１と互いに独立した装置であってもよいし、ディスプレイ装置１に組み込まれた一体の装置であってもよい。 The computer device 3 can be connected to the display device 1 and the controller 4 by communication. The communication may be wired or wireless. The computer device 3 may be a device independent of the display device 1 or an integral device incorporated in the display device 1.

コントローラ４は、ボタン等の操作部を備え、ユーザの操作により入力を受け付ける入力装置である。また、光センサが搭載されており、照射装置２から照射されたレーザ光線を感知することができる。さらに、タッチセンサが搭載されており、ユーザの接触による入力を受け付けることができる。コントローラ４は、一対にして左右の手に把持して使用するものであるが、いずれか１つのみを使用するものであってもよい。 The controller 4 is an input device that includes an operation unit such as a button and receives an input by a user operation. In addition, an optical sensor is mounted, and the laser beam emitted from the irradiation device 2 can be sensed. Furthermore, a touch sensor is mounted and can receive an input by a touch of the user. The controller 4 is used as a pair and held by the left and right hands, but only one of them may be used.

図１（ｂ）は、図１（ａ）に示すシステムとは異なるシステムの構成に関する１つの例を表す図である。図１（ｂ）に示すシステムは、光源となる発光部を備えるディスプレイ装置５１と、ディスプレイ装置５１やコントローラ５４の光源となる発光部から発せられた光を撮影する撮影装置５２と、ディスプレイ装置５１にて表示される画像を生成又は処理するコンピュータ装置５３と、光源となる発光部を備えるコントローラ５４とから構成される。 FIG. 1 (b) shows an example of a system configuration different from the system shown in FIG. 1 (a). The system shown in FIG. 1B includes a display device 51 having a light emitting unit as a light source, a photographing device 52 for photographing light emitted from the light emitting unit as a light source of the display device 51 and the controller 54, and And a controller 54 having a light emitting unit as a light source.

ディスプレイ装置５１は、ディスプレイ装置１と同様に、視界を覆うようにして頭部に装着するゴーグル型の表示装置であることが好ましい。ディスプレイは透過率の高い透過型ディスプレイであっても、透過率の低い非透過型ディスプレイであってもよい。 Similar to the display device 1, the display device 51 is preferably a goggle type display device mounted on the head so as to cover the field of view. The display may be a transmissive display with high transmittance or a non-transmissive display with low transmittance.

撮影装置５２は、ディスプレイ装置５１及びコントローラ５４の光源となる発光部（非図示）から発せられた光を撮影することにより、ディスプレイ装置５１及びコントローラ５４の位置を特定するための装置である。 The photographing device 52 is a device for specifying the positions of the display device 51 and the controller 54 by photographing light emitted from a light emitting unit (not shown) serving as a light source of the display device 51 and the controller 54.

コンピュータ装置５３は、ディスプレイ装置５１及びコントローラ５４と通信により接続可能である。通信は、有線又は無線によるものであってもよい。 The computer device 53 can be connected to the display device 51 and the controller 54 by communication. The communication may be wired or wireless.

コントローラ５４は、少なくともボタン等の操作部を備え、ユーザの操作により入力を受け付ける入力装置である。コントローラ５４から発せられた光を撮影装置５２が撮影することにより、コントローラ５４の位置を特定する。コントローラは手に把持するものであり、対にして使用することが好ましいが、１つのコントローラを使用するものとしてもよい。 The controller 54 is an input device that includes at least an operation unit such as a button and receives an input by a user operation. The photographing device 52 photographs the light emitted from the controller 54 to specify the position of the controller 54. The controllers are hand-held and are preferably used in pairs, but one controller may be used.

以下の説明において、本発明の実施の形態においては、図１（ａ）に示した方式により、ディスプレイ装置１及びコントローラ４の位置を特定するものとする。しかし、本発明はこの方式に限定されない。例えば、図１（ｂ）に示した方式や、頭部以外の身体の一部に装着し、ディスプレイ装置１及びコントローラ４の位置を特定する方式であってもよい。 In the following description, in the embodiment of the present invention, the positions of the display device 1 and the controller 4 are specified by the method shown in FIG. 1 (a). However, the present invention is not limited to this scheme. For example, the method shown in FIG. 1 (b) or a method of being attached to a part of the body other than the head and specifying the positions of the display device 1 and the controller 4 may be used.

ディスプレイ装置１に表示される画像は、ディスプレイ装置１に搭載されたセンサにより測定された値、及び、コントローラ４へのユーザの入力操作に基づいて、コンピュータ装置３により生成又は処理された画像である。 The image displayed on the display device 1 is an image generated or processed by the computer device 3 based on the value measured by the sensor mounted on the display device 1 and the user's input operation to the controller 4. .

ここで、ディスプレイ装置１の構成について説明する。図２は、本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置の構成を示すブロック図である。ディスプレイ装置１は、制御部１１、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２、ストレージ部１３、撮像部１４、グラフィックス処理部１５、表示部１６、センサ部１８、通信インタフェース１９、インタフェース部２０、及びレンズ２１からなり、それぞれ内部バスにより接続されている。 Here, the configuration of the display device 1 will be described. FIG. 2 is a block diagram showing a configuration of a display apparatus, corresponding to at least one of the embodiments of the present invention. The display device 1 includes a control unit 11, a random access memory (RAM) 12, a storage unit 13, an imaging unit 14, a graphics processing unit 15, a display unit 16, a sensor unit 18, a communication interface 19, an interface unit 20, and a lens 21. And are each connected by an internal bus.

制御部１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）から構成される。制御部１１は、ストレージ部１３に格納されたプログラムを実行し、ディスプレイ装置１の制御を行う。ＲＡＭ１２は、制御部１１のワークエリアである。ストレージ部１３は、プログラムやデータを保存するための記憶領域である。 The control unit 11 includes a central processing unit (CPU) and a read only memory (ROM). The control unit 11 executes a program stored in the storage unit 13 to control the display device 1. The RAM 12 is a work area of the control unit 11. The storage unit 13 is a storage area for storing programs and data.

制御部１１は、プログラム及びデータをＲＡＭ１２及びストレージ部１３から読み出して処理を行う。制御部１１は、ＲＡＭ１２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部１５に出力する。さらに、制御部１１は、センサ部１８において測定された各種の値に基づいて処理を行う、あるいは、インタフェース部２０を介してコンピュータ装置３へデータを送信する。 The control unit 11 reads a program and data from the RAM 12 and the storage unit 13 and performs processing. The control unit 11 outputs a drawing command to the graphics processing unit 15 by processing the program and data loaded in the RAM 12. Furthermore, the control unit 11 performs processing based on various values measured by the sensor unit 18 or transmits data to the computer 3 via the interface unit 20.

撮像部１４は、レンズ２１を介して撮影した画像をグラフィックス処理部１５へ出力する。ディスプレイ装置１を頭部に装着することによって視界が覆われる場合には、装置外部の情報を確認することができないため、後述する表示部１６が備える表示画面１７に、撮像部１４により撮像された情報を表示させることで、ユーザは現実空間を認識することができ、安全性を確保することができる。 The imaging unit 14 outputs an image captured through the lens 21 to the graphics processing unit 15. When the field of view is covered by wearing the display device 1 on the head, the information outside the device can not be confirmed, so the image pickup unit 14 picks up an image on the display screen 17 of the display unit 16 described later. By displaying the information, the user can recognize the real space, and security can be ensured.

グラフィックス処理部１５は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば３０分の１秒である。グラフィックス処理部１５は、描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。 The graphics processing unit 15 executes drawing of one image in frame units. One frame time of the image is, for example, 1/30 second. The graphics processing unit 15 has a role of distributing a load of the entire system, in charge of a part of arithmetic processing related to drawing.

表示部１６は、表示画面１７を備え、ユーザの視界を覆うディスプレイ装置１のゴーグル内部に設置される。表示画面１７には、例えば、有機ＥＬや無機ＥＬが使用されるが、これに限定されるものではない。 The display unit 16 includes a display screen 17 and is installed inside the goggles of the display device 1 that covers the view of the user. For example, although organic EL and inorganic EL are used for the display screen 17, it is not limited to this.

センサ部１８は、近接センサ１８ａ、赤外線センサ１８ｂ、ジャイロセンサ１８ｃ、及び、加速度センサ１８ｄを少なくとも備える。近接センサ１８ａは、ディスプレイ装置１のゴーグル部分に設置され、ユーザの顔部との接触有無を判定するために用いる。赤外線センサ１８ｂは、ディスプレイ装置１に複数設置されるものであり、照射装置２から照射された光線を感知することで、ディスプレイ装置１の位置を特定するために用いる。ジャイロセンサ１８ｃ、及び加速度センサ１８ｄは、ユーザの姿勢を特定するために用いる。 The sensor unit 18 at least includes a proximity sensor 18a, an infrared sensor 18b, a gyro sensor 18c, and an acceleration sensor 18d. The proximity sensor 18 a is installed in the goggles portion of the display device 1 and is used to determine the presence or absence of contact with the face of the user. A plurality of infrared sensors 18 b are installed in the display device 1, and are used to specify the position of the display device 1 by sensing the light beam emitted from the irradiation device 2. The gyro sensor 18c and the acceleration sensor 18d are used to specify the posture of the user.

ここで、図を用いてユーザの姿勢の特定方法について説明する。図３は、本発明の実施の形態の少なくとも１つに対応する、ディスプレイ装置を頭部に装着した場合にユーザの姿勢を特定するための直交座標系を示す図である。 Here, a method of specifying the posture of the user will be described using the drawings. FIG. 3 is a diagram showing an orthogonal coordinate system for specifying the posture of the user when the display apparatus is worn on the head, corresponding to at least one of the embodiments of the present invention.

ディスプレイ装置１を装着したユーザの頭部を中心にして、ＸＹＺ座標を規定する。ユーザが直立する垂直方向をＹ軸（ヨー角）、Ｙ軸と直交し、かつ、ディスプレイ装置１の表示画面１７の中心とユーザの頭部とを結ぶ方向をＺ軸（ロール角）、Ｙ軸及びＺ軸と直交する方向をＸ軸（ピッチ角）とする。ジャイロセンサ１８ｃでは、各軸回りの角度（傾き）を検出し、加速度センサ１８ｄでは、ディスプレイ装置１の動きを検知し、検出された角度及び検知された動きに応じて、表示画面１７に表示される画像を変化させる。ディスプレイ装置１は、複数のセンサにより測定された値（以下、姿勢情報という）を用いて、ユーザの姿勢を特定することができる。 The XYZ coordinates are defined centering on the head of the user wearing the display device 1. The vertical direction in which the user stands up is orthogonal to the Y axis (yaw angle) and Y axis, and the direction connecting the center of the display screen 17 of the display device 1 to the head of the user is Z axis (roll angle) and Y axis And a direction orthogonal to the Z axis is taken as an X axis (pitch angle). The gyro sensor 18c detects the angle (tilt) around each axis, and the acceleration sensor 18d detects the movement of the display device 1, and is displayed on the display screen 17 according to the detected angle and the detected movement. Change the image. The display device 1 can specify the posture of the user using values (hereinafter referred to as posture information) measured by a plurality of sensors.

続いて、通信インタフェース１９は、無線又は有線により通信回線５に接続が可能であり、通信回線５を介してデータを受信することが可能である。通信インタフェース１９を介して受信したデータは、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。 Subsequently, the communication interface 19 can connect to the communication line 5 wirelessly or by wire, and can receive data via the communication line 5. The data received via the communication interface 19 is loaded to the RAM 12 and the control unit 11 performs arithmetic processing.

インタフェース部２０は、主にコンピュータ装置３と接続され、コンピュータ装置３において処理又は生成された画像等のデータを受信することができる。また、センサ部１８において取得した各種センサの測定値をコンピュータ装置３へ送信することもできる。 The interface unit 20 is mainly connected to the computer 3, and can receive data such as an image processed or generated by the computer 3. The measurement values of various sensors acquired by the sensor unit 18 can also be transmitted to the computer device 3.

続いて、コンピュータ装置３について説明する。図４は、本発明の実施の形態の少なくとも１つに対応する、コンピュータ装置の構成を示すブロック図である。コンピュータ装置３は、制御部３１、ＲＡＭ３２、ストレージ部３３、サウンド処理部３４、グラフィックス処理部３５、ＤＶＤ／ＣＤ−ＲＯＭドライブ３６、通信インタフェース３７、インタフェース部３８、及びフレームメモリ３９からなり、それぞれ内部バスにより接続されている。 Subsequently, the computer device 3 will be described. FIG. 4 is a block diagram showing the configuration of a computer apparatus corresponding to at least one of the embodiments of the present invention. The computer 3 comprises a control unit 31, a RAM 32, a storage unit 33, a sound processing unit 34, a graphics processing unit 35, a DVD / CD-ROM drive 36, a communication interface 37, an interface unit 38 and a frame memory 39. It is connected by the internal bus.

制御部３１は、ＣＰＵやＲＯＭから構成される。制御部３１は、ストレージ部３３に格納されたプログラムを実行し、コンピュータ装置３の制御を行う。ＲＡＭ３２は、制御部３１のワークエリアである。ストレージ部３３は、プログラムやデータを保存するための記憶領域である。 The control unit 31 includes a CPU and a ROM. The control unit 31 executes a program stored in the storage unit 33 and controls the computer device 3. The RAM 32 is a work area of the control unit 31. The storage unit 33 is a storage area for storing programs and data.

制御部３１は、プログラム及びデータをＲＡＭ３２から読み出して処理を行なう。制御部３１は、ＲＡＭ３２にロードされたプログラム及びデータを処理することで、描画命令をグラフィックス処理部３５に出力する。 The control unit 31 reads a program and data from the RAM 32 and performs processing. The control unit 31 processes the program and data loaded in the RAM 32 to output a drawing command to the graphics processing unit 35.

サウンド処理部３４は、サウンド出力装置４０に接続されている。制御部３１がサウンド出力の指示をサウンド処理部３４に出力すると、サウンド処理部３４はサウンド出力装置４０にサウンド信号を出力する。サウンド出力装置４０は、例えば、ヘッドフォンであり、ユーザがディスプレイ装置１とともに頭部に装着してもよいし、スピーカがディスプレイ装置１に組み込まれていてもよい。 The sound processing unit 34 is connected to the sound output device 40. When the control unit 31 outputs a sound output instruction to the sound processing unit 34, the sound processing unit 34 outputs a sound signal to the sound output device 40. The sound output device 40 is, for example, a headphone, and the user may wear it on the head together with the display device 1, or a speaker may be incorporated in the display device 1.

グラフィックス処理部３５は、フレーム単位で１枚の画像の描画を実行する。画像の１フレーム時間は、例えば９０分の１秒である。グラフィックス処理部３５は描画に関する演算処理の一部を受け持ち、システム全体の負荷を分散させる役割を有する。コンピュータ装置３のグラフィックス処理部３５は、ディスプレイ装置１の位置情報及び姿勢情報と、コントローラ４の位置情報とに基づいて、表示画面１７に表示する画像を生成するため、ディスプレイ装置１に含まれるグラフィックス処理部１５よりも高い性能を要する。 The graphics processing unit 35 executes the drawing of one image in frame units. One frame time of the image is, for example, 1/90 second. The graphics processing unit 35 is responsible for part of the arithmetic processing related to drawing, and has a role of distributing the load of the entire system. The graphics processing unit 35 of the computer device 3 is included in the display device 1 to generate an image to be displayed on the display screen 17 based on the position information and orientation information of the display device 1 and the position information of the controller 4. It requires higher performance than the graphics processing unit 15.

ＤＶＤ／ＣＤ−ＲＯＭドライブ３６は、ディスク４１からデータを読み込み、ＲＡＭ３２にロードされ、制御部３１により演算処理が行われる。なお、ディスク４１の種類はＤＶＤ又はＣＤに限らず、Ｂｌｕ−ｒａｙ（登録商標）ディスクやその他の規格であってもよい。 The DVD / CD-ROM drive 36 reads data from the disk 41, is loaded into the RAM 32, and the control unit 31 performs arithmetic processing. The type of the disc 41 is not limited to a DVD or a CD, and may be a Blu-ray (registered trademark) disc or another standard.

通信インタフェース３７は無線又は有線により通信回線５に接続が可能であり、通信回線５を介してデータを受信することが可能である。通信インタフェース３７を介して受信したデータは、ディスク４１から読み込まれたデータと同様に、ＲＡＭ３２にロードされ、制御部３１により演算処理が行われる。 The communication interface 37 can be connected to the communication line 5 wirelessly or by wire, and can receive data via the communication line 5. The data received via the communication interface 37 is loaded to the RAM 32 in the same manner as the data read from the disk 41, and the control unit 31 performs arithmetic processing.

インタフェース部３８は、主にディスプレイ装置１と接続され、コンピュータ装置３において処理又は生成された画像等のデータを送信することができる。 The interface unit 38 is mainly connected to the display device 1 and can transmit data such as an image processed or generated by the computer device 3.

なお、上述の説明において、ディスプレイ装置１とコンピュータ装置３とは別装置として記載したが、ディスプレイ装置１によりコンピュータ装置３の処理をすべて行うこととしてもよい。その場合には、コンピュータ装置３は不要となり、コントローラ４はディスプレイ装置１と通信により接続される。 Although the display device 1 and the computer device 3 have been described as separate devices in the above description, all processing of the computer device 3 may be performed by the display device 1. In that case, the computer device 3 becomes unnecessary, and the controller 4 is connected to the display device 1 by communication.

本発明の実施の形態における前提として、プログラムが実行されると、コンピュータ装置３の制御部３１は、プログラムによって定義される３次元仮想空間をグラフィックス処理部３５に出力させる。また、ディスプレイ装置１を頭に装着したプレイヤの位置、及び、コントローラ４の位置を、照射装置２から照射された光線を受光した位置及び方向に基づいて特定する。さらに、ディスプレイ装置１のセンサ部１８の各種センサの測定値により、ディスプレイ装置１の姿勢を特定する。姿勢の変化は、現実空間の座標と対応付けられた絶対座標と、ディスプレイ装置１のセンサ部１８の各種センサに規定されたローカル座標とから算出される。算出の一例として、ジャイロセンサ１８ｃのセンサ角速度からオイラーの姿勢角を算出する方法が知られているが、本発明はこれに限定されるものではない。すなわち、どのような算出方法を用いてもよく、ディスプレイ装置１の姿勢の変化が取得できればよい。 As a premise in the embodiment of the present invention, when the program is executed, the control unit 31 of the computer device 3 causes the graphics processing unit 35 to output a three-dimensional virtual space defined by the program. Further, the position of the player wearing the display device 1 on the head and the position of the controller 4 are specified based on the position and direction of the light beam emitted from the irradiation device 2. Further, the attitude of the display device 1 is specified by the measurement values of various sensors of the sensor unit 18 of the display device 1. The change of the posture is calculated from the absolute coordinates associated with the coordinates of the real space and the local coordinates defined by the various sensors of the sensor unit 18 of the display device 1. Although a method of calculating the attitude angle of Euler from the sensor angular velocity of the gyro sensor 18c is known as an example of calculation, the present invention is not limited to this. That is, any calculation method may be used as long as the change in the attitude of the display device 1 can be acquired.

ディスプレイ装置１のローカル座標についてより具体的に説明する。ローカル座標を設定する際には、ユーザが所定の姿勢（例えば、直立状態等）にある場合を基準状態として、基準状態のローカル座標を絶対座標と一致させる。ユーザが基準状態以外の姿勢をした場合には、ローカル座標系は変化して、絶対座標系と異なる座標系となる。つまり、ＸＹＺ軸全ての軸において、姿勢に応じて絶対座標系との相違が生じ得るものである。 The local coordinates of the display device 1 will be described more specifically. When setting the local coordinates, the local coordinates of the reference state are made to coincide with the absolute coordinates with the case where the user is in a predetermined posture (for example, an upright state or the like) as a reference state. When the user takes a posture other than the reference state, the local coordinate system changes to be a coordinate system different from the absolute coordinate system. That is, in all the X, Y, and Z axes, a difference from the absolute coordinate system may occur depending on the posture.

図５は、本発明の実施の形態の少なくとも１つに対応する、コンテンツを表示した表示画面の例である。ディスプレイ装置１の表示画面１７には画像１００が表示され、コンテンツの内容を表すコンテンツ画像１０１と、コンテンツに関連する関連情報１１０とが少なくとも表示される。コンテンツ画像１０１には、例えば、キャラクタ１０２ａ及びキャラクタ１０２ｂが表示され、ユーザは仮想空間におけるキャラクタの行動を視認することができる。関連情報１１０には、コンテンツに関連した情報が表示される。コンテンツに関連した情報とは、例えば、キャラクタの台詞、状況を示すテキスト（文字）情報、各種言語による字幕、あるいは、図形や記号であってもよい。ディスプレイ装置１の姿勢を表すＸＹ軸１０３は、ディスプレイ装置１のローカル座標系を表し、図３に示した座標軸と同じ軸である。ＸＹ軸１０３は、表示画面１７に表示されなくてもよい。 FIG. 5 is an example of a display screen on which content is displayed, corresponding to at least one of the embodiments of the present invention. An image 100 is displayed on the display screen 17 of the display device 1, and at least a content image 101 representing the content of the content and related information 110 related to the content are displayed. For example, the character 102a and the character 102b are displayed on the content image 101, and the user can visually recognize the action of the character in the virtual space. The related information 110 displays information related to the content. The information related to the content may be, for example, text of a character, text (character) information indicating a situation, subtitles in various languages, or a figure or a symbol. An XY axis 103 representing the attitude of the display device 1 represents a local coordinate system of the display device 1 and is the same axis as the coordinate axis shown in FIG. The XY axis 103 may not be displayed on the display screen 17.

本発明の実施の形態において、コンテンツ画像１０１は、仮想カメラにより仮想空間を撮影され、生成される画像である。一方、関連情報１１０は、予めプログラムに格納された情報であって、仮想カメラにより撮影されて生成される情報ではない。本発明の実施の形態においては、これら２種類のデータを重ね合わせて表示画面１７に表示するものである。 In the embodiment of the present invention, the content image 101 is an image generated by capturing a virtual space with a virtual camera. On the other hand, the related information 110 is information stored in advance in a program, and is not information that is captured and generated by a virtual camera. In the embodiment of the present invention, these two types of data are superimposed and displayed on the display screen 17.

続いて、表示されるコンテンツの仮想空間について説明する。図６は、本発明の実施の形態の少なくとも１つに対応する、仮想空間の概念を表す図である。仮想空間７０が、図示するように半球状の空間で表される場合に、ディスプレイ装置１を頭部に装着したプレイヤ８０の視野は、可視領域８１に該当する。すなわち、可視領域８１に該当する映像が、ディスプレイ装置１の表示画面１７に表示される。例えば、プレイヤ８０が左を向けば、プレイヤ８０の動きにしたがって、可視領域８１は左側に移動する。上下方向についても同様に、例えば、プレイヤ８０が上を向けば、プレイヤ８０の動きにしたがって、可視領域８１は上側に移動する。 Subsequently, the virtual space of the content to be displayed will be described. FIG. 6 is a diagram showing the concept of virtual space, corresponding to at least one of the embodiments of the present invention. When the virtual space 70 is represented by a hemispherical space as illustrated, the field of view of the player 80 wearing the display device 1 on the head corresponds to the visible area 81. That is, an image corresponding to the visible area 81 is displayed on the display screen 17 of the display device 1. For example, if the player 80 turns to the left, the visible area 81 moves to the left according to the movement of the player 80. Similarly, in the vertical direction, for example, when the player 80 faces upward, the visible region 81 moves upward according to the movement of the player 80.

本発明の第一の実施の形態において、ユーザが首を傾けた際にディスプレイ装置１に表示される画像について説明する。図７は、本発明の実施の形態の少なくとも１つに対応する、ユーザが首を傾けた際に表示される表示画面の例である。ユーザの傾きに応じて、表示されるコンテンツ画像１１１も傾いて表示される。図５に示したコンテンツ画像１０１が水平状態である場合に、表示画面１７には、図７に示すコンテンツ画像１１１として、コンテンツ画像１０１を、ＸＹ軸１１３に表した角度αだけ傾けた画像が表示される。ＸＹ軸１１３に示すｙ軸は、図５に表したＸＹ軸１０３のＹ軸であり、ディスプレイ装置１の姿勢が角度αだけ反時計回りにＹ軸が傾いたことを表す。 In the first embodiment of the present invention, an image displayed on the display device 1 when the user tilts his head will be described. FIG. 7 is an example of a display screen displayed when the user tilts his / her head, corresponding to at least one of the embodiments of the present invention. The displayed content image 111 is also tilted and displayed according to the tilt of the user. When the content image 101 shown in FIG. 5 is in the horizontal state, the display screen 17 displays an image in which the content image 101 is inclined by an angle α represented on the XY axis 113 as the content image 111 shown in FIG. Be done. The y-axis shown in the XY-axis 113 is the Y-axis of the XY-axis 103 shown in FIG. 5, and represents that the attitude of the display apparatus 1 is inclined counterclockwise by the angle α.

続いて、本発明の第一の実施の形態におけるプログラム実行処理について説明する。図８は、本発明の実施の形態の少なくとも１つに対応する、プログラム実行処理のフローチャートである。 Subsequently, program execution processing in the first embodiment of the present invention will be described. FIG. 8 is a flowchart of program execution processing corresponding to at least one of the embodiments of the present invention.

ディスプレイ装置１は、姿勢情報を測定する（ステップＳ１）。ディスプレイ装置１は、測定された姿勢情報に基づいてディスプレイ装置１の位置及び向きを特定する（ステップＳ２）。ディスプレイ装置１は、特定された位置及び向きに関する情報をコンピュータ装置３へ送信する（ステップＳ３）。 The display device 1 measures posture information (step S1). The display device 1 specifies the position and orientation of the display device 1 based on the measured attitude information (step S2). The display device 1 transmits information on the identified position and orientation to the computer device 3 (step S3).

コンピュータ装置３は、ディスプレイ装置１から送信された情報を受信する（ステップＳ４）。次に、コンピュータ装置３は、絶対座標のＸ軸を中心として回転した角度、つまり、ディスプレイ装置１のローカル座標に含まれるＹ軸が絶対座標のＹ軸と成す角度、又は、ディスプレイ装置１のローカル座標に含まれるＺ軸が絶対座標のＺ軸と成す角度が、所定の角度未満であるか判定する（ステップＳ５）。 The computer device 3 receives the information transmitted from the display device 1 (step S4). Next, the computer device 3 rotates an angle about the X axis of the absolute coordinates, that is, an angle formed by the Y axis included in the local coordinates of the display device 1 with the Y axis of the absolute coordinates or the local of the display device 1 It is determined whether an angle formed by the Z axis included in the coordinates and the Z axis of the absolute coordinates is less than a predetermined angle (step S5).

ステップＳ５における角度の判定について、図を用いて説明する。図９は、本発明の実施の形態の少なくとも１つに対応する、角度の判定を説明する図である。図９（ａ）及び（ｂ）はともに、Ｘ軸に沿って、ユーザを側面視した図である。ユーザが水平面を図９（ａ）では、ユーザは上方視しており、ユーザの視線は絶対座標のＺ軸から角度ηだけ上方に傾いている。同様に、図９（ｂ）では、ユーザは下方視しており、ユーザの視線は絶対座標のＺ軸から角度θだけ下方に傾いている。ステップＳ５における角度の判定処理は、角度η又は角度θが所定の値より小さいか否かを判定するものである。言い換えれば、ユーザの視線方向と仮想空間の水平方向とが成す角度が条件を満たすか否かを判定するものである。 The determination of the angle in step S5 will be described using the drawings. FIG. 9 is a diagram for explaining the determination of the angle corresponding to at least one of the embodiments of the present invention. FIGS. 9A and 9B are side views of the user along the X axis. In FIG. 9A, the user is looking upwards, and the user's line of sight is inclined upward by an angle から from the Z axis of the absolute coordinates. Similarly, in FIG. 9B, the user is looking down, and the user's line of sight is inclined downward by an angle θ from the Z axis of the absolute coordinates. The determination process of the angle in step S5 is to determine whether the angle 又は or the angle θ is smaller than a predetermined value. In other words, it is determined whether the angle formed by the direction of the user's line of sight and the horizontal direction of the virtual space satisfies the condition.

所定の角度未満である場合（ステップＳ５においてＹＥＳ）には、コンピュータ装置３は、関連情報を表示するための表示角度を設定する（ステップＳ６）。コンピュータ装置３は、関連情報を表示画面１７に表示する際に、ディスプレイ装置１の姿勢に応じて表示態様を変更する。 If the angle is less than the predetermined angle (YES in step S5), the computer device 3 sets a display angle for displaying the related information (step S6). When displaying the related information on the display screen 17, the computer device 3 changes the display mode in accordance with the attitude of the display device 1.

図１０は、本発明の実施の形態の少なくとも１つに対応する、関連情報の表示態様の変更について説明する図である。図１０（ａ）は、ユーザが姿勢を崩すことなく正面視していて、Ｚ軸に沿って、ユーザを後方から正面視した様子を表す図である。基準となる姿勢では、絶対座標のＸ軸及びＹ軸とローカル座標のＸ軸及びＹ軸とは合致する。図１０（ｂ）は、図１０（ａ）の状態で表示画面１７に表示される関連情報を表した図である。関連情報は、Ｘ軸に沿って表示される。 FIG. 10 is a diagram for explaining a change in display mode of related information, which corresponds to at least one of the embodiments of the present invention. FIG. 10 (a) is a diagram showing the user as viewed from the front without breaking the posture and from the rear along the Z-axis. In the reference posture, the X and Y axes of the absolute coordinates coincide with the X and Y axes of the local coordinates. FIG.10 (b) is a figure showing the related information displayed on the display screen 17 in the state of Fig.10 (a). Relevant information is displayed along the X axis.

一方、図１０（ｃ）は、ユーザが右側に姿勢を崩しながら正面視していて、Ｚ軸に沿って、ユーザを後方から正面視した様子を表す図である。ユーザが右側に姿勢を崩したことにより、Ｘ軸及びＹ軸はそれぞれｘ軸及びｙ軸へと変化する。この際に変化した角度βに応じて、関連情報の表示される角度が変化する。図１０（ｄ）は、関連情報の表示角度を変化させた後の図である。Ｘ軸に沿って表示されていた関連情報は、角度βだけ傾いた態様で表示される。なお、関連情報の表示態様の変更は、ユーザの変化した角度βと同じ角度で関連情報を変化させることに限定されるものではなく、角度βに比例するように変更させるようにしてもよい。 On the other hand, FIG. 10C is a view showing the user looking at the front from the rear along the Z-axis while the user breaks the posture to the right and is viewed from the front. Due to the user's right posture, the X-axis and the Y-axis change to the x-axis and the y-axis, respectively. The displayed angle of the related information changes in accordance with the changed angle β. FIG. 10D is a diagram after changing the display angle of the related information. The related information that has been displayed along the X axis is displayed in an inclined manner by the angle β. The change of the display mode of the related information is not limited to changing the related information at the same angle as the changed angle β of the user, but may be changed in proportion to the angle β.

図７を用いてより具体的に説明すると、関連情報１２０はディスプレイ装置１の姿勢に応じて、角度αだけ傾いて表示される。これは、コンテンツ画像１１１と同じ傾き角度であって、コンテンツ画像１１１に示された仮想空間の水平方向と、関連情報１２０の上下方向が略垂直となるように表示されるものである。 If it demonstrates more concretely using FIG. 7, according to the attitude | position of the display apparatus 1, the relevant information 120 will be inclined and displayed by angle (alpha). This is displayed at the same inclination angle as that of the content image 111 so that the horizontal direction of the virtual space shown in the content image 111 and the vertical direction of the related information 120 are substantially vertical.

コンピュータ装置３は、ステップＳ６において設定された表示角度にしたがって関連情報の表示態様を変更して所定の位置に表示するよう設定する（ステップＳ７）。この際に、表示させる位置は固定でもよいし、関連情報の内容に応じて表示画面１７の任意の位置に表示させるように設定してもよい。 The computer 3 changes the display mode of the related information in accordance with the display angle set in step S6 and sets the display mode to display at a predetermined position (step S7). At this time, the position to be displayed may be fixed, or may be set to be displayed at an arbitrary position on the display screen 17 according to the content of the related information.

ただし、関連情報が表示される位置は、視線方向の所定の領域内であることが好ましい。図１１は、本発明の実施の形態の少なくとも１つに対応する、ユーザの視線方向と関連情報の表示される位置の関係を表す模式図である。ユーザ１３０が表示画面１７に表示された画像を見る場合に、視線方向はおおよそ表示画面１７の中央付近に位置する。関連情報は、視線方向と等距離にある円形の領域１３１の範囲内に表示されることが好ましい。目の動きを少なくすることで、目への刺激を軽減することができるためである。 However, it is preferable that the position where the related information is displayed is within a predetermined area of the viewing direction. FIG. 11 is a schematic view showing the relationship between the gaze direction of the user and the position at which the related information is displayed, corresponding to at least one of the embodiments of the present invention. When the user 130 views the image displayed on the display screen 17, the sight line direction is approximately located near the center of the display screen 17. The related information is preferably displayed within the range of a circular area 131 which is equidistant to the viewing direction. By reducing eye movement, it is possible to reduce eye irritation.

ところで、ステップＳ５において、ディスプレイ装置１のローカル座標に含まれるＹ軸が絶対座標のＹ軸と成す角度、又は、ディスプレイ装置１のローカル座標に含まれるＺ軸が絶対座標のＺ軸と成す角度が、所定の角度以上である場合（ステップＳ５においてＮＯ）には、コンピュータ装置３は、関連情報に関するステップＳ６における表示角度の設定、及び、ステップＳ７における表示設定を行わない。所定の角度以上となる場合に関連情報の表示角度を設定すると、関連情報が逆転して表示される等予期せぬ動作によりユーザに刺激を与えてしまうおそれがあるためである。つまり、ユーザが極端に上方あるいは下方を見るような姿勢を取った場合には、関連情報を表示しないようにすることで、ユーザの目への刺激を抑え、不快感を伴う症状を発生し難くすることが可能となる。 By the way, in step S5, an angle formed by the Y-axis included in the local coordinates of the display device 1 with the Y-axis of the absolute coordinates, or an angle formed by the Z-axis included in the local coordinates of the display device 1 with the Z-axis in the absolute coordinates If the angle is equal to or greater than the predetermined angle (NO in step S5), the computer 3 does not perform the setting of the display angle in step S6 related to the related information and the display setting in step S7. Setting the display angle of the related information when the angle is equal to or more than a predetermined angle may cause the user to be stimulated by an unexpected operation such as displaying the related information in reverse. That is, when the user takes a posture to look extremely upward or downward, by not displaying the related information, the stimulation to the user's eyes is suppressed and it is difficult to generate symptoms accompanied by a sense of discomfort. It is possible to

続いて、コンピュータ装置３は、ステップＳ４において受信した情報に基づいて、仮想カメラの撮影位置を設定する（ステップＳ８）。コンピュータ装置３は、ステップＳ８において設定された仮想カメラの位置において仮想空間を撮影し、コンテンツ画像を生成する（ステップＳ９）。次に、コンピュータ装置３は、ステップＳ７において表示するよう設定された関連情報と、ステップＳ９において生成されたコンテンツ画像とを重ね合わせて表示画像を生成する（ステップＳ１０）。コンピュータ装置３は、ステップＳ１０において生成した表示画像をディスプレイ装置１へ送信する（ステップＳ１１）。 Subsequently, the computer device 3 sets the shooting position of the virtual camera based on the information received in step S4 (step S8). The computer device 3 captures an image of the virtual space at the position of the virtual camera set in step S8, and generates a content image (step S9). Next, the computer device 3 superimposes the related information set to be displayed in step S7 and the content image generated in step S9 to generate a display image (step S10). The computer device 3 transmits the display image generated in step S10 to the display device 1 (step S11).

ディスプレイ装置１は、コンピュータ装置３から表示画像を受信する（ステップＳ１２）。そして、ステップＳ１２において受信した表示画像を表示画面１７へ表示し（ステップＳ１３）、終了する。 The display device 1 receives a display image from the computer device 3 (step S12). Then, the display image received in step S12 is displayed on the display screen 17 (step S13), and the process ends.

第一の実施の形態の一例として示したフローチャートは、所定の時間間隔で実行されることが好ましく、グラフィックス処理部３５により描画処理されるフレーム単位で実行されることがより好ましい。ディスプレイ装置１を頭部に装着する場合には、没入感を損ねず、かつ、不快感を生じないために、実行間隔（リフレッシュレート）は６０分の１秒以上が好ましく、９０分の１秒以上がさらに好ましい。 The flowchart shown as an example of the first embodiment is preferably executed at a predetermined time interval, and more preferably executed in units of frames subjected to drawing processing by the graphics processing unit 35. When the display apparatus 1 is mounted on the head, the execution interval (refresh rate) is preferably 1/60 second or more, and 1/90 second, so as not to impair the sense of immersion and not cause discomfort. The above is more preferable.

第一の実施の形態の一例として、ディスプレイ装置１をユーザの頭部に装着したが、本発明はこれに限定されるものではない。例えば、ユーザの身体の一部に装着することで姿勢の変化に関する情報を取得可能であればよく、ユーザが自身の動きに応じて表示画像が変化していることを認識できれば足りる。一般的にウェアラブルと呼ばれる、時計型や眼鏡型等の装置を用いるようにしてもよい。 Although the display apparatus 1 was mounted on the head of the user as an example of the first embodiment, the present invention is not limited to this. For example, as long as the information on the change in posture can be acquired by being attached to a part of the user's body, it is sufficient if the user can recognize that the display image is changed according to the movement of the user. A watch-type or glasses-type device generally called wearable may be used.

第一の実施の形態の一例として、コンテンツはＡＲのコンテンツであってもよい。この場合には、コンテンツ画像は、現実世界の風景、表示された映像、広告、画像等であってもよく、関連情報はこれらの情報に関連するものであればよい。すなわち、ユーザの姿勢に応じて、関連情報の表示態様が変化すればよく、ユーザが視認する情報が一体的に変化すれば効果を奏するものである。 As an example of the first embodiment, the content may be AR content. In this case, the content image may be a landscape of the real world, a displayed image, an advertisement, an image, or the like, and the related information may be related to such information. That is, according to the posture of the user, the display mode of the related information may be changed, and when the information visually recognized by the user is integrally changed, an effect is exerted.

第一の実施の形態の一側面として、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねることにより、目への刺激を軽減し、不快感を伴う症状を発生し難くするコンテンツ表示プログラムを提供することが可能となる。 As an aspect of the first embodiment, by overlapping the angle formed by the vertical direction of the related information and the horizontal direction of the virtual space so as to satisfy a predetermined condition, eye irritation is reduced and discomfort is caused It becomes possible to provide a content display program that makes it difficult to cause the accompanying symptoms.

第一の実施の形態の一側面として、仮想カメラの視線方向と、仮想空間の水平方向とが成す角度が、所定の条件を満たす場合に、関連情報を表示しないように制御することで、予期せぬ動作によりユーザに刺激を与えてしまうことを阻止し、ユーザの目への刺激を抑え、不快感を伴う症状を発生し難くすることが可能となる。 As one aspect of the first embodiment, when an angle formed by the viewing direction of the virtual camera and the horizontal direction of the virtual space satisfies a predetermined condition, control is performed such that the related information is not displayed. It is possible to prevent the user from being irritated by the user's motion, to suppress the user's irritating eyes, and to make it difficult to generate symptoms accompanied by a sense of discomfort.

第一の実施の形態の一側面として、関連情報の上下方向と仮想カメラの上下方向との成す角度を変更して表示画像を生成することで、ユーザが身体を傾けた場合に、表示画面に表示されるコンテンツ画像及び関連情報が姿勢情報に応じて変化する。このようにすることで、関連情報と仮想世界におけるオブジェクトとの動きの相違をなくすことができ、目への刺激を軽減することができる。 As one aspect of the first embodiment, when the user tilts the body by changing the angle formed by the vertical direction of the related information and the vertical direction of the virtual camera to generate a display image, the display screen is displayed. The content image and the related information to be displayed change according to the posture information. By doing this, it is possible to eliminate the difference in movement between the related information and the object in the virtual world, and to reduce eye irritation.

第一の実施の形態の一側面として、関連情報を、仮想カメラの視線方向と所定の位置関係になるように表示することで、目の動きを少なくし、目への刺激を軽減することができる。 As one aspect of the first embodiment, it is possible to reduce eye movement and reduce eye irritation by displaying related information so as to be in a predetermined positional relationship with the line-of-sight direction of the virtual camera. it can.

第一の実施の形態において、「表示装置」とは、例えば、ＣＲＴディスプレイやタッチパネル式のディスプレイ等、情報を出力可能なものをいう。「ディスプレイ装置」とは、例えば、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれる装置が挙げられる。「頭部に装着」とは、例えば、帽子のように頭に被ること、眼鏡のように顔に付けること、あるいは、その他頭部の一部に付着させることをいい、身体の一部から延長させて頭部を覆うような場合も含む概念である。「向き」とは、例えば、単に物体の方向や角度だけでなく、加速度のような単位時間の変化量に関する方向を含む概念である。「仮想空間」とは、例えば、プログラム及びデータにより定義される空間であって、コンピュータにより生成される仮想的な空間をいう。 In the first embodiment, the “display device” refers to, for example, a display capable of outputting information, such as a CRT display or a touch panel display. The “display device” is, for example, a device called a head mounted display (HMD). "Mounted on the head" means, for example, putting on the head like a hat, putting it on the face like glasses, or attaching it to another part of the head, extending from a part of the body It is a concept that includes the case of covering the head. The “orientation” is a concept including not only the direction and angle of an object, but also the direction regarding the amount of change of unit time such as acceleration. The “virtual space” is, for example, a space defined by a program and data, and refers to a virtual space generated by a computer.

第一の実施の形態において、「照射装置」とは、例えば、所定の範囲内に光を照射する装置であって、範囲の広狭は問わない。「仮想カメラ」とは、例えば、コンピュータグラフィックスを描くときの視点又は画角をカメラに例えたものをいう。「コンピュータ装置」とは、例えば、デスクトップ型又はノート型パーソナルコンピュータ、タブレットコンピュータ、又は、ＰＤＡ等をいい、表示画面にタッチパネルセンサを備える携帯型端末、携帯電話、スマートフォン、携帯型ゲーム機等であってもよい。「コンテンツ」とは、例えば、電子的な手段で表示される情報であって、記録媒体に記録された情報、通信により受信可能な情報、透過性を有する表示画面を介して視認可能な景色等から得られる情報等をいう。 In the first embodiment, the “irradiation device” is, for example, a device that emits light within a predetermined range, and there is no limitation on the range. The “virtual camera” refers to, for example, a camera that has a viewpoint or an angle of view when drawing computer graphics. The “computer device” refers to, for example, a desktop type or laptop type personal computer, a tablet computer, or a PDA, etc., and a portable terminal provided with a touch panel sensor on the display screen, a mobile phone, a smartphone, a portable game machine, etc. May be The “content” is, for example, information displayed by electronic means, and is information recorded on a recording medium, information receivable by communication, a view that can be viewed through a display screen having transparency, etc. Information etc. obtained from

［第二の実施の形態］
次に、本発明の第二の実施の形態の概要について説明をする。以下では、本発明の第二の実施の形態として、表示装置と一体化されたコンピュータ装置を含むコンテンツ表示システムを例示して説明をする。 Second Embodiment
Next, an outline of the second embodiment of the present invention will be described. Hereinafter, a content display system including a computer device integrated with a display device will be described as an example of the second embodiment of the present invention.

システムの構成は、図１のブロック図に示されるものを、必要な範囲で採用することができる。すなわち、コンピュータ装置３が表示装置（ディスプレイ装置１）と一体化されたシステムであってもよい。 The configuration of the system can adopt what is shown in the block diagram of FIG. 1 to the extent necessary. That is, it may be a system in which the computer device 3 is integrated with the display device (display device 1).

コンピュータ装置３の構成は、図２及び図４のブロック図に示されるものを、必要な範囲で採用することができる。ユーザの姿勢の特定方法については、図３の直交座標系を示す図に示されるものを必要な範囲で採用することができる。また、コンテンツの表示画面の例は、図５及び図７のコンテンツを表示した表示画面の例に示されるものを必要な範囲で採用することができる。さらに、表示されるコンテンツの仮想空間の概念については、図６の概念図を必要な範囲で採用することができる。 The configuration of the computer device 3 can adopt what is shown in the block diagrams of FIG. 2 and FIG. 4 as necessary. As a method of specifying the posture of the user, the one shown in the diagram showing the orthogonal coordinate system of FIG. 3 can be adopted within the necessary range. Further, as an example of the display screen of the content, one shown in the example of the display screen on which the content of FIGS. 5 and 7 is displayed can be adopted within a necessary range. Furthermore, for the concept of the virtual space of the content to be displayed, the conceptual diagram of FIG. 6 can be adopted within the necessary range.

続いて、本発明の第二の実施の形態におけるコンテンツ表示処理について説明する。図１２は、本発明の実施の形態の少なくとも１つに対応する、コンテンツ表示処理のフローチャートである。 Subsequently, content display processing in the second embodiment of the present invention will be described. FIG. 12 is a flowchart of content display processing corresponding to at least one of the embodiments of the present invention.

コンテンツ表示システムは、姿勢情報を測定する（ステップＳ２０）。コンテンツ表示システムは、測定された姿勢情報に基づいてユーザの位置及び向きを特定する（ステップＳ２１）。 The content display system measures posture information (step S20). The content display system specifies the position and orientation of the user based on the measured posture information (step S21).

コンテンツ表示システムは、絶対座標のＸ軸を中心として回転した角度、つまり、ディスプレイ装置１のローカル座標に含まれるＹ軸が絶対座標のＹ軸と成す角度、又は、ディスプレイ装置１のローカル座標に含まれるＺ軸が絶対座標のＺ軸と成す角度が、所定の角度未満であるか判定する（ステップＳ２２）。ステップＳ２２における角度の判定について、図９の角度の判定を説明する図に示されるものを必要な範囲で採用することができる。 The content display system includes an angle rotated about the X axis of absolute coordinates, that is, an angle formed by the Y axis included in the local coordinates of the display device 1 with the Y axis of the absolute coordinates, or included in the local coordinates of the display device 1 It is determined whether the angle formed by the Z-axis to be measured and the Z-axis of absolute coordinates is less than a predetermined angle (step S22). As for the determination of the angle in step S22, the one shown in the diagram for explaining the determination of the angle in FIG. 9 can be adopted within the necessary range.

所定の角度未満である場合（ステップＳ２２においてＹＥＳ）には、コンテンツ表示システムは、関連情報を表示するための表示角度を設定する（ステップＳ２３）。コンテンツ表示システムは、関連情報を表示画面１７に表示する際に、ユーザの姿勢に応じて表示態様を変更する。関連情報の表示態様の変更については、図１０の説明図に示されるものを必要な範囲で採用することができる。 If the angle is less than the predetermined angle (YES in step S22), the content display system sets a display angle for displaying related information (step S23). When the related information is displayed on the display screen 17, the content display system changes the display mode in accordance with the posture of the user. About the change of the display mode of related information, what is shown by the explanatory view of FIG. 10 can be employ | adopted in a required range.

コンテンツ表示システムは、ステップＳ２３において設定された表示角度にしたがって関連情報の表示態様を変更して所定の位置に表示するよう設定する（ステップＳ２４）。この際に、表示させる位置は固定でもよいし、関連情報の内容に応じて表示画面１７の任意の位置に表示させるように設定してもよい。関連情報の表示される位置は、図１１の模式図に示されるものを必要な範囲で採用することができる。 The content display system changes the display mode of the related information according to the display angle set in step S23, and sets the display mode to display at a predetermined position (step S24). At this time, the position to be displayed may be fixed, or may be set to be displayed at an arbitrary position on the display screen 17 according to the content of the related information. The position where the related information is displayed can adopt what is shown in the schematic view of FIG. 11 in a necessary range.

ステップＳ２２において、ディスプレイ装置１のローカル座標に含まれるＹ軸が絶対座標のＹ軸と成す角度、又は、ディスプレイ装置１のローカル座標に含まれるＺ軸が絶対座標のＺ軸と成す角度が、所定の角度以上である場合（ステップＳ２２においてＮＯ）には、コンテンツ表示システムは、関連情報に関するステップＳ２３における表示角度の設定、及び、ステップＳ２４における表示設定を行わない。所定の角度以上となる場合に関連情報の表示角度を設定すると、関連情報が逆転して表示される等予期せぬ動作によりユーザに刺激を与えてしまうおそれがあるためである。つまり、ユーザが極端に上方あるいは下方を見るような姿勢を取った場合には、関連情報を表示しないようにすることで、ユーザの目への刺激を抑え、不快感を伴う症状を発生し難くすることが可能となる。 In step S22, an angle formed by the Y axis included in the local coordinates of the display device 1 with the Y axis of the absolute coordinates, or an angle formed by the Z axis included in the local coordinates of the display device 1 with the Z axis of the absolute coordinates is predetermined. If the angle is not less than the angle (NO in step S22), the content display system does not perform the setting of the display angle in step S23 related to the related information and the display setting in step S24. Setting the display angle of the related information when the angle is equal to or more than a predetermined angle may cause the user to be stimulated by an unexpected operation such as displaying the related information in reverse. That is, when the user takes a posture to look extremely upward or downward, by not displaying the related information, the stimulation to the user's eyes is suppressed and it is difficult to generate symptoms accompanied by a sense of discomfort. It is possible to

続いて、コンテンツ表示システムは、ステップＳ２１において特定した情報に基づいて、仮想カメラの撮影位置を設定する（ステップＳ２５）。コンテンツ表示システムは、ステップＳ２５において設定された仮想カメラの位置において仮想空間を撮影し、コンテンツ画像を生成する（ステップＳ２６）。次に、コンテンツ表示システムは、ステップＳ２４において表示するよう設定された関連情報と、ステップＳ２６において生成されたコンテンツ画像とを重ね合わせて表示画像を生成する（ステップＳ２７）。コンテンツ表示システムは、ステップＳ２７において生成した表示画像を表示画面１７へ表示し（ステップＳ２８）、終了する。 Subsequently, the content display system sets the shooting position of the virtual camera based on the information specified in step S21 (step S25). The content display system captures an image of the virtual space at the position of the virtual camera set in step S25, and generates a content image (step S26). Next, the content display system superimposes the related information set to be displayed in step S24 and the content image generated in step S26 to generate a display image (step S27). The content display system displays the display image generated in step S27 on the display screen 17 (step S28) and ends.

第二の実施の形態の一例として、上述したフローチャートにおける各処理は、コンテンツ表示システムが実施可能であればよく、コンテンツ表示システムが有する表示装置又はコンピュータ装置のいずれが実施してもよい。 As an example of the second embodiment, each process in the above-described flowchart may be implemented by the content display system, and may be performed by either the display device or the computer device included in the content display system.

第二の実施の形態の一例として、コンテンツ表示システムは、スマートフォン等の端末を用いてもよいし、ユーザの身体の動きや姿勢に関する情報を入力として用いるようにしてもよい。すなわち、現実世界の情報を入力にして関係情報の表示態様を変化させることができればよい。 As an example of the second embodiment, the content display system may use a terminal such as a smartphone, or may use information on the movement or posture of the user's body as an input. That is, it is only necessary to change the display mode of the related information by using the information of the real world as an input.

第二の実施の形態の一側面として、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねることにより、目への刺激を軽減し、不快感を伴う症状を発生し難くするコンテンツ表示プログラムを提供することが可能となる。 As an aspect of the second embodiment, by overlapping the angle formed by the vertical direction of the related information and the horizontal direction of the virtual space so as to satisfy a predetermined condition, the stimulation to the eyes is reduced and the sense of discomfort is felt. It becomes possible to provide a content display program that makes it difficult to cause the accompanying symptoms.

第二の実施の形態において、「表示装置」、「ディスプレイ装置」、「頭部に装着」、「向き」、「仮想空間」、「照射装置」、「仮想カメラ」、「コンピュータ装置」、及び「コンテンツ」とは、それぞれ第一の実施の形態において記載した内容を必要な範囲で採用できる。 In the second embodiment, “display device”, “display device”, “mounted on head”, “direction”, “virtual space”, “irradiation device”, “virtual camera”, “computer device”, and The contents described in the first embodiment can be adopted as the “content” within the necessary range.

［付記］
上で述べた実施の形態の説明は、下記の発明を、発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。 [Supplementary note]
In the description of the embodiments described above, the following invention has been described so that those skilled in the art to which the present invention belongs can practice.

［１］表示装置と接続可能なコンピュータ装置において実行される、コンテンツ表示プログラムであって、
コンピュータ装置を、
表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得する姿勢情報取得手段、
取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御する仮想カメラ制御手段、
仮想カメラにより撮影された画像を生成する画像生成手段、
生成された画像と、コンテンツに関連する関連情報とを重ね合わせて表示装置に表示する表示手段
として機能させ、
前記表示手段が、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示する、コンテンツ表示プログラム。 [1] A content display program executed on a computer device connectable to a display device, the content display program comprising:
Computer equipment,
Attitude information acquiring means for acquiring attitude information on an attitude of a display device, an attitude of a computer apparatus, or an attitude of a user;
Virtual camera control means for controlling a virtual camera for photographing a virtual space according to the acquired posture information;
An image generation unit that generates an image captured by a virtual camera;
Causing the generated image and related information related to the content to be superimposed and displayed on a display device,
The content display program according to claim 1, wherein the display unit superimposes and displays so that an angle formed by the vertical direction of the related information and the horizontal direction of the virtual space satisfies a predetermined condition.

［２］前記表示手段が、
仮想カメラの視線方向と、仮想空間の水平方向とが成す角度が、所定の条件を満たす場合に、関連情報を表示しないように制御する、［１］に記載のコンテンツ表示プログラム。 [2] The display means is
The content display program according to [1], wherein the related information is not displayed when an angle formed by the visual line direction of the virtual camera and the horizontal direction of the virtual space satisfies a predetermined condition.

［３］前記表示手段が、
前記姿勢情報取得手段により取得された姿勢情報に応じて、関連情報の上下方向と仮想カメラの上下方向との成す角度を変更したうえで、関連情報と前記画像生成手段により生成された画像とを重ね合わせて表示する、［１］又は［２］に記載のコンテンツ表示プログラム。 [3] The display means is
According to the posture information acquired by the posture information acquisition means, after changing the angle formed by the vertical direction of the related information and the vertical direction of the virtual camera, the related information and the image generated by the image generation means are The content display program according to [1] or [2], which is superimposed and displayed.

［４］前記表示手段が、コンテンツに関連した関連情報を、仮想カメラの視線方向と所定の位置関係になるように表示する、［１］〜［３］のいずれかに記載のコンテンツ表示プログラム。 [4] The content display program according to any one of [1] to [3], wherein the display unit displays related information related to the content so as to be in a predetermined positional relationship with a line-of-sight direction of a virtual camera.

［５］関連情報が文字に関する情報である、［１］〜［４］のいずれかに記載のコンテンツ表示プログラム。 [5] The content display program according to any one of [1] to [4], wherein the related information is information related to characters.

［６］表示装置又はコンピュータ装置をユーザの身体の一部に装着する、［１］〜［５］のいずれかに記載のコンテンツ表示プログラム。 [6] The content display program according to any one of [1] to [5], wherein the display device or the computer device is attached to a part of the user's body.

［７］表示装置と接続可能な、コンテンツを表示するコンピュータ装置であって、
表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得する姿勢情報取得手段と、
取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御する仮想カメラ制御手段と、
仮想カメラにより撮影された画像を生成する画像生成手段と、
生成された画像と、コンテンツに関連した関連情報とを重ね合わせて表示装置に表示する表示手段と
を備え、
前記表示手段が、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示するコンピュータ装置。 [7] A computer device capable of connecting to a display device and displaying content,
Attitude information acquiring means for acquiring attitude information on an attitude of the display device, an attitude of the computer apparatus, or an attitude of the user;
Virtual camera control means for controlling a virtual camera for shooting a virtual space according to the acquired posture information;
An image generation unit configured to generate an image captured by the virtual camera;
And a display means for superimposing the generated image and the related information related to the content and displaying it on a display device.
A computer apparatus, wherein the display means superimposes and displays so that an angle formed by the vertical direction of related information and the horizontal direction of the virtual space satisfies a predetermined condition.

［８］表示装置と接続可能な、コンテンツを表示するコンテンツ表示方法であって、
表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得するステップと、
取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御するステップと、
仮想カメラにより撮影された画像を生成するステップと、
生成された画像と、コンテンツに関連した関連情報とを重ね合わせて表示装置に表示するステップと
を有し、
前記表示するステップにおいて、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示する、コンテンツ表示方法。 [8] A content display method connectable to a display device for displaying content, comprising:
Obtaining attitude information on an attitude of the display device, an attitude of the computer apparatus, or an attitude of the user;
Controlling a virtual camera for photographing the virtual space according to the acquired posture information;
Generating an image taken by the virtual camera;
And superimposing the generated image and the related information related to the content on a display device;
The content display method according to claim 1, wherein, in the displaying step, the angle formed by the vertical direction of the related information and the horizontal direction of the virtual space is overlapped and displayed such that a predetermined condition is satisfied.

［９］表示装置と、該表示装置と接続可能なコンピュータ装置を有するコンテンツ表示システムであって、
表示装置の姿勢、コンピュータ装置の姿勢、又はユーザの姿勢に関する姿勢情報を取得する姿勢情報取得手段と、
取得された姿勢情報に応じて、仮想空間を撮影する仮想カメラを制御する仮想カメラ制御手段と、
仮想カメラにより撮影された画像を生成する画像生成手段と、
生成された画像と、コンテンツに関連した関連情報とを重ね合わせて表示装置に表示する表示手段と
を備え、
前記表示手段が、関連情報の上下方向と、仮想空間の水平方向とが成す角度が所定の条件を満たすように重ねて表示するコンテンツ表示システム。 [9] A content display system comprising a display device and a computer device connectable to the display device, the content display system comprising:
Attitude information acquiring means for acquiring attitude information on an attitude of the display device, an attitude of the computer apparatus, or an attitude of the user;
Virtual camera control means for controlling a virtual camera for shooting a virtual space according to the acquired posture information;
An image generation unit configured to generate an image captured by the virtual camera;
And a display means for superimposing the generated image and the related information related to the content and displaying it on a display device.
The content display system according to claim 1, wherein the display unit superimposes and displays an angle formed by the vertical direction of the related information and the horizontal direction of the virtual space to satisfy a predetermined condition.

１ディスプレイ装置
１１制御部
１２ＲＡＭ
１３ストレージ部
１４撮像部
１５グラフィックス処理部
１６表示部
１７表示画面
１８センサ部
１８ａ近接センサ
１８ｂ赤外線センサ
１８ｃジャイロセンサ
１８ｄ加速度センサ
１９通信インタフェース
２照射装置
２０インタフェース部
２１レンズ
３コンピュータ装置
３１制御部
３２ＲＡＭ
３３ストレージ部
３４サウンド処理部
３５グラフィックス処理部
３６ＣＤ−ＲＯＭドライブ
３７通信インタフェース
３８インタフェース部
３９フレームメモリ
４コントローラ
４０サウンド出力装置
４１ディスク
５通信回線
５１ディスプレイ装置
５２撮影装置
５３コンピュータ装置
５４コントローラ 1 Display Device 11 Controller 12 RAM
13 storage unit 14 imaging unit 15 graphics processing unit 16 display unit 17 display screen 18 sensor unit 18a proximity sensor 18b infrared sensor 18b gyro sensor 18c acceleration sensor 19 communication interface 2 irradiation device 20 interface unit 21 lens 3 computer device 31 control unit 32 RAM
33 storage unit 34 sound processing unit 35 graphics processing unit 36 CD-ROM drive 37 communication interface 38 interface unit 39 frame memory 4 controller 40 sound output device 41 disk 5 communication line 51 display device 52 photographing device 53 computer device 54 controller

Claims

A content display program executed on a computer device connectable to a display device, the content display program comprising:
The computer device,
Posture information acquisition means for acquiring posture information on the posture of the display device, the posture of the computer device, or the posture of the user;
Virtual camera control means for controlling a virtual camera for photographing a virtual space according to the acquired posture information;
An image generation unit configured to generate an image captured by the virtual camera;
Allowing the generated image and related information related to the content to be superimposed and displayed on the display device.
According to the acquired posture information, the display means superimposes and displays the related information on the virtual space, so that an angle formed by the vertical direction of the related information and the horizontal direction of the virtual space is a predetermined condition. Content display program to display to meet.

The display means is
The content display program according to claim 1, wherein the related information is not displayed when an angle formed by the visual line direction of the virtual camera and the horizontal direction of the virtual space satisfies a predetermined condition.

The display means is
According to the posture information acquired by the posture information acquisition means, the angle between the vertical direction of the related information and the vertical direction of the virtual camera is changed, and then the information is generated by the related information and the image generation means The content display program according to claim 1, wherein the content display program is superimposed on an image and displayed.

When the image generation means generates an image inclined at a predetermined angle as compared to before the posture of the computer device or the posture of the user changes, the display means generates related information at the same angle as the predetermined angle. The content display program according to any one of claims 1 to 3, wherein the content display program is tilted.

A computer device capable of connecting to a display and displaying content, comprising:
Attitude information acquiring means for acquiring attitude information on an attitude of the display device, an attitude of the computer apparatus, or an attitude of a user;
Virtual camera control means for controlling a virtual camera for photographing a virtual space according to the acquired posture information;
An image generation unit configured to generate an image captured by the virtual camera;
And display means for superimposing the generated image and related information related to the content and displaying it on the display device.
The display means superimposes and displays the related information on the virtual space according to the acquired posture information, so that an angle formed by the vertical direction of the related information and the horizontal direction of the virtual space is a predetermined condition A computer device that displays to fill.

A display device, a content display method in a content display system having the display device and can be connected to a computer device,
Obtaining attitude information on an attitude of the display device, an attitude of the computer apparatus, or an attitude of a user;
Controlling a virtual camera for photographing a virtual space according to the acquired posture information;
Generating an image taken by the virtual camera;
And superimposing the generated image and related information related to the content on the display device.
In the displaying step, the related information is superimposed on the virtual space and displayed according to the acquired posture information, so that the angle formed by the vertical direction of the related information and the horizontal direction of the virtual space is a predetermined condition Content display method to display to meet.

A content display system comprising a display device and a computer device connectable to the display device, the content display system comprising:
Attitude information acquiring means for acquiring attitude information on an attitude of the display device, an attitude of the computer apparatus, or an attitude of a user;
Virtual camera control means for controlling a virtual camera for photographing a virtual space according to the acquired posture information;
An image generation unit configured to generate an image captured by the virtual camera;
And display means for displaying the generated image and related information related to the content on the display device in an overlapping manner.
According to the acquired posture information, the display means superimposes and displays the related information on the virtual space, so that an angle formed by the vertical direction of the related information and the horizontal direction of the virtual space is a predetermined condition. Content display system to display to meet.