JP5779140B2

JP5779140B2 - Video generation system and video generation method

Info

Publication number: JP5779140B2
Application number: JP2012132386A
Authority: JP
Inventors: 石井　亮; 亮石井; 小澤　史朗; 史朗小澤; 春美川村; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2015-09-16
Anticipated expiration: 2032-06-11
Also published as: JP2013258504A

Description

本発明は、映像生成技術に関する。 The present invention relates to a video generation technique.

パノラマ映像の中から自由な部分を選択して視聴することや、ＴＶ会議においてカメラを動かして相手の部屋の好きな領域を視聴することが実現されている。このような技術において、さらに、ユーザが物理的に動かしたディスプレイの動きに合わせてカメラの方向を変える手法が提案されている（特許文献１参照）。 It is realized to select and view a free part from a panoramic video, or to view a favorite area in a partner's room by moving a camera in a TV conference. In such a technique, a method of changing the direction of the camera in accordance with the movement of the display physically moved by the user has been proposed (see Patent Document 1).

特開２０１１−１６６６１３号公報JP 2011-166613 A

上述した特許文献１の方法では、ユーザ自らが物理的にディスプレイを操作することによって、視聴したい映像をディスプレイに表示させていた。そのため、ユーザにはディスプレイを直接動かすという負担がかかり、ユーザの映像視聴を妨げ煩わしいという問題があった。 In the method disclosed in Patent Document 1 described above, the user himself / herself physically operates the display to display a video to be viewed on the display. For this reason, there is a problem that the user is burdened to move the display directly, which disturbs the user's video viewing and is troublesome.

上記事情に鑑み、本発明は、ディスプレイに表示させる映像を選択する際に生じる煩わしさを軽減させる技術の提供を目的としている。 In view of the above circumstances, an object of the present invention is to provide a technique for reducing the annoyance that occurs when selecting an image to be displayed on a display.

本発明の一態様は、ユーザの位置を計測する計測部と、前記計測部によって計測されたユーザの位置に応じて映像撮影装置の撮影位置及び撮影方向を決定する撮影位置決定部と、前記撮影位置決定部によって決定された前記撮影位置及び撮影方向に応じて前記映像撮影装置の位置及び方向を制御する撮影位置制御部と、を備える映像生成システムである。 One aspect of the present invention is a measurement unit that measures the position of a user, a shooting position determination unit that determines a shooting position and a shooting direction of a video shooting device according to the user position measured by the measurement unit, and the shooting And a shooting position control unit that controls the position and direction of the video shooting apparatus according to the shooting position and shooting direction determined by a position determination unit.

本発明の一態様は、上記の映像生成システムであって、前記撮影位置決定部は、前記ユーザの位置が所定の条件を満たした場合、前記撮影方向を略固定した状態で、前記撮影位置を変更する。 One aspect of the present invention is the video generation system described above, in which the shooting position determination unit determines the shooting position in a state where the shooting direction is substantially fixed when the position of the user satisfies a predetermined condition. change.

本発明の一態様は、ユーザの位置を計測する計測ステップと、前記計測ステップにおいて計測されたユーザの位置に応じて映像撮影装置の撮影位置及び撮影方向を決定する撮影位置決定ステップと、前記撮影位置決定ステップにおいて決定された前記撮影位置及び撮影方向に応じて前記映像撮影装置の位置及び方向を制御する撮影位置制御ステップと、を有する映像生成方法である。 One aspect of the present invention is a measurement step of measuring the position of a user, a shooting position determination step of determining a shooting position and a shooting direction of a video shooting device according to the user position measured in the measurement step, and the shooting And a shooting position control step of controlling the position and direction of the video shooting apparatus according to the shooting position and shooting direction determined in the position determination step.

本発明により、ディスプレイに表示させる映像を選択する際に生じる煩わしさを軽減させることが可能となる。 According to the present invention, it is possible to reduce troublesomeness that occurs when selecting an image to be displayed on a display.

本発明における映像表示システムのシステム構成を示す図である。It is a figure which shows the system configuration | structure of the video display system in this invention. 映像表示システムの第一実施形態に備えられる映像生成装置１０（映像生成装置１０ａ）の機能構成を表す概略ブロック図である。1 is a schematic block diagram illustrating a functional configuration of a video generation device 10 (video generation device 10a) provided in a first embodiment of a video display system. 映像表示システムの第一実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ａ）の機能構成を表す概略ブロック図である。It is a schematic block diagram showing the function structure of the imaging position control apparatus 80 (imaging position control apparatus 80a) with which 1st embodiment of a video display system is equipped. 撮影位置決定部８０２の処理の具体例を示す図である。FIG. 10 is a diagram illustrating a specific example of processing of an imaging position determination unit 802. 映像撮影装置８０４によって撮影されるシーンの具体例を示す図である。It is a figure which shows the specific example of the scene image | photographed with the video imaging device 804. FIG. 映像生成部１０３が映像を生成する処理の具体例を表す図である。It is a figure showing the specific example of the process which the image | video production | generation part 103 produces | generates an image | video. ユーザ１がディスプレイ面３０を正面から見ている場合における映像表示システムの処理の具体例を示す図である。It is a figure which shows the specific example of a process of the video display system in case the user 1 is looking at the display surface 30 from the front. ユーザ１がディスプレイ面３０を左斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。It is a figure which shows the specific example of a process of the video display system in case the user 1 is looking at the display surface 30 from the left diagonal direction. ユーザ１がディスプレイ面３０を右斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。It is a figure which shows the specific example of a process of the video display system in case the user 1 is looking at the display surface 30 from the diagonally right direction. 本発明の第一実施形態における映像生成方法の処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process of the video generation method in 1st embodiment of this invention. 映像表示システムの第二実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ｂ）の機能構成を表す概略ブロック図である。It is a schematic block diagram showing the function structure of the imaging position control apparatus 80 (imaging position control apparatus 80b) with which 2nd embodiment of a video display system is equipped. 第二実施形態における撮影位置決定部８０２ｂの処理の具体例を示す図である。It is a figure which shows the specific example of the process of the imaging position determination part 802b in 2nd embodiment. 第二実施形態における撮影位置決定部８０２ｂの処理の具体例を示す図である。It is a figure which shows the specific example of the process of the imaging position determination part 802b in 2nd embodiment. 本発明の第二実施形態における映像生成方法の処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process of the video generation method in 2nd embodiment of this invention.

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における映像表示システムのシステム構成を示す図である。本発明の映像表示システムは、映像生成装置１０、映像表示装置１０７、音声出力装置１０８、撮影位置制御装置８０、映像撮影装置８０４及びネットワーク９０を備える。
映像生成装置１０は、情報処理装置を用いて構成される。映像生成装置１０は、映像撮影装置８０４によって撮影された映像に基づいて、ユーザ１の視点位置に応じた映像を生成する。また、映像生成装置１０は、映像に応じた音声を生成する。また、映像生成装置１０は、ユーザ１の視点位置を表す情報（以下、「視点位置情報」という。）を、ネットワーク９０を介して撮影位置制御装置８０へ送信する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a system configuration of a video display system according to the present invention. The video display system of the present invention includes a video generation device 10, a video display device 107, an audio output device 108, a shooting position control device 80, a video shooting device 804, and a network 90.
The video generation device 10 is configured using an information processing device. The video generation device 10 generates a video according to the viewpoint position of the user 1 based on the video shot by the video shooting device 804. The video generation device 10 generates audio corresponding to the video. In addition, the video generation apparatus 10 transmits information representing the viewpoint position of the user 1 (hereinafter referred to as “viewpoint position information”) to the imaging position control apparatus 80 via the network 90.

映像表示装置１０７は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置である。映像表示装置１０７は、映像生成装置１０によって生成された映像を表示する。
音声出力装置１０８は、スピーカー、ヘッドホン、イヤホン等の音声出力装置である。音声出力装置１０８は、映像生成装置１０によって生成された音声を出力する。
ユーザ１は、映像表示装置１０７によって表示された映像を見ること、音声出力装置１０８によって出力された音声を聞くことが可能である。 The video display device 107 is a display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, or an organic EL (Electro Luminescence) display. The video display device 107 displays the video generated by the video generation device 10.
The audio output device 108 is an audio output device such as a speaker, headphones, or earphones. The audio output device 108 outputs the audio generated by the video generation device 10.
The user 1 can watch the video displayed by the video display device 107 and listen to the audio output by the audio output device 108.

撮影位置制御装置８０は、ユーザ１の視点位置情報を映像生成装置１０から受信する。撮影位置制御装置８０は、視点位置情報に基づいて映像撮影装置８０４の位置（撮影位置）を制御する。
映像撮影装置８０４は、ビデオカメラ等の、映像を撮影する装置を用いて構成される。映像撮影装置８０４には、撮影された映像とともに再生すべき音声を取得するマイクが設けられても良い。映像撮影装置８０４は、撮影位置及び撮影方向を変更に構成される。例えば、映像撮影装置８０４は、撮影位置及び撮影方向を変更するためのアクチュエータを備えるように構成されても良い。映像撮影装置８０４は、撮影位置制御装置８０によって制御された撮影位置及び撮影方向で撮影を行う。映像撮影装置８０４は、撮影された映像を、ネットワーク９０を介して映像生成装置１０へ送信する。
以下、映像表示システムの具体的な構成例（第一実施形態及び第二実施形態）について説明する。 The photographing position control device 80 receives the viewpoint position information of the user 1 from the video generation device 10. The shooting position control device 80 controls the position (shooting position) of the video shooting device 804 based on the viewpoint position information.
The video photographing device 804 is configured using a device for photographing a video such as a video camera. The video shooting device 804 may be provided with a microphone that acquires sound to be played back along with the shot video. The video shooting device 804 is configured to change the shooting position and shooting direction. For example, the video photographing device 804 may be configured to include an actuator for changing the photographing position and the photographing direction. The video shooting device 804 performs shooting at the shooting position and shooting direction controlled by the shooting position control device 80. The video shooting device 804 transmits the shot video to the video generation device 10 via the network 90.
Hereinafter, specific configuration examples (first embodiment and second embodiment) of the video display system will be described.

［第一実施形態］
図２は、映像表示システムの第一実施形態に備えられる映像生成装置１０（映像生成装置１０ａ）の機能構成を表す概略ブロック図である。映像生成装置１０ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、映像生成プログラムを実行する。映像生成プログラムの実行によって、映像生成装置１０ａは、通信部１０１、視点位置計測部１０２、映像生成部１０３、音声再生部１０４を備える装置として機能する。なお、映像生成装置１０ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、映像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、映像生成プログラムは、電気通信回線を介して送受信されても良い。 [First embodiment]
FIG. 2 is a schematic block diagram showing a functional configuration of the video generation device 10 (video generation device 10a) provided in the first embodiment of the video display system. The video generation device 10a includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus, and executes a video generation program. By executing the video generation program, the video generation device 10 a functions as a device including the communication unit 101, the viewpoint position measurement unit 102, the video generation unit 103, and the audio reproduction unit 104. Note that all or part of each function of the video generation device 10a may be realized using hardware such as an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA). . Further, the video generation program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. The video generation program may be transmitted / received via a telecommunication line.

通信部１０１は、ネットワーク９０を介して映像データを受信する。通信部１０１は、ネットワーク９０を介して、視点位置計測部１０２によって計測された視点位置を表す情報（視点位置情報）を撮影位置制御装置８０ａへ送信する。
視点位置計測部１０２は、ユーザ１の視点位置ＶＵ（ＶＵｘ、ＶＵｙ、ＶＵｚ）を計測する。視点位置計測部１０２は、例えばカメラによって撮影された映像を用いた顔認識及びステレオマッチングを用いて計測する。この場合、視点位置計測部１０２はユーザ１の顔を撮影するためのカメラを備える。ユーザ１の視点位置Ｖは、例えば映像表示装置１０７の映像表示面に相当するディスプレイ面３０（映像面）の中心を原点とした座標系で定義されても良い（以下、この定義にしたがって説明する）。 The communication unit 101 receives video data via the network 90. The communication unit 101 transmits information representing the viewpoint position (viewpoint position information) measured by the viewpoint position measurement unit 102 to the imaging position control device 80a via the network 90.
The viewpoint position measurement unit 102 measures the viewpoint position VU (VUx, VUy, VUz) of the user 1. The viewpoint position measurement unit 102 performs measurement using, for example, face recognition and stereo matching using video captured by a camera. In this case, the viewpoint position measurement unit 102 includes a camera for photographing the face of the user 1. The viewpoint position V of the user 1 may be defined in a coordinate system having the origin at the center of the display surface 30 (video surface) corresponding to the video display surface of the video display device 107 (hereinafter described according to this definition). ).

映像生成部１０３は、受信した映像データに基づいて、映像表示装置１０７に表示させる映像を生成する。映像生成部１０３は、生成した映像を表す信号を映像表示装置１０７に出力する。
音声再生部１０４は、通信部１０１が受信した映像データに含まれる音声を再生し、音声出力装置１０８に出力する。 The video generation unit 103 generates a video to be displayed on the video display device 107 based on the received video data. The video generation unit 103 outputs a signal representing the generated video to the video display device 107.
The audio reproduction unit 104 reproduces audio included in the video data received by the communication unit 101 and outputs the audio to the audio output device 108.

図３は、映像表示システムの第一実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ａ）の機能構成を表す概略ブロック図である。撮影位置制御装置８０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、撮影位置制御プログラムを実行する。撮影位置制御プログラムの実行によって、撮影位置制御装置８０ａは、通信部８０１、撮影位置決定部８０２及び撮影位置制御部８０３を備える装置として機能する。なお、撮影位置制御装置８０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。また、撮影位置制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、撮影位置制御プログラムは、電気通信回線を介して送受信されても良い。 FIG. 3 is a schematic block diagram showing a functional configuration of the imaging position control device 80 (imaging position control device 80a) provided in the first embodiment of the video display system. The photographing position control device 80a includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a photographing position control program. By executing the shooting position control program, the shooting position control device 80a functions as a device including the communication unit 801, the shooting position determination unit 802, and the shooting position control unit 803. Note that all or part of the functions of the imaging position control device 80a may be realized using hardware such as an ASIC, PLD, or FPGA. The photographing position control program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. Further, the photographing position control program may be transmitted / received via a telecommunication line.

通信部８０１は、ネットワーク９０を介して、映像生成装置１０ａから視点位置情報を受信する。
撮影位置決定部８０２は、視点位置情報に応じて、撮影位置及び撮影方向を決定する。具体的には、撮影位置決定部８０２は、ディスプレイ面３０に対するユーザ１の視点位置ＶＵの移動を映像撮影装置８０４のカメラ視点の移動として再現するように撮影位置を決定する。また、撮影位置決定部８０２は、決定された撮影位置からディスプレイ面３０の中心点に向いた方向を撮影方向として決定する。
撮影位置制御部８０３は、映像撮影装置８０４の撮影位置及び撮影方向が、撮影位置決定部８０２によって決定された撮影位置及び撮影方向となるように、映像撮影装置８０４の位置及び向きを制御する。 The communication unit 801 receives viewpoint position information from the video generation device 10a via the network 90.
The shooting position determination unit 802 determines the shooting position and the shooting direction according to the viewpoint position information. Specifically, the shooting position determination unit 802 determines the shooting position so as to reproduce the movement of the viewpoint position VU of the user 1 with respect to the display surface 30 as the movement of the camera viewpoint of the video shooting device 804. In addition, the shooting position determination unit 802 determines a direction from the determined shooting position toward the center point of the display surface 30 as a shooting direction.
The shooting position control unit 803 controls the position and orientation of the video shooting device 804 so that the shooting position and shooting direction of the video shooting device 804 are the shooting position and shooting direction determined by the shooting position determination unit 802.

図４は、撮影位置決定部８０２の処理の具体例を示す図である。以下、撮影位置決定部８０２の処理の一例について説明する。図４（Ａ）は、ユーザ１の初期視点位置ＶＵ０の具体例を示す図である。視点位置計測部１０２によって、初期状態におけるユーザ１の視点位置が、初期視点位置ＶＵ０として計測される。図４（Ａ）の例では、ディスプレイ面３０の真正面にユーザ１が位置している場合の視点位置が初期視点位置ＶＵ０（ＶＵ０ｘ，ＶＵ０ｙ，ＶＵ０ｚ）として計測されている。この場合、ディスプレイ面３０の中心（原点Ｏ（Ｏｘ，Ｏｙ，Ｏｚ））と初期視点位置ＶＵ０とを結ぶベクトル３０１は、（ＶＵ０ｘ，ＶＵ０ｙ，ＶＵ０ｚ）として表される。そのため、ベクトル３０１は、初期視点位置ＶＵ０に基づいて取得可能である。 FIG. 4 is a diagram illustrating a specific example of processing of the shooting position determination unit 802. Hereinafter, an example of processing of the shooting position determination unit 802 will be described. FIG. 4A is a diagram illustrating a specific example of the initial viewpoint position VU0 of the user 1. The viewpoint position measurement unit 102 measures the viewpoint position of the user 1 in the initial state as the initial viewpoint position VU0. In the example of FIG. 4A, the viewpoint position when the user 1 is located directly in front of the display surface 30 is measured as the initial viewpoint position VU0 (VU0x, VU0y, VU0z). In this case, a vector 301 that connects the center of the display surface 30 (the origin O (Ox, Oy, Oz)) and the initial viewpoint position VU0 is represented as (VU0x, VU0y, VU0z). Therefore, the vector 301 can be acquired based on the initial viewpoint position VU0.

図４（Ｂ）は、映像撮影装置８０４の初期撮影位置ＶＣ０及び初期撮影方向の具体例を示す図である。映像撮影装置８０４は、例えば電源が投入された直後や撮影開始の前処理が行われた場合に、予め設定されている初期位置に移動し、予め設定されている方向を向く。初期位置における映像撮影装置８０４の撮影位置（視点位置）は、ＶＣ０（ＶＣ０ｘ，ＶＣ０ｙ，ＶＣ０ｚ）である。撮影位置決定部８０２は、初期撮影位置ＶＣ０と初期視点位置ＶＵ０とに基づいて、カメラディスプレイ面３１を設定し、カメラディスプレイ面３１のパラメータを記憶する。カメラディスプレイ面３１の中心と初期撮影位置ＶＣ０とを結ぶベクトル３１１は、ディスプレイ面３０の中心と初期視点位置ＶＵ０とを結ぶベクトル３０１と同じである。また、ディスプレイ面３０とカメラディスプレイ面３１との大きさも同じである。 FIG. 4B is a diagram illustrating a specific example of the initial shooting position VC0 and the initial shooting direction of the video shooting device 804. The video image capturing device 804 moves to a preset initial position and faces a preset direction, for example, immediately after the power is turned on or when a pre-processing for starting the shooting is performed. The photographing position (viewpoint position) of the video photographing device 804 at the initial position is VC0 (VC0x, VC0y, VC0z). The shooting position determination unit 802 sets the camera display surface 31 based on the initial shooting position VC0 and the initial viewpoint position VU0, and stores parameters of the camera display surface 31. A vector 311 connecting the center of the camera display surface 31 and the initial photographing position VC0 is the same as the vector 301 connecting the center of the display surface 30 and the initial viewpoint position VU0. Further, the sizes of the display surface 30 and the camera display surface 31 are also the same.

図４（Ｃ）は、初期視点位置ＶＵ０から移動したユーザ１の視点位置ＶＵの具体例を示す図である。視点位置計測部１０２によって、ユーザ１の視点位置ＶＵ（ＶＵｘ，ＶＵｙ，ＶＵｚ）が計測される。図４（Ｃ）の例では、ディスプレイ面３０の斜め方向にユーザ１が位置している場合の視点位置が視点位置ＶＵ（ＶＵｘ，ＶＵｙ，ＶＵｚ）として計測されている。この場合、ディスプレイ面３０の中心（原点Ｏ（Ｏｘ，Ｏｙ，Ｏｚ））と視点位置ＶＵとを結ぶベクトル３０１は、（ＶＵｘ，ＶＵｙ，ＶＵｚ）として表される。そのため、ベクトル３０１は、視点位置ＶＵに基づいて取得可能である。 FIG. 4C is a diagram illustrating a specific example of the viewpoint position VU of the user 1 moved from the initial viewpoint position VU0. The viewpoint position measurement unit 102 measures the viewpoint position VU (VUx, VUy, VUz) of the user 1. In the example of FIG. 4C, the viewpoint position when the user 1 is located in the oblique direction of the display surface 30 is measured as the viewpoint position VU (VUx, VUy, VUz). In this case, a vector 301 connecting the center of the display surface 30 (the origin O (Ox, Oy, Oz)) and the viewpoint position VU is represented as (VUx, VUy, VUz). Therefore, the vector 301 can be acquired based on the viewpoint position VU.

図４（Ｄ）は、撮影位置決定部８０２によって決定された撮影位置ＶＣの具体例を示す図である。ユーザ１の視点位置ＶＵが図４（Ｃ）に示す通りである場合、撮影位置決定部８０２は、視点位置ＶＵを表す視点位置情報に基づいて図４（Ｄ）に示される位置に撮影位置ＶＣを決定する。映像撮影装置８０４の撮影位置（視点位置）は、ＶＣ（ＶＣｘ，ＶＣｙ，ＶＣｚ）である。撮影位置決定部８０２は、カメラディスプレイ面３１と撮影位置ＶＣとの位置関係が、ディスプレイ面３０と視点位置ＶＵとの位置関係と同じになるように、撮影位置ＶＣを決定する。そのため、カメラディスプレイ面３１の中心と撮影位置ＶＣとを結ぶベクトル３１１は、ディスプレイ面３０の中心と視点位置ＶＵとを結ぶベクトル３０１（図４（Ｃ））と同じである。また、撮影位置決定部８０２は、撮影位置ＶＣとカメラディスプレイ面３１の中心とを結ぶ方向を、撮影方向として決定する。 FIG. 4D is a diagram illustrating a specific example of the shooting position VC determined by the shooting position determination unit 802. When the viewpoint position VU of the user 1 is as shown in FIG. 4C, the shooting position determination unit 802 takes the shooting position VC at the position shown in FIG. 4D based on the viewpoint position information representing the viewpoint position VU. To decide. The shooting position (viewpoint position) of the video shooting device 804 is VC (VCx, VCy, VCz). The shooting position determination unit 802 determines the shooting position VC so that the positional relationship between the camera display surface 31 and the shooting position VC is the same as the positional relationship between the display surface 30 and the viewpoint position VU. Therefore, the vector 311 connecting the center of the camera display surface 31 and the shooting position VC is the same as the vector 301 (FIG. 4C) connecting the center of the display surface 30 and the viewpoint position VU. Further, the shooting position determination unit 802 determines a direction connecting the shooting position VC and the center of the camera display surface 31 as a shooting direction.

図５は、映像撮影装置８０４によって撮影されるシーンの具体例を示す図である。映像撮影装置８０４によって撮影されるシーンには、円筒形の第一物体３２及び第二物体３３が位置する。映像撮影装置８０４が初期撮影位置ＶＣ０に位置する場合、第一物体３２は第二物体３３よりも映像撮影装置８０４側に位置している。第一物体３２及び第二物体３３は、初期撮影位置ＶＣ０に位置する映像撮影装置８０４の撮影方向に並んでいる。そのため、初期撮影位置ＶＣ０に位置し初期撮影方向を向いている映像撮影装置８０４からは、第二物体３３を撮影することはできない。 FIG. 5 is a diagram illustrating a specific example of a scene shot by the video shooting device 804. A cylindrical first object 32 and second object 33 are located in a scene photographed by the video photographing device 804. When the video imaging device 804 is located at the initial imaging position VC0, the first object 32 is located closer to the video imaging device 804 than the second object 33. The first object 32 and the second object 33 are arranged in the shooting direction of the video shooting device 804 located at the initial shooting position VC0. Therefore, the second object 33 cannot be photographed from the video photographing device 804 located at the initial photographing position VC0 and facing the initial photographing direction.

図６は、映像生成部１０３が映像を生成する処理の具体例を表す図である。映像生成部１０３が行う具体的な映像生成方法について、図６を用いて説明する。
映像生成部１０３は、ディスプレイ面３０に表示される映像を、以下のような想定の元で生成する。映像生成部１０３は、ディスプレイ面３０を挟んでユーザ１と反対側に仮想映像面２０を仮想的に設ける。仮想映像面２０は、実在する面ではなく、映像生成部１０３の映像生成処理において想定される仮想的な面である。映像生成部１０３は、仮想映像面２０の角度を、ユーザ１の視線に対して垂直となるように制御する。仮想映像面２０の大きさは、ディスプレイ面３０の大きさよりも大きい。仮想映像面２０には、通信部１０１によって受信された映像データ（映像撮影装置８０４によって撮影された映像データ）が表示される。図６では、映像データの具体例として、図５に示す状態で撮影された映像を示す。図５に示す状態で撮影された映像には、第一物体３２が中央に写っている。ディスプレイ面３０上に位置する座標Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）には、ユーザ１の視点位置ＶＵと座標Ｃとを結ぶ直線が仮想映像面２０に交差する座標であるＨ（ｈｘ，ｈｙ，ｈｚ）の映像が投影される。 FIG. 6 is a diagram illustrating a specific example of processing in which the video generation unit 103 generates a video. A specific video generation method performed by the video generation unit 103 will be described with reference to FIG.
The video generation unit 103 generates a video displayed on the display surface 30 based on the following assumption. The video generation unit 103 virtually provides the virtual video screen 20 on the opposite side of the user 1 across the display surface 30. The virtual video plane 20 is not a real plane but a virtual plane assumed in the video generation process of the video generation unit 103. The video generation unit 103 controls the angle of the virtual video surface 20 to be perpendicular to the line of sight of the user 1. The size of the virtual video surface 20 is larger than the size of the display surface 30. On the virtual video plane 20, video data received by the communication unit 101 (video data shot by the video shooting device 804) is displayed. In FIG. 6, as a specific example of the video data, a video shot in the state shown in FIG. 5 is shown. In the video imaged in the state shown in FIG. 5, the first object 32 is shown in the center. Coordinates C (Cx, Cy, Cz) located on the display surface 30 are coordinates H (hx, hy, hz) where the straight line connecting the viewpoint position VU of the user 1 and the coordinates C intersects the virtual image plane 20. ) Is projected.

ディスプレイ面３０のＯ（Ｏｘ、Ｏｙ、Ｏｚ）は、ディスプレイ面３０の中心であり、空間座標の原点を表す。縦方向をＸ軸、横方向をＹ軸、ユーザ１の視点位置ＶＵから見た場合のディスプレイ面３０に向かった奥行き方向をＺ軸とする。図６では、ディスプレイ面３０はＸ−Ｙ平面上に位置する。 O (Ox, Oy, Oz) on the display surface 30 is the center of the display surface 30 and represents the origin of spatial coordinates. The vertical direction is the X axis, the horizontal direction is the Y axis, and the depth direction toward the display surface 30 when viewed from the viewpoint position VU of the user 1 is the Z axis. In FIG. 6, the display surface 30 is located on the XY plane.

図６に示すように、ユーザ１の視点位置ＶＵにおいて、座標Ｈの画素を座標Ｃの画素に透視投影変換する行列式は式１のように表される。 As shown in FIG. 6, the determinant for perspective projection conversion of the pixel at the coordinate H to the pixel at the coordinate C at the viewpoint position VU of the user 1 is expressed as Equation 1.

映像生成部１０３は、上記の式１の処理を仮想映像面２０の各画素に行う。映像生成部１０３は、このような処理によって仮想映像面２０の映像をディスプレイ面３０に透視投影し、映像を生成する。ディスプレイ面３０に投影された映像が、映像表示装置１０７に出力される映像である。なお、符号２０−１は、ディスプレイ面３０に透視投影される仮想映像面２０の映像範囲を示す。 The video generation unit 103 performs the process of Equation 1 on each pixel of the virtual video screen 20. The video generation unit 103 perspectively projects the video on the virtual video surface 20 on the display surface 30 through such processing, and generates a video. An image projected on the display surface 30 is an image output to the image display device 107. Reference numeral 20-1 denotes a video range of the virtual video screen 20 that is perspective-projected on the display surface 30.

次に、図７〜図９を用いてユーザ１の視点位置ＶＵの違いによる映像の違いについて説明する。
図７は、ユーザ１がディスプレイ面３０を正面から見ている場合における映像表示システムの処理の具体例を示す図である。図７（Ａ）は、ユーザ１がディスプレイ面３０を正面から見ている場合におけるユーザ１の状態を表す図である。図７（Ｂ）は、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の撮影位置及び撮影方向が制御された状態の具体例を示す図である。この場合、映像撮影装置８０４は、カメラディスプレイ面３１に対して正面に位置する。 Next, differences in video due to differences in the viewpoint position VU of the user 1 will be described with reference to FIGS.
FIG. 7 is a diagram illustrating a specific example of processing of the video display system when the user 1 is looking at the display surface 30 from the front. FIG. 7A is a diagram illustrating a state of the user 1 when the user 1 is looking at the display surface 30 from the front. FIG. 7B is a diagram illustrating a specific example of a state in which the shooting position and shooting direction of the video shooting device 804 are controlled in accordance with the viewpoint position VU of the user 1. In this case, the video shooting device 804 is located in front of the camera display surface 31.

図７（Ｃ）は、図７（Ｂ）の状態における映像撮影装置８０４によって撮影された映像に基づいて映像生成部１０３によって生成された映像３０−１の具体例を表す図である。図７の場合、映像撮影装置８０４はカメラディスプレイ面３１に対して正面に位置しているため、第二物体３３は第一物体３２の陰に隠れて撮影されない。そのため、映像３０−１には、第一物体３２のみが写っている。 FIG. 7C is a diagram illustrating a specific example of the video 30-1 generated by the video generation unit 103 based on the video shot by the video shooting device 804 in the state of FIG. 7B. In the case of FIG. 7, since the video photographing device 804 is located in front of the camera display surface 31, the second object 33 is hidden behind the first object 32 and is not photographed. Therefore, only the first object 32 is shown in the video 30-1.

図８は、ユーザ１がディスプレイ面３０を左斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。図８（Ａ）は、ユーザ１がディスプレイ面３０を左斜め方向から見ている場合におけるユーザ１の状態を表す図である。ユーザ１の視線方向の変化に伴い、仮想映像面２０の角度も変化している。図８（Ｂ）は、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の撮影位置及び撮影方向が制御された状態の具体例を示す図である。この場合、映像撮影装置８０４は、カメラディスプレイ面３１に対して左斜め方向に位置し、カメラディスプレイ面３１の中心に向いている。 FIG. 8 is a diagram illustrating a specific example of processing of the video display system when the user 1 is viewing the display surface 30 from the left oblique direction. FIG. 8A is a diagram illustrating a state of the user 1 when the user 1 is viewing the display surface 30 from an oblique left direction. The angle of the virtual image plane 20 also changes with the change in the user's line-of-sight direction. FIG. 8B is a diagram illustrating a specific example of a state in which the shooting position and shooting direction of the video shooting device 804 are controlled in accordance with the viewpoint position VU of the user 1. In this case, the video image capturing device 804 is positioned obliquely to the left with respect to the camera display surface 31 and faces the center of the camera display surface 31.

図８（Ｃ）は、図８（Ｂ）の状態における映像撮影装置８０４によって撮影された映像に基づいて映像生成部１０３によって生成された映像３０−１の具体例を表す図である。図８の場合、映像撮影装置８０４はカメラディスプレイ面３１に対して左斜め方向に位置しているため、第二物体３３の左側の一部が撮影される。そのため、映像３０−１には、第一物体３２に加えて第二物体３３の左側の一部が写っている。 FIG. 8C is a diagram illustrating a specific example of the video 30-1 generated by the video generation unit 103 based on the video shot by the video shooting device 804 in the state of FIG. 8B. In the case of FIG. 8, since the video photographing device 804 is located in the left oblique direction with respect to the camera display surface 31, a part of the left side of the second object 33 is photographed. Therefore, in the video 30-1, in addition to the first object 32, a part of the left side of the second object 33 is shown.

図９は、ユーザ１がディスプレイ面３０を右斜め方向から見ている場合における映像表示システムの処理の具体例を示す図である。図９（Ａ）は、ユーザ１がディスプレイ面３０を右斜め方向から見ている場合におけるユーザ１の状態を表す図である。ユーザ１の視線方向の変化に伴い、仮想映像面２０の角度も変化している。図９（Ｂ）は、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の撮影位置及び撮影方向が制御された状態の具体例を示す図である。この場合、映像撮影装置８０４は、カメラディスプレイ面３１に対して右斜め方向に位置し、カメラディスプレイ面３１の中心に向いている。 FIG. 9 is a diagram illustrating a specific example of the processing of the video display system when the user 1 is viewing the display surface 30 from the right oblique direction. FIG. 9A is a diagram illustrating a state of the user 1 when the user 1 is viewing the display surface 30 from the right oblique direction. The angle of the virtual image plane 20 also changes with the change in the user's line-of-sight direction. FIG. 9B is a diagram illustrating a specific example of a state in which the shooting position and shooting direction of the video shooting device 804 are controlled in accordance with the viewpoint position VU of the user 1. In this case, the video photographing device 804 is located in a right oblique direction with respect to the camera display surface 31 and faces the center of the camera display surface 31.

図９（Ｃ）は、図９（Ｂ）の状態における映像撮影装置８０４によって撮影された映像に基づいて映像生成部１０３によって生成された映像３０−１の具体例を表す図である。図９の場合、映像撮影装置８０４はカメラディスプレイ面３１に対して右斜め方向に位置しているため、第二物体３３の右側の一部が撮影される。そのため、映像３０−１には、第一物体３２に加えて第二物体３３の右側の一部が写っている。 FIG. 9C is a diagram illustrating a specific example of the video 30-1 generated by the video generation unit 103 based on the video shot by the video shooting device 804 in the state of FIG. 9B. In the case of FIG. 9, since the video photographing device 804 is located in the right oblique direction with respect to the camera display surface 31, a part of the right side of the second object 33 is photographed. Therefore, in addition to the first object 32, a part of the right side of the second object 33 is shown in the video 30-1.

図１０は、本発明の第一実施形態における映像生成方法の処理の流れを示すシーケンス図である。
まず、視点位置計測部１０２がユーザの視点位置を計測する（ステップＳ１０１）。次に、通信部１０１が、視点位置情報を撮影位置制御装置８０ａに送信する（ステップＳ１０２）。撮影位置制御装置８０ａの通信部８０１は、映像生成装置１０ａから視点位置情報を受信する（ステップＳ１０３）。撮影位置決定部８０２は、受信された視点位置情報と、前処理の実行において記憶したカメラディスプレイ面３１の位置とに基づいて、撮影位置及び撮影方向を決定する（ステップＳ１０４）。撮影位置制御部８０３は、決定された撮影位置及び撮影方向に応じて、映像撮影装置８０４の位置及び方向を制御する（ステップＳ１０５）。映像撮影装置８０４は、制御された位置及び方向で映像を撮影する（ステップＳ１０６）。映像撮影装置８０４は、撮影された映像のデータ（映像データ）を映像生成装置１０ａに送信する（ステップＳ１０７）。 FIG. 10 is a sequence diagram showing a processing flow of the video generation method according to the first embodiment of the present invention.
First, the viewpoint position measurement unit 102 measures the viewpoint position of the user (step S101). Next, the communication unit 101 transmits viewpoint position information to the imaging position control device 80a (step S102). The communication unit 801 of the imaging position control device 80a receives the viewpoint position information from the video generation device 10a (step S103). The shooting position determination unit 802 determines a shooting position and a shooting direction based on the received viewpoint position information and the position of the camera display surface 31 stored in the execution of the preprocessing (step S104). The shooting position control unit 803 controls the position and direction of the video shooting device 804 according to the determined shooting position and shooting direction (step S105). The video imaging device 804 captures a video at the controlled position and direction (step S106). The video shooting device 804 transmits the video data (video data) of the shot video to the video generation device 10a (step S107).

映像生成装置１０ａの通信部１０１は、映像撮影装置８０４から映像データを受信する（ステップＳ１０８）。映像生成部１０３は、視点位置計測部１０２によって計測されたユーザ１の視点位置ＶＵに応じた映像を、透視射影変換を行うことによって、通信部１０１が受信した映像データに基づいて生成する（ステップＳ１０９）。映像表示装置１０７は、映像生成部１０３が生成した映像を表示する。また、音声出力装置１０８は音声再生部１０４が再生した音声を出力する。図１０に示す処理は、繰り返し実行される。 The communication unit 101 of the video generation device 10a receives video data from the video shooting device 804 (step S108). The video generation unit 103 generates a video corresponding to the viewpoint position VU of the user 1 measured by the viewpoint position measurement unit 102 based on the video data received by the communication unit 101 by performing perspective projection conversion (step). S109). The video display device 107 displays the video generated by the video generation unit 103. The audio output device 108 outputs the audio reproduced by the audio reproducing unit 104. The process shown in FIG. 10 is repeatedly executed.

上述したように、撮影位置制御装置８０ａは、ユーザ１の視点位置ＶＵに応じて映像撮影装置８０４の位置及び方向を制御する。具体的には、撮影位置制御装置８０ａは、ユーザ１の視点位置ＶＵの移動と同様に映像撮影装置８０４を移動させる。そのため、ユーザは、ディスプレイ（映像表示装置１０７）に表示される映像を変更する際に、自身の視点位置を変えるだけでよい。したがって、ディスプレイに表示させる映像を選択する際に生じる煩わしさを軽減させることが可能となる。 As described above, the shooting position control device 80a controls the position and direction of the video shooting device 804 according to the viewpoint position VU of the user 1. Specifically, the shooting position control device 80a moves the video shooting device 804 in the same manner as the movement of the viewpoint position VU of the user 1. Therefore, the user only has to change his / her viewpoint position when changing the video displayed on the display (video display device 107). Therefore, it is possible to reduce troublesomeness that occurs when selecting an image to be displayed on the display.

また、上述した処理により、映像表示装置１０７に表示される映像において、運動視差を実現させることができる。そのため、例えば図７〜９に示すように、正面からは映像として写らなかった物体（第二物体３３）を、視点を移動させることによって映像として写すことが可能となる。そのため、映像表示装置１０７の映像表示面を介してその奥に広がる映像をのぞき込んで見るという仮想体験をユーザ１に提供することが可能となる。したがって、ユーザ１は、視覚的に窓一枚を挟んで映像上の風景が広がっているかのような臨場感を感じることができる。 In addition, by the processing described above, motion parallax can be realized in the video displayed on the video display device 107. Therefore, for example, as shown in FIGS. 7 to 9, an object (second object 33) that was not captured as an image from the front can be captured as an image by moving the viewpoint. For this reason, it is possible to provide the user 1 with a virtual experience of looking into and viewing the video spreading through the video display surface of the video display device 107. Therefore, the user 1 can feel a sense of reality as if the scenery on the video is spread visually across one window.

＜変形例＞
映像生成装置１０ａは、ネットワーク９０ではなく、他の伝送網を介して映像撮影装置８０４から映像を受信しても良い。例えば、映像生成装置１０ａは、放送網を介して映像撮影装置８０４から映像を受信しても良い。
カメラディスプレイ面３１の大きさは、ディスプレイ面３０の大きさと異なるように構成されても良い。この場合、カメラディスプレイ面３１の大きさとベクトル３１１の大きさとの比が、ディスプレイ面３０の大きさとベクトル３０１の大きさとの比に一致するように構成されても良い。 <Modification>
The video generation device 10a may receive video from the video imaging device 804 via another transmission network instead of the network 90. For example, the video generation device 10a may receive a video from the video shooting device 804 via a broadcast network.
The size of the camera display surface 31 may be configured to be different from the size of the display surface 30. In this case, the ratio between the size of the camera display surface 31 and the size of the vector 311 may be configured to match the ratio between the size of the display surface 30 and the size of the vector 301.

映像撮影装置８０４が撮影する映像データは、どのような映像であっても良い。映像撮影装置８０４が撮影する映像データは、例えば２次元映像であっても良いし、立体視のために利用される２台のカメラ等で撮影された視差映像であっても良い。
視点位置計測部１０２がユーザ１の視点位置を計測する方法には、どのような方法が適用されても良い。視点位置計測部１０２がユーザ１の視点位置を計測する方法の具体例として以下のような方法がある。
ａ）光学式又は磁気式のモーショントラッキング技術を用いた方法
ｂ）カメラのオートフォーカス機能によるフォーカス機能情報を取得し、ユーザ１の視点位置を計測する方法
ｃ）ユーザ１の頭部又はユーザ１の身体の位置を計測し、計測された位置をユーザ１の視点位置として代替する方法 The video data captured by the video imaging device 804 may be any video. The video data shot by the video shooting device 804 may be, for example, a two-dimensional video, or may be a parallax video shot by two cameras or the like used for stereoscopic viewing.
Any method may be applied to the method in which the viewpoint position measurement unit 102 measures the viewpoint position of the user 1. The following method is a specific example of the method by which the viewpoint position measurement unit 102 measures the viewpoint position of the user 1.
a) Method using optical or magnetic motion tracking technology b) Method of acquiring focus function information by the autofocus function of the camera and measuring the viewpoint position of the user 1 c) The head of the user 1 or the user 1 A method of measuring the position of the body and substituting the measured position as the viewpoint position of the user 1

仮想映像面２０の配置位置及び大きさは任意である。また、仮想映像面２０の形は、平面に限定される必要は無く、円形であっても良いし他の形であっても良い。また、立体視のために左右の目に用いる２つの映像がある場合には、映像生成部１０３は２枚の仮想映像面２０それぞれに処理を行う。また、仮想映像面２０とディスプレイ面３０との距離は、ユーザが設定できるように構成されても良いし、放送者側が放送する内容によって設定できるように構成されても良い。 The arrangement position and size of the virtual image plane 20 are arbitrary. Further, the shape of the virtual image surface 20 is not necessarily limited to a plane, and may be circular or other shapes. When there are two videos used for the left and right eyes for stereoscopic viewing, the video generation unit 103 performs processing on each of the two virtual video planes 20. Further, the distance between the virtual video screen 20 and the display screen 30 may be configured to be set by the user, or may be configured to be set according to the content broadcasted by the broadcaster.

映像生成部１０３が映像を生成する方法として、上述した式１の変換方法以外の方法を用いて映像を生成してもよい。
映像表示装置１０７は、プロジェクタなどの投影機を用いて構成されても良い。この場合、映像が投影される投影面の位置がディスプレイ面３０の位置となる。映像生成部１０３は、投影面の位置に関する情報を取得して映像を生成する。
映像生成装置１０と映像表示装置１０７とが一体化して構成されても良い。映像生成装置１０ａの各機能部は、必ずしも一体で構成される必要はなく、複数の装置に分けて構成されても良い。 As a method for the video generation unit 103 to generate the video, a video other than the above-described conversion method of Equation 1 may be used to generate the video.
The video display device 107 may be configured using a projector such as a projector. In this case, the position of the projection surface on which the video is projected becomes the position of the display surface 30. The video generation unit 103 acquires information related to the position of the projection plane and generates a video.
The video generation device 10 and the video display device 107 may be integrated. The functional units of the video generation device 10a are not necessarily configured integrally, and may be configured separately into a plurality of devices.

［第二実施形態］
図１１は、映像表示システムの第二実施形態に備えられる撮影位置制御装置８０（撮影位置制御装置８０ｂ）の機能構成を表す概略ブロック図である。撮影位置制御装置８０ｂは、撮影位置決定部８０２に代えて撮影位置決定部８０２ｂを備える点で撮影位置制御装置８０ａと異なり、他の構成は撮影位置制御装置８０ａと同様である。 [Second Embodiment]
FIG. 11 is a schematic block diagram showing a functional configuration of the imaging position control device 80 (imaging position control device 80b) provided in the second embodiment of the video display system. The shooting position control device 80b is different from the shooting position control device 80a in that it includes a shooting position determination unit 802b instead of the shooting position determination unit 802, and the other configuration is the same as that of the shooting position control device 80a.

撮影位置決定部８０２ｂは、撮影位置決定部８０２が行う処理に加えて、さらに以下のような処理を行う。撮影位置決定部８０２ｂは、ユーザ１の視点位置ＶＵが所定の条件を満たしたか否か判断する。所定の条件は、ユーザ１の視点位置ＶＵがユーザ１にとって負担となっている位置であることを示す条件である。例えば、最初に検出された視点位置（初期視点位置ＶＵ０）から所定の時間の間、ユーザ１の視点位置ＶＵが所定の距離以上移動したままの状態である場合、撮影位置決定部８０２ｂは所定の条件が満たされたと判断しても良い。なお、所定の距離は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向それぞれ異なる値として設定されても良い。撮影位置決定部８０２ｂは、所定の条件が満たされたと判断した場合、映像撮影装置８０４を、撮影方向を略固定した状態で、撮影位置を変更する処理（以下、「平行移動処理」という。）を行う。具体的には、撮影位置決定部８０２ｂは、所定の条件が満たされた時点におけるユーザ１の視点位置ＶＵに応じて、撮影方向を固定した状態で、撮影位置を移動させる。 The shooting position determination unit 802b performs the following processing in addition to the processing performed by the shooting position determination unit 802. The shooting position determination unit 802b determines whether or not the viewpoint position VU of the user 1 satisfies a predetermined condition. The predetermined condition is a condition indicating that the viewpoint position VU of the user 1 is a position that is a burden on the user 1. For example, when the viewpoint position VU of the user 1 has been moved by a predetermined distance or more from the first detected viewpoint position (initial viewpoint position VU0) for a predetermined time, the shooting position determination unit 802b determines the predetermined position. It may be determined that the condition is satisfied. The predetermined distance may be set as a different value for each of the X-axis direction, the Y-axis direction, and the Z-axis direction. When the shooting position determination unit 802b determines that a predetermined condition is satisfied, the video shooting device 804 changes the shooting position in a state where the shooting direction is substantially fixed (hereinafter referred to as “parallel movement process”). I do. Specifically, the shooting position determination unit 802b moves the shooting position in a state where the shooting direction is fixed in accordance with the viewpoint position VU of the user 1 when a predetermined condition is satisfied.

ユーザ１が視点位置ＶＵで観察している範囲の風景を、初期視点位置ＶＵ０で観察させるために必要な映像撮影装置８０４の移動量Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）は、式２のように表される。ただし、必ずしも完全に初期視点位置ＶＵ０で観察させる映像を、視点位置ＶＵで観察している範囲の風景と同一に合わせる必要がない場合には、撮影位置決定部８０２ｂは、式２以外の処理によって移動量Ｔを算出しても良い。撮影位置決定部８０２ｂは、平行移動処理によって、カメラディスプレイ面３１の位置も移動させる。

The amount of movement T (Tx, Ty, Tz) of the image capturing device 804 necessary for observing the landscape in the range that the user 1 is observing at the viewpoint position VU at the initial viewpoint position VU0 is expressed as in Expression 2. Is done. However, if it is not always necessary to match the image observed at the initial viewpoint position VU0 to the same scene as the range observed at the viewpoint position VU, the shooting position determination unit 802b performs processing other than Expression 2. The movement amount T may be calculated. The shooting position determination unit 802b also moves the position of the camera display surface 31 by parallel movement processing.

図１２及び図１３は、第二実施形態における撮影位置決定部８０２ｂの処理の具体例を示す図である。図１２（Ａ）は、所定の条件が満たされた時点におけるユーザ１の視点位置ＶＵの具体例を表す。この場合、ユーザ１の視点位置ＶＵは、ディスプレイ面３０の左側に位置している。図１２（Ｂ）は、撮影位置及び撮影方向の具体例を示す図である。図１２（Ｂ）において、符号３１−１は、所定の条件が満たされた時点（平行移動処理前）におけるカメラディスプレイ面３１の位置を表す。符号８０４−１は、所定の条件が満たされた時点における撮影位置及び撮影方向に制御されている映像撮影装置を表す。符号３１−２は、平行移動処理後のカメラディスプレイ面３１の位置を表す。符号８０４−２は、平行移動処理後の影位置及び撮影方向に制御されている映像撮影装置を表す。平行移動処理によって、撮影されるシーン中の第一物体３２とカメラディスプレイ面３１との位置関係が変化する。 12 and 13 are diagrams illustrating specific examples of processing of the imaging position determination unit 802b in the second embodiment. FIG. 12A shows a specific example of the viewpoint position VU of the user 1 when a predetermined condition is satisfied. In this case, the viewpoint position VU of the user 1 is located on the left side of the display surface 30. FIG. 12B is a diagram illustrating a specific example of the shooting position and the shooting direction. In FIG. 12B, reference numeral 31-1 represents the position of the camera display surface 31 at the time when a predetermined condition is satisfied (before parallel movement processing). Reference numeral 804-1 represents a video photographing apparatus controlled to a photographing position and a photographing direction when a predetermined condition is satisfied. Reference numeral 31-2 represents the position of the camera display surface 31 after the parallel movement process. Reference numeral 804-2 represents a video photographing apparatus controlled in the shadow position and photographing direction after the parallel movement process. By the parallel movement process, the positional relationship between the first object 32 and the camera display surface 31 in the scene to be photographed changes.

図１２（Ｃ）は、所定の条件が満たされた時点において映像表示装置１０７に表示されている映像の具体例を示す図である。図１２（Ｄ）は、平行移動処理後に映像表示装置１０７に表示されている映像の具体例を示す図である。平行移動処理によって、映像３０−１の右側に偏っていた第一物体３２が、映像３０−１の左側に移動し、大きさが小さくなっている。 FIG. 12C is a diagram illustrating a specific example of a video displayed on the video display device 107 at a time when a predetermined condition is satisfied. FIG. 12D is a diagram illustrating a specific example of an image displayed on the image display device 107 after the parallel movement process. Due to the parallel movement process, the first object 32 that is biased to the right side of the image 30-1 moves to the left side of the image 30-1, and the size thereof is reduced.

図１３（Ａ）は、平行移動処理後のユーザ１の視点位置の移動例を示す図である。図１３（Ａ）において、破線で示される円は、移動前のユーザ１の位置を表している。図１２（Ｄ）に示すように、平行移動処理後の映像３０−２では、物体３２が左側かつ小さく映っている。そのため、ユーザ１は、第一物体３２を画面の中央に大きく表示させるため、自然と視点位置ＶＵの位置に移動を行う。 FIG. 13A is a diagram illustrating an example of movement of the viewpoint position of the user 1 after the parallel movement process. In FIG. 13A, a circle indicated by a broken line represents the position of the user 1 before movement. As shown in FIG. 12D, in the video 30-2 after the parallel movement process, the object 32 is shown on the left side and small. Therefore, the user 1 naturally moves to the position of the viewpoint position VU in order to display the first object 32 large in the center of the screen.

図１３（Ｂ）は、図１３（Ａ）に示されるようにユーザ１の視点位置ＶＵが移動した場合の、撮影位置及び撮影方向の変化例を示す図である。撮影位置決定部８０２ｂは、第一実施形態における撮影位置決定部８０２と同様の処理によって、ユーザ１の視点位置ＶＵに応じて撮影位置及び撮影方向を決定する。このとき、撮影位置決定部８０２ｂは、平行移動処理によって変更されたカメラディスプレイ面３１の位置に基づいて処理を行う。 FIG. 13B is a diagram illustrating a change example of the photographing position and the photographing direction when the viewpoint position VU of the user 1 is moved as illustrated in FIG. The shooting position determination unit 802b determines a shooting position and a shooting direction according to the viewpoint position VU of the user 1 by the same processing as the shooting position determination unit 802 in the first embodiment. At this time, the photographing position determination unit 802b performs processing based on the position of the camera display surface 31 changed by the parallel movement processing.

図１３（Ｃ）は、映像撮影装置８０４の撮影位置及び撮影方向が、図１３（Ｂ）のように制御された後の映像３０−１の具体例を示す図である。 FIG. 13C is a diagram showing a specific example of the video 30-1 after the shooting position and shooting direction of the video shooting device 804 are controlled as shown in FIG. 13B.

図１４は、本発明の第二実施形態における映像生成方法の処理の流れを示すシーケンス図である。図１４において、図１０と同じ処理については同じ符号を付して説明を省略する。ステップＳ１０３の後、撮影位置決定部８０２ｂは、視点位置の移動が条件を満たしたか否か判定する（ステップＳ２０１）。所定の条件を満たしていない場合（ステップＳ２０１−ＮＯ）、撮影位置決定部８０２ｂは、ステップＳ１０４の処理に移行する。一方、所定の条件を満たしている場合（ステップＳ２０１−ＹＥＳ）、撮影位置決定部８０２ｂは、平行移動処理を実行する（ステップＳ２０２）。その後、平行移動処理によって決定した撮影位置及び撮影方向に基づいて、撮影位置制御部８０３が映像撮影装置８０４の撮影位置及び撮影方向を制御する（ステップＳ１０５）。 FIG. 14 is a sequence diagram showing a processing flow of the video generation method according to the second embodiment of the present invention. In FIG. 14, the same processes as those in FIG. After step S103, the shooting position determination unit 802b determines whether the movement of the viewpoint position satisfies the condition (step S201). If the predetermined condition is not satisfied (step S201—NO), the imaging position determination unit 802b proceeds to the process of step S104. On the other hand, when the predetermined condition is satisfied (step S201—YES), the imaging position determination unit 802b executes a parallel movement process (step S202). Thereafter, based on the shooting position and shooting direction determined by the parallel movement process, the shooting position control unit 803 controls the shooting position and shooting direction of the video shooting device 804 (step S105).

上述した第二実施形態では、第一実施形態と同様の効果を得ることができる。
また、ユーザ１の視点位置ＶＵが初期視点位置ＶＵ０から大きく移動したままである場合のように所定の条件が満たされた場合、平行移動処理が実行される。移動後は、ユーザ１が見たいと推定される映像を、ユーザ１の視点位置ＶＵが初期視点位置ＶＵ０付近に位置する状態で見ることができるように映像が生成される。一般的に、ユーザはリラックスした状態（映像表示装置１０７を見やすい体の状態）で映像を見始める。そのため、初期視点位置ＶＵ０付近に視点位置Ｖが位置する場合、ユーザ１はリラックスした状態であると想定できる。したがって、第二実施形態によれば、ユーザ１はリラックスした状態で所望の映像を視聴することができる。 In the second embodiment described above, the same effects as in the first embodiment can be obtained.
Further, when a predetermined condition is satisfied as in the case where the viewpoint position VU of the user 1 remains largely moved from the initial viewpoint position VU0, the parallel movement process is executed. After the movement, the video is generated so that the video estimated to be viewed by the user 1 can be viewed in a state where the viewpoint position VU of the user 1 is located in the vicinity of the initial viewpoint position VU0. In general, the user starts to watch the video in a relaxed state (a body state in which the video display device 107 is easy to see). Therefore, when the viewpoint position V is located near the initial viewpoint position VU0, it can be assumed that the user 1 is in a relaxed state. Therefore, according to the second embodiment, the user 1 can view a desired video in a relaxed state.

＜変形例＞
第二実施形態における撮影位置制御装置８０ｂは、第一実施形態における撮影位置制御装置８０ａと同様に変形して構成されても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 <Modification>
The shooting position control device 80b in the second embodiment may be modified and configured in the same manner as the shooting position control device 80a in the first embodiment.
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

１…ユーザ，１０…映像生成装置，２０…仮想映像面，２０−１…映像範囲，３０…ディスプレイ面，３０−１…映像，３０−１…カメラディスプレイ面，３２…第一物体，３３…第二物体，１０１…通信部，１０２…視点位置計測部，１０３…映像生成部，１０４…音声再生部，１０７…映像表示装置，１０８…音声出力装置，８０…撮影位置制御装置，８０１…通信部，８０２，８０２ｂ…撮影位置決定部，８０３…撮影位置制御部，８０４…映像撮影装置，９０…ネットワーク DESCRIPTION OF SYMBOLS 1 ... User, 10 ... Image | video production | generation apparatus, 20 ... Virtual image surface, 20-1 ... Image | video range, 30 ... Display surface, 30-1 ... Image | video, 30-1 ... Camera display surface, 32 ... First object, 33 ... Second object, 101 ... Communication unit, 102 ... Viewpoint position measurement unit, 103 ... Video generation unit, 104 ... Audio reproduction unit, 107 ... Video display device, 108 ... Audio output device, 80 ... Shooting position control device, 801 ... Communication , 802, 802b ... shooting position determination unit, 803 ... shooting position control unit, 804 ... video shooting device, 90 ... network

Claims

A measurement unit for measuring the position of the user;
A shooting position determination unit that determines a shooting position and a shooting direction of the video shooting device according to the position of the user measured by the measurement unit;
A shooting position control unit that controls the position and direction of the video shooting device according to the shooting position and shooting direction determined by the shooting position determination unit;
Equipped with a,
The imaging position determining unit, when the position of the user satisfies a predetermined condition, the shooting direction in a state of being substantially fixed, the image generation system to change the imaging position.

A measurement step for measuring the position of the user;
A shooting position determining step for determining a shooting position and a shooting direction of the video shooting device according to the position of the user measured in the measurement step;
A shooting position control step for controlling the position and direction of the video shooting device according to the shooting position and shooting direction determined in the shooting position determination step;
I have a,
In the shooting position determination step, when the user's position satisfies a predetermined condition, the image generation method changes the shooting position in a state where the shooting direction is substantially fixed .