JP4439373B2

JP4439373B2 - Multi-view camera video expression system, apparatus and program

Info

Publication number: JP4439373B2
Application number: JP2004301531A
Authority: JP
Inventors: 祐一岩舘; 美和片山; 仁博冨山; 豊折原
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2004-10-15
Filing date: 2004-10-15
Publication date: 2010-03-24
Anticipated expiration: 2024-10-15
Also published as: JP2006115298A

Description

本発明は、複数台のカメラを用いた映像表現手法に関し、特に、ユーザーにより指定された注視点が映像の中心になるように射影変換映像を生成する仮想パン・チルト映像表現、及び／またはカメラを切り替えながら射影変換映像を生成する多視点映像表現を実現する手法に関する。 The present invention relates to a video representation method using a plurality of cameras, and in particular, a virtual pan / tilt video representation and / or a camera that generates a projective transformation video so that a gaze point designated by a user is at the center of the video. The present invention relates to a technique for realizing a multi-viewpoint video expression that generates a projective conversion video while switching.

映画「マトリックス」では、被写体である俳優の周りに多数のカメラを設置し、各カメラの視線を俳優の立ち位置に輻輳させ、同期撮影を行うことにより、その俳優の映像を撮影し再生を実現する手法を用いていた。例えば、俳優が飛び上がった瞬間を多数のカメラで同時に撮影し、カメラの並び順に従って撮影した映像を切り替えることにより映像を再現する。これにより、あたかも１台のカメラがその空中に浮いた俳優の周りを移動しながら撮影したかのような映像を再現することができる。このような映像表現を多視点映像表現という。最近、この多視点映像表現がテレビコマーシャル等において頻繁に使われるようになったが、俳優等の被写体を、複数のカメラの視線が輻輳する場所に配置する必要がある点で制限がある。 In the movie `` Matrix '', many cameras are installed around the actor who is the subject, the line of sight of each camera is converged to the standing position of the actor, and synchronized shooting is performed to capture and reproduce the actor's video I used the technique to do. For example, a moment when an actor jumps up is photographed simultaneously by a large number of cameras, and the images are reproduced by switching the images photographed according to the order of the cameras. As a result, it is possible to reproduce an image as if one camera was moving while moving around the actor floating in the air. Such video expression is called multi-view video expression. Recently, this multi-viewpoint video expression has been frequently used in television commercials and the like. However, there is a limitation in that subjects such as actors need to be arranged in places where the lines of sight of a plurality of cameras are congested.

このような制限を克服するために、“ＥｙｅＶｉｓｉｏｎ（登録商標）”と呼ばれるシステムが、カーネギーメロン大学により開発された。このシステムは、複数のテレビカメラをそれぞれ電動雲台に乗せて配置し、機械的なパンやチルトの制御により、スポーツの試合のような被写体が動き回る場合においても、前述の多視点映像再現と同様な再現を準リアルタイムで実現するものである。具体的には、カメラマンが１台のマスターカメラを操作し、注視する被写体が常にカメラ映像の中央に映るように撮影する。そして、システムは、このカメラワークに応じて他の複数のスレーブカメラの視線が注視点で輻輳するように電動雲台を自動制御する。これにより、多視点映像表現を実現することができる（非特許文献１を参照。）。米国の放送会社であるＣＢＳは、このシステムを用いて「スーパーボール」のテレビ中継を行った。 In order to overcome such limitations, a system called “EyeVision®” has been developed by Carnegie Mellon University. This system is similar to the multi-view video reproduction described above even when a plurality of TV cameras are placed on an electric pan head and the subject moves around like a sports game by controlling mechanical pan and tilt. Realization is realized in near real time. Specifically, the photographer operates one master camera and shoots so that the subject to be watched is always in the center of the camera image. Then, the system automatically controls the electric pan head so that the line of sight of the other slave cameras is congested at the gazing point according to this camera work. As a result, multi-view video representation can be realized (see Non-Patent Document 1). CBS, a US broadcasting company, used this system to broadcast “Super Ball” on television.

伊佐憲一、他４名、「最新スポーツ中継技術世界初！プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５Kenichi Isa and four others, "The latest sports broadcast technology, the world's first! Utilizing EyeVisionTM for professional baseball broadcasts", Broadcast Technology, Kenrokukan Publishing, November 2001, p. 96-p. 105

しかしながら、“ＥｙｅＶｉｓｉｏｎ（登録商標）”のシステムを用いた多視点映像表現手法では、以下の（１）〜（４）に示す実用的な問題があった。
（１）電動雲台の機械的な動作速度には限界があるため、スポーツ選手等の早く動く被写体に追従することが困難である。
（２）マスターカメラが被写体を画像の中央に正確に捉えることができない場合は、カメラの並び順に従って映像を切り替える過程において、注視している被写体が映像からアウトしていき、所望の映像効果を得ることができない。
（３）カメラマンは特定の被写体をカメラ映像の中央に映るように撮影するから、たとえ複数のカメラの映像を収録しても、注視する被写体を変更する等のポスプロ処理を行うことができない。例えば、サッカーの映像において、ある選手に対して多視点映像表現を行った場合には、映像編集時に、その周りの選手に対する多視点映像表現を行うことができない。
（４）多視点映像表現だけでは単調な映像になってしまい、視聴者は飽きてしまう。 However, the multi-view video expression method using the “EyeVision (registered trademark)” system has practical problems shown in the following (1) to (4).
(1) Since the mechanical operating speed of the electric head is limited, it is difficult to follow a fast moving subject such as an athlete.
(2) If the master camera cannot accurately capture the subject in the center of the image, the subject being watched will move out of the video in the process of switching the video according to the camera order, and the desired video effect will be achieved. Can't get.
(3) Since the cameraman shoots a specific subject so that it appears in the center of the camera image, even if the images of a plurality of cameras are recorded, post processing such as changing the subject to be watched cannot be performed. For example, in a soccer video, when a multi-view video is expressed for a certain player, the multi-view video cannot be expressed for surrounding players when editing the video.
(4) A multi-view video expression alone results in a monotonous video, and viewers get bored.

そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、被写体の早く動く速度に追従し、被写体の撮り損ないが少ない多視点カメラ映像表現システム、装置及びプログラムを提供することにある。 Accordingly, the present invention has been made to solve such a problem, and an object of the present invention is to provide a multi-viewpoint camera video expression system, apparatus, and program that follows the speed at which the subject moves quickly and that the subject is not missed. There is to do.

上記目的を達成するために、本発明の多視点カメラ映像表現システムは、所定の視点から被写体を撮影し、該被写体の元映像をそれぞれ出力する複数のカメラと、該元映像を用いて、ユーザーが指定する注視点を中心とした部分映像を表現する映像装置とを備えた多視点カメラ映像表現システムにおいて、映像装置が、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター部と、カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する手段、及び、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する手段を有する射影変換部とを備え、該射影変換部により変換された映像の部分映像を表現している状態で、ユーザーが新たな注視点を指定した場合には、前記射影変換部が、ユーザーが以前から選択していた同じカメラによる元映像を、前記新たな注視点を中心とした映像に変換し、該変換した映像の部分映像を表現するための仮想パン・チルト映像表現を実現することを特徴とする。 In order to achieve the above object, a multi-viewpoint camera video expression system according to the present invention captures a subject from a predetermined viewpoint, and outputs a source video of the subject, and a user using the source video. In a multi-viewpoint camera video expression system comprising a video device that expresses a partial video centered on a gazing point specified by the video device, the video device selected by the user from each original video input from multiple cameras A selector unit for outputting an original video by the camera, means for holding for each camera a camera parameter for converting the coordinates of the video of the subject photographed by the camera into the world coordinates of the video common to all cameras, and Based on the camera parameters of the camera selected by the user, the original video by the user-selected camera input from the selector unit, A projection conversion unit having means for converting into a video centered on a gazing point designated by a user, and the user expresses a partial video of the video converted by the projection conversion unit, and a new gazing point is displayed by the user When the projection conversion unit converts the original video from the same camera that the user has previously selected into a video centered on the new gazing point, the partial video of the converted video is It is characterized by realizing virtual pan / tilt video expression for expression.

また、本発明の多視点カメラ映像表現システムは、前記射影変換部が、さらに、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する手段を有し、該射影変換部により変換された映像の部分映像を表現している状態で、ユーザーが新たなカメラを選択した場合には、前記射影変換部が、該ユーザーが選択した新たなカメラによる元映像の注視点に投影し、該新たなカメラのカメラパラメータに基づいて、前記セレクター部から入力した新たなカメラによる元映像を、前記新たな注視点を中心とした映像に変換し、該変換した映像の部分映像を新たに表現するための多視点映像表現を実現することを特徴とする。 In the multi-viewpoint camera video expression system according to the present invention, the projective transformation unit further uses a camera selected by the user to select a gazing point previously selected by the user based on a camera parameter of the camera selected by the user. When the user selects a new camera in a state in which the projection video is converted into a partial image of the video converted by the projection conversion unit, the projection conversion unit Projecting the original video from the new camera selected by the user onto the gaze point of the original video, and using the new camera input from the selector unit based on the camera parameters of the new camera as the new gaze point. It is characterized by converting to a central video and realizing multi-view video expression for newly expressing a partial video of the converted video.

また、本発明の多視点カメラ映像表現システムは、前記複数のカメラと、前記セレクター部を有する装置と、前記射影変換部を有する装置とを備えて構成することを特徴とする。 In addition, the multi-viewpoint camera video expression system of the present invention includes the plurality of cameras, a device having the selector unit, and a device having the projection conversion unit.

本発明の多視点カメラ映像表現システムは、前記カメラを、高解像度カメラまたは全天周カメラとすることを特徴とする。 The multi-viewpoint camera video expression system of the present invention is characterized in that the camera is a high-resolution camera or an all-around camera.

また、本発明の多視点カメラ映像表現装置は、所定の視点から被写体を撮影して該被写体の元映像をそれぞれ出力する複数のカメラから該元映像を入力し、ユーザーが指定する注視点を中心とした部分映像を表現する多視点カメラ映像表現装置において、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター部と、カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する手段、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する手段、及び、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する手段を有する射影変換部とを備えたことを特徴とする。 In addition, the multi-viewpoint camera video expression apparatus of the present invention inputs the original video from a plurality of cameras that shoot a subject from a predetermined viewpoint and outputs the original video of the subject, and focuses on a gazing point designated by the user. In the multi-viewpoint camera video expression device that expresses the partial video as described above, the selector unit that outputs the original video by the camera selected by the user from each of the original videos input from a plurality of cameras, and the subject to be shot by the camera Means for holding camera parameters for each camera to convert image coordinates to image world coordinates common to all cameras, based on the camera parameters of the camera selected by the user, input from the selector unit; Means for converting the original video from the camera selected by the user into video centered on the gaze point designated by the user; A projection conversion unit having means for projecting a gazing point previously selected by a user onto a gazing point of an original image by the camera selected by the user based on camera parameters of the camera selected by the user And

また、本発明の多視点カメラ映像表現プログラムは、所定の視点から被写体を撮影して該被写体の元映像をそれぞれ出力する複数のカメラから該元映像を入力し、ユーザーが指定する注視点を中心とした部分映像を表現する多視点カメラ映像表現装置を構成するコンピュータに実行させるプログラムであって、複数のカメラから入力したそれぞれの元映像の中から、ユーザーが選択したカメラによる元映像を出力するセレクター処理と、カメラが撮影する被写体の映像の座標を、全てのカメラに共通する映像の世界座標に変換するためのカメラパラメータをカメラ毎に保持する処理と、前記ユーザーが選択したカメラのカメラパラメータに基づいて、前記セレクター部から入力した前記ユーザーが選択したカメラによる元映像を、ユーザーが指定した注視点を中心とした映像に変換する処理と、及び、ユーザーが選択したカメラのカメラパラメータに基づいて、ユーザーが以前に選択した注視点を、前記ユーザーが選択したカメラによる元映像の注視点に投影する処理とを実行させることを特徴とする。 In addition, the multi-viewpoint camera video expression program of the present invention inputs the original video from a plurality of cameras that shoot the subject from a predetermined viewpoint and outputs the original video of the subject, and focuses on the gazing point specified by the user. A program to be executed by a computer that constitutes a multi-view camera video expression device that expresses a partial video as described above, and outputs an original video from a camera selected by a user from each of the original videos input from a plurality of cameras Selector processing, processing for storing camera parameters for converting the coordinates of the video of the subject imaged by the camera into the world coordinates of the video common to all cameras, and camera parameters of the camera selected by the user Based on the original video from the camera selected by the user input from the selector unit, Based on the process of converting the video to the center of the fixed gazing point and the camera parameters of the camera selected by the user, the gazing point previously selected by the user is changed to the original video by the camera selected by the user. And a process of projecting to a viewpoint.

本発明によれば、カメラの撮影方向等を機械的に操作することなく仮想パン・チルト映像表現を実現し、さらに多視点映像表現を実現するから、被写体の早く動く速度に追従することができると共に、被写体の撮り損ないが少なくなる。 According to the present invention, the virtual pan / tilt video expression is realized without mechanically operating the shooting direction of the camera, and the multi-viewpoint video expression is realized, so that the moving speed of the subject can be quickly followed. At the same time, there is less loss of shooting the subject.

以下、本発明の実施の形態について図面を用いて詳細に説明する。
〔構成〕
図１は、本発明の実施の形態に係る多視点カメラ映像表現システム１のブロック構成図である。この多視点カメラ映像表現システム１は、ｎ台のカメラ１０（１０−１〜１０−ｎ）、ユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０、及びカメラパラメータ事前計測部７０を備えている。この多視点カメラ映像表現システム１は、カメラ１０が撮影する被写体に対し、ユーザーによるパン・チルト（カメラを機械的に位置制御することなくパン・チルトの操作を行うことから、以下、「仮想パン・チルト」という。）操作及び多視点映像（カメラを切り替えることにより、様々な視点から得ることができる映像）操作により、多様な映像表現を実現するものである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
〔Constitution〕
FIG. 1 is a block configuration diagram of a multi-viewpoint camera video expression system 1 according to an embodiment of the present invention. The multi-viewpoint camera video expression system 1 includes n cameras 10 (10-1 to 10-n), a user interface 20, a selector unit 30, a gazing point designation unit 40, a projective conversion unit 50, a partial cutout unit 60, and A camera parameter pre-measurement unit 70 is provided. This multi-viewpoint camera image representation system 1 performs pan / tilt operations on a subject photographed by the camera 10 (the pan / tilt operation is performed without mechanically controlling the position of the camera.・ It is called “tilt”) and multi-view video (video that can be obtained from various viewpoints by switching the camera) and various video expressions are realized.

カメラ１０（１０−１〜１０−ｎ）は、それぞれ固定設置され、被写体の映像（元映像）を撮影し、その元映像をセレクター部３０へ出力する。ユーザーインターフェース２０は、ユーザーがカメラを選択し、被写体の注視点を指定するためのマウス、ジョイスティック、キーボード等と、被写体の映像、注視点等を表示するための操作用モニターとから構成される。このユーザーインターフェース２０は、ユーザーの操作により、カメラ１０のカメラ番号を含む切り替え情報、被写体の注視点情報、及び、カメラ１０のカメラ番号をそれぞれ出力する。セレクター部３０は、カメラ１０から元映像を、ユーザーインターフェース２０から切り替え情報をそれぞれ入力し、当該切り替え情報に基づいてカメラ１０を切り替え、当該カメラ１０が撮影した元映像を出力する。例えば、ユーザーインターフェース２０から切り替え情報としてカメラ１０−１のカメラ番号を入力した場合には、カメラ１０−１から入力した元映像を出力する。注視点指定部４０は、ユーザーインターフェース２０から注視点情報を、セレクター部３０から元映像をそれぞれ入力し、被写体の注視点における画像座標を指定（特定）し、当該注視点の画像座標を射影変換部５０へ出力する。 The cameras 10 (10-1 to 10-n) are fixedly installed, respectively, take a video of the subject (original video), and output the original video to the selector unit 30. The user interface 20 includes a mouse, a joystick, a keyboard, and the like for the user to select a camera and specify a gazing point of a subject, and an operation monitor for displaying a subject image, a gazing point, and the like. The user interface 20 outputs switching information including the camera number of the camera 10, gazing point information of the subject, and camera number of the camera 10 according to a user operation. The selector unit 30 receives the original video from the camera 10 and switching information from the user interface 20, switches the camera 10 based on the switching information, and outputs the original video captured by the camera 10. For example, when the camera number of the camera 10-1 is input as switching information from the user interface 20, the original video input from the camera 10-1 is output. The gazing point designation unit 40 receives the gazing point information from the user interface 20 and the original video from the selector unit 30, designates (specifies) the image coordinates at the gazing point of the subject, and performs projective transformation on the image coordinates of the gazing point. To the unit 50.

射影変換部５０は、ユーザーインターフェース２０からカメラ１０のカメラ番号を、注視点指定部４０から注視点の画像座標を、セレクター部３０から元映像をそれぞれ入力し、後述するカメラパラメータ事前計測部７０により予め設定されたカメラパラメータに基づいて、前記元映像を、注視点を中心とした映像に射影変換し、射影変換した映像を出力する。具体的には、仮想パン・チルト映像表現を実現する場合（カメラ１０を切り替えないで注視点を変える場合）には、カメラ番号、注視点の画像座標及び元映像から、当該カメラのカメラパラメータに基づいて、前記元映像を、注視点を中心とした映像に射影変換し、射影変換した映像を出力する。一方、多視点映像表現を実現する場合（注視点を変えないでカメラ１０を切り替える場合）には、切り替え後のカメラ番号Ｂ、当該カメラＢの元映像、及び切り替え前の注視点の画像座標（世界座標）から、切り替え後のカメラＢのカメラパラメータに基づいて、切り替え前のカメラＡによる元映像の注視点から切り替え後のカメラＢによる元映像の注視点へ投影を行う。そして、切り替え後のカメラ番号Ｂ、投影した注視点の画像座標、及び切り替え後のカメラＢによる元映像から、当該カメラＢのカメラパラメータに基づいて、前記元映像を、注視点を中心とした映像に射影変換し、射影変換した映像を出力する。 The projection conversion unit 50 inputs the camera number of the camera 10 from the user interface 20, the image coordinates of the gazing point from the gazing point designation unit 40, and the original video from the selector unit 30. Based on camera parameters set in advance, the original image is projectively converted into an image centered on the gazing point, and the projectively converted image is output. Specifically, when virtual pan / tilt video expression is realized (when the gazing point is changed without switching the camera 10), the camera parameter of the camera is changed from the camera number, the image coordinates of the gazing point, and the original video. Based on this, the original image is projectively transformed into an image centered on the gazing point, and the projectively transformed image is output. On the other hand, in the case of realizing multi-viewpoint video expression (when switching the camera 10 without changing the gazing point), the camera number B after switching, the original video of the camera B, and the image coordinates of the gazing point before switching ( Based on the camera parameters of the camera B after switching, projection is performed from the world coordinates) from the gazing point of the original video by the camera A before switching to the gazing point of the original video by the camera B after switching. Based on the camera parameters of the camera B, the original video is centered on the gaze point from the camera number B after switching, the image coordinates of the projected gazing point, and the original video by the camera B after switching. Projectively converted and output the projected image.

部分切り出し部６０は、射影変換部５０から注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、部分切り出し映像を出力する。カメラパラメータ事前計測部７０は、セレクター部３０から元映像を入力して、カメラ１０（１０−１〜１０−ｎ）毎に事前にカメラパラメータを計測し、計測したカメラパラメータを射影変換行列として射影変換部５０へ設定する。つまり、射影変換部５０は、カメラパラメータ事前計測部７０により計測されたカメラパラメータをカメラ１０（１０−１〜１０−ｎ）毎に保持する。ここで、カメラパラメータは、カメラ１０の位置や焦点距離等を含み、キャリブレーションパターン等の大きさや位置の既知のパターンを事前にカメラ１０により撮影し、その撮影映像に基づいて計測されるパラメータである。 The partial cutout unit 60 receives the video centered on the gazing point from the projective conversion unit 50, cuts out the video in a range set in advance by the user, and outputs the partial cutout video. The camera parameter pre-measurement unit 70 inputs an original image from the selector unit 30 and measures camera parameters in advance for each camera 10 (10-1 to 10-n), and projects the measured camera parameters as a projective transformation matrix. Set to the conversion unit 50. That is, the projective conversion unit 50 holds the camera parameters measured by the camera parameter pre-measurement unit 70 for each camera 10 (10-1 to 10-n). Here, the camera parameters include parameters such as the position and focal length of the camera 10, a known pattern of a size and position such as a calibration pattern is captured by the camera 10 in advance, and is measured based on the captured image. is there.

〔仮想パン・チルト映像表現〕
次に、仮想パン・チルト映像表現を実現するための動作について説明する。
図２は、仮想パン・チルト映像表現について説明するための図である。まず、ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択し、注視点（黒四角）を指定する。これにより、カメラ１０−１の視線方向が指定されたことになる。そして、図１に示した多視点カメラ映像表現システム１の部分切り出し部６０は、図２の下部に示すように、カメラ１０−１による元映像２０１から切り出し映像２０２を切り出して出力する。この切り出し映像２０２は、ユーザーが指定した注視点（黒四角）を中心とした映像である。そして、ユーザーが、他の注視点（黒丸）を指定すると、部分切り出し部６０は、図２の下部に示すように、カメラ１０−１による元映像２０１から切り出し映像２０３を切り出して出力する。この切り出し映像２０３は、ユーザーが指定した注視点（黒丸）を中心とした映像である。これにより、多視点カメラ映像表現システム１は、ユーザーのマウス操作に従って、切り出し映像２０２から切り出し映像２０３に出力を変えることができるから、機械的な制御を伴うことなく仮想パン・チルト映像表現を実現することがきる。 [Virtual pan / tilt video representation]
Next, an operation for realizing virtual pan / tilt video expression will be described.
FIG. 2 is a diagram for explaining virtual pan / tilt video expression. First, the user selects one camera 10-1 from among the n cameras 10 by operating the mouse and designates a gazing point (black square). Thereby, the line-of-sight direction of the camera 10-1 is designated. Then, the partial cutout unit 60 of the multi-viewpoint camera video representation system 1 shown in FIG. 1 cuts out and outputs the cutout video 202 from the original video 201 by the camera 10-1 as shown in the lower part of FIG. This cut-out video 202 is a video centered on a gazing point (black square) designated by the user. When the user designates another gazing point (black circle), the partial cutout unit 60 cuts out and outputs the cutout video 203 from the original video 201 by the camera 10-1, as shown in the lower part of FIG. This cut-out video 203 is a video centered on a gazing point (black circle) designated by the user. As a result, the multi-viewpoint camera video expression system 1 can change the output from the cut-out video 202 to the cut-out video 203 in accordance with the user's mouse operation, thereby realizing virtual pan / tilt video expression without mechanical control. I can do it.

図６は、仮想パン・チルト映像表現の処理フロー図である。ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択すると、ユーザーインターフェース２０は、カメラ１０−１の番号を含む切り替え情報をセレクター部３０へ、カメラ１０−１のカメラ番号を射影変換部５０へそれぞれ出力する（ステップＳ６０１）。また、セレクター部３０は、ユーザーインターフェース２０から切り替え情報を入力し、カメラ１０−１が撮影した元映像を注視点指定部４０及び射影変換部５０へ出力する。そして、ユーザーがマウス操作により被写体の注視点を指定すると、ユーザーインターフェース２０は、注視点情報を注視点指定部４０へ出力する。注視点指定部４０は、ユーザーインターフェース２０から注視点情報を、セレクター部３０からカメラ１０−１による元映像をそれぞれ入力し、注視点の画像座標を指定して射影変換部５０へ出力する（ステップＳ６０２）。 FIG. 6 is a processing flowchart of virtual pan / tilt video expression. When the user selects one camera 10-1 from the n cameras 10 by operating the mouse, the user interface 20 sends the switching information including the number of the camera 10-1 to the selector unit 30 and the camera 10-1. Are output to the projective conversion unit 50 (step S601). The selector unit 30 also receives switching information from the user interface 20 and outputs the original image captured by the camera 10-1 to the gazing point designating unit 40 and the projective conversion unit 50. When the user designates the gazing point of the subject by operating the mouse, the user interface 20 outputs the gazing point information to the gazing point designation unit 40. The gazing point designating unit 40 inputs the gazing point information from the user interface 20 and the source image from the camera 10-1 from the selector unit 30, respectively, specifies the image coordinates of the gazing point, and outputs them to the projective transformation unit 50 (step). S602).

射影変換部５０は、ユーザーインターフェース２０からカメラ１０−１のカメラ番号を、セレクター部３０からカメラ１０−１による元映像を、注視点指定部４０から注視点の画像座標をそれぞれ入力する。また、射影変換部５０は、前記カメラ番号を用いて、カメラパラメータ事前計測部７０により予め設定されたカメラパラメータの中からカメラ１０−１のカメラパラメータを特定する。そして、射影変換部５０は、特定したカメラ１０−１のカメラパラメータに基づいて、前記注視点が映像の中心となるように、前記元映像に対して射影変換を施す（ステップＳ６０３）。具体的には、ユーザーにより予め設定された世界座標のｚ軸座標値及び前記カメラ１０−１のカメラパラメータに基づいて、カメラ１０−１における注視点の画像座標を、全てのカメラ１０に共通する世界座標に変換する。これにより、注視点の画像座標を、被写体が存在する実空間上の位置情報（世界座標）として表現することができる。また、カメラ１０−１が撮影する被写体の元映像の中心とユーザーが指定した注視点との違いに伴う、注視点を中心とした映像のゆがみを補正するための処理も行う。そして、射影変換部５０は、注視点を中心とした映像を部分切り出し部６０へ出力する。部分切り出し部６０は、注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、当該部分切り出し映像を出力する（ステップＳ６０４）。 The projection conversion unit 50 inputs the camera number of the camera 10-1 from the user interface 20, the original video by the camera 10-1 from the selector unit 30, and the image coordinates of the gazing point from the gazing point designation unit 40. Further, the projective conversion unit 50 specifies the camera parameter of the camera 10-1 from the camera parameters set in advance by the camera parameter pre-measurement unit 70 using the camera number. Then, the projective transformation unit 50 performs projective transformation on the original video so that the gazing point is at the center of the video based on the specified camera parameter of the camera 10-1 (step S603). Specifically, the image coordinates of the gazing point in the camera 10-1 are common to all the cameras 10 based on the z-axis coordinate value of the world coordinates preset by the user and the camera parameters of the camera 10-1. Convert to world coordinates. Thereby, the image coordinates of the gazing point can be expressed as position information (world coordinates) in the real space where the subject exists. In addition, a process for correcting distortion of the video centered on the gazing point due to the difference between the center of the original video of the subject photographed by the camera 10-1 and the gazing point designated by the user is also performed. Then, the projective conversion unit 50 outputs an image centered on the gazing point to the partial cutout unit 60. The partial cutout unit 60 inputs video centered on the gazing point, cuts out the video in a range preset by the user, and outputs the partial cutout video (step S604).

同様にして、ユーザーが、マウス操作により他の注視点を指定すると、ユーザーインターフェース２０は、新たな注視点情報を注視点指定部４０へ出力する（ステップＳ６０２）。そして、射影変換部５０は、新たな注視点の画像座標を入力し、その注視点が映像の中心となるように、元映像に対して射影変換を施す（ステップＳ６０３）。部分切り出し部６０は、新たな注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、新たな部分切り出し映像を出力する（ステップＳ６０４）。 Similarly, when the user designates another gaze point by operating the mouse, the user interface 20 outputs new gaze point information to the gaze point designation unit 40 (step S602). Then, the projective transformation unit 50 inputs the image coordinates of the new gazing point, and performs projective transformation on the original video so that the gazing point becomes the center of the video (step S603). The partial cutout unit 60 inputs a video centered on a new gazing point, cuts out a video in a range preset by the user, and outputs a new partial cutout video (step S604).

このように、多視点カメラ映像表現システム１は、ユーザーによる注視点の指定操作により、カメラ１０−１を機械的に制御することなく、仮想パン・チルト映像表現を実現することができる。 As described above, the multi-viewpoint camera image representation system 1 can realize virtual pan / tilt image representation without mechanical control of the camera 10-1 by a user's point of interest designation operation.

〔多視点映像表現〕
次に、多視点映像表現を実現するための動作について説明する。図３は、多視点映像表現について説明するための図である。まず、ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択し注視点（黒丸）を指定する。そうすると、図１に示した多視点カメラ映像表現システム１の部分切り出し部６０は、図３の下部に示すように、カメラ１０−１による元映像３０１から注視点（黒丸）を中心とした切り出し映像３０２を切り出して出力する。そして、ユーザーが、マウス操作により他の一つのカメラ１０−２を選択する。そうすると、部分切り出し部６０は、図３の下部に示すように、カメラ１０−２による元映像３０３から前記同じ注視点（黒丸）を中心とした切り出し映像３０４を切り出して出力する。これにより、多視点カメラ映像表現システム１は、ユーザーのマウス操作に従って、注視点（黒丸）を変えることなく、カメラ１０−１による切り出し映像３０２をカメラ１０−２により切り出し映像３０４に切り替えることができる。したがって、機械的な制御を伴うことなく多視点映像表現を実現することがきる。 [Multi-view video expression]
Next, an operation for realizing multi-viewpoint video expression will be described. FIG. 3 is a diagram for explaining multi-view video representation. First, the user selects one camera 10-1 from the n cameras 10 by operating the mouse and designates a gazing point (black circle). Then, as shown in the lower part of FIG. 3, the partial cutout unit 60 of the multi-viewpoint camera video representation system 1 shown in FIG. 1 cuts out the video centered on the gazing point (black circle) from the original video 301 by the camera 10-1. 302 is cut out and output. Then, the user selects another one of the cameras 10-2 by operating the mouse. Then, as shown in the lower part of FIG. 3, the partial cutout unit 60 cuts out and outputs the cutout video 304 centered on the same gazing point (black circle) from the original video 303 by the camera 10-2. Thereby, the multi-viewpoint camera video representation system 1 can switch the cutout video 302 by the camera 10-1 to the cutout video 304 by the camera 10-2 without changing the gazing point (black circle) according to the user's mouse operation. . Therefore, it is possible to realize multi-viewpoint video expression without mechanical control.

図７は、多視点映像表現の処理フロー図である。ユーザーが、ｎ台のカメラ１０の中から、マウス操作により一つのカメラ１０−１を選択すると、ユーザーインターフェース２０は、カメラ１０−１の番号を含む切り替え情報をセレクター部３０へ、カメラ１０−１のカメラ番号を射影変換部５０へそれぞれ出力する（ステップＳ７０１）。セレクター部３０は、ユーザーインターフェース２０から切り替え情報を入力し、カメラ１０−１が撮影した元映像を注視点指定部４０及び射影変換部５０へ出力する。そして、ユーザーが、マウス操作により被写体の注視点を指定すると、ユーザーインターフェース２０は、注視点情報を注視点指定部４０へ出力する（ステップＳ７０２）。注視点指定部４０は、ユーザーインターフェース２０から注視点情報を、セレクター部３０からカメラ１０−１による元映像をそれぞれ入力し、注視点の画像座標を指定して射影変換部５０へ出力する。また、射影変換部５０は、ユーザーインターフェース２０からカメラ１０−１のカメラ番号を、セレクター部３０からカメラ１０−１による元映像を、注視点指定部４０から注視点の画像座標をそれぞれ入力し、前記カメラ番号を用いて、カメラパラメータ事前計測部７０により予め設定されたカメラパラメータの中から、カメラ１０−１のカメラパラメータを特定する。そして、射影変換部５０は、当該カメラ１０−１のカメラパラメータに基づいて、前記注視点が映像の中心となるように、前記元映像に対して射影変換を施す（ステップＳ７０３）。部分切り出し部６０は、注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、部分切り出し映像を出力する（ステップＳ７０４）。以上は、図６に示したステップ６０１〜６０４までの処理と同様である。 FIG. 7 is a processing flowchart of multi-viewpoint video expression. When the user selects one camera 10-1 from the n cameras 10 by operating the mouse, the user interface 20 sends the switching information including the number of the camera 10-1 to the selector unit 30 and the camera 10-1. Are output to the projective conversion unit 50 (step S701). The selector unit 30 receives switching information from the user interface 20 and outputs the original video captured by the camera 10-1 to the gazing point designating unit 40 and the projective conversion unit 50. When the user designates the gazing point of the subject by operating the mouse, the user interface 20 outputs the gazing point information to the gazing point designation unit 40 (step S702). The gazing point designation unit 40 inputs gazing point information from the user interface 20 and the original video from the camera 10-1 from the selector unit 30, designates image coordinates of the gazing point, and outputs them to the projective conversion unit 50. Further, the projective conversion unit 50 inputs the camera number of the camera 10-1 from the user interface 20, the original video by the camera 10-1 from the selector unit 30, and the image coordinates of the gazing point from the gazing point designation unit 40, respectively. Using the camera number, the camera parameter of the camera 10-1 is specified from the camera parameters preset by the camera parameter pre-measurement unit 70. Then, the projective transformation unit 50 performs projective transformation on the original video so that the gazing point becomes the center of the video based on the camera parameters of the camera 10-1 (step S703). The partial cutout unit 60 inputs video centered on the gazing point, cuts out the video in a range preset by the user, and outputs the partial cutout video (step S704). The above is the same as the processing from steps 601 to 604 shown in FIG.

そして、ユーザーが、マウス操作により他のカメラ１０−２を選択すると、ユーザーインターフェース２０は、カメラ１０−２の番号を含む切り替え情報をセレクター部３０へ、カメラ１０−１のカメラ番号を射影変換部５０へそれぞれ出力する（ステップＳ７０５）。セレクター部３０は、ユーザーインターフェース２０から切り替え情報を入力し、カメラ１０−２が撮影した元映像を射影変換部５０へ出力する。 When the user selects another camera 10-2 by operating the mouse, the user interface 20 sends the switching information including the number of the camera 10-2 to the selector unit 30 and the camera number of the camera 10-1 to the projective conversion unit. 50 (step S705). The selector unit 30 receives switching information from the user interface 20 and outputs the original video captured by the camera 10-2 to the projective conversion unit 50.

射影変換部５０は、ユーザーインターフェース２０からカメラ１０−２のカメラ番号を、セレクター部３０からカメラ１０−２による元映像をそれぞれ入力する。そして、射影変換部５０は、前記カメラ１０−２のカメラ番号からカメラ１０−２のカメラパラメータを特定し、前記カメラ１０−２による元映像及び切り替え前のカメラ１０−１による注視点の画像座標に対する世界座標を用いて、カメラ１０−２のカメラパラメータに基づいて、カメラ１０−１による元映像の注視点からカメラ１０−２による元映像の注視点への投影を行い、カメラ１０−２による元画像の注視点の画像座標を得る（ステップＳ７０６）。この場合、切り替え前のカメラ１０−１による注視点に対する世界座標は、前述のステップ７０３において射影変換を施したときに求めた世界座標を用いるようにしてもよいし、ステップ７０６において改めて世界座標を求め、その世界座標を用いるようにしてもよい。 The projection conversion unit 50 inputs the camera number of the camera 10-2 from the user interface 20 and the original video from the camera 10-2 from the selector unit 30. Then, the projective transformation unit 50 identifies the camera parameter of the camera 10-2 from the camera number of the camera 10-2, and the image coordinates of the gaze point by the original video by the camera 10-2 and the camera 10-1 before switching. Based on the camera parameters of the camera 10-2, projection from the gazing point of the original video by the camera 10-1 to the gazing point of the original video by the camera 10-2 is performed using the world coordinates for the camera 10-2. Image coordinates of the gazing point of the original image are obtained (step S706). In this case, as the world coordinates with respect to the gazing point by the camera 10-1 before switching, the world coordinates obtained when the projective transformation is performed in the above-described step 703 may be used. The world coordinates may be used.

また、射影変換部５０は、前記特定したカメラ１０−２のカメラパラメータに基づいて、前記注視点が映像の中心となるように、カメラ１０−２による元映像に対して射影変換を施し、注視点を中心とした映像を部分切り出し部６０へ出力する（ステップＳ７０７）。部分切り出し部６０は、当該注視点を中心とした映像を入力し、ユーザーにより予め設定された範囲の映像に切り出し、部分切り出し映像を出力する（ステップＳ７０８）。 Further, the projective transformation unit 50 performs projective transformation on the original video by the camera 10-2 based on the camera parameters of the identified camera 10-2 so that the gazing point is at the center of the video. The video centered on the viewpoint is output to the partial cutout unit 60 (step S707). The partial cutout unit 60 inputs a video centered on the gazing point, cuts out a video in a range preset by the user, and outputs a partial cutout video (step S708).

同様にして、ユーザーが再びマウス操作により他のカメラ１０−３を選択すると（ステップＳ７０５）、射影変換部５０は、新たなカメラ１０−３による元映像の注視点への投影を行い（ステップＳ７０６）、カメラ１０−３による元映像に対して射影変換を施し（ステップＳ７０７）、部分切り出し部６０は、前記注視点を中心とした映像の部分切り出し映像を出力する（ステップＳ７０８）。 Similarly, when the user selects another camera 10-3 by operating the mouse again (step S705), the projective conversion unit 50 projects the original video onto the gazing point by the new camera 10-3 (step S706). ), Projective transformation is performed on the original video by the camera 10-3 (step S707), and the partial cutout unit 60 outputs a partial cutout video of the video centered on the gazing point (step S708).

このように、ユーザーが２台以上のカメラ１０−１、１０−２、１０−３等を選択した場合にも、マスターとなったカメラ１０−１による注視点をそれぞれ投影することができるから、全てのカメラ１０においても共通の注視点を中心とした映像を生成することができる。また、図７のステップ７０５〜７０８に示したように、ユーザーが、マウスを操作してカメラ１０を連続して選択することにより、注視点を中心にカメラ１０が連続的に移動したかのような多視点映像表現を実現することが可能となる。 In this way, even when the user selects two or more cameras 10-1, 10-2, 10-3, etc., it is possible to project the gazing point by the master camera 10-1, respectively. All the cameras 10 can also generate an image centered on a common gazing point. Further, as shown in steps 705 to 708 of FIG. 7, it is as if the user has continuously moved the camera 10 around the gazing point by continuously selecting the camera 10 by operating the mouse. It is possible to realize a multi-view video expression.

図４は、９台のカメラ１０−１〜１０−９を用いた場合の撮影領域の例を示す図である。広範囲な多視点映像表現領域４０１を複数のカメラ１０−１〜１０−９を用いて撮影することにより、この領域４０１内のあらゆる被写体に対して多視点映像表現を実現することが可能となる。 FIG. 4 is a diagram illustrating an example of an imaging region when nine cameras 10-1 to 10-9 are used. By photographing a wide range of multi-view video expression area 401 using a plurality of cameras 10-1 to 10-9, it is possible to realize multi-view video expression for all subjects in this area 401.

図５は、多視点カメラ映像表現システム１のユーザーのマウス操作による処理フロー図である。図４に示したような多視点映像表現領域４０１内の複数の被写体に対する映像表現は、図５に示すマウスの操作を繰り返すことにより実現することができる。ユーザーによるマウスの移動に伴って、指定されたカメラ１０のカメラ番号の映像の中で、パン・チルト映像が表現される（ステップＳ５０１）。また、マウスキーを押し下げると、注視点が指定される（ステップＳ５０２）。そして、左右キーのドラッグ操作により、ステップ５０２で指定された注視点を中心とした切り出し映像が表現され（ステップＳ５０３）、マウスキーを解放すると、その時点で選択されていたカメラ番号が指定される（ステップＳ５０４）。このような操作を繰り返すことにより、カメラ番号の選択及び指定、被写体の注視点の指定が行われ、多視点映像表現領域４０１内の複数の被写体に対する仮想パン・チルト映像表現及び多視点映像表現を実現することができる。 FIG. 5 is a process flow diagram of the user of the multi-viewpoint camera video expression system 1 by a mouse operation. Video representation for a plurality of subjects in the multi-view video representation area 401 as shown in FIG. 4 can be realized by repeating the mouse operation shown in FIG. As the user moves the mouse, a pan / tilt video is represented in the video of the camera number of the designated camera 10 (step S501). When the mouse key is pressed down, the point of sight is designated (step S502). Then, by the left / right key drag operation, a clipped image centered on the point of interest specified in step 502 is expressed (step S503), and when the mouse key is released, the camera number selected at that time is specified. (Step S504). By repeating such operations, selection and designation of the camera number and designation of the gazing point of the subject are performed, and virtual pan / tilt video representation and multi-view video representation for a plurality of subjects in the multi-view video representation area 401 are performed. Can be realized.

以上のように、本発明の実施の形態によれば、被写体の周りに直線状、円弧状等に複数台のカメラ１０を、電動雲台を用いることなく固定配置することにより、機械的な制御を行うことなく、仮想パン・チルト映像表現を実現し、多視点映像表現を実現することができる。これにより、スポーツ選手等の早く動く被写体に対して追従することが可能となり、撮り損ないも少なくなる。 As described above, according to the embodiment of the present invention, mechanical control is performed by fixing and arranging a plurality of cameras 10 in a linear shape, an arc shape, or the like around a subject without using an electric pan head. It is possible to realize a virtual pan / tilt video expression and a multi-view video expression without performing the above. As a result, it is possible to follow a fast moving subject such as a sports player, and the loss of shooting is reduced.

また、本発明の実施の形態によれば、カメラ１０としてハイビジョン等の高解像度カメラや全天周カメラを用いることにより、注視する被写体の周りを広く撮影することができる。これにより、広範囲な多視点映像表現領域内の任意の被写体に対して、仮想パン・チルト映像表現及び多視点映像表現を実現することができる。また、所望の被写体を逃すことが少なくなり、撮り損ないも生じ難くなる。一方、ポスプロ時には、各カメラ１０にパンやチルトのカメラワークを施すことができると共に、注目する被写体を変更できる範囲が広がるから、例えばサッカーの試合のように予測不可能なシーンを逃すことなく映像表現が可能となる。 In addition, according to the embodiment of the present invention, by using a high-resolution camera such as a high-definition camera or an all-sky camera as the camera 10, it is possible to capture a wide area around the subject to be watched. Thereby, virtual pan / tilt video expression and multi-view video expression can be realized for an arbitrary subject in a wide multi-view video expression area. Also, it is less likely that a desired subject is missed, and it is difficult to cause a loss of shooting. On the other hand, during post-production, panning and tilting camera work can be performed on each camera 10 and the range in which the subject of interest can be changed is widened. For example, a video without missing an unpredictable scene such as a soccer game. Expression is possible.

また、本発明の実施の形態によれば、仮想パン・チルト映像表現と多視点映像表現とを組み合わせて実現することにより、多様な映像表現を実現することができる。特に、スポーツ等のダイナミックなシーンに対しては、従来に無い新しい映像効果を期待することができる。 Further, according to the embodiment of the present invention, various video expressions can be realized by combining virtual pan / tilt video expression and multi-view video expression. Especially for dynamic scenes such as sports, it is possible to expect a new video effect that has not existed before.

以上、実施の形態を挙げて本発明を説明したが、上記の説明は、本発明の理解を助けるものであって、本発明の特許請求の範囲を制限するものではない。従って、本発明の要旨を逸脱しない限り、種々変形が可能であり、本発明の目的を達し、効果を奏する範囲において、適宜変更することが可能である。 The present invention has been described with reference to the embodiment. However, the above description is intended to help understanding of the present invention and does not limit the scope of the claims of the present invention. Accordingly, various modifications can be made without departing from the gist of the present invention, and can be appropriately changed within the scope of achieving the object of the present invention and producing effects.

上記の実施の形態では、カメラ１０、ユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０及びカメラパラメータ事前計測部７０を備えた多視点カメラ映像表現システム１が、仮想パン・チルト映像表現及び多視点映像表現を実現するようにしたが、それぞれの構成要素を個々の装置として独立して構成するようにしてもよい。この場合、多視点カメラ映像表現システムは、個々の装置がネットワーク等により接続されて構成される。例えば、多視点カメラ映像表現システムは、カメラ１０と、ユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０及びカメラパラメータ事前計測部７０を備えた多視点カメラ映像表現装置とにより構成するようにしてもよいし、カメラ１０及びセレクター部３０を備えた装置と、ユーザーインターフェース２０及び注視点指定部４０を備えた装置と、射影変換部５０及び部分切り出し部６０を備えた装置と、カメラパラメータ事前計測部７０とにより構成するようにしてもよい。装置を構成する構成要素の組み合わせは自由である。 In the above embodiment, the multi-viewpoint camera video expression system 1 including the camera 10, the user interface 20, the selector unit 30, the gazing point designation unit 40, the projection conversion unit 50, the partial cutout unit 60, and the camera parameter pre-measurement unit 70. However, although the virtual pan / tilt video expression and the multi-view video expression are realized, each component may be configured independently as an individual device. In this case, the multi-viewpoint camera video expression system is configured by connecting individual devices via a network or the like. For example, the multi-view camera video expression system includes a multi-view camera including a camera 10, a user interface 20, a selector unit 30, a gazing point designating unit 40, a projective conversion unit 50, a partial clipping unit 60, and a camera parameter pre-measurement unit 70. It may be configured by a video expression device, or a device including the camera 10 and the selector unit 30, a device including the user interface 20 and the gazing point specifying unit 40, a projective conversion unit 50, and a partial cutout unit 60. And a camera parameter preliminary measurement unit 70. The combination of the component which comprises an apparatus is free.

尚、多視点カメラ映像表現システム１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボードやポインティングデバイス等の入力装置、画像やシーンを表示する表示装置、及び外部の装置と通信をするためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、多視点カメラ映像表現システム１に備えたユーザーインターフェース２０、セレクター部３０、注視点指定部４０、射影変換部５０、部分切り出し部６０及びカメラパラメータ事前計測部７０の各機能は、当該機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。 The multi-viewpoint camera video expression system 1 includes a volatile storage medium such as a CPU and a RAM, a non-volatile storage medium such as a ROM, an input device such as a keyboard and a pointing device, a display device that displays an image and a scene, and You may make it each be comprised by the computer apparatus provided with the interface for communicating with an external apparatus. In this case, each function of the user interface 20, the selector unit 30, the gazing point designation unit 40, the projection conversion unit 50, the partial cutout unit 60, and the camera parameter pre-measurement unit 70 provided in the multi-viewpoint camera video expression system 1 is the function concerned. Each is realized by causing the CPU to execute a program describing the above. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, or the like.

本発明の実施の形態に係る多視点カメラ映像表現システムのブロック構成図である。1 is a block configuration diagram of a multi-viewpoint camera video expression system according to an embodiment of the present invention. 仮想パン・チルト映像表現について説明するための図である。It is a figure for demonstrating virtual pan * tilt image | video expression. ２台のカメラによる多視点映像表現について説明するための図である。It is a figure for demonstrating the multi-view video presentation by two cameras. 複数台のカメラを用いた場合の撮影領域の例を示す図である。It is a figure which shows the example of the imaging | photography area | region at the time of using several cameras. 多視点カメラ映像表現システムの操作フロー図である。It is an operation | movement flowchart of a multiview camera image | video expression system. 仮想パン・チルト映像表現の処理フロー図である。It is a processing flowchart of virtual pan / tilt video expression. 多視点映像表現の処理フロー図である。It is a processing flowchart of multi-viewpoint video expression.

Explanation of symbols

１多視点カメラ映像表現システム
１０カメラ
２０ユーザーインターフェース
３０セレクター部
４０注視点指定部
５０射影変換部
６０部分切り出し部
７０カメラパラメータ事前計測部 DESCRIPTION OF SYMBOLS 1 Multi-viewpoint camera image representation system 10 Camera 20 User interface 30 Selector part 40 Gaze point designation part 50 Projection conversion part 60 Partial clipping part 70 Camera parameter prior measurement part

Claims

A plurality of cameras that shoot a subject from a predetermined viewpoint and output an original video of the subject respectively, and a video device that expresses a partial video centered on a gazing point designated by a user using the original video Multi-viewpoint camera video expression system
The video device includes a selector unit that outputs an original video from a camera selected by a user from among the original videos input from a plurality of cameras;
Means for holding camera parameters for each camera to convert the coordinates of the image of the subject photographed by the camera into the world coordinates of the image common to all cameras;
And a projection unit that converts an original image by the user-selected camera input from the selector unit into an image centered on a gazing point designated by the user based on a camera parameter of the camera selected by the user. A conversion unit,
When the user designates a new gazing point in a state where the partial video of the video converted by the projective conversion unit is expressed, the projective conversion unit uses the same camera that the user has previously selected. A multi-viewpoint camera video expression system that converts an original video into a video centered on the new gazing point and realizes a virtual pan / tilt video expression for expressing a partial video of the converted video .

The multi-viewpoint camera video expression system according to claim 1,
The projective transformation unit further includes means for projecting a gazing point previously selected by the user to a gazing point of the original video by the camera selected by the user based on the camera parameters of the camera selected by the user,
When a user selects a new camera in a state where a partial image of the image converted by the projection conversion unit is expressed, the projection conversion unit converts the original image from the new camera selected by the user. Based on the camera parameters of the new camera, the original video by the new camera input from the selector unit is converted into an image centered on the new gazing point, and the converted video A multi-view camera video expression system that realizes multi-view video expression for newly expressing partial video.

A multi-viewpoint camera video expression system comprising the plurality of cameras, a device having the selector unit, and a device having a projective conversion unit according to claim 1 or 2.

In the multi-viewpoint camera video representation system according to any one of claims 1 to 3,
A multi-viewpoint camera video expression system, wherein the camera is a high-resolution camera or an all-sky camera.

Multi-viewpoint camera video expression device that captures a subject from a predetermined viewpoint and inputs the original video from a plurality of cameras that respectively output the original video of the subject and expresses a partial video centered on a gaze point designated by a user In
A selector unit that outputs the original video from the camera selected by the user from among the original video input from a plurality of cameras;
Means for holding camera parameters for each camera to convert the coordinates of the image of the subject photographed by the camera into the world coordinates of the image common to all cameras;
Based on camera parameters of the camera selected by the user, means for converting the original video by the user-selected camera input from the selector unit into a video centered on the point of gaze specified by the user;
And a projective transformation unit having means for projecting a gazing point previously selected by the user onto the gazing point of the original video by the user-selected camera based on the camera parameters of the camera selected by the user. Multi-view camera video expression device characterized by

Multi-viewpoint camera video expression that captures a subject from a predetermined viewpoint and outputs the original video of the subject respectively, and inputs the original video and expresses a partial video centered on the point of interest specified by the user A program to be executed by a computer constituting the apparatus,
Selector processing that outputs the original video from the camera selected by the user from the original video input from multiple cameras,
A process for holding camera parameters for each camera to convert the coordinates of the image of the subject photographed by the camera into the world coordinates of the image common to all cameras;
Based on the camera parameters of the camera selected by the user, a process of converting the original video by the camera selected by the user input from the selector unit into a video centered on a gazing point designated by the user;
And a multi-viewpoint camera video expression program for executing a process of projecting a gazing point previously selected by the user onto a gazing point of the original video by the user-selected camera based on the camera parameters of the camera selected by the user .