JP6609201B2 - 多視点映像生成システム、多視点映像生成装置およびそのプログラム - Google Patents
多視点映像生成システム、多視点映像生成装置およびそのプログラム Download PDFInfo
- Publication number
- JP6609201B2 JP6609201B2 JP2016044252A JP2016044252A JP6609201B2 JP 6609201 B2 JP6609201 B2 JP 6609201B2 JP 2016044252 A JP2016044252 A JP 2016044252A JP 2016044252 A JP2016044252 A JP 2016044252A JP 6609201 B2 JP6609201 B2 JP 6609201B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- model
- view
- video generation
- gazing point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
そして、近年では、被写体を囲むように水平でほぼ均等にカメラを配置し、同時刻における多視点の映像を取得して、被写体を多面的に見せる手法が知られている。
このような複数のカメラで撮影した映像から同時刻の多面的な映像を生成する手法は、一般的にバレットタイムと呼ばれている。また、この手法は、スポーツ映像の演出にとどまらず、映画、ドラマ等の制作においても、出演者や対象物の位置関係、表情等を、時間を止めた上で見せることで、その瞬間に対して視聴者に強い印象を与える演出にも用いられている。
なお、補間映像を生成する手法としては、例えば、画素パッチのフレーム間の移動を推定して、フレーム間の内挿処理を行う手法が知られている(非特許文献1参照)。
また、従来手法は、映像上でそれぞれのカメラにおける対応した注視点を画面上でのみ指定するため、実際に配置されている各カメラとの3次元的な位置に基づく被写体の空間的配置関係のイメージが掴みにくく、所望の演出を実現した多視点映像を生成することが困難である。
この模型カメラの指示棒の先端部によって、モデル空間において注視点の位置を指定することが可能になる。また、模型カメラの動きによって、実空間上では実現できない仮想的なカメラワークを行うことが可能になる。
これにより、操作者が模型カメラを操作したカメラワークに応じた多視点画像が生成されることになる。
本発明によれば、注視点位置を任意の位置に設定することができる。このとき、本発明は、モデル空間上の3次元空間で注視点を指定できるため、従来のような2次元平面で注視点を指定することなく、直感的に注視点の位置を指定することができる。
また、本発明によれば、多視点カメラに対応した可動範囲で模型カメラを動作可能とすることができる。これにより、本発明は、操作者が模型カメラを用いて動作可能な範囲で直感的な操作でカメラワークを決定することができる。
〔多視点映像生成システムの構成〕
まず、図1を参照して、本発明の実施形態に係る多視点映像生成システム1の構成について説明する。
ここで、模型カメラ22は、実カメラ空間SRにおけるカメラ位置とその撮影方向を、モデル空間SV上で示すための模型である。
なお、実カメラ空間SRの座標系(XRYRZR)と、モデル空間SVの座標系(XVYVZV)とは、予め対応付けておく。
このように、多視点映像生成システム1は、モデル空間SV上において、模型カメラ22を注視点Pに向けた操作者Mによるカメラワークを特定し、対応する実カメラ空間SR上の仮想的なカメラワークによる多視点映像を生成する。
多視点映像生成システム1は、多視点カメラ10と、カメラワーク指定装置20と、多視点映像生成装置30と、で構成される。
この多視点カメラ10は、多視点映像を生成する素材となる映像を撮影するため、各カメラ11は、水平方向または垂直方向、あるいは、2次元的におおむね均等に配置してもよく、円弧上、球面上等の曲線上、曲面上に配置してもよい。また、各カメラ11は、生成される多視点映像の解像度よりも高い解像度で撮影可能なカメラであってもよい。
すなわち、多視点映像を生成する対象となる被写体が予め定まっている場合、カメラ11は、その特定の対象を中心として撮影することとする。例えば、野球のピッチャーの投球フォームを解析するため、投球フォームの一場面を多視点映像として生成する場合、各カメラ11は、ピッチャーを撮影する種々の方向に配置され、ピッチャーマウンド上の所定位置を注視点とし、当該注視点を中心に撮影する。
図3には、一例として、サッカーフィールドFRを撮影する例を示す。
多視点カメラ10は、例えば、図3(a),(b)に示すように、サッカーフィールドFRのサイドラインに沿って、水平方向に6台のカメラ11と、垂直方向に4台のカメラ11とで計24台を配置して、すべてのカメラ11がサッカーフィールドFR全体を撮影する。
この模型カメラ位置指定装置21は、駆動部211,212,213の駆動量(ここでは、回転角)を、制御データとして、多視点映像生成装置30に出力する。
この多視点映像生成装置30から取得した駆動量は、操作者Mの模型カメラ22の位置操作に対する力覚フィードバックとして模型カメラ22の移動範囲に制限を与える。なお、模型カメラ22の移動範囲は、多視点カメラ10のカメラ11,11,…,11の配置で特定される範囲である。この模型カメラ22の移動範囲については、後記する多視点映像生成装置30の説明において説明する。
この模型カメラ22は、モデル空間SV上で、予め定めた注視点Pを向くように姿勢を制御する。模型カメラ22は、模型カメラ22の位置に対して、多視点映像生成装置30から、駆動部(221,222,223)の駆動量を取得し、注視点Pの位置を保持しながら、注視点Pの方向を向くように姿勢を制御する。すなわち、模型カメラ22は、操作者Mの操作による位置の移動に連動し、注視点Pを向くように姿勢を制御する。
図4に示すように、模型カメラ22は、本体部220と、回転駆動部221,222と、伸縮駆動部223と、注視点登録部224と、フレーム時刻指定部225と、ズーム値指定部226と、登録指示部227と、を備える。
本体部220は、模型カメラ22の本体である。本体部220の中心Cの位置を、模型カメラ22の位置(視点位置)とする。
このように、多視点映像生成装置30が回転駆動部221,222および伸縮駆動部223を駆動制御することで、模型カメラ22は、注視点指示部223aを注視点Pに固定し、注視点Pを向くように姿勢を制御する。
これにより、操作者Mが、所望の注視点Pを指定して、模型カメラ22を注視点Pに向けた状態で、パン、チルト等のカメラワークを行う。
これにより、多視点映像生成装置30は、操作者Mが、多視点映像を生成する時刻のフレームを探索することができる。
これにより、多視点映像生成装置30は、多視点映像を生成する際のズーム値を取得できる。
なお、カメラワーク指定装置20と多視点映像生成装置30とは、各構成において図示を省略した信号線で連結され、相互に各信号(データ、指示等)を送受する。
また、カメラワーク指定装置20は、被写体が存在せず、従来、注視点を指定することができなかった点においても、注視点を指定できる。
図1に戻って、多視点映像生成システム1の構成について説明を続ける。
この多視点映像生成装置30は、模型カメラ22の操作時において、カメラワーク指定装置20から、模型カメラ22の位置を制御する各駆動部(211,212,213)の変位データを入力し、模型カメラ22の位置を検出する。そして、多視点映像生成装置30は、模型カメラ22を所定の可動範囲内で制御する。
また、多視点映像生成装置30は、模型カメラ22の操作時において、注視点の位置を保持し、保持した注視点の位置に基づいて、模型カメラ22の各駆動部(221,222,223)を制御する。
これにより、操作者Mが模型カメラ22を所定の移動範囲を超えて動作した場合、または、模型カメラ22を異なる注視点の方向に向けようとした場合には、操作者Mに力覚フィードバックを与える。
図5に示すように、多視点映像生成装置30は、記憶部Aと制御部Bとを備える。
図6に示すように、この可動範囲は、例えば、多視点カメラ10のカメラ11,11,…,11を、モデル空間SV上に、縮尺に応じて仮想的に配置したときのカメラ11v,11v,…,11vの位置を含む最大平面領域とする。
図6(a),(b)に示すように、形状データ311は、可動範囲Rの形状である長方形の面データとする。
このように、形状データ311を曲線や曲面で定義する場合、予めカメラ11の位置に対応するモデル空間SV上のカメラ11vの3次元の位置から、例えば、非一様有理Bスプライン(Non-Uniform Rational Basis Spline:NURBS)によって求めておけばよい。
図7に示すように、例えば、形状データ311が示す形状は、カメラ11の位置に対応する位置に半球状のくぼみ(凹部)を持たせる形状としてもよい。
これにより、操作者Mは、例えば、カメラワークにおいて、実カメラの位置に対応する位置で操作を止めることで、カメラワークにより多視点映像の演出後と、実際のカメラ11への切り替わりを、視覚的に違和感なく行うことができる。
なお、この半球状のくぼみは、実カメラの位置を力覚フィードバックにより操作者Mに知覚させるものであればよく、例えば、半球状の凸形状であってもよい。
この形状データ311は、制御部Bの模型カメラ位置制御手段32によって、模型カメラ22の可動範囲を制御する際に参照される。
制御部Bのカメラワーク登録手段34は、このカメラワークデータ312を登録する。登録されたカメラワークデータ312は、映像生成手段35によって参照できる。
制御部Bの映像生成手段35は、多視点映像を生成する際に多視点カメラ映像313を参照する。
この多視点映像315は、制御部Bの映像生成手段35が生成する。そして、映像再生手段36が多視点映像315を参照して映像を再生する。
ここでは、視点映像生成装置30内部の記憶部Aは、各種の映像、各種のデータを記憶しているが、映像ごと、あるいは、データごとに個別の記憶部を設け記憶してもよいし、外部の記憶装置に記憶してもよい。
位置算出手段321は、模型カメラ位置指定装置21の駆動部(211,212,213)の変位データである回転角を取得し、模型カメラ22のモデル空間SV上の位置を算出する。なお、模型カメラ位置指定装置21の各駆動部の回転中心間の距離や、模型カメラ22の初期位置は、予め設定しておく。
位置算出手段321は、算出した模型カメラ22の位置を位置補正手段322に出力する。
位置補正手段322は、位置算出手段321で逐次算出される模型カメラ22の位置が形状データ311で特定される範囲から外れているか否かを判定する。そして、位置補正手段322は、その範囲内に模型カメラ22の位置に補正するための模型カメラ位置指定装置21の駆動部(211,212,213)の駆動量(位置補正駆動量)を算出する。
位置補正手段322は、算出した位置補正駆動量を、模型カメラ位置指定装置21に出力する。次に、位置補正手段322は、補正後の模型カメラ22の位置を、注視点位置制御手段33およびカメラワーク登録手段34に出力する。
これにより、模型カメラ位置制御手段32は、操作者Mの模型カメラ22の位置操作に対して、逐次、力覚フィードバックを行うことができる。
そして、注視点登録手段331は、登録後の注視点位置を、カメラワーク登録手段34に出力する。
姿勢補正手段332は、位置算出手段321で逐次算出される模型カメラ22の位置に対して、模型カメラ22の向きが登録された注視点を外れているか否かを判定し、模型カメラ22の姿勢を補正するための模型カメラ22の駆動部(221,222)の駆動量(姿勢補正駆動量)を算出する。
姿勢補正手段332は、算出した姿勢補正駆動量を、模型カメラ22に出力する。
伸縮補正手段333は、位置算出手段321で逐次算出される模型カメラ22の位置から、模型カメラ22の注視点指示部223aの位置が登録された注視点までの距離を算出し、現在設定されている距離との差分に対応する伸縮駆動部223の駆動量(伸縮駆動量)を求める。
そして、伸縮補正手段333は、求めた伸縮駆動量を模型カメラ22に出力する。
このように、注視点位置制御手段33は、操作者Mの模型カメラ22の位置操作に対して、逐次、模型カメラ22の注視点指示部223aを注視点Pの位置に固定するように力覚フィードバックを行う。
このカメラワーク登録手段34は、模型カメラ位置制御手段32から入力される模型カメラ位置と、注視点位置制御手段33から入力される注視点位置と、模型カメラ22から入力される登録操作指示のうち、フレーム時刻指定部225で指定される回転量に応じたフレーム時刻と、ズーム値指定部226で指定されるスライド量に応じたズーム値とを、映像生成手段35に出力し、カメラワーク開始時の映像の生成を指示する。これにより、カメラワーク登録手段34は、カメラワーク開始時の映像を映像生成手段35によって操作者Mに確認させる。
映像生成手段35は、画像抽出手段351と、補間画像生成手段352と、を備える。
この画像抽出手段351は、多視点カメラ位置・姿勢データ314から、個々のカメラ11の画角を特定し、指定された注視点の位置を中心とする注視点画像を射影変換により抽出する。
なお、画像抽出手段351は、すべてのカメラ11のフレーム画像から注視点画像を抽出する必要はなく、補間画像生成手段352で必要とするカメラ11のみの注視点画像を抽出してもよい。
例えば、補間画像生成手段352は、カメラ11のモデル空間SV上の位置と、模型カメラ22の位置との距離に応じた重み付けで、画像抽出手段351で抽出された注視点画像を平均化することで、補間画像を生成する。
なお、補間画像生成手段352は、非特許文献1の手法によって、高品質に補間画像を生成してもよい。あるいは、補間画像生成手段352は、補間を行わずに、模型カメラ22の位置に対応する実カメラ空間SRで最も近いカメラ11の画像を用いることとしてもよい。
このような補間画像生成手段352における補間画像生成処理は、多視点映像生成装置30の性能(CPU性能等)に応じて予め定めておく。
この映像再生手段36は、例えば、図示を省略したスイッチ等によって、映像確認の再生を指示された場合、記憶部Aに記憶された多視点映像315を読み出して、表示装置Dに出力する。
これにより、映像再生手段36は、生成した多視点映像を、操作者Mが確認後、放送に利用することができる。
また、多視点映像生成装置30は、模型カメラ22の操作によって、カメラワークを直感的に把握することができ、多視点カメラにおけるカメラワークを容易に決定することができる。
なお、多視点映像生成装置30は、図示を省略したコンピュータを、前記した各手段として機能させる多視点映像生成プログラムで動作させることができる。
次に、図8を参照(構成については、適宜図1、図4、図5参照)して、多視点映像生成システム1の動作について説明する。ここでは、主に、制御の主体となる多視点映像生成装置30の動作について説明する。
なお、多視点映像生成装置30の記憶部Aには、模型カメラ22のモデル空間SV上の可動範囲を示す形状データ311が記憶されているものとする。
このとき、多視点映像生成装置30は、模型カメラ位置制御手段32の位置算出手段321によって、模型カメラ位置指定装置21から入力される駆動部(211,212,213)の変位データから、模型カメラ22の位置を逐次算出する(ステップS2)。
これにより、模型カメラ22の可動範囲が、多視点映像を生成可能な範囲に制限されることになる。
なお、記憶部Aに記憶された多視点映像315は、適宜、映像を確認する際に、映像再生手段36によって読み出されて表示装置Dに出力されたり、放送用の映像として、外部に出力されたりする(ステップとして図示せず)。
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、多視点映像生成装置30が、内部に模型カメラ位置制御手段32と注視点位置制御手段33とを備える構成としたが、これらの構成は、それぞれ、模型カメラ位置指定装置21や模型カメラ22の内部に備える構成としてもよい。
しかし、注視点指示部223aを物理的に注視点Pの位置に固定することとしてもよい。例えば、図9に示すように、モデル空間SVのフィールドFVに物理的にポール228を立てて、その先端部と模型カメラ22の指示棒223bとをユニバーサルジョイント等の回転自在の駆動機構223cで連接することで、駆動機構223cの中心を注視点とすればよい。
このように、模型カメラ22の注視点指示部223aを物理的に固定する場合、多視点映像生成装置30は、図10に示す多視点映像生成装置30Bの構成とすればよい。すなわち、図10に示すように、注視点位置制御手段33(図5)から、姿勢補正手段332と伸縮補正手段333とを省略し、注視点位置制御手段33Bとすればよい。
10 多視点カメラ
11 カメラ
20 カメラワーク指定装置
21 模型カメラ位置指定装置
211 回転駆動部
212 回転駆動部
213 回転駆動部
22 模型カメラ
221 回転駆動部
222 回転駆動部
223 伸縮駆動部
223a 注視点指示部(先端部)
223b 指示棒
30 多視点映像生成装置
32 模型カメラ位置制御手段
321 位置算出手段
322 位置補正手段
33 注視点位置制御手段
331 注視点登録手段
332 姿勢補正手段
333 伸縮補正手段
34 カメラワーク登録手段
35 映像生成手段
351 画像抽出手段
352 補間画像生成手段
36 映像再生手段
P 注視点
Claims (6)
- 実カメラ空間の多視点カメラで撮影された映像から、前記多視点カメラの配置をモデル化したモデル空間において操作者が操作した模型カメラのカメラワークに応じた多視点映像を生成する多視点映像生成システムであって、
前記操作者の注視点を指し示す伸縮自在の指示棒を備えた前記模型カメラを前記モデル空間上の所定の可動範囲で動作させるカメラワーク指定装置と、
前記モデル空間上で前記操作者が指定した前記注視点の位置に前記指示棒の先端部を固定して、前記多視点カメラの配置に対応する範囲となるように前記所定の可動範囲で前記カメラワーク指定装置を制御し、前記模型カメラによって指定した前記注視点に対応する前記実カメラ空間上の位置を実際の注視点として、前記多視点カメラで撮影された映像から、前記カメラワークに対応する前記多視点映像を生成する多視点映像生成装置と、
を備えることを特徴とする多視点映像生成システム。 - 前記多視点映像生成装置は、
前記モデル空間における前記模型カメラの可動範囲を示す形状データに基づいて、前記模型カメラの位置を前記可動範囲内に補正する模型カメラ位置制御手段と、
前記模型カメラの前記先端部が前記注視点の位置を保持するように、前記模型カメラの姿勢および前記指示棒の長さを補正する注視点位置制御手段と、
前記多視点カメラの各映像の指定された時刻におけるフレーム画像から前記注視点を中心とする画像を抽出し、前記カメラワークに基づいた前記多視点映像を生成する映像生成手段と、
を備えることを特徴とする請求項1に記載の多視点映像生成システム。 - 前記模型カメラ位置制御手段は、前記模型カメラの可動範囲を示す前記形状データが、前記多視点カメラの配置に対応する線形状または面形状のデータであって、前記多視点カメラを構成する個々のカメラの位置に対応する位置に凹部または凸部の形状を有するデータを用いることを特徴とする請求項2に記載の多視点映像生成システム。
- 請求項1に記載の多視点映像生成システムにおける多視点映像生成装置であって、
前記多視点カメラの配置に対応する前記モデル空間における前記模型カメラの可動範囲を示す形状データに基づいて、前記模型カメラの位置を前記可動範囲内に補正する模型カメラ位置制御手段と、
前記模型カメラの前記先端部が前記注視点の位置を保持するように、前記模型カメラの姿勢および前記指示棒の長さを補正する注視点位置制御手段と、
前記多視点カメラの各映像の指定された時刻におけるフレーム画像から前記注視点を中心とする画像を抽出し、前記カメラワークに基づいた前記多視点映像を生成する映像生成手段と、
を備えることを特徴とする多視点映像生成装置。 - 前記模型カメラ位置制御手段は、前記形状データとして、前記多視点カメラの配置に対応する線形状または面形状のデータであって、前記多視点カメラを構成する個々のカメラの位置に対応する位置に凹部または凸部の形状を有するデータを用いることを特徴とする請求項4に記載の多視点映像生成装置。
- コンピュータを、請求項4または請求項5に記載の多視点映像生成装置として機能させるための多視点映像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016044252A JP6609201B2 (ja) | 2016-03-08 | 2016-03-08 | 多視点映像生成システム、多視点映像生成装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016044252A JP6609201B2 (ja) | 2016-03-08 | 2016-03-08 | 多視点映像生成システム、多視点映像生成装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017163245A JP2017163245A (ja) | 2017-09-14 |
JP6609201B2 true JP6609201B2 (ja) | 2019-11-20 |
Family
ID=59854147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016044252A Expired - Fee Related JP6609201B2 (ja) | 2016-03-08 | 2016-03-08 | 多視点映像生成システム、多視点映像生成装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6609201B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7006912B2 (ja) * | 2017-09-25 | 2022-01-24 | 国立大学法人 筑波大学 | 画像処理装置、画像表示装置及び画像処理プログラム |
-
2016
- 2016-03-08 JP JP2016044252A patent/JP6609201B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017163245A (ja) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102105189B1 (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
JP4700476B2 (ja) | 多視点映像合成装置及び多視点映像合成システム | |
JP7349793B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5596972B2 (ja) | 撮像装置の制御装置および制御方法 | |
US20210392275A1 (en) | Camera array for a mediated-reality system | |
WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
US20130044181A1 (en) | System and method for multi-viewpoint video capture | |
JP6609112B2 (ja) | 多視点映像表現装置及びそのプログラム | |
JP6055223B2 (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
KR101270025B1 (ko) | 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치 | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6609201B2 (ja) | 多視点映像生成システム、多視点映像生成装置およびそのプログラム | |
JP4439373B2 (ja) | 多視点カメラ映像表現システム、装置及びプログラム | |
JP2008017348A (ja) | 映像表示装置、映像信号の歪み補正処理方法 | |
JP2015126402A (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP2019133214A (ja) | 画像表示装置、該装置を含む映像表示システム、画像表示方法および画像表示用プログラム | |
JP7395296B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7455524B2 (ja) | 情報処理装置、設定方法、及びプログラム | |
JP7006912B2 (ja) | 画像処理装置、画像表示装置及び画像処理プログラム | |
JP4498450B2 (ja) | ディスプレイ装置 | |
JP6073114B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP7498616B2 (ja) | Vr映像生成装置及びプログラム | |
JP6606397B2 (ja) | 多視点ロボットカメラ制御装置及びそのプログラム | |
WO2024070763A1 (ja) | 情報処理装置、撮影システム、情報処理方法、プログラム | |
JP5988842B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6609201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |