JP3888266B2

JP3888266B2 - 広視野角映像撮影装置

Info

Publication number: JP3888266B2
Application number: JP2002252339A
Authority: JP
Inventors: 俊夫守屋; 史子紅山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-08-30
Filing date: 2002-08-30
Publication date: 2007-02-28
Anticipated expiration: 2022-08-30
Also published as: JP2004096269A

Description

【０００１】
【発明の属する技術分野】
本発明は、実写映像の撮影技術に関し、さらに詳しくは、超高精細で且つ広視野角のディジタル映像を取り扱う高臨場感ディスプレイ技術 (IPT : Immersive Projection Technology) や、全方位ビジョン (Omni-directional vision) 技術に関する。
【０００２】
【従来の技術】
球面、柱面、平面マルチといったさまざまな形状のスクリーンに、超高精細、広視野角の映像を観るものを取り囲むように表示することで、臨場感溢れる映像空間を提供しようとする高臨場感ディスプレイ (IPD : Immersive Projection Display) が、多くの分野で注目されるようになっているが、ここにおいて、そこに表示する映像の取得方法、すなわち、超高精細、広視野角映像の撮影手段の確立が課題となっている。
【０００３】
ある球面スクリーン型 IPD システムを例に挙げると、精細度については横方向 6000 画素以上の表示を行い、また視野角については水平方向 180°の表示を行うことが可能である。よって、コンテンツ作成時にはこのような仕様を満たす特殊な映像を撮影しなければその長所を生かすことができない。しかしながら、一般のテレビやハイビジョンを対象としたカメラシステムでは、画素数が横方向 720〜2000画素程度であり、また広角レンズを用いた場合でも視野角が 90°程度となるため、どちらの要素についてもその性能は全く不十分である。
【０００４】
そこで、特殊な手段を用いることでこれを実現させようとする研究がされており、またすでに実用的なシステムとして開発されているものもある。これらはサーベイ論文「八木康史, 横矢直和, "全方位ビジョン:センサの開発と応用の最新動向," 情報処理学会論文誌, コンピュータビジョンとイメージメディア, Vol. 42, No. SIG 13(CVIM 3), 2001.」において詳しく報告されている。
【０００５】
超高精彩・広視野角な映像を撮影する方法は、大きく以下の３つのタイプに分けられる。
（１）魚眼レンズ、全方位レンズ（Omni-Directional レンズ）などの特殊光学系を用いる方法と、
（２）１台のカメラを回転・移動させて複数の映像を撮影し、それらを接続する方法と、
（３）複数のカメラを並べて撮影し、それらの映像を接続する方法とがある。
【０００６】
（１）の方法は、特殊レンズによって、超広視野角な映像情報を独自の射影形式でCCD等の撮像系に投影し、１カメラの映像信号として取得しようとするもので、ポータビリティーに優れ、広い視野角の映像を撮影する、という目的においては最も実用的な手段と考えられる。しかしながら、ハイビジョンカメラ等の一般のカメラに特殊レンズを装着するため、解像度の意味では従来のままであり、要求される超高精細映像を撮ることができない。超高精細映像を扱うことができる特殊なCCD撮像系や、データ入出力用インタフェース、およびハードディスク等の記録装置を開発することで、理論的には超高精細映像への対応も可能であるが、特殊レンズに対応した光学的特性を持つ特殊CCDや、そのCCDから数百ギガバイト/秒の転送速度でデータを出力するインターフェース等の極めて特殊で高性能なデバイスを用意しなければならず、これらは現在の技術においては実施が極めて困難と考えられる。
【０００７】
これに対して、（２）（３）の方法では、撮影枚数を増やしたり、カメラを増やすことで、原理的には映像の精細度は無制限に設定することができる。また構成要素となる個々のカメラ等の撮像系も、汎用に使われるカメラや、アナログビデオレコーダやディジタルビデオレコーダが利用できるので、その実装は極めて現実的である。しかしながら、各画像をつなぎ合わせて１枚の高精細、広視野角の映像を、理想的なクオリティーを持って作成するためには、異なる方向を向いたそれぞれのカメラの光学中心が一致する、すなわち単一視点制約が満たされなければならない。
【０００８】
（２）については、カメラの光学中心を移動せずに回転するカメラを開発した報告がされている「和田俊和, 浮田宗伯, 松山隆司, "視点固定型パン・チルト・ズームカメラとその応用," 電子情報通信学会論文誌, Vol. J81-D-II, No. 6, pp. 1182-1193, 1998.」。これによると、単一視点制約が満たされた場合の各撮影映像が、幾何学的には完全にシームレスに接続することができる。しかしながら本手法によると、ひとつのカメラを使って時系列的に撮影した画像をつなぎ合わせて一枚の大きな画像を作成するため、最終的にできあがる画像が、静止画に限定される。
【０００９】
一方（３）の方法は、図２のようにカメラ（２１０）を異なる方向を向くように配置させて、すべてのカメラ間の同期を取りながら撮影するものである。この場合、前述の（２）のタイプとは異なり動画像が撮影できる。しかしながら、本手法は別の問題が生じている。それは、単一視点制約を満たす撮影がほとんど不可能であるということである。一般にカメラの光学中心（２９０）はレンズ位置付近になるため、図２からわかるように一般のカメラを使い、この光学中心が一致するように複数配置することは不可能である。よって、この場合は各撮影画像を近似的な手法で接続するという、アプローチが不可欠となる。このような手法として mosaicing という技術があり、例えば文献「R. Szeliski and H. Y. Shum, "Creating full view panoramic image mosaics and environment maps," ACM SIGGRAPH, pp.251-258, 1997.」などに詳しい。しかしこれはあくまで近似処理による映像生成であり、一般にクオリティーの劣化は避けられない。このクオリティーの劣化の度合いは、各カメラの光学中心位置のずれの大きさできまる。よって、カメラを配置する際には、この光学中心の位置のずれ（図２ Δd）がなるべく小さくなるようにしなければならない。カメラをなるべく多く利用するということは、図２と図３との比較でわかるように、Δd を小さくする効果があり、また、超高精細映像を取得するという目的においても望ましいが、実際のカメラの形状等を考慮すると、図３に示すような数のカメラの配置は不可能である。
【００１０】
【発明が解決しようとする課題】
従来の技術による撮影手段によると、前項で述べたとおり、（１）のタイプのものについては一般に超高精細な映像を撮影することができず、またそれに対応させる機器の開発は現在の技術では極めて困難である、という問題を持っている。これに対し、（２）のタイプのものでは、出来上がる画像が静止画に限定されてしまう問題がある。（３）のタイプは、動画を扱え、さらに汎用のビデオカメラを利用できる長所があるものの、カメラの配置の制約から、隣り合うカメラの光学中心のずれが大きくなってしまい、できあがる映像の品質に問題が生じてしまう。
【００１１】
以上をまとめると、
・現実的手段で実装できること、
・動画が扱えること、
・画像接合時に隣り合う画像がなるべくシームレスにつながること（映像の品質がよくなること）といった特徴を持つ撮影手段の構築が必要となっていることがわかる。その１手段として考えられるのが、タイプ（３）についての短所を改善させることであり、具体的には、タイプ（３）の複数カメラによる撮影手段の実現において、カメラ数を増やしながらも、各カメラ間の光学中心のずれがなるべく少なくなるようにすることという課題に取り組むことである。
【００１２】
本発明の目的は、この課題を解決することで、現実的手段で実装でき、動画が扱え、高品位な、超高精細且つ広視野角の映像撮影手段を提供することにある。
【００１３】
【課題を解決するための手段】
上記課題を解決するため、本発明では、複数カメラによる撮影装置において、この複数カメラを、その配置上の中心点を中心軸に高速回転させながら、ある決められたタイミングで各カメラの映像撮影を行う手段を提供する。これにより、実際のカメラ数以上のカメラを用いて撮影することと全く同じ効果を得ることができる。
【００１４】
より具体的に言うと、本発明による装置は、映像撮影部と撮影制御部より構成され、その映像撮影部は、複数のカメラと、その設置台より構成される。その設置台は回転軸を中心に回転手段によって回転させることができる。
【００１５】
また撮影制御部は、その回転手段を制御する手段と、複数のカメラの撮影タイミングを制御する手段と、それらのカメラによるそれぞれの撮影データを入力する手段と、その映像データを接合する画像変形手段を備える。
【００１６】
【発明の実施の形態】
図１は、本発明の実施の形態の１例における、装置の構成図である。本図を用いて、全体の構成を説明する。
【００１７】
本装置は大きく、映像撮影部（２００）、撮影制御部（３００）の２つの装置で構成される。
【００１８】
映像撮影部（２００）は、複数のビデオカメラ（２１０）、ビデオカメラを設置するビデオカメラ設置台（２２０）、ビデオカメラ設置台を回転させるモータや歯車から構成される回転装置（２３０）、回転装置の回転速度等の制御を行う回転制御装置（２４０）、ビデオカメラの撮影映像信号やビデオカメラの同期信号などを入出力する映像撮影部ビデオカメラ信号インターフェース（２５０）から構成される。
【００１９】
撮影制御部（３００）は、前記回転制御装置に回転制御信号を入出力する回転制御インターフェース（３１０）、前記ビデオカメラ信号インターフェースと、ビデオ映像信号やビデオ制御信号の入出力を行う撮影制御部ビデオカメラ信号インターフェース（３２０）、各装置のデータ転送を行うシステムバス（３３０）、あらかじめ決められたプログラムやその時の状況に応じて、各種処理を行うCPU等の中央演算装置（３４０）、プログラムや映像データを保存するメモリ等の主記憶装置（３５０）、同じくプログラムや映像データを保存するハードディスク等の外部記憶装置（３６０）、ユーザからの操作の受付けや状態の表示を行うディスプレイ等のモニタ装置（３７０）およびキーボードやマウス等の入力装置（３８０）から構成される。以上が全体の構成である。
【００２０】
次に、図４、図５を用いて前記映像撮影部におけるビデオカメラ（２１０）とビデオカメラ設置台（２２０）について説明する。図４は、これらを上から見たものである。図５は、これを横から見たものである。複数のビデオカメラ（２１０）は、ビデオカメラ設置台（２２０）に、等間隔、対称で、それぞれが外側を向くように固定される。その中心に回転装置（２３０）の回転軸（２６０）が接合される。よって、このビデオカメラ設置台（２２０）およびビデオカメラ（２１０）は、この軸を中心に回転されることになる。なお、ビデオカメラ（２１０）は、高速動画像撮影機能および撮影タイミングの外部制御機能を持つものとする。なお、ビデオカメラの配置は、図４に限定されるものではなく、各カメラの形状を考慮した上で隣り合うビデオカメラの光学中心の水平方向のずれを小さくする配置としては、図６にあげたようなものも考えられる。
【００２１】
次に、図１における回転装置（２３０）、回転制御装置（２４０）、映像撮影部ビデオカメラ信号インターフェーズ（２５０）について詳しく説明する。回転装置（２３０）は前述のビデオカメラ（２１０）およびビデオカメラ設置台（２２０）を回転軸（２６０）廻りに回転させる機能を持つ。さらに、回転位置や回転速度の制御機能を持つものとする。これは、ステッピングモータや各種センサによるフィードバック制御などの利用により実現可能である。回転制御装置（２４０）は、撮影制御部（３００）の指令に基づき、回転装置（２３０）の回転速度を制御する。映像撮影部ビデオカメラ信号インタフェース（２５０）は、前述のビデオカメラ（２１０）で撮影した映像信号を出力したり、撮影制御部（３００）から送られるビデオの撮影タイミングの指令信号などの入力を行う。この映像撮影部ビデオカメラ信号インタフェース（２５０）と前述のビデオカメラ（２１０）を結ぶ信号線は、回転時も常に電気的に接続されている必要があるが、これは無線装置の利用や、回転装置（２３０）の回転軸（２６０）に金属ブラシなどの手段を加えることで実現される。
【００２２】
次に、図７、図８を用いて、撮影制御部（２００）における全体の処理の流れを説明する。
【００２３】
処理は大きく、撮影制御処理部（４００）と映像作成処理部（５００）から構成される。
【００２４】
撮影制御処理部（４００）では、まず撮影パラメータを決定する（４０５）。これはあらかじめ固定値に決めておくほか、ユーザとの対話処理で決めることもできるが、その際には図１におけるモニタ装置（３７０）や入力装置（３８０）を利用する。パラメータは、仮想カメラ数 N[個] と、仮想フレームレート F [フレーム/秒] および、隣り合うカメラ間の撮影タイムインターバルΔt[秒] である。仮想カメラ数とは、カメラを回転させることで、あたかも多数のカメラが配置されているのと同じ効果を出そうとする際のカメラ数であり図３にあらわされるようなものである。仮想フレームレートとは、それぞれの仮想カメラの撮影するフレームレートである。
【００２５】
このパラメータと、図１におけるビデオカメラの実際の数および配置、シャッタータイミングの方針設定により、回転装置（２３０）の回転速度 w[回転/秒]と、各カメラのシャッタータイミング T(n, fn) が計算される（４１０）。なおここで、 n は仮想カメラの番号、fn はそのカメラにおける撮影開始時から数えたフレーム番号である。
【００２６】
一例を用いて、その具体的な値を示す。
ビデオカメラを図２に示すとおり、60°間隔に６台設置するものとする。これを20°間隔の18台のビデオカメラがF = 30[フレーム/秒] のフレームレートで撮影するのと仮想的に等価のものとして実現する。1/30 秒ごとに各ビデオカメラは図２の位置にいなければならないから、回転速度は少なくとも w0 = 60°÷1/30 = 1800° = 5[回転/秒] でなければならない。このとき、各ビデオカメラが 1/90秒毎のタイミングでシャッターを切れば、20°ごとに、秒30枚の映像が撮影されることになる。
【００２７】
しかしながら、この場合は隣あう３つの画像の撮影時刻がそれぞれΔt = 1/90秒ずつずれてしまう、という問題が生じる。そこで、回転速度を w0の整数倍上げる。例えばこれを3倍し、w = 1800°×3 =5400°= 15 [回転/秒] とする。このとき、各ビデオカメラが 20°進む時間は、20°÷5400° = 1/270秒となるから、隣あう３つの画像の撮影時刻のずれは、高々 Δt =1/270 秒で済むことになる。あるビデオカメラのシャッターのタイミング T(n, fn) は、図９に示すとおり、シャッター１, 1/270秒のインターバル、シャッター２、1/270秒のインターバル、シャッター３、7/270秒のインターバル、シャッター４、1/270秒のインターバル・・・、を実現させるものとなる。
【００２８】
以上の値が定まると、この回転速度で回転装置（２３０）を回転させるような制御信号を、撮影制御部（３００）の回転制御インターフェース（３１０）から映像撮影部（２００）に対して送信する（４１３）。
【００２９】
次に、前述のシャッタータイミングを実現するようなタイミングにおいて（４１５）、シャッター信号を、撮影制御部ビデオカメラ信号インターフェース（３２０）から映像撮影部ビデオカメラ信号インターフェーズ（２５０）に対して送信する（４２０）。このタイミングを前述の値を例に図示したものが図９である。各ビデオカメラに対してシャッター信号が発せられるタイミングを、ビデオカメラ１、ビデオカメラ２、ビデオカメラ６を例に、横軸が時刻となるように表している（７１０）（７２０）（７６０）。図からわかるように、1/270 秒毎にシャッター信号を３回ずつ連続して発する（７０１）（７０２）（７０３）。この一連のシャッター信号によって撮影される映像が、仮想的に18台とした全体のビデオカメラの第１フレームの撮影映像（８００）となる。さらに7/270秒間をおいて、同様にシャッター信号を３回連続して発する（７０４）（７０５）（７０６）。これが第２フレームの映像信号（９００）となる。以下この繰り返しである。この処理を、撮影中止命令がユーザからあるまで続ける（４２５）。
【００３０】
一方、映像作成処理部（５００）では、映像撮影部（２００）の映像撮影部ビデオカメラ信号インターフェーズ（２５０）から出力される画像データを、撮影制御部（２００）の撮影制御部ビデオカメラ信号インターフェース（３２０）から入力し、主記憶装置（３５０）に取り込む（５０５）。この処理を前述の仮想フレームレート F [フレーム/秒]の逆数として算出されるフレーム間隔 T[秒/フレーム]の間連続して続ける（５１０）。その後、各ビデオカメラで各時刻に撮影された画像データを、時刻とビデオカメラの配置、回転速度、シャッタータイミング等から算出される、ビデオカメラの撮影時の位置に合わせて並べ変え（５１５）、例えば上述の例では、仮想的に 20°毎に並べられた18 台のビデオカメラで撮影された映像として扱えるようにする。そして、これらの複数の画像を、mosaicing の手法によってシームレスに見えるように接続する（５２０）。その具体的な処理内容は、例えば前述の文献「R. Szeliski and H. Y. Shum, "Creating full view panoramic image mosaics and environment maps," ACM SIGGRAPH, pp.251-258, 1997.」に記載されているような手法を用いる。以上によって作成された１枚の360°視野角の高精細画像データを外部記憶装置（３６０）などに記録する（５２０）。以上の処理をユーザ等による撮影中止命令が発せられるまで続ける（５２５）。
【００３１】
以上が、撮影制御処理部（４００）と映像作成処理部（５００）のそれぞれの処理内容ならびに処理手順である。なおこれらの処理は、図１の撮影制御部における各構成装置によって実施される。各処理内容は主記憶装置（３５０）と外部記憶装置（３６０）に記録されるプログラムにおいて記述され、これに従い中央演算装置（３４０）が処理制御を行う。データはシステムバス（３３０）を通して各構成装置間を転送される。撮影制御処理部の処理内容は、撮影制御処理プログラム（６００）に記述され、映像作成処理部の処理内容は、映像作成処理プログラム（６１０）に記述される。
【００３２】
【発明の効果】
本発明によれば、従来配置的な制約から実現が不可能だった、極めて多くの汎用ビデオカメラによる広視野角映像の撮影が、少ない数の同様のビデオカメラで実質的に等価に行うことができるため、技術的に難度の高いな特殊な撮像系を準備することなく、超高精細で高品位な動画映像を撮影することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である装置の全体全体項構成図である。
【図２】６台のビデオカメラによる広視野角映像の撮影方法を説明する図である。
【図３】１８台のビデオカメラによる広視野角映像の撮影方法を説明する図である。
【図４】本発明の一実施形態である映像撮影部の装置を上から見た図である。
【図５】本発明の一実施形態である映像撮影部の装置を横から見た図である。
【図６】本発明の一実施形態である映像撮影部のビデオカメラの配置の例を示す図である。
【図７】本発明の一実施形態である撮影制御処理部の処理を示すフローチャートである。
【図８】本発明の一実施形態である映像作成処理部の処理を示すフローチャートである。
【図９】本発明の一実施形態であるシャッタータイミングの例を示す図である。
【符号の説明】
２００映像撮影部、３００撮影制御部、２１０ビデオカメラ、２３０回転装置、２４０回転制御装置、２６０回転軸、３１０回転制御インタフェース、３５０主記憶装置、３７０モニタ装置、３８０入力装置

Claims

異なる方向を向いた複数の映像撮影手段で構成される広視野角映像撮影装置において、
該映像撮影装置は映像撮影部と映像制御部より構成され、
該映像撮影部は、該複数の映像撮影手段とその設置台より構成され、該設置台は回転軸を中心に回転手段によって回転され、
該撮影制御部は、該回転手段を制御する手段と、該複数の撮影手段の撮影タイミングを制御する手段と、該複数の撮影手段による複数の撮影データを入力する手段と、該複数の撮影データを接合する画像変形手段を備え、
該複数の映像撮影手段の撮影タイミングは、操作者の指定する仮想撮影手段の数を表すパラメータと、仮想フレームレートを表すパラメータと、隣り合う映像撮影手段間の撮影タイムインターバルを表すパラメータから算出される広視野角映像撮影装置。
前記複数の映像撮影手段は、前記設置台に前記回転軸を中心に等間隔にかつ点対称に配置される、請求項 1 記載の広視野角映像撮影装置。
前記複数の撮影手段の撮影方向は、前記回転手段の回転の半径方向と異なる、請求項 2 記載の広視野角映像撮影装置。
前記複数の撮影手段の撮影方向と前記回転手段の回転の半径方向が成す角度が全て等しい、請求項 3 記載の広視野角映像撮影装置。
前記回転手段の回転の中心を中心とし、前記複数の撮影手段の光学中心によって形成される円の半径が最小となる、請求項 4 記載の広視野角撮影装置。