JP4211653B2

JP4211653B2 - 映像生成システム

Info

Publication number: JP4211653B2
Application number: JP2004094145A
Authority: JP
Inventors: 道雄及川; 剛皆川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-03-29
Filing date: 2004-03-29
Publication date: 2009-01-21
Anticipated expiration: 2024-03-29
Also published as: JP2005286452A

Description

本発明は、ズーミング機能を有する複数のカメラ（マルチカメラ）により広視野かつ高解像度の映像を撮影し、歪み補正を行い映像を生成、表示する方法及び装置に関する。

大画面ディスプレイの発展により、大画面の映像コンテンツが必要とされてきている。そのようなコンテンツを撮影するために、マルチカメラを利用した手法が提案されている。

従来のマルチカメラを用いた広視野の映像を撮影する方法としては、下記特許文献１，２に記載のように、広視野をカバーするように、立体的にかつ放射状に配置して撮影し、各カメラで撮影された映像をつなぎあわせることにより、広視野の映像を生成するものである。これらでは、全周映像を撮影するためのカメラ配置方法や撮影した映像から一部を切り出した映像を生成する方法などについて開示されている。

また，ズームつきカメラの歪曲収差を補正するシステムについては、下記特許文献３に記載のように、あるズーム値以上の場合に事前に設定した歪み補正曲線により補正する方法，または，下記特許文献４に記載のように、複数のズーム位置に対して、無限遠と最至近に対する歪曲収差補正データを記憶することにより、少ないデータで補正を可能とする方法が知られている。

米国特許６１４１０３４号特開２００１−９４８５７号公報特開平１１−２５２４３１号公報特開２０００−１２５１７５号公報

しかしながら、上記の従来技術では、マルチカメラで撮影する際に、通常1台のカメラであれば可能であるズーミング機能について、マルチカメラにより実現する方法については示されていない。

また、マルチカメラにより撮影された映像をつなげる際には、各カメラ映像の歪みを補正することが重要となるが、上記特許文献３の従来技術では、ある範囲のズームを行った場合にのみ歪み補正を行うため、マルチカメラのカメラ間の映像のつなぎあわせについて考慮されていない。

さらに，上記特許文献４の従来技術では、記憶する歪み補正パラメータについて、被写体までの距離に応じた歪曲収差を補正するデータ量は削減しているが、カメラがとりうるすべてのズーム値に対して補正データを記憶するため、カメラのズーム値は離散的にならざるを得ず、ズーム値のステップを細かくする毎にデータが多くなる。

本発明は、撮影対象を複数の撮影手段に分けて撮影する映像生成/表示システムであって、複数の撮影手段によるズーム撮影を可能とすることを目的とする。

他の目的として、少ないデータ量により、カメラの歪みを補正し、自然な、広視野の、高解像度な映像を生成し、表示することを目的とする。

上記目的を達成するために、複数のズーム値に対応した歪み補正パラメータを記憶する手段と、前記記憶された歪み補正パラメータから現在のズーム値に応じた歪み補正パラメータを算出する手段と、マルチカメラを歪み補正後の各カメラの映像が重なりを持つように配置する手段と、各マルチカメラ映像から歪みのない一つの映像を生成する手段または、表示する手段を有するものである。また、ユーザからの要求によりズーミングを行うために、各カメラのズーム値を制御する手段を用いるものである。

本発明によれば、マルチカメラにより自然な広視野、高解像度の映像を生成、表示できるだけでなく、ズーム値に応じた歪み補正パラメータ算出とカメラ位置姿勢制御を利用することにより、少ない記憶容量により歪み補正されたズーム映像を生成、表示することが可能となる。

以下、実施例を用いて説明する。

以下、実施例の概要について、図２を用いて説明する。

本実施例では、Ｎ台のカメラから構成されるマルチカメラで、カメラ１（図中２０）〜カメラＮ（図中２１）で、撮影対象の一部又は全部をそれぞれ撮影する。

ユーザは希望のズームになるように、映像表示手段３９を見ながらズーム値をズーム値協調制御手段２４に入力し、ズーム操作を行う。ズーム値協調制御手段２４は、あらかじめ設定しておいた、ユーザの入力に応じた各カメラのズーム値をカメラ１〜カメラＮに設定する。同時に、ズーム値協調制御手段２４はカメラ位置姿勢協調制御手段２５にズーム値情報を伝達し、カメラ位置姿勢協調制御手段２５は、事前に視野角記憶手段２６に記憶しておいた各カメラの映像の歪み補正後の視野角を用い、ズーム値に応じて各カメラの映像が重なりを持つように求めたカメラの位置と向きになるよう、各カメラを制御する。

続いて、カメラ１の映像についての歪み補正について説明する。図中２８のズーム値対応補正パラメータ算出手段１は、カメラ１の複数のズーム値に対応した補正パラメータ記憶手段１（図中３０）に記憶されたデータを用い、ズーム値協調制御手段２４により設定されたズーム値に対応した補正パラメータを算出し、ズーム値対応補正パラメータ記憶手段１（図中３２）へ記憶する。カメラ映像補正手段１（図中３６）はズーム値対応補正パラメータ記憶手段１に記憶された補正パラメータを利用し、カメラ１で撮影された映像の歪みをリアルタイムに補正する。

同様に、各カメラでも歪み補正を行う。カメラＮにおいては、補正パラメータ記憶手段Ｎ（図中３１）に記憶された複数のズーム値に対応した歪み補正パラメータを利用し、ズーム値対応補正パラメータ算出手段（図中２９）により、現在のカメラＮのズーム値に対応した補正パラメータを算出し、ズーム値対応補正パラメータ記憶手段Ｎ（図中３３）に記憶する。そして、ズーム値対応補正パラメータ記憶手段Ｎに記憶されたデータを用い、カメラ映像補正手段Ｎ（図中３７）は、カメラＮの映像をリアルタイムに補正する。

映像合成手段３８は各カメラの歪み補正された映像を入力とし、各映像の重なりを利用して１つの映像を生成する。映像表示手段３９は、映像合成手段にて生成された映像、あるいは、カメラ映像補正手段１〜Ｎにより出力された各カメラの歪み補正された映像を入力とし、ディスプレイ装置（複数のプロジェクタを用いた高解像度ディスプレイなど）に表示する。

以上のような手段を実現する装置構成例を図３、及び、図４に示す。ユーザはズーム設定部６１を用いて、映像表示部７２に表示されたマルチカメラで撮影された高精細広視野映像の視野角を設定する（ステップ２０１）。ズーム設定部６１にて設定されたズーム値は、例えば、最も広角側を０、狭角側を１とし、その間の値を比率に応じて小数点で表したズーム比率を用いるものとする。ズーム値協調制御部６２では、各カメラ固有のズーム範囲において、最も広角側を０、狭角側を１として、ユーザが設定したズーム比率を用い、各カメラのズーム値を設定する（ステップ２０２）。ここで、各カメラのズーム値は、注視方向を含むカメラの解像度が高くなるように設定するなどの方法を用いても良い。

カメラ位置姿勢制御部６４では、事前に求めておいた、各カメラ毎のズーム値と視野角の関係を示すデータをズーム設定用パラメータ記憶部６３より取得し、ステップ２０２にて設定されたズーム値に対応する視野角を求める（ステップ２０３）。ステップ２０３にて求められた各カメラの視野が、事前に設定し、ズーム設定用パラメータ記憶部６３に記憶しておいた理想視点からの距離（以下指定交差距離とする）において重なるように、各カメラの位置姿勢を求める（ステップ２０４）。

例えば図１のような場合、理想視点１から各カメラは一定の距離に配置するとし、理想視点１を中心とした極座標で、カメラ３の主軸６を０度として、カメラの姿勢を求めるものとする。カメラ２の姿勢は、時計回り方向の正の値をもつ角度１６（図1(b)では、角度１８）により、カメラ４の姿勢は負の値を持つ角度１７（図1(b)では、角度１９）により制御する。なお極座標は１方向の回転角度を用い、360度の範囲で制御してもよい。

カメラの可動範囲についての設計情報を元に、カメラがステップ２０４で求めた位置姿勢を取れるかをチェックし（ステップ２０５）、可動範囲内であれば、カメラ位置姿勢協調制御部６４により、ステップ２０４で求めた位置姿勢へ各カメラを移動する（ステップ２０６）。可動範囲外の場合には、設定できないというエラー情報を出すなどのエラー処理を行う（ステップ２０７）。ここで、ズーム値協調制御部６２とカメラ位置姿勢制御部６４はマルチカメラシステム一つにつき、１つ存在すればよく、全てをハードウェアで実現しても良いし、演算部をソフトウェアで実現してもよい。

各カメラについては、それぞれカメラ映像歪み補正部（図中７３，７４）が存在するものとする。各カメラ映像歪み補正部には、事前に複数のズーム値に対応した補正パラメータを記憶する補正パラメータ記憶部（図中６６、６８）、補正パラメータ記憶部に記憶されたデータとズーム値協調制御部６２により設定された各カメラにおけるズーム値から、ズーム値に対応した補正パラメータを求めるズーム値対応補正パラメータ算出部（図中６５，６９）、および、ズーム値対応補正パラメータによるカメラ映像の補正部（図中６７，７０）が存在する。カメラ映像歪み補正部７３，７４から出力された歪み補正後の画像は映像合成部７１の入力となり、映像合成部７１で1枚の映像として接続処理された映像を映像表示部７２にて表示する。

続いて、図１と図５を用いて、ズーム値協調制御手段２４とカメラ位置姿勢協調制御手段２５について、よりユーザの直感に近くズームを制御する例について説明する。

図１は、３台のカメラ２〜４からなるマルチカメラシステムの構成例を示す。各カメラの種類は同じとし、カメラ２の主軸が５、歪み補正後の視野（以下、視野）が９、カメラ３の主軸が６、視野が１０、カメラ４の主軸が７、視野が１１としたとき、各カメラの主軸が理想視点１にて交わるように配置することにより、広視野角の自然な映像を撮影することが可能となる。

このマルチカメラシステムにおいて、ユーザがステップ２２１において、図２のズーム値協調制御手段２４により、各カメラをズームアップし、視野角を狭くする場合について説明する。このとき、ユーザが指定するズームは、１つに接続されたマルチカメラ映像の最も広角な視野角を基準としたときの、ズーム後の視野角の比率を用いる。

まず、ユーザが指定した視野角比率に応じて、両端のカメラ２，４について、ズーム値を決定する（ステップ２２２）。即ち、視野角比率が８０％であれば、カメラ２，４の視野角も８０％になるように、図３のズーム設定用パラメータ記憶部６３に記憶されたデータを用いることでズーム値を求める。つぎに、両端のカメラ２，４の視野角変更に合わせて、ユーザが指定した視野角に応じた視野範囲をカバーするように、図１(a)から(b)のように、カメラ２、カメラ４の位置姿勢を変更する（ステップ２２３）。

ここでズーム値と位置姿勢が未計算のカメラの台数をチェックし（ステップ２２４）、この実施例では１つしか残っていないので、ステップ２２７へと進む。ここでは、残るカメラ３について、既に位置が決まったカメラ２，４の視野１２，１４に合せて、指定交差距離１５でカメラ３の視野が重なるようにカメラ１の視野角と姿勢を求め、ズーム値を求める（ステップ２２７）。そして最後に、全カメラのズーム値と位置姿勢を変更する（ステップ２２８）。

ここで、ステップ２２４にて、未計算のカメラが3台以上残っていた場合、未計算のカメラのうち、両端のカメラの視野角を、ユーザが設定した視野角比率に応じて算出し、ズーム値を決定する（ステップ２２５）。次に、既に位置姿勢が求まっている両端のカメラの視野と指定交差距離にて視野が重なるようにカメラ位置を求める（ステップ２２６）。

以上のように、カメラ位置姿勢協調制御手段２５は、事前に記憶された各カメラの複数のズーム値に応じた視野角の情報を利用し、視野角に応じたカメラのズーム値を算出し、各カメラの視野が、指定交差距離において重なるように、カメラ位置姿勢を移動するものとする。なお、視野角記憶手段２６に記憶されたズーム値に応じた視野角の情報は、歪み補正後の画像における視野角の情報であるとする。

次に、図３に示したズーム設定用パラメータ記憶部６３と補正パラメータ記憶部６６、６９に記憶するデータ例を図７に示す。図７(a)に示すズーム設定用パラメータ記憶部６３に記憶される視野角データ８１は、各カメラについてのズーム値に応じた歪み補正後の視野角の情報を持つ。図７の例ではカメラＮについて、ズーム値ａ、ｂに対応して視野角がＡ、Ｂである。一方、図７(ｂ)に示す補正パラメータ記憶部に記憶する補正パラメータデータはズーム値に応じた補正パラメータを、各カメラ毎に記憶する。図７ではカメラＮに対する補正パラメータデータ８２は、ズーム値αとβに対し、補正パラメータ１と２を記憶している。ここで、補正パラメータのデータは、補正後のピクセル位置が対応する補正前画像におけるピクセル位置を記憶するものとすると、データ量がズーム値と比べて大きいため、図７のような形で、リンクの形で記憶する方法をとれば効率的である。また、視野角データ８１で記憶したズーム値ａ、ｂと補正パラメータデータ８２に記憶したズーム値α、βは一致しなくてもよいが、ズーム値に応じた視野角を求めるためには、一度歪み補正した映像を求めることにより、視野角を得る必要がある。

ここで、カメラ位置姿勢協調制御手段２５は、視野角記憶手段２６の代わりに、複数のズーム値に応じたカメラ位置姿勢記憶手段に記憶されたデータから、現在のズーム値に応じたカメラ位置姿勢を求めて、制御するようにしてもよい。カメラ位置姿勢協調制御手段における各カメラの位置姿勢の計算を単純化することが可能となる。

次に、ズーム値対応補正パラメータ算出手段２８、２９に関して、カメラＮに対応する場合を用いて説明する。

ズーム値を変更することにより、映像の歪み方が変わるため、補正パラメータ記憶手段３０，３１はズーム値に対応した歪み補正パラメータを記憶する必要がある。歪み補正パラメータは特表２００２−５３５９３８などのパターン映像を用いた手法を利用することにより求めることが可能である。

図８は、カメラＮ２１に対する補正パラメータ記憶手段Ｎ３１に記憶された、ズーム値aに対応した補正パラメータのデータの例を示す。歪み補正後の映像の画素数が横Ｗ，縦Ｈであるとする。ズーム値aの場合に、歪み補正後の映像におけるピクセル位置(1,1)に対応する、カメラＮにより撮影された補正前映像のピクセル位置を(x_a1,y_a1)として４１に記憶している。ここで、x_a1,y_a1は小数であってもよい。同様に、補正後映像のピクセル位置(2,1)に対応する補正前映像のピクセル位置を４２に、補正後映像のピクセル位置(1,2)に対応する補正前映像のピクセル位置を４３に、補正後映像のピクセル位置(W,H)に対応するピクセル位置を４４に記憶している。

しかしながら、前述のように、歪み補正パラメータはズーム値によって異なる。カメラＮがとりうるすべてのズーム値に対する歪み補正パラメータを記憶すると、大量の容量が必要となるため、いくつかのズーム値に対する歪み補正パラメータから、現在のカメラのズーム値に応じた補正パラメータを、ズーム値対応補正パラメータ算出手段Ｎ２９により求める必要がある。そこで、ズーム値b(a<b)に対応する補正パラメータが補正パラメータ記憶手段Ｎ３１にあらかじめ記憶されており、補正後映像のピクセル位置(m,n)について、ズーム値k（a<k<b）に対応する補正パラメータの値、すなわち補正前の映像ピクセル位置(x,y)を、例えば以下の式のように、線形補間により求める。

この手法を用いることにより、少なくとも、もっとも広角のズーム値と、もっとも狭角のズーム値に対する歪み補正パラメータを補正パラメータ記憶手段Ｎ３１に記憶しておくことにより、カメラＮがとりうるズーム値に対応した歪み補正パラメータを算出することが可能となる。算出したズーム値に対応した歪み補正パラメータは、ズーム値対応補正パラメータ記憶手段Ｎ３３に記憶する。以上の方法を各カメラについても行えばよい。

ただし、上記のように、２つのズーム値に対する補正パラメータだけを記憶する場合には、ズーム値対応補正パラメータ算出手段により算出された補正パラメータの精度が悪くなるため、歪み補正の精度を上げるためには、補正パラメータ記憶手段の容量との関係において、できるだけ多くのズーム値に対応した補正パラメータを記憶しておくものとする。
ここで、補正パラメータ記憶手段に記憶する補正パラメータは、色によらず１つのテーブルにより補正を行ってもよいが、RGBの色別に補正パラメータを記憶しても良い。後者の実施例によれば、ズームレンズによる色収差の補正も可能となる。

次に、カメラ映像を補正して一つの映像として表示する例を、図２、図６を用いて説明する。

まず、前述のように、ズーム値対応補正パラメータ算出手段２８，２９は、各カメラのズーム値ｋを入手する（ステップ２４１）。次に、ズーム値対応補正パラメータ記憶手段３２，３３に記憶されたズーム値の中から、ステップ２４１で入手したズーム値ｋに最も近く、ズーム値ｋを間に含むようなズーム値α、β（α＜ｋ＜β）を選択する（ステップ２４２）。次に、ズーム値対応補正パラメータ記憶手段３２，３３より、ステップ２４２で選択した２つのズーム値に対応する補正パラメータを読み込む（ステップ２４３）。ステップ２４４にて、全ピクセルの補正パラメータを求めたかどうかのチェックを行い、各ピクセル毎の補正パラメータを求める（ステップ２４５）。全ピクセルについての計算が終了したら、全ピクセル分の補正パラメータをズーム値対応補正パラメータ記憶手段３２，３３に値を設定し、カメラ映像補正手段３６，３７へ転送する（ステップ２４６）。

カメラ映像補正手段３６、３７では、例えば、特開２００３−０５２０５７などの技術をに利用することにより、リアルタイムに歪みを補正した映像を生成する。

次に、映像合成手段３８については、この時点において、各カメラの映像は理想視点を通る光軸を中心とする映像となっており、従来の技術に示したような方法を用いることにより、シームレスの自然な広視野、高解像度の映像を生成することが可能となる。また、図９に示したような、解像度の違う映像が入力された場合には特開２００１−１３６４６６に示された技術などを用いることにより、つながった映像を生成することが可能となる。

最後に、映像表示手段３９により、マルチカメラで撮影された映像が歪みなく補正された状態で表示される。映像表示手段３９に入力される映像が映像合成手段３８により、１つの映像として合成されている場合には、特開２０００−２４１８７６などに示された技術などを用いることにより、表示環境に応じたシームレスの映像を表示することが可能である。撮影するカメラの台数に無関係に、表示装置（ディスプレイやプロジェクタ）の数を決定することが可能となり、構成の自由度が高いシステムとなる。

一方、映像表示手段３９に対し、映像合成手段３８を介さずに映像が入力される場合、カメラの台数と同じ数の表示装置を利用し、理想視点からの歪みのない視野の重なった映像が入力されたときに、重なり部分の輝度を調整し、シームレスな表示ができるような映像表示手段を用意する。本実施例によれば、映像合成する処理が省けるため、撮影から表示までのリアルタイム性が向上するので、遠隔会議などのリアルタイム性が要求される用途に有効である。

また、他の実施例２について図９を用いて説明する。

カメラ５０は主軸５３に対し、視野５４が広視野で、画素数の多いカメラであるとする。一方、カメラ５１、５２は、カメラ５０に比べて視野が狭く、画素数が少ないものとし、カメラ５１の主軸が５５、視野が５６、カメラ５２の主軸が５７、視野が５８であるとする。このように、異なる種類のカメラから構成されるシステムの場合、ズーム値協調制御手段では、各カメラのズーム値を一律に制御するのではなく、各カメラの視野と解像度に応じたズームの制御を行うものとする。

同様に、カメラ位置姿勢協調制御手段２５では、各カメラの視野角に応じ、カメラの位置姿勢を制御するものとする。

本実施例によれば、関心のある中心領域を高解像度で、周辺領域を低解像度で撮影するようなことも可能となり、映像をネットワークを介して映像合成手段３８や、映像表示手段３９に送る際に、情報量を削減することも可能となる。

3台のカメラによる本発明の一実施例となる撮影配置例。Ｎ台のカメラを用いた本発明の全体構成についての例。Ｎ台のカメラを用いた本発明の装置構成例。各カメラのズーム値と位置姿勢を求めるフローの例。ユーザが直感的にズームを操作するための、各カメラのズーム値と位置姿勢を求めるフローの例。歪み補正パラメータ算出手段におけるフローの例。ズーム設定用パラメータ記憶部と補正パラメータ記憶部に記憶するデータの例。カメラＮのズーム値ａに対する補正パラメータの例。視野角などの異なるカメラを用いたマルチカメラの構成例。

符号の説明

１．理想視点
２〜４、２０、２１、５０〜５２．マルチカメラ
２４．ズーム値協調制御手段
２５．カメラ位置姿勢協調制御手段
２８、２９．ズーム値対応補正パラメータ算出手段
３６、３７．カメラ映像補正手段
３８．映像合成手段
３９．映像表示手段
４０．歪み補正パラメータデータ

Claims

各々が撮影対象の撮影範囲が異なる、ズーム機能を備えた複数の撮影部を備え、前記複数の撮影部の撮影した撮影画像から幾何学的に滑らかに繋がったひとまとまりの映像を生成する映像生成システムであって、
補正パラメータに基づいて前記撮影画像を補正して補正画像を生成する画像補正部と、
複数のズーム値に対応する補正パラメータを記憶するパラメータ記憶部と、
前記パラメータ記憶部に記憶された複数のズーム値の各々に対応する補正パラメータと、現在のズーム値とに基づいて、前記画像補正部で使用する補正パラメータを算出するパラメータ補間部と、
前記補正画像からひとまとまりの映像を生成する画像合成部とを備え、
前記補正パラメータは、前記補正画像の各画素に対応する前記撮影画像の画素位置であることを特徴とする映像生成システム。
前記パラメータ補間部は、前記現在のズーム値を挟み込む２つのズーム値を前記パラメータ記憶部から選択し、前記２つのズーム値に対応する２つの補正パラメータを前記パラメータ記憶部から読み込み、前記２つの補正パラメータに基づいて前記画像補正部で使用する補正パラメータを算出することを特徴とする請求項１記載の映像生成システム。