JP4202943B2

JP4202943B2 - マルチカメラシステム

Info

Publication number: JP4202943B2
Application number: JP2004036397A
Authority: JP
Inventors: 茂直井; 宏志河瀬; 健治安藤; 正喜石川; 剛皆川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-02-13
Filing date: 2004-02-13
Publication date: 2008-12-24
Anticipated expiration: 2024-02-13
Also published as: JP2005229369A

Description

本発明は広視野の画像を撮影するためのマルチカメラシステムに関し、特に動画を撮影するのに好適な画像補正方式に関する。

広視野の画像を高い解像度で動画を撮影するための手段として、複数台のカメラを用いて１つの画面を構成するマルチカメラシステムが用いられている。従来のマルチカメラシステムは、カメラ毎に焦点位置が異なるように配置すると、画像の重複部分が近点と遠点で異なり正しく結合することが出来ない。このため、各カメラで撮影された画像を結合するのに、各カメラの焦点位置が同一となるように配置し、且つ撮影する画角も同一とする必要があった。

焦点位置と画角を同一とすることにより、各カメラ間を容易に結合し１つの画像を生成することが可能である。反面、カメラの設置方法の限定や、画角調整に高い精度が要求されるという問題があった。

一方、特許文献１に記載のように、焦点位置が異なるマルチカメラにて撮影された対象物の奥行きデータをフレーム毎に算出して画像合成を行う方法が知られている。

特開平８−１８８５８号公報

近年、プロジェクション装置単体の高精細化や、マルチプロジェクションシステムの登場により高解像度の広視野画像のニーズが大きくなってきている。しかし、特殊仕様の高精細カメラや上記従来技術の同一焦点に配置されたマルチカメラ、あるいは特許文献１のように対象物の奥行きデータを算出して画像を合成するマルチカメラしかなく、容易かつ安価に広視野動画像の撮影を提供するものがない。また、これらの方法では、全てのフレームに対し個別に演算を行う必要があるため、静止画には適用可能であるが動画への適用は難しい。

本発明の目的は、マルチカメラを構成する各カメラの設置自由度が高く、且つ高い設置精度を要求しない調整手段を持つマルチカメラシステム及びその画像補正方法を提供することにある。これによれば、動画の撮影に適したマルチカメラシステムを提供できる。

上記目的を達成するための本発明は、複数のカメラの撮影領域が重複部分を持つように設置して広視野の画像を撮影するためのマルチシステムであって、前記複数のカメラから撮影された画像から補正データを演算する演算手段と、撮影された画像を前記補正データに従い補正する画像処理手段とを有し、前記演算手段は、前記撮影領域の撮影対象の位置に対応して予め位置パターンを設定し、前記カメラ毎の任意の焦点により撮影された撮影画像の各々が前記位置パターン上のいずれの場所に位置するかを示す位置データを算出し、この位置データに基づいて個々の撮影画像を１枚の画像として結合するための補正データを算出し、前記画像処理手段に前記補正データを設定することを特徴とする。

また本発明は、複数のカメラの撮影領域が重複部分を持つように設置して広視野の動画像を撮影するためのマルチシステムであって、前記複数のカメラから撮影された画像から補正データを演算する演算手段と、撮影された画像を前記補正データに従い補正する画像処理手段とを有し、前記演算手段は、前記撮影領域の撮影対象上に仮想スクリーンを想定し、前記カメラ毎の任意の焦点により撮影された撮影画像の各々が前記仮想スクリーン上のいずれの場所に位置するかを示す位置データを算出し、この位置データに基づいて個々の撮影画像を１枚の画像として結合するための補正データを算出し、前記画像処理手段に前記補正データを設定することを特徴とする。前記仮想スクリーンは前記撮影対象上に対応される前記位置パターンの設定位置と同じである。

また、前記仮想スクリーン上に位置パターンを設置し、前記複数のカメラにより前記位置パターンを撮影し、個々のカメラにより撮影された個々の位置パターン撮影画像に基いて前記位置データを算出する。

本発明の作用を説明する。個々のカメラの撮影領域が重複部分を持つようにマルチカメラを設置し、且つ撮影対象上に仮想スクリーン（位置パターン）を想定する。そして、個々のカメラの焦点位置および特性を含む位置データを算出し、個々のカメラによる画像の結合点を仮想スクリーン上に限定することにより、焦点位置の異なるカメラの撮影画像が仮想スクリーン上のいずれの領域に対応するかを一意に決定し、位置データと仮想スクリーンの位置から仮想スクリーン上でマルチカメラを構成する個々のカメラが撮影した画像を結合する為の補正データを算出する。この補正データに従いマルチカメラによる撮影画像を補正することにより、仮想スクリーン上にてマルチカメラの画像を結合し、１枚の広視野で且つ高解像度の画像を作成する。

また、異なる焦点位置、画角にて配置されたマルチカメラによる撮影画像から位置データを算出するにあたり、マルチカメラの撮影領域に位置関係を判断する為の位置パターンを設置する。この位置パターンの撮影により、マルチカメラを構成する各カメラの焦点位置および画角を容易に認識することができ、精度の高いマルチカメラ位置データを得ることができる。

本発明によれば、マルチカメラを構成する個々のカメラを、仮想スクリーンの領域を含み且つ重複部分を持つように設置すればよいので、焦点位置を同一とする従来方式に比べて、マルチカメラの配置の自由度が向上する効果がある。

また、仮想スクリーンを設定することによりマルチカメラを構成する個々のカメラの仮想スクリーン上の撮影領域が一意に決まることから、焦点位置の異なるマルチカメラで撮影された個々のカメラの画像を常に１つの補正データで結合することが可能である。これにより、フレーム毎に補正データを算出する為の演算処理が不要となり、動画の撮影に適用できる効果がある。

以下、本発明の実施形態について図面を参照して説明する。図１は本発明の一実施例によるマルチカメラシステムの基本構成を示す。このマルチカメラシステムは撮影対象上の仮想スクリーン117上で、マルチカメラ101〜108の撮影領域109〜116が重複部分を持つように配置されている。

マルチカメラ101〜108は、同期発生器138からの同期信号ケーブル139〜146により同期が取られている。マルチカメラ101〜108の同期を取るのは、動画を撮影した際にマルチカメラ101〜108にて撮影された映像に同期ズレが発生しないようにする為であり、同期ズレを無視できる場合や、静止画に使用する場合等には同期を取らなくてもよい。

マルチカメラ101〜108にて撮影された画像は、映像ケーブル118〜125を通して画像処理装置126に取り込まれる。取り込まれた画像は信号ライン127を通して演算装置128に送信され、演算装置128は補正データを信号ライン127を通して画像処理装置126へ設定する。画像処理装置126は設定された補正データに従い、マルチカメラ101〜108の画像を補正し1枚の画像を生成する。

画像処理装置126にて生成された1枚の画像は、信号ライン129を通して映像再生装置に送信され、映像再生装置130は映像ケーブル131〜132を通して投影装置133〜134へ画像を出力し、投影装置133〜134はスクリーン135へ映像を投影する。なお、画像処理装置と映像再生装置は同一装置としても良い。

本例では、画像処理装置126で生成された画像を映像再生装置130にて直ちに送信しているが、画像処理装置126で生成された画像を記憶装置に保存し、その保存された画像を別途映像再生装置130にて再生してもよい。また、信号ライン129はLANやブロードバンドネットワークを使用し、画像を特定もしくは不特定多数へ配信してもよい。また、スクリーン135への投影の際に２台の投影装置133〜134によるマルチプロジェクションを行っているが、投影装置の性能や投影する画像の領域により単独の投影装置を用いてもよいし、ディスプレイ装置に表示してもよい。

以下補正データの生成方法について図２〜５を参照して説明する。図２は本発明によるマルチカメラシステムにより、１枚の画像を生成するまでの手順を示すフロー図である。まず、位置パターンの撮影から開始する。

図３と図４に位置パターンの例を示す。図３は縦横格子をベースとした位置パターン300、図４は斜め格子をベースとした位置パターン400を示し、状況に応じて選択して使用する。位置パターン300（400）は個別パターン301〜311（401〜411）を有している。個別パターン301〜311（401〜411）は、位置パターン300（400）上における唯一無二のパターンである。

本実施例においては位置パターン400を用いて説明する。位置パターン400は仮想スクリーン117の全てを覆う位置に設置すればよいが、ここでは簡単の為、位置パターンを仮想スクリーンと一致する領域となるように設置する。すなわち、位置パターンの設置領域が仮想スクリーンである。

図５はマルチカメラの撮影領域と位置パターンの関係を示す。マルチカメラ101〜108の撮影領域109〜116と位置パターン400の関係は、図５（ａ）のマルチカメラの撮影領域と位置パターンの関係図500に示される。図５（ｂ）は各カメラで撮影された位置パターンを示したもので、カメラ毎の焦点位置が異なるので、位置パターン400の個別パターン401〜411は各カメラの位置パターン撮影画像501〜508上でそれぞれ他とは異なる位置関係となっている。

図２の処理を開始すると、マルチカメラ101〜108は位置パターン400を撮影し、マルチカメラ101〜108にて撮影された位置パターン撮影画像501〜508が画像処理装置126に取り込まれる（201）。次に、画像処理装置126から信号ライン127を通して位置パターン撮影画像501〜508が演算装置128へ送信される。そして、位置パターン撮影画像501〜508内の個別パターン401〜411の位置と格子パターンから、マルチカメラ101〜108の個別及び相互の特徴を解析して位置データの算出を行い、マルチカメラ101〜108の各々の位置データを得る（202）。

ここで、位置データの算出処理について説明する。たとえば、撮影画像502の座標系をC(0,0)〜C(639,479)、位置パターン(＝仮想スクリーン)の座標系をS(0,0)〜S(1999,999)と定義する。始めに撮影画像502に対し、個別パターンの検索処理を行う。検索処理の結果、撮影画像502からは個別パターン402である「２」がC(xp,yp)にて検出される。このとき、C(xp,yp)は個別パターン402である「２」を内包する四角形の中心座標を指すものとする。

次に撮影画像502を構成するある画素の座標C(xn,yn)について、位置パターン400の画像か否かを判定する。位置パターン400の画像である場合は、格子模様のパターンと座標C(xp,yp)との関係から座標C(xn,yn)の位置パターンの座標系での座標S(xm,ym)を求める。これを撮影画像502を構成する全ての画像について行い、撮影画像502を構成する画素の座標を位置パターンの座標系に変換した場合の撮影画像変換テーブル601を作成する。

図６に撮像画像変換テーブルのデータ構成を示す。撮像画像502の場合の変換テーブル601では、撮影画像上の画素の座標（x,y）に対し位置パターン（400）上の座標が対応している。この変換方法により、撮影画像変換テーブルを全撮影画像501〜508について作成する。この撮影画像変換テーブルが位置データとなる。

次に、補正データ算出を行う（203）。各撮影画像501〜508の座標系を基準に算出された位置データである撮影画像変換テーブル(例えば撮影画像502の撮影画像変換テーブル601)から、仮想スクリーン(＝位置パターン)の座標系を基準とした補正データとして、位置パターン座標テーブル701を得る。

すなわち、位置パターンと撮影画像の関係式は、仮想スクリーン（位置パターン）の座標系をS(xm,ym)、撮影画像の座標系をCn(x,y)とすると、S(xm,ym)＝Cn(Tn(x,y))となる。上述したように、このTn(x,y)は図６の撮影画像変換テーブルを得るために撮影画像の座標系(x,y)を位置パターンの座標系に変換するための変換式である。

位置パターン座標テーブル701を得るにあたり、複数の撮影画像が重複する場所においては、予め決めた撮影画像間の優先順位に従い選択する。優先順位の決定は単純に撮影画像順でも良いが、より良い画像を得る為により歪みの少ない撮影画像に高い優先順位をつけることが好ましい。つまり位置パターンの座標系での座標を求めたとき、より変形の少ない方に高い優先順位を与える。さらに、重複する全撮影画像データの平均値を採用しても良い。

図７に位置パターン座標テーブルのデータ構成を示す。仮想スクリーン座標（x,y）に対し、撮像画像の座標が対応している。

次に、補正データ算出203処理にて得られた補正データである位置パターン座標テーブル701を、演算装置128から信号ライン127を通して画像処理装置126へ設定する補正データ設定（204）を行う。画像処理装置126は補正データであるパターン座標テーブル701に従って、仮想スクリーン117上で結合された１枚の画像を生成し（205）、処理を終了する。

以降、位置パターン画像400をマルチカメラ101〜108の撮影領域から取り去る。これにより、マルチカメラ101〜108にて撮影した画像を上記補正データに従い画像処理装置129で処理することにより、仮想スクリーン117上で結合された1枚の画像を得ることが可能となる。

このように、補正データは演算装置128が画像処理装置126を介して行う。画像処理装置126は補正時には単なる伝達ボードとなるが、補正データを設定されると補正画像を再生する。

本実施例によれば、仮想スクリーンを設定することにより、マルチカメラを構成する個々のカメラの仮想スクリーン上の撮影領域が一意に決まることから、焦点位置の異なるマルチカメラで撮影された個々のカメラの画像を常に１つの補正データで結合することが可能である。これにより、フレーム毎に補正データを算出する為の演算処理が不要となり、動画の撮影に適用できる効果がある。

本実施例によれば、予め位置パターンを配置、撮影することにより、マルチカメラの個々のカメラの撮影画像から個々のカメラの位置関係を算出することが可能となり、結合するための補正データを自動的に生成できる。これにより、マルチカメラの設置、調整が容易になる効果がある。

本発明の一実施例によるマルチカメラステムの基本的な構成図。補正データ生成処理のフロー図。位置パターン画像の一例を示す説明図（縦横市松模様タイプ）。位置パターン画像の一例を示す説明図（左右斜め市松模様タイプ）。マルチカメラによる位置パターン撮影画像を示す説明図。撮影画像の位置データである撮影画像変換テーブルのデータ構成図。補正データである位置パターン座標テーブルのデータ構成図。

符号の説明

100〜108…マルチカメラ、109〜116…マルチカメラの撮影領域、117…仮想スクリーン、118〜125…映像ケーブル、126…画像処理装置、127…信号ライン、128…演算装置、129…信号ライン、130…映像再生装置、131〜132…映像ケーブル、133〜134…投影装置、135…スクリーン、136…投影装置133の投影領域、137…投影装置134の投影領域、138…同期発生器、139〜146…同期信号ケーブル、300…位置パターン、301〜311…個別パターン、400…位置パターン、401〜411…個別パターン、500…マルチカメラの撮影領域と位置パターンの関係図、501〜508…位置パターン撮影画像、601…撮影画像変換テーブル、701…位置パターン座標テーブル。

Claims

複数のカメラにより広視野の画像を撮影するためのマルチカメラシステムであって、
撮影領域が重複部分を持つように設置された複数のカメラと、
カメラ数以上の唯一無二の個別パターンを含む位置パターンと、
前記複数のカメラから撮影された画像から補正データを演算する演算手段と、
撮影された画像を前記補正データに従い補正する画像処理手段とを有し、
前記複数のカメラは、前記カメラ毎の任意の焦点により前記撮影領域の撮影対象位置に対応して設置された前記位置パターンについて、対応する前記個別パターンと重複領域を含む撮影画像をそれぞれ撮影し、
前記演算手段は、前記撮影画像の個別パターンの位置関係に基づいて撮影画像を構成する画素の座標を前記位置パターン上のいずれかの位置を示すように対応付ける位置データを算出し、この位置データに基づいて個々の撮影画像を１枚の画像として結合するための仮想スクリーンの座標系を基準とした補正データを算出して前記画像処理手段に設定し、
前記画像処理手段は複数のカメラによって撮影された広域の撮影対象を前記補正データによって１枚の画像に合成することを特徴とするマルチカメラシステム。
請求項１において、前記位置パターンは縦横もしくは左右斜め方向の格子もしくは市松模様のパターン上にユニークな個別パターンを複数配置し、前記個別パターンの座標を認識して前記位置データを算出することを特徴とするマルチカメラシステム。
請求項１において、前記位置パターン撮影画像間における重複部分は所定の優先順位に従って選択することを特徴とするマルチカメラシステム。
請求項１において、前記画像処理手段は前記補正データの算出までは伝達ボードとして機能し、前記補正データの設定後は補正映像を生成することを特徴とするマルチカメラシステム。