JP3798747B2

JP3798747B2 - Wide area photographing method and apparatus using a plurality of cameras

Info

Publication number: JP3798747B2
Application number: JP2002350441A
Authority: JP
Inventors: 聡寿石井; 友紀子田澤; 瑞男月舘
Original assignee: Chuo Electronics Co Ltd
Current assignee: Chuo Electronics Co Ltd
Priority date: 2002-12-02
Filing date: 2002-12-02
Publication date: 2006-07-19
Anticipated expiration: 2022-12-02
Also published as: JP2004186922A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数台のカメラを使用して広域を撮影する方法に関し、各カメラで撮影した映像の重なりを補正しながら連結する技術に関する。
【０００２】
【従来の技術と発明が解決しようとする課題】
広域を撮影する方法として、広角レンズを備えたカメラ（広角カメラ）を使用して撮影する方法があり、広域の高解像度映像を撮影する場合、広角レンズを備えた高解像度カメラを使用していた。
そして例えば、広角レンズを備えた高解像度カメラを映像監視システムに導入し、監視領域内の詳細映像を取得し、監視を行っていた（例えば、未公開特許出願１を参照）。
【０００３】
【未公開特許出願１】
特願２００２−１６７３１０
【０００４】
しかし、１台の高解像度カメラを使用して広域を撮影することには限界があった。
例えば、高解像度用カメラは高精度レンズを使用するため、高解像度用の広角レンズを製造するのが難しく、レンズ製造技術に限界があった。
また画素数を上げると、フレームレートが下がることや画素あたりの光量が下がることから、動画で使える画素数には限界があり、そのため、広域（広範囲）かつ高解像度の映像を取得するのにも限界があった。
【０００５】
一方、監視領域内に複数台のカメラを設置して監視領域内の区画をそれぞれ撮影し、各カメラで撮影した映像をそれぞれモニタに表示して監視する方法もあるが、この場合、監視者は複数の映像を監視しなくてはならず監視者の労力が大きかった。特に、監視領域内の動体を監視する場合、各カメラ間（各撮影区画間）を前記動体が移動して別のモニタに表示されたときなど、動体の監視が困難であった。
【０００６】
そこで、複数台のカメラを使用し、撮影範囲を区分けして各カメラで撮影するとともに各カメラで撮影した映像を連結し、広域撮影範囲全体の映像を取得する広域撮影方法が考えられる。しかし、各カメラで撮影した各映像を連結したときに、カメラからの距離によって映像の欠落や重なりが起こり、全ての距離において映像をうまく連結することができなかった。
【０００７】
複数台のカメラを使用した広域撮影方法による各映像の連結について図６に示す。
図６（ａ）に示すように、第１カメラ１と第２カメラ２を隣り合わせて平行に配置し、これらのカメラで撮影した映像を連結する場合、カメラからの距離が連結照準距離Ｈの地点（対象物）を各カメラで撮影し、連結点Ｐの左側を撮影する第１カメラ１の映像と、連結点Ｐの右側を撮影する第２カメラ２の映像を連結した場合、各カメラの映像をうまく連結することができる（図６（ｂ）参照）。
しかし、カメラからの距離が連結照準距離Ｈよりも近い地点の映像を連結した場合、撮影範囲に欠落領域が発生し、そのため各映像をうまく連結できず、連結映像に欠落部分があった（図６（ｃ）参照）。
また、カメラからの距離が連結照準距離Ｈよりも遠い地点の映像を連結した場合、撮影範囲に重複領域が発生し、そのため各映像をうまく連結できず、連結映像に重複部分があった（図６（ｄ）参照）。
【０００８】
【課題を解決するための手段】
そこでこの発明は、上述した従来の複数台のカメラを使用した撮影技術の欠点を解消するもであって、複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落・重なりを最小限にするとともに、隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影範囲を区分けして撮影する。また各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせ各映像を連結し、時間ズレのない映像を連結した広域映像を取得する。さらに並列入力した各映像について、映像の重なりを補正して連結するにあたって、カメラから入力される映像の１フレーム毎の画像のプロジェクションを評価することによって、カメラから対象物までの距離変化に対応した映像の重なりの補正を画素単位で行う。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。
【００１０】
図１は、複数台のカメラを使用した撮影方法における、カメラの配置方法を示すものである。
この実施例では、複数台のカメラを配置するときに、隣り合うカメラ同士を接近させてレンズ同士の間隔を縮めて配置するとともに、隣り合うカメラ同士を内側に傾けて配置し、映像の欠落領域と重複領域を最小限にし、さらに隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影することによって、映像に欠落領域が発生しないよう撮影する。
なお図１に示すように、隣り合うカメラ同士（第１カメラ１と第２カメラ２）を内側に傾けたとき、カメラ中心間の角度θを、使用するカメラのレンズの水平画角（カメラによる撮影角度）Ａより少なくすること（Ａ−α）が好ましい。
【００１１】
隣り合わせて配置した複数台のＣＣＤカメラ（高解像度カメラ）を使用し、広域範囲を区分けして撮影し、各映像を連結する場合、カメラには大きさがあるので各カメラ内のＣＣＤの間隔（第１カメラ１に内蔵されているＣＣＤと第２カメラ２に内蔵されているＣＣＤとの間隔）が離れてしまい映像に欠落が生じる。背景で映像の連結をすると手前に欠落が生じ、手前で映像の連結をすると背景に重なりが生じてしまう。この欠落と重なりを最小限に抑える必要がある（図６（ａ）参照）。
隣り合うカメラで撮影した映像に欠落や重なりが発生するのは、カメラに大きさがあるために生じることである。各々のカメラを外側に向けるとカメラ本体の大きさにより各カメラ内のＣＣＤの間隔が大きく開き、そのため大きな映像欠落領域が発生する。しかし各々のカメラを内側に向けると各カメラ内のＣＣＤの間隔はレンズの大きさにより決定されることとなる。通常、カメラ本体よりもレンズの方がカメラ本体よりも小さいため、カメラを外側に向けて配置するよりも内側に配置する方が、映像の欠落と重なりを最小限に抑えることができる。
【００１２】
図２のブロック図は、複数台のカメラを使用した撮影方法を利用した映像監視システムの実施例を示すものである。
この実施例による映像監視システムは、複数台のカメラから入力した各映像（区画映像）を連結することによって監視領域全体（広域）の高解像度映像を取得するとともに、各カメラから入力される高解像度映像に基づいて動き検出を行い、検出された動体の詳細映像（高解像度映像）を、全体映像（広域映像）から部分的に切り出して表示するものである。
すなわち複数台のカメラで広域撮影範囲を区画分け（分割）して撮影し、デジタル処理にて各映像をつなぎ合わせ、ひとつの広域映像を取得するとともに、前記広域映像上で被写体（動体）の追尾を行うものである。
この実施例は、広域撮影範囲を２つに区分けし、各区画を第１カメラ１と第２カメラ２とでそれぞれ撮影し、各映像を連結することによって広域映像を取得する。
【００１３】
この実施例では、２台のカメラのシャッターを同時にかけるとともに、同時に撮られた映像をＩ／Ｆを介し同期メモリに入れて、読み出し側で同期をとる。
すなわちアドレスカウンタ９によって、第１カメラ１と第２カメラ２のシャッタータイミング（映像取り込みタイミング）の同期をとるとともに、第１カメラ１の映像を第１メモリ（同期メモリ）３に入力し、第２カメラ２の映像を第２メモリ（同期メモリ）４に入力し、各メモリから映像データを読み出すときのデータ転送の同期をとり、表示メモリ６において、第１カメラ１で撮影した映像（経時的に連続な画像）と第２カメラ２で撮影した映像（経時的に連続な画像）を連結するときに連結される各映像間の同期を合わせる。
【００１４】
表示メモリ６は、各メモリ（同期メモリ）から、撮影区画の配置に合わせて各カメラで撮影した映像（区画映像）を読み出し、連結してひとつの広域映像とする。つまり表示メモリ６において各カメラで撮影した映像が再配置されるとともに連結され、監視領域全体の映像を取得する。このとき、各映像同士の重なり部分における映像の重なりを補正し、連結映像に重なりが起こらないようにする。この映像連結方法については後段で説明する。
【００１５】
またこの実施例による映像監視システムには、監視領域内（撮影範囲）の動体を検出し、撮影範囲全体の映像から前記動体の詳細映像（高解像度映像）を部分的に切り出してモニタに表示する動き検出表示ユニット７を備える。
監視領域内（広域撮影範囲内）における動体の検出は、各カメラから入力された映像に基づいて行い、第１カメラで撮影した映像（広域撮影範囲内）に基づいて動き検出を行う動き検出部７１と、第２カメラ２で撮影した映像に基づいて動き検出を行う動き検出部７２が設けられ、各動き検出部７１、７２の検出結果を動き検出表示ユニット７に入力する。連続的な動き検出（追尾）を行うにはリアルタイム性が要求されるため、各カメラ映像を連結するまえに、カメラ毎に動き検出を並列処理により行う。
【００１６】
動き検出表示ユニット７は、各動き検出部７１、７２の検出結果を入力した動き検出メモリ７３からの情報に基づいて、表示メモリ６に格納されている連結映像（全体映像）からの切り出し部分を決定する切り出し決定部７４を有し、この切り出し決定部７４が切り出し部８を制御し、表示メモリ６に格納されている連結映像から部分的に映像を切り出し、表示系へ出力することによって、各動き検出部７１，７２で検出した動体の詳細映像をモニタに表示する。
すなわちカメラ毎の動き検出結果（動体の位置情報）を、表示メモリ６における各区画映像の配置に合わせて再配置し、表示メモリ６に格納されている連結映像上で対応する部分を切り出す。なお、切り出し部８はアドレスカウンタ９によって同期がとられている。
【００１７】
次に、複数台のカメラから並行入力された各映像の連結方法について図３から図５を参照して説明する。
【００１８】
この発明による複数台のカメラを使用した広域撮影方法は、広域撮影範囲を区分けし、複数台のカメラで各区画を同時に撮影するとともに、各カメラから入力される映像（時間ズレのない映像）を連結することにより広域映像を取得するものであって、映像の欠落が発生しないよう隣り合うカメラからの映像端同士が重なるように複数台のカメラを配置するとともに、これらカメラで撮影した映像の重なり（重複領域）を検出する手段と、重なりの一方を除去する手段によって、各映像の重なりをカメラから対象物までの距離に応じて調整（補正）しながら連結する。
【００１９】
図３のブロック図は、複数台のカメラを使用した広域撮影方法における、各映像の連結方法について説明するものである。
図３に示す実施例は、広域撮影範囲の左区画を撮影する第１カメラ（同期メモリ）１と右区画を撮影する第２カメラ（同期メモリ）２とによって、広域を撮影するものである。
この実施例では、第１カメラ１で撮影した映像を第１メモリ３に入力するとともに、第２カメラ２で撮影した映像を第２メモリ４に入力する（図３（ａ）参照）。
このとき第１カメラの映像の右端と、第２カメラの映像の左端には、各映像の端同士を重ねる部分（映像端に設定した一定の領域、以下、重なり部分と表記する）ｋが設けられ、この領域内において映像の重なりが発生するため、各映像をそのまま連結した場合、連結付近において重なりのある連結映像となる（図３（ｂ）参照）。
【００２０】
そこでこの実施例では、重なり検出部５において、前記各映像の重なりを検出するとともに、前記映像の重なりの一方を除去（第２メモリ４に格納されている映像から重なりを除去）することによって各映像の重なりを補正する。
すなわち、図３（ｃ）に示すように、重なり検出部は第２カメラの映像上に第1カメラの映像との重なりの境界位置を検出し、この境界位置より左側の映像（第１カメラとの重なり）を除去し、映像を補正する。
その後、表示メモリ６にある連結部６１が、第1メモリ３から映像を読み出すとともに、第２メモリから補正された映像を読み出し、各映像を連結する（図３（ｄ）参照）。
【００２１】
重なり検出部５の詳細について、図４を参照して説明する。
重なり検出部５では、各カメラ映像の重なり部分ｋのプロジェクションを求め、このプロジェクションに基づいて重なりの境界位置を検出し、この重なりの検出位置に基づいて第２メモリ４に格納されている映像（画像）を補正する（重なりを除去する）。
ここでプロジェクションとはカメラから入力される映像（経時的に連続な画像）の１フレームの画像において列毎（または行毎）に輝度を加算した列（行）を変数とする２次元のデータである。
【００２２】
第１カメラで撮影した映像は、第１プロジェクション計算部１１に入力され、第１プロジェクション計算部１１では、時間経過によって逐次入力される画像（現画像（ａ_ｍ）や前画像（ａ_ｍ _- _１））の画像端重なり部分のプロジェクション（Ｐａ_ｍ，Ｐａ_ｍ _- _１）を逐次算出する。
また第２カメラで撮影した映像は、第２プロジェクション計算部１２に入力され、第２プロジェクション計算部１２では、時間経過によって逐次入力される画像（現画像（ｂ_ｍ）や前画像（ｂ_ｍ _- _１））の画像端重なり部分のプロジェクション（Ｐｂ_ｍ，Ｐｂ_ｍ _- _１）を逐次算出する。
画像端重なり部分とは、各映像の重なり部分ｋ（図３（ｂ）参照）について、画像単位（１フレームの画像）であらわしたものであって、画像端部に予め一定の領域（範囲）ｋが設定されている。
【００２３】
この実施例では、左区画を撮影する第１カメラ１から入力した映像（画像）と、右区画を撮影する第２カメラ２から入力した映像（画像）について、各々の映像（画像）の画像端重なり部分のプロジェクションを求める。
【００２４】
第１カメラ１から入力した映像の画像端重なり部分のプロジェクション（ＰＲＯＪ１（ｉ））は下記の数式１にて算出され、第２カメラ２から入力した映像の画像端重なり部分のプロジェクション（ＰＲＯＪ２（ｉ））は下記の数式２によって算出される。なお各数式における変数の取り方について図５に説明する。
【００２５】
Ｐ-ｋ ≦ ｉ ≦ Ｐにおいて
【数１】

ただしｉ：水平方向の成分
ｊ：垂直方向の成分
Ｐ：画像の水平方向の幅
Ｑ：画像の垂直方向の幅
ｋ:映像を重ねた幅（重なり部分）
Ｙ_ij：座標(ｉ,ｊ)の輝度値
【００２６】
０ ≦ ｉ ≦ ｋにおいて
【数２】

ただしｉ：水平方向の成分
ｊ：垂直方向の成分
Ｐ：画像の水平方向の幅
Ｑ：画像の垂直方向の幅
ｋ：映像を重ねた幅（重なり部分）
Ｙ_ij：座標(ｉ,ｊ)の輝度値
【００２７】
そして、第1プロジェクション計算部１１で計算した、現画像と前画像の画像端重なり部分（ｋ）のプロジェクション算出結果（Ｐａ_ｍとＰａ_ｍ _- _１）を変化検出部１５に入力し、現画像と前画像の変化を評価する。
【００２８】
前記変化検出部１５は、第1プロジェクション計算部１１で計算した現画像のプロジェクション（Ｐａ_ｍ）と前画像のプロジェクション（Ｐａ_ｍ _- _１）の差分（Σ｜Ｐａ_ｍ−１−Ｐａ_ｍ｜）の大小比較を行い、設定されたしきい値に基づいて有効な差分が検出された場合は、現画像と前画像との間に変化があると判断するとともに、有効な差分が検出されない場合は、現画像と前画像との間に変化がないと判断する。
【００２９】
そして、現画像と前画像との間に変化がないと判断した場合、セレクタ１８において、事前の設定値メモリ１６に格納されている「事前の設定値」を重なり境界位置として選択し、この事前の設定値を現画像の重なり境界位置として検出する。
なお事前の設定値とは、現画像の１フレーム前の画像（前画像（ａ_ｍ _- _１とｂ_ｍ _- _１））の連結時に用いた重なり境界位置の値である。
【００３０】
一方、前画像と現画像との間に変化があると判断した場合、セレクタ１８において、境界位置更新部１７で検出した重なり境界線（更新値）を選択し、この更新値を現画像の重なり境界位置として検出する。
【００３１】
境界位置更新部１７による重なり境界線（更新値）の検出方法について、以下に説明する。
まず、第1プロジェクション計算部１１で計算した算出結果はメモリＡ１３に入力され格納されるとともに、前記メモリＡ１３に格納されたプロジェクションの算出結果は、入力時の書き込みアドレスと同じ読み出しアドレスにて境界位置更新部１７へ出力される。
【００３２】
一方、第２プロジェクション計算部で計算した計算結果はメモリＢ１４に入力され格納されるとともに、前記メモリＢ１４に格納されたプロジェクションの算出結果は、読み出し時（境界位置更新部１７への出力時）には、仮想移動量ｄドット（−ｎ＜ｄ＜＋ｎ，ｎ＝自然数）だけずらして読み出せるように書き込みアドレスと読み出しアドレスを分ける。
従って、メモリＢ１４から境界位置更新部１７へプロジェクションの算出結果を出力した（読み出した）結果は、下記の数式３によって計算される。
【００３３】
【数３】

【００３４】
境界位置更新部１７では、メモリＡ１３とメモリＢ１４から入力されたデータ（算出結果）に基づいて、境界位置（更新値）の検出を行う。
このとき、メモリＢ１４から入力される算出結果についてドット値ｄを変化させ（−ｎ＜ｄ＜＋ｎ，ｎ＝自然数）、メモリＡ１３から入力される算出結果（数式１）とメモリＢ１４から入力される算出結果（数式３）の値の差をとり、この差分が最小値になるときのドット値ｄを重なり境界位置（更新値）として検出する。
なお差分は、下記の数式４にて計算される。
【００３５】
【数４】

【００３６】
こうして、検出された重なり境界位置（事前の設定値、もしくは更新値）のデータを、第２カメラ２の映像を格納する第２メモリ４に入力し、第２メモリでは前記境界位置のデータに基づいて、画像データを連結部６１へ出力する。
すなわち連結部６１は、各メモリから映像を読み出すとき、重なり境界位置までは第１メモリ３の画像を、重なり境界位置以降は第２メモリ４の画像を読み出し、各画像の境界位置が欠落・重複することなく結合する。
【００３７】
【発明の効果】
以上説明したように、本発明による複数台のカメラを使用した広域撮影方法によれば、複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落・重なりを最小限にするとともに、各映像端に設けた映像の重なり部分を補正しながら各映像を連結するにあたって、各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせることによって、時間ズレのない映像（画像）を連結することができた。
また各映像を連結するときに、前画像と現画像の画像端重なり部分に変化があったときに、重なり境界位置を更新するようにしたため、カメラと対象物との距離変化に対応して各映像を連結することができ、映像の欠落や重なりを低減できた。
さらに、プロジェクション比較により重なり境界位置の検出を行うため、画像を直接比較するよりも計算量が低減した。
【図面の簡単な説明】
【図１】本発明によるカメラの配置方法の実施例。
【図２】本発明による複数台のカメラを使用した広域撮影方法を利用した映像監視システムの構成を示すブロック図。
【図３】映像の連結方法に関する説明図。
【図４】重なり検出部の詳細な説明図。
【図５】数式の変数の取り方を説明する図。
【図６】従来技術による複数台のカメラを使用した広域撮影方法の説明図。
【符号の説明】
１第１カメラ
２第２カメラ
３第１メモリ
４第２メモリ
５重なり検出部
６表示メモリ
６１連結部
７動き検出表示部
７１、７２動き検出部
７３動き検出メモリ
７４切り出し決定部
８切り出し部
９アドレスカウンタ
１１第１プロジェクション計算部
１２第２プロジェクション計算部
１３メモリＡ
１４メモリＢ
１５変化検出部
１６事前の設定値メモリ
１７境界位置更新部
１８セレクタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for photographing a wide area using a plurality of cameras, and relates to a technique of connecting while correcting overlapping of images photographed by each camera.
[0002]
[Prior art and problems to be solved by the invention]
One way to shoot a wide area is to shoot using a camera with a wide-angle lens (wide-angle camera). When shooting high-resolution video over a wide area, a high-resolution camera with a wide-angle lens was used. .
For example, a high-resolution camera equipped with a wide-angle lens is introduced into a video monitoring system, and a detailed video in the monitoring area is acquired and monitored (for example, see unpublished patent application 1).
[0003]
[Unpublished Patent Application 1]
Japanese Patent Application No. 2002-167310
[0004]
However, there is a limit to photographing a wide area using one high-resolution camera.
For example, since a high-resolution camera uses a high-precision lens, it is difficult to manufacture a wide-angle lens for high resolution, and there is a limit to lens manufacturing technology.
Also, increasing the number of pixels reduces the frame rate and the amount of light per pixel, so there is a limit to the number of pixels that can be used in moving images, so it is also possible to acquire wide-area (wide) and high-resolution images. There was a limit.
[0005]
On the other hand, there is also a method of installing a plurality of cameras in the monitoring area, shooting each section in the monitoring area, and displaying the images shot by each camera on the monitor for monitoring. Multiple videos had to be monitored, and the observer's effort was great. In particular, when monitoring a moving object in a monitoring area, it is difficult to monitor the moving object, for example, when the moving object is moved between the cameras (between the imaging sections) and displayed on another monitor.
[0006]
In view of this, a wide-area shooting method is conceivable in which a plurality of cameras are used, the shooting ranges are divided and shot with each camera, and the images shot with the cameras are connected to obtain the entire shooting range. However, when images taken by each camera are connected, the images are lost or overlapped depending on the distance from the camera, and the images cannot be connected well at all distances.
[0007]
FIG. 6 shows the connection of each image by the wide area shooting method using a plurality of cameras.
As shown in FIG. 6 (a), when the first camera 1 and the second camera 2 are arranged side by side in parallel and the images taken by these cameras are connected, the distance from the camera is the point of the connection aiming distance H. When the (object) is photographed by each camera and the video of the first camera 1 that captures the left side of the connection point P and the video of the second camera 2 that captures the right side of the connection point P are connected, the video of each camera Can be connected well (see FIG. 6B).
However, when images at a point where the distance from the camera is closer than the connection aiming distance H are connected, a missing area occurs in the shooting range, and thus the images cannot be connected well, and there are missing parts in the connected images (see FIG. 6 (c)).
In addition, when images at points farther from the camera than the connection aiming distance H are connected, an overlapping area occurs in the shooting range, so that the images cannot be connected well, and there are overlapping portions in the connected images (see FIG. 6 (d)).
[0008]
[Means for Solving the Problems]
Therefore, the present invention eliminates the disadvantages of the above-described conventional imaging technique using a plurality of cameras. When arranging a plurality of cameras, the adjacent cameras are arranged close to each other and inside. It is arranged at an angle to minimize the omission / overlap of the video in the shooting range, and shoot by dividing the shooting range so that the images shot by the adjacent cameras overlap each other at the video ends . In addition, by synchronizing the shutter timing between the cameras and the synchronization of the images by data transfer, the respective images are connected, and a wide-area image obtained by connecting the images without time deviation is acquired. In addition , for each video input in parallel, when correcting and overlapping the video, the projection of the image for each frame of the video input from the camera was evaluated to cope with the change in distance from the camera to the object. Image overlap correction is performed on a pixel-by-pixel basis.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0010]
FIG. 1 shows a camera arrangement method in a photographing method using a plurality of cameras.
In this embodiment, when arranging a plurality of cameras, the adjacent cameras are arranged close to each other and the distance between the lenses is reduced, and the adjacent cameras are arranged to be tilted inward so that an image missing region is obtained. In addition, the overlap area is minimized, and each video shot by the adjacent cameras is shot so that the video edges overlap each other, so that no missing area is generated in the video.
As shown in FIG. 1, when the adjacent cameras (the first camera 1 and the second camera 2) are tilted inward, the angle θ between the camera centers is defined as the horizontal angle of view of the camera lens used (depending on the camera). (Shooting angle) It is preferable to make it smaller than A (A-α).
[0011]
When a plurality of CCD cameras (high resolution cameras) arranged side by side are used to divide a wide area and shoot, and each video is connected, the camera has a size, so the interval between the CCDs in each camera ( The distance between the CCD built in the first camera 1 and the CCD built in the second camera 2 is increased, and the image is lost. If the images are connected in the background, a drop occurs in the foreground, and if the images are connected in the foreground, an overlap occurs in the background. It is necessary to minimize this omission and overlap (see FIG. 6A).
Missing or overlapping images taken by adjacent cameras are caused by the size of the cameras. When each camera is directed outward, the distance between the CCDs in each camera is widened depending on the size of the camera body, and a large image missing area is generated. However, when each camera is turned inward, the interval between the CCDs in each camera is determined by the size of the lens. Usually, since the lens is smaller than the camera body than the camera body, it is possible to minimize missing and overlapping images by arranging the camera inside rather than facing the camera outward.
[0012]
The block diagram of FIG. 2 shows an embodiment of a video surveillance system using a photographing method using a plurality of cameras.
The video monitoring system according to this embodiment acquires high-resolution video of the entire monitoring area (wide area) by connecting video (compartment video) input from a plurality of cameras, and high-resolution video input from each camera. Motion detection is performed based on the video, and a detailed video (high resolution video) of the detected moving object is partially cut out from the entire video (wide video) and displayed.
In other words, a wide-area shooting range is segmented (divided) with multiple cameras, and each video is connected by digital processing to obtain a single wide-area video, while tracking the subject (moving object) on the wide-area video Is to do.
In this embodiment, the wide-area shooting range is divided into two, each section is photographed by the first camera 1 and the second camera 2, and a wide-area video is obtained by connecting the videos.
[0013]
In this embodiment, the shutters of the two cameras are simultaneously applied, and images taken at the same time are put into a synchronous memory via the I / F, and synchronization is performed on the reading side.
In other words, the address counter 9 synchronizes the shutter timing (video capture timing) of the first camera 1 and the second camera 2 and inputs the video of the first camera 1 to the first memory (synchronization memory) 3. The video of the camera 2 is input to a second memory (synchronous memory) 4 and data transfer is synchronized when the video data is read from each memory. (Sequential images) and images captured by the second camera 2 (continuous images over time) are synchronized with each other.
[0014]
The display memory 6 reads from each memory (synchronous memory) the video (compartment video) taken by each camera in accordance with the arrangement of the photography compartments, and connects them to form one wide-area video. That is, the images captured by the cameras are rearranged and connected in the display memory 6 to acquire images of the entire monitoring area. At this time, the overlapping of the images at the overlapping portion between the images is corrected so that the overlapping images do not overlap. This video connection method will be described later.
[0015]
In the video monitoring system according to this embodiment, a moving object in the monitoring area (shooting range) is detected, and a detailed video (high resolution video) of the moving object is partially cut out from the video of the entire shooting range and displayed on the monitor. A motion detection display unit 7 is provided.
A motion detection unit that detects a moving object in a monitoring area (in a wide imaging range) based on video input from each camera and detects motion based on video (in the wide imaging range) captured by the first camera. 71 and a motion detection unit 72 that performs motion detection based on the video captured by the second camera 2 are provided, and the detection results of the motion detection units 71 and 72 are input to the motion detection display unit 7. Since real-time performance is required to perform continuous motion detection (tracking), motion detection is performed by parallel processing for each camera before connecting the camera images.
[0016]
Based on the information from the motion detection memory 73 to which the detection results of the motion detection units 71 and 72 are input, the motion detection display unit 7 extracts a cut-out portion from the connected video (entire video) stored in the display memory 6. A cut-out determining unit 74 for determining, the cut-out determining unit 74 controls the cut-out unit 8, cuts out a part of the video from the connected video stored in the display memory 6, and outputs it to the display system. Detailed video of the moving object detected by the motion detectors 71 and 72 is displayed on the monitor.
That is, the motion detection result (position information of the moving object) for each camera is rearranged in accordance with the arrangement of each segment video in the display memory 6, and a corresponding portion is cut out on the connected video stored in the display memory 6. Note that the cutout unit 8 is synchronized by an address counter 9.
[0017]
Next, a method for linking images input in parallel from a plurality of cameras will be described with reference to FIGS.
[0018]
The wide area shooting method using a plurality of cameras according to the present invention divides a wide area shooting range, simultaneously shoots each section with a plurality of cameras, and images (images without time deviation) input from each camera. Multiple cameras are arranged so that video edges from adjacent cameras overlap so that video omissions do not occur, and overlapping images captured by these cameras are acquired. By means of detecting (overlapping area) and means for removing one of the overlaps, the overlap of each image is connected while being adjusted (corrected) according to the distance from the camera to the object.
[0019]
The block diagram of FIG. 3 explains how to connect each video in the wide area shooting method using a plurality of cameras.
In the embodiment shown in FIG. 3, a wide area is photographed by a first camera (synchronous memory) 1 for photographing the left section of the wide area photographing range and a second camera (synchronous memory) 2 for photographing the right section.
In this embodiment, the video shot by the first camera 1 is input to the first memory 3 and the video shot by the second camera 2 is input to the second memory 4 (see FIG. 3A).
At this time, at the right end of the image of the first camera and the left end of the image of the second camera, there is provided a portion (a certain area set at the image end, hereinafter referred to as an overlapping portion) k that overlaps the ends of each image. Since the video overlaps in this area, when the videos are connected as they are, the connected video is overlapped in the vicinity of the connection (see FIG. 3B).
[0020]
Therefore, in this embodiment, the overlap detection unit 5 detects the overlap of each video and removes one of the video overlaps (removes the overlap from the video stored in the second memory 4). Correct image overlap.
That is, as shown in FIG. 3C, the overlap detection unit detects the boundary position of the overlap with the image of the first camera on the image of the second camera, and the image on the left side of the boundary position (the first camera and ) And correct the image.
Thereafter, the connecting unit 61 in the display memory 6 reads out the video from the first memory 3 and reads out the corrected video from the second memory and connects the videos (see FIG. 3D).
[0021]
Details of the overlap detection unit 5 will be described with reference to FIG.
The overlap detection unit 5 obtains a projection of the overlap portion k of each camera image, detects the boundary position of the overlap based on the projection, and stores the image (in the second memory 4 based on the detection position of the overlap ( (Image) is corrected (overlapping is removed).
Here, the projection is two-dimensional data in which a column (row) obtained by adding luminance for each column (or for each row) is a variable in one frame image of video (images continuous with time) input from the camera. is there.
[0022]
Image taken by the first camera is input to the first projection calculation unit 11, the first projection calculation unit 11, an image which is sequentially inputted by a time (the current picture (a _m) and the previous image (a m _{_-} ₁ projection _(Pa m of image edge overlapping portion of)), Pa _m _{_- 1)} sequentially calculated.
The video shot by the second camera is input to the second projection calculation unit 12, and the second projection calculation unit 12 sequentially inputs images (current image (b _m ) and previous image (b _m ₋ ) as time elapses. image edge overlapping portions of the projection _(Pb m of _{_{_{_{1)), Pb m - 1}}}} ) sequentially calculated.
The image end overlap portion is an image unit (one frame image) of the overlap portion k (see FIG. 3B) of each video, and a predetermined region (range) in advance at the image end portion. k is set.
[0023]
In this embodiment, for the video (image) input from the first camera 1 that captures the left section and the video (image) input from the second camera 2 that captures the right section, the image edges of the respective images (images). Find the projection of the overlap.
[0024]
The projection (PROJ1 (i)) of the image edge overlapping portion of the video input from the first camera 1 is calculated by the following Equation 1, and the projection of the image edge overlapping portion of the video input from the second camera 2 (PROJ2 (i) )) Is calculated by Equation 2 below. In addition, how to take the variable in each numerical formula is demonstrated in FIG.
[0025]
For Pk ≤ i ≤ P,

Where i: horizontal component j: vertical component P: horizontal width of image Q: vertical width of image k: width of overlapping images (overlapping portion)
Y _ij : luminance value of coordinates (i, j)
For 0 ≤ i ≤ k,

Where i: horizontal component j: vertical component P: horizontal width of image Q: vertical width of image k: width of overlapping images (overlapping portion)
Y _ij : luminance value of coordinates (i, j)
Then, calculated by the first projection calculation unit 11, the projection calculation result (Pa _m and Pa m _- _₁₎ of the image edge overlapping portion of the current image and the previous image (k) is input to the change detection section 15, and the current image Evaluate changes in the previous image.
[0028]
The change detection unit 15, projection of the projection (Pa _m) the previous image of the current image calculated by the first projection calculation unit 11 _{_-} a difference of _{_{_{(Pa m 1) (Σ |}}} Pa m-1 -Pa m |) of If a valid difference is detected based on a set threshold value, it is determined that there is a change between the current image and the previous image, and if no valid difference is detected, It is determined that there is no change between the current image and the previous image.
[0029]
If it is determined that there is no change between the current image and the previous image, the selector 18 selects the “preliminary setting value” stored in the prior setting value memory 16 as the overlap boundary position, Is set as the overlap boundary position of the current image.
Note the pre-set value, one frame before the image of the current image (before image (a m _{_-} ₁₎ _{_-} ₁ and b _m) is a value of the overlapping boundary position used at the time of connection of the.
[0030]
On the other hand, when it is determined that there is a change between the previous image and the current image, the selector 18 selects an overlapping boundary line (updated value) detected by the boundary position update unit 17, and this updated value is overlapped with the current image. Detect as boundary position.
[0031]
A method for detecting an overlapping boundary line (update value) by the boundary position update unit 17 will be described below.
First, the calculation result calculated by the first projection calculation unit 11 is input and stored in the memory A13, and the calculation result of the projection stored in the memory A13 is the boundary position at the same read address as the write address at the time of input. It is output to the update unit 17.
[0032]
On the other hand, the calculation result calculated by the second projection calculation unit is input and stored in the memory B14, and the projection calculation result stored in the memory B14 is read (when output to the boundary position update unit 17). Divides the write address and the read address so that they can be read by shifting by a virtual movement amount d dots (−n <d <+ n, n = natural number).
Therefore, the result of outputting (reading) the projection calculation result from the memory B 14 to the boundary position update unit 17 is calculated by the following Equation 3.
[0033]
[Equation 3]

[0034]
The boundary position update unit 17 detects the boundary position (update value) based on the data (calculation results) input from the memory A13 and the memory B14.
At this time, the dot value d is changed for the calculation result input from the memory B14 (−n <d <+ n, n = natural number), and the calculation result (formula 1) input from the memory A13 and the memory B14 are input. The difference between the values of the calculation results (Formula 3) is taken, and the dot value d when the difference becomes the minimum value is detected as the overlapping boundary position (update value).
The difference is calculated by the following formula 4.
[0035]
[Expression 4]

[0036]
Thus, the data of the detected overlap boundary position (preliminary set value or update value) is input to the second memory 4 storing the video of the second camera 2, and the second memory is based on the data of the boundary position. The image data is output to the connecting unit 61.
That is, when reading the video from each memory, the connecting unit 61 reads the image in the first memory 3 until the overlapping boundary position, reads the image in the second memory 4 after the overlapping boundary position, and the boundary position of each image is missing / overlapping. Combine without doing.
[0037]
【The invention's effect】
As described above, according to the wide-area shooting method using a plurality of cameras according to the present invention, when arranging a plurality of cameras, the adjacent cameras are arranged close to each other and tilted inward, When linking each video while minimizing the missing or overlapping video in the shooting range and correcting the overlapping part of the video provided at the end of each video, synchronize the shutter timing between each camera and the video by data transfer By combining them, video (images) with no time gap could be connected.
In addition, when connecting each video, the overlap boundary position is updated when there is a change in the image edge overlap part of the previous image and the current image, so that each distance changes between the camera and the object. It was possible to connect the images and reduce the missing or overlapping images.
Furthermore, since the overlap boundary position is detected by projection comparison, the amount of calculation is reduced compared to direct comparison of images.
[Brief description of the drawings]
FIG. 1 shows an embodiment of a camera arrangement method according to the present invention.
FIG. 2 is a block diagram showing a configuration of a video surveillance system using a wide area photographing method using a plurality of cameras according to the present invention.
FIG. 3 is an explanatory diagram relating to a video connection method.
FIG. 4 is a detailed explanatory diagram of an overlap detection unit.
FIG. 5 is a diagram for explaining how to take a variable of a mathematical expression.
FIG. 6 is an explanatory diagram of a wide area photographing method using a plurality of cameras according to the prior art.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 1st camera 2 2nd camera 3 1st memory 4 2nd memory 5 Overlap detection part 6 Display memory 61 Connection part 7 Motion detection display part 71, 72 Motion detection part 73 Motion detection memory 74 Cutout determination part 8 Cutout part 9 Address Counter 11 First projection calculation unit 12 Second projection calculation unit 13 Memory A
14 Memory B
15 Change Detection Unit 16 Preliminary Setting Value Memory 17 Boundary Position Update Unit 18 Selector

Claims

The shooting range is divided so that the images shot by adjacent cameras overlap each other at the edges of the images, and the images are input in parallel, and the shutter timing between the cameras and the synchronization of the images by data transfer are matched. In the wide-area shooting method using multiple cameras that acquire wide-area video that links video without time gap by linking each video rearranged according to the shooting zone,
In detecting the overlap of the images input in parallel, removing one of the image overlaps and connecting the images, correcting the overlap of the images and connecting the images,
By evaluating the projection of the image for each frame of the video input from the camera, the video overlap corresponding to the distance change from the camera to the target is corrected, and the videos input in parallel are connected. There,
The video input from the camera, comprising the steps of to calculate the projection of the current image and the previous image is stored,
Comparing the projection of the overlapping portion of the previous image and the current image, and detecting a change in the previous image and the current image,
If there is no change in the previous image and current image, the step of detecting a boundary position overlapping the pre-set value, based on the boundary position, connecting to correct the overlap of each current image input in parallel from each camera When,
If there is a change in the previous image and the current image, the projection of the overlapping part of the video and the part where the change has occurred are compared while being shifted in units of pixels, and the overlapping boundary position is updated. by a step of connecting by correcting the overlap of the current image in parallel input from,
Wide-angle imaging method using multiple several cameras you comprises ligating performing correction of the overlap of the image in pixels.

2. The plurality of cameras according to claim 1, wherein when arranging a plurality of cameras, adjacent cameras are arranged close to each other and tilted inward to reduce missing images in a shooting range. Wide-area photography using a camera.

Means for detecting motion based on the video captured by each camera is provided for each camera, and the video of the object detected by the motion detection means is cut out from the connected video of the videos, and the cut-out video is displayed on the monitor. A wide-area imaging method using a plurality of cameras according to 1 or 2, wherein

Means to divide the shooting range so that each video shot by adjacent cameras overlaps at the video edges, and means for inputting each video in parallel;
Means for synchronizing the shutters between the cameras;
Means for synchronizing data transfer for each video input from each camera;
By rearranging each video according to the shooting section and connecting each video,
In a wide-area shooting device that acquires wide-area video that connects video without time gaps,
Means for detecting the overlap of each video input in parallel;
Providing a means for removing one of the overlapping images;
For video input in parallel, correct and overlap the video overlap,
Furthermore, by evaluating the projection of the image for each frame of the video input from the camera, correction of the overlap of the video corresponding to the distance change from the camera to the target is performed, and the videos input in parallel are connected. For,
Means for calculating and storing the projection of the current image and the previous image for the video input from each camera;
Means for comparing the projection of the overlapping portion of the previous image and the current image and detecting a change between the previous image and the current image;
When there is no change between the previous image and the current image, a means for detecting a pre-set value as an overlapping boundary position and correcting and connecting the overlapping of the current images input in parallel from the cameras based on the boundary position When,
If there is a change in the previous image and the current image, the projection of the overlapping part of the video and the part where the change has occurred are compared while being shifted in units of pixels, the overlapping boundary position is updated, and each camera is based on this updated value. And means for correcting and connecting the overlapping of the current images input in parallel from
A wide area photographing apparatus using a plurality of cameras, characterized in that video overlap correction is performed in units of pixels.