JP5233926B2 - 魚眼監視システム - Google Patents

魚眼監視システム Download PDF

Info

Publication number
JP5233926B2
JP5233926B2 JP2009209213A JP2009209213A JP5233926B2 JP 5233926 B2 JP5233926 B2 JP 5233926B2 JP 2009209213 A JP2009209213 A JP 2009209213A JP 2009209213 A JP2009209213 A JP 2009209213A JP 5233926 B2 JP5233926 B2 JP 5233926B2
Authority
JP
Japan
Prior art keywords
image
moving object
point
cut
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009209213A
Other languages
English (en)
Other versions
JP2011061511A (ja
Inventor
隆浩 岡本
勝浩 梅海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2009209213A priority Critical patent/JP5233926B2/ja
Publication of JP2011061511A publication Critical patent/JP2011061511A/ja
Application granted granted Critical
Publication of JP5233926B2 publication Critical patent/JP5233926B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、魚眼レンズ付きビデオカメラで撮影した画像をモニタ画面上に表示する魚眼監視システムに関する。
最近は、セキュリティ確保のため、建物の天井や壁面に設置した防犯カメラで撮影した画像をモニタ画面上に表示し、周囲の監視に役立てるシステムが普及している。このような監視システム用のカメラには、魚眼レンズが用いられることが多い。魚眼レンズを用いると、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を得ることができる。このため、周囲を監視する用途には、魚眼レンズが最適である。特に、魚眼レンズ付きビデオカメラを用いれば、極めて広い視野内の画像をリアルタイムで監視することが可能なシステムが実現できる。
ただ、魚眼レンズを用いた撮影で得られる画像は、歪曲した円形の画像になるため、この歪曲円形画像を、歪みの少ない平面正則画像に変換する処理を行う必要がある。たとえば、下記の特許文献１および２には、コンピュータを利用して歪曲円形画像の一部分を平面正則画像にリアルタイムで変換する技術が開示されている。このような変換技術を利用すれば、魚眼レンズ付きビデオカメラで撮影した歪曲円形画像からなる動画を、平面正則画像からなる動画としてリアルタイムで観察することが可能になり、１８０°の画角をもった監視システムが構築できる。
一方、監視システムの産業分野では、古くから動体追跡の技術が研究されてきている。これはフレーム単位で時系列的に得られる撮影画像を、コンピュータによって解析し、カメラの視野内に存在する動体を自動的に認識して追尾する技術である。この技術を用いれば、モニタ画面上に動体を自動的にズームアップして表示することができ、動体が移動した場合でも、これを自動追跡してズームアップ状態を続けることができる。
このような動体追跡の技術を、魚眼監視システムに導入する試みも提案されている。たとえば、下記の特許文献３には、魚眼レンズによって撮影された歪曲円形画像を解析して動体を認識し、当該動体を含む部分を切り出して平面正則画像に変換した上でモニタ画面に表示する技術が開示されている。
特許第３０１２１４２号公報 特許第３０５１１７３号公報 特開２００２−３２９２０７号公報
上述したとおり、魚眼レンズを用いた撮影によって得られる歪曲円形画像は、半球状の全方位の情報を含む画像であり、通常の肉眼観測で得られる画角に比べて、極めて広い画角をもった画像になる。このため、モニタ画面上に表示する平面正則画像は、歪曲円形画像のごく一部分を切り出して歪みを補正した部分画像にならざるを得ない。もちろん、必要に応じて、歪曲円形画像をモニタ画面上に表示して、画像全体の提示を行うことも可能であるが、歪んだ画像をそのまま提示しても、人間には、個々の撮影対象物や相互の位置関係を正しく認識することができないので、監視システムの用途には不適当である。
結局、魚眼監視システムにおいてモニタ画面上に提示される画像は、常に、撮影によって得られた歪曲円形画像の特定の一部を切り出した画像ということになる。ここで、歪曲円形画像上の切り出し部分を第１の部分から第２の部分へと切り替えると、モニタ画面上に提示される平面正則画像も切り替わることになるが、モニタ画面を注視しているユーザには、切り替え前後の画像の空間的な位置関係の把握が困難になるという問題が生じる。
特に、動体追跡の技術を盛り込んだ魚眼監視システムの場合、動体が検出された時点で、歪曲円形画像上の切り出し部分や表示倍率などの切出条件を、当該動体の表示に適した切出条件に自動的に切り替える処理が行われるが、そのような切り替えを行うと、モニタ画面上には、動体注視に適した平面正則画像の提示が可能になるものの、映像が時間的に不連続になるため、ユーザは、どの場所の映像に切り替わったのかを認識することが困難である。
そこで本発明は、歪曲円形画像の切出条件を切り替える場合にも、ユーザが、切り替え前後の画像の空間的な位置関係を容易に把握することができる魚眼監視システムおよび画像提示システムを提供することを目的とする。
(1) 本発明の第１の態様は、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換し、これを画面上に表示する魚眼監視システムにおいて、
装着した魚眼レンズによって、外界の画像を歪曲円形画像として撮影する魚眼レンズ付ビデオカメラと、
二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、二次元ＸＹ座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像を、少なくとも１フレーム格納する歪曲円形画像用メモリと、
魚眼レンズ付ビデオカメラから１フレームごとの時系列データとして順次与えられる歪曲円形画像を、歪曲円形画像用メモリに格納する画像入力部と、
二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
平面正則画像用メモリに格納されている平面正則画像を読み出して出力する画像出力部と、
画像出力部から出力された平面正則画像を画面上に表示するモニタ装置と、
歪曲円形画像上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件を、歪曲円形画像の一部から平面正則画像を切り出すための条件として決定する実切出条件決定部と、
歪曲円形画像用メモリに格納されている歪曲円形画像の切出中心点Ｐで示される切り出し位置から、平面傾斜角φで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して、平面正則画像用メモリに格納する画像切出変換部と、
標準切出中心点Ｐ０と、標準平面傾斜角φ０と、標準倍率ｍ０と、によって構成される標準切出条件を格納する標準切出条件格納部と、
歪曲円形画像用メモリに時系列で順次格納される歪曲円形画像を相互に比較して動体検出処理を行い、動体検出がなされた場合に、検出動体の切り出し位置を示す目標切出中心点Ｐｎと、検出動体の切り出し向きを示す目標平面傾斜角φｎと、検出動体の切り出しサイズを示す目標倍率ｍｎと、によって構成される目標切出条件のうち、少なくとも目標切出中心点Ｐｎを、実切出条件決定部に与える動体検出部と、
動体検出の後、検出動体を追跡する動体追跡処理を行い、追跡動体の切り出し位置を示す追跡切出中心点Ｐ（ｉ）と、追跡動体の切り出し向きを示す追跡平面傾斜角φ（ｉ）と、追跡動体の切り出しサイズを示す追跡倍率ｍ（ｉ）と、によって構成される追跡切出条件のうち、少なくとも追跡切出中心点Ｐ（ｉ）を、追跡動体が消滅したとの消滅判断がなされるまで、継続して実切出条件決定部に与える動体追跡部と、
を設け、
実切出条件決定部が、動体検出がなされていない静的監視期間を担当する静的監視期間担当部と、動体検出がなされた後の所定の移行期間を担当する移行期間担当部と、移行期間が完了してから消滅判断がなされるまでの動的監視期間を担当する動的監視期間担当部と、を備え、静的監視期間担当部は、標準切出条件を実切出条件と定め、移行期間担当部は、標準切出条件から目標切出条件へ移行するように段階的に変わる実切出条件を定め、動的監視期間担当部は、追跡切出条件を実切出条件と定めるようにしたものである。
(2) 本発明の第２の態様は、上述した第１の態様に係る魚眼監視システムにおいて、
歪曲円形画像が配置された二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを中心として半径Ｒの仮想球面を定義し、原点Ｏに向かって当該仮想球面上の１点に入射した外光が、撮影に用いた魚眼レンズの光学作用によってＸＹ平面上の１点に到達する場合に、当該仮想球面上の１点と当該ＸＹ平面上の１点とを相互に対応する点と定義し、切出中心点Ｐに対応する仮想球面上の点である対応点Ｑをとり、原点Ｏを起点として対応点Ｑを通るベクトルを視線ベクトルｎと定義し、この視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上もしくは当該平面を湾曲させた曲面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ座標系を定義したときに、
画像切出変換部が、二次元ＵＶ座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出することにより、歪曲円形画像から切り出した画像を平面正則画像に変換する処理を行うようにしたものである。
(3) 本発明の第３の態様は、上述した第１または第２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、移行期間前半のパンニング期間において、切出中心点Ｐが標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変わる実切出条件を定め、移行期間後半のズーミング期間において、倍率ｍが標準倍率ｍ０から目標倍率ｍｎへと段階的に変わる実切出条件を定めるようにしたものである。
(4) 本発明の第４の態様は、上述した第１または第２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、移行期間の全期間をパンニング期間およびズーミング期間に設定し、切出中心点Ｐが標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変わると同時に、倍率ｍが標準倍率ｍ０から目標倍率ｍｎへと段階的に変わる実切出条件を定めるようにしたものである。
(5) 本発明の第５の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、パンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、標準切出中心点Ｐ０についての仮想球面上の対応点Ｑ０と、目標切出中心点Ｐｎについての仮想球面上の対応点Ｑｎと、を定義したときに、切出中心点Ｐについての仮想球面上の対応点Ｑの仮想球面上での移動経路が、対応点Ｑ０と対応点Ｑｎとを仮想球面上で結ぶ最短経路となるようにするものである。
(6) 本発明の第６の態様は、上述した第５の態様に係る魚眼監視システムにおいて、
標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ上に設定されており、
移行期間担当部が、原点Ｏから目標切出中心点Ｐｎへ向かって、歪曲円形画像の半径に沿って切出中心点Ｐを移動させるようにしたものである。
(7) 本発明の第７の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ以外の位置に設定されており、
移行期間担当部が、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、パンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、標準切出中心点Ｐ０から原点Ｏへ向かって、歪曲円形画像の半径に沿って切出中心点Ｐを移動させた後、原点Ｏから目標切出中心点Ｐｎへ向かって、歪曲円形画像の半径に沿って切出中心点Ｐを移動させるようにしたものである。
(8) 本発明の第８の態様は、上述した第５〜第７の態様に係る魚眼監視システムにおいて、
移行期間担当部が、対応点Ｑの仮想球面上の運動が等速運動となるように、切出中心点Ｐの位置を変化させるようにしたものである。
(9) 本発明の第９の態様は、上述した第５〜第７の態様に係る魚眼監視システムにおいて、
移行期間担当部が、対応点Ｑの仮想球面上の運動が、パンニング期間の開始部分および終了部分の速度が中間部分の速度よりも遅くなるような不等速運動となるように、切出中心点Ｐの位置を変化させるようにしたものである。
(10) 本発明の第１０の態様は、上述した第５〜第７の態様に係る魚眼監視システムにおいて、
移行期間担当部が、
対応点Ｑの仮想球面上の移動距離ｂと時間ｔとの関係を示す関数を格納する関数格納部と、
この関数を用いて求まる「時間ｔにおける対応点Ｑの位置」に対応するＸＹ平面上の点を、当該時間ｔにおける切出中心点Ｐとして出力する対応点変換部と、
を有するようにしたものである。
(11) 本発明の第１１の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、パンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、切出中心点Ｐについての仮想球面上の対応点Ｑが、予め設定された所定の球面移動経路上を、時間に関する関数として設定された所定の球面移動速度で移動するように、切出中心点Ｐの位置を決定するようにしたものである。
(12) 本発明の第１２の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、移行期間の全期間もしくは一部の期間をズーミング期間に設定し、ズーミング期間の間、時間軸に沿って単調増加もしくは単調減少するように、倍率ｍを標準倍率ｍ０から目標倍率ｍｎへと変化させるようにしたものである。
(13) 本発明の第１３の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、ズーミング期間の間、倍率ｍを時間軸に沿って線形変化させるようにしたものである。
(14) 本発明の第１４の態様は、上述した第１２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、ズーミング期間の開始部分および終了部分の倍率変化速度が、中間部分の変化速度よりも遅くなるような不等速変化するように、倍率ｍを時間軸に沿って変化させるようにしたものである。
(15) 本発明の第１５の態様は、上述した第１２の態様に係る魚眼監視システムにおいて、
移行期間担当部が、
倍率ｍと時間ｔとの関係を示す関数を格納する関数格納部と、
この関数を用いて求まる時間ｔにおける倍率を、当該時間ｔにおける倍率ｍとして出力する倍率決定部と、
を有するようにしたものである。
(16) 本発明の第１６の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
標準切出条件格納部には、撮影画像における実世界の鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような標準平面傾斜角φ０を設定しておき、
動体検出部が、鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような目標平面傾斜角φｎを設定し、
移行期間担当部が、鉛直軸方向を下方向とする向きに平面正則画像が切り出されるように、平面傾斜角φを標準平面傾斜角φ０から目標平面傾斜角φｎへと変化させ、
動体追跡部が、鉛直軸方向を下方向とする向きに平面正則画像が切り出されるように、追跡平面傾斜角φ（ｉ）を設定するようにしたものである。
(17) 本発明の第１７の態様は、上述した第１６の態様に係る魚眼監視システムにおいて、
撮像面となるＸＹ平面が鉛直面に一致し、Ｙ軸が鉛直軸Ｗに対して角度ξをなす方向を向くように魚眼レンズ付ビデオカメラが設置されており、
二次元ＵＶ座標系の原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸として与えられる回転基準軸Ｊと、二次元ＵＶ座標系のＵ軸とのなす角を平面傾斜角φと定義し、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角を方位角αと定義し、Ｕ軸方向を平面正則画像の横方向と定義した場合に、常にφ＝−α−ξとなる設定が行われるようにしたものである。
(18) 本発明の第１８の態様は、上述した第１７の態様に係る魚眼監視システムにおいて、
標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ上に設定されており、
標準切出条件格納部には、Ｖ軸が撮影画像の原点Ｏの位置における実世界の鉛直軸に対応するように平面正則画像が切り出されるような切り出し向きを示す標準切出条件を設定しておき、
動体検出部は、目標切出中心点Ｐｎについての方位角をαｎとしたときに、目標平面傾斜角φｎ＝−αｎ−ξなる設定を行い、
移行期間担当部が、常に平面傾斜角φ＝φｎに設定するようにしたものである。
(19) 本発明の第１９の態様は、上述した第１６の態様に係る魚眼監視システムにおいて、
撮像面となるＸＹ平面が水平面に一致するように魚眼レンズ付ビデオカメラが設置されており、
二次元ＵＶ座標系の原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸として与えられる回転基準軸Ｊと、二次元ＵＶ座標系のＵ軸とのなす角を平面傾斜角φと定義し、Ｕ軸方向を平面正則画像の横方向と定義した場合に、常にφ＝０°となる設定が行われるようにしたものである。
(20) 本発明の第２０の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
画像切出変換部が、平面正則画像を構成する１つの着目画素の座標（ｕ，ｖ）についての対応座標（ｘ，ｙ）を算出し、歪曲円形画像用メモリ内の対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて着目画素の画素値を決定する処理を、平面正則画像を構成する各画素について実行し、平面正則画像用メモリ内に各画素の画素値を書き込むことにより、平面正則画像に変換する処理を行うようにしたものである。
(21) 本発明の第２１の態様は、上述した第２０の態様に係る魚眼監視システムにおいて、
画像切出変換部が、座標（ｕ，ｖ）で示される位置に配置された着目画素の画素値を決定する際に、対応座標（ｘ，ｙ）で示される位置の近傍に配置された歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うようにしたものである。
(22) 本発明の第２２の態様は、上述した第２の態様に係る魚眼監視システムにおいて、
画像切出変換部が、仮想球面上に、撮影に用いた魚眼レンズの投影方式に応じて、二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）で示される点Ｓｉに対応する球面上対応点Ｑｉをとり、原点Ｏと球面上対応点Ｑｉとを結ぶ直線と二次元ＵＶ座標系の配置面との交点Ｔｉの二次元ＵＶ座標系上での座標を（ｕｉ，ｖｉ）としたときに、座標（ｘｉ，ｙｉ）が座標（ｕｉ，ｖｉ）に対応する対応座標として求まる対応関係式を用いるようにしたものである。
(23) 本発明の第２３の態様は、上述した第２２の態様に係る魚眼監視システムにおいて、
画像切出変換部が、
歪曲円形画像用メモリに格納されている歪曲円形画像が、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、座標（ｘｐ，ｙｐ）で示される切出中心点Ｐに対して、当該点Ｐを通りＺ軸に平行な直線と仮想球面との交点として与えられる座標（ｘｐ，ｙｐ，ｚｐ）で示される点を球面上対応点Ｑとし、座標（ｘｉ，ｙｉ）で示される点Ｓｉに対して、当該点Ｓｉを通りＺ軸に平行な直線と仮想球面との交点として与えられる座標（ｘｉ，ｙｉ，ｚｉ）で示される点を球面上対応点Ｑｉとする正射影画像用対応関係式を用い、
歪曲円形画像用メモリに格納されている歪曲円形画像が、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いるようにしたものである。
(24) 本発明の第２４の態様は、上述した第２３の態様に係る魚眼監視システムにおいて、
画像切出変換部が、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角を方位角αとし、視線ベクトルｎとＺ軸正方向とのなす角を天頂角βとして、
Ａ＝cosφ cosα − sinφ sinα cosβ
Ｂ＝−sinφ cosα − cosφ sinα cosβ
Ｃ＝sinβ sinα
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ
Ｆ＝−sinβ cosα
ｗ＝ｍＲ
との定義の下で、座標（ｕ，ｖ）と座標（ｘ，ｙ）との対応関係を示す正射影画像用対応関係式として、
ｘ＝Ｒ（ｕＡ＋ｖＢ＋ｗＣ）／√（ｕ２＋ｖ２＋ｗ２）
ｙ＝Ｒ（ｕＤ＋ｖＥ＋ｗＦ）／√（ｕ２＋ｖ２＋ｗ２）
なる式を用いるようにしたものである。
(25) 本発明の第２５の態様は、上述した第２４の態様に係る魚眼監視システムにおいて、
画像切出変換部が、
歪曲円形画像用メモリに格納されている歪曲円形画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する座標変換式
ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
但し、ｒ＝√（ｘａ２＋ｙａ２）
を用いて、正射影画像用対応関係式に対する補正を行うようにしたものである。
(26) 本発明の第２６の態様は、上述した第１〜第２５の態様に係る魚眼監視システムにおいて、
動体検出部が、
歪曲円形画像用メモリに所定の初期時点で格納されていた画像を背景歪曲円形画像として保持する背景画像保持部と、
歪曲円形画像用メモリに時系列でフレームごとに順次格納される歪曲円形画像上の個々の画素の画素値を、背景歪曲円形画像上の対応する画素の画素値と比較し、両者の差がしきい値以上となる画素を着目画素として抽出する対応画素比較部と、
着目画素からなる連続領域であって、基準面積以上、かつ、縦幅および横幅がともに所定の基準寸法以上となる条件を満たす着目領域を探索する着目領域探索部と、
着目領域を含む歪曲円形画像が、基準のフレーム数以上、連続して得られた場合に、動体検出がなされた旨の判定を行い、最終着目領域に基づいて目標切出条件を生成する動体検出判定部と、
を有するようにしたものである。
(27) 本発明の第２７の態様は、上述した第２６の態様に係る魚眼監視システムにおいて、
動体検出判定部が、同一の動体に起因して形成されたと予想される特定の着目領域を含む歪曲円形画像が、基準のフレーム数以上、連続して得られた場合に、動体検出がなされた旨の判定を行うようにし、互いに離隔した複数の着目領域が存在する場合には、より面積の大きい着目領域を上記特定の着目領域とする判定を行うようにしたものである。
(28) 本発明の第２８の態様は、上述した第２６または第２７の態様に係る魚眼監視システムにおいて、
動体検出判定部が、最終着目領域の重心位置を目標切出中心点Ｐｎと設定し、最終着目領域の縦幅および横幅に基づいて目標倍率ｍｎを設定するようにしたものである。
(29) 本発明の第２９の態様は、上述した第１〜第２８の態様に係る魚眼監視システムにおいて、
動体追跡部が、
歪曲円形画像用メモリに格納されている第（ｉ−１）番目のフレーム画像上において既に認識されている既知動体領域の情報を保持する既知動体領域保持部と、
歪曲円形画像用メモリに格納されている第ｉ番目のフレーム画像から、既知動体領域の近傍に位置する複数通りの領域を候補領域として抽出する候補領域抽出部と、
既知動体領域と複数通りの候補領域とについて、それぞれ画像の特徴を示す特徴量を求める演算を行う特徴量演算部と、
特徴量演算部によって演算された、既知動体領域の特徴量と、複数通りの候補領域の特徴量と、をそれぞれ比較し、既知動体領域の特徴量に対する類似度が所定の基準以上、かつ、最も高い特徴量をもった候補領域を、第ｉ番目のフレーム画像上の新動体領域と認識する新動体領域認識部と、
新動体領域認定部における認識が成功した場合には、新動体領域に基づいて第ｉ番目のフレーム画像についての追跡切出条件を生成し、認識が失敗した場合には、追跡動体が消滅したとの消滅判断を行う動体追跡判定部と、
を有し、
既存動体領域保持部が、動体検出部から与えられた検出動体の領域情報を、最初の既知動体領域の情報として保持し、以後、新動体領域の情報を新たな既知動体領域の情報として保持するようにしたものである。
(30) 本発明の第３０の態様は、上述した第２９の態様に係る魚眼監視システムにおいて、
動体追跡判定部が、第ｉ番目のフレーム画像について認識された新動体領域の重心位置を追跡切出中心点Ｐ（ｉ）と設定し、この新動体領域の縦幅および横幅に基づいて追跡倍率ｍ（ｉ）を設定するようにしたものである。
(31) 本発明の第３１の態様は、上述した第２９または第３０の態様に係る魚眼監視システムにおいて、
特徴量演算部が、演算対象として与えられた領域を構成する画素の色ヒストグラムもしくはエッジ方向ヒストグラムを特徴量として求めるようにしたものである。
(32) 本発明の第３２の態様は、上述した第１〜第３１の態様に係る魚眼監視システムにおいて、
動体検出部が、動体追跡部による動体追跡処理が行われている間、新たな動体検出処理を休止するようにしたものである。
(33) 本発明の第３３の態様は、上述した第１〜第３１の態様に係る魚眼監視システムにおいて、
動体検出部が、動体追跡部による動体追跡処理が行われている間も動体検出処理を続行し、動体追跡処理の対象となっている旧動体とは異なる新動体の検出がなされた場合、この新動体についての目標切出条件を実切出条件決定部に与える処理を行い、
実切出条件決定部に新動体についての目標切出条件が与えられた場合、移行期間担当部が、旧動体についての追跡切出条件から新動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定め、
動体追跡部が、新動体に対する追跡処理を行うようにしたものである。
(34) 本発明の第３４の態様は、上述した第１〜第３１の態様に係る魚眼監視システムにおいて、
動体検出部が、動体追跡部による動体追跡処理が行われている間も動体検出処理を続行し、動体追跡処理の対象となっている旧動体とは異なり、かつ、旧動体よりも面積が大きいという条件を満たす別な動体の検出がなされた場合、当該条件を満たす新動体についての目標切出条件を実切出条件決定部に与える処理を行い、
実切出条件決定部に新動体についての目標切出条件が与えられた場合、移行期間担当部が、旧動体についての追跡切出条件から新動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定め、
動体追跡部が、新動体に対する追跡処理を行うようにしたものである。
(35) 本発明の第３５の態様は、上述した第３３または第３４の態様に係る魚眼監視システムにおいて、
動体追跡部が、新動体に対する追跡処理を行うとともに、旧動体に対する追跡処理も併せて行い、新動体に基づいて追跡切出条件を設定し、旧動体よりも新動体が先に消滅した場合、動体検出部に代わって、旧動体についての目標切出条件を、実切出条件決定部に与え、
実切出条件決定部に旧動体についての目標切出条件が与えられた場合、移行期間担当部が、新動体についての追跡切出条件から旧動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定め、
動体追跡部が、旧動体に対する追跡処理を続行するようにしたものである。
(36) 本発明の第３６の態様は、上述した第３３〜第３５の態様に係る魚眼監視システムにおいて、
移行期間担当部が、旧動体から新動体へ交替する移行処理を行う際に、旧動体についての動的監視期間が所定の最小基準時間に満たない場合には、動的監視期間が最小基準時間に達するまで、待機時間をおいてから処理を開始するようにしたものである。
(37) 本発明の第３７の態様は、上述した第１〜第３６の態様に係る魚眼監視システムにおいて、
ユーザの設定操作に基づいて、実切出条件決定部が決定すべき実切出条件および標準切出条件格納部に格納される標準切出条件を任意に設定する機能をもった手動条件設定部を更に設けたものである。
(38) 本発明の第３８の態様は、上述した第１〜第３７の態様に係る魚眼監視システムにおける魚眼レンズ付ビデオカメラおよびモニタ装置を除く構成部分を、コンピュータに専用プログラムを組み込むことにより構成するようにしたものである。
(39) 本発明の第３９の態様は、上述した第１〜第３７の態様に係る魚眼監視システムにおける魚眼レンズ付ビデオカメラおよびモニタ装置を除く構成部分を、これら構成部分に対応する機能を果たす電子回路が組み込まれた半導体集積回路により構成するようにしたものである。
(40) 本発明の第４０の態様は、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換し、これを画面上に提示する画像提示システムにおいて、
二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、二次元ＸＹ座標系の原点Ｏを中心とし半径Ｒをもち、魚眼レンズを用いた撮影により得られた歪曲円形画像を格納する歪曲円形画像用メモリと、
二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
平面正則画像用メモリ内に格納されている平面正則画像を画面上に表示する画像表示装置と、
歪曲円形画像上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件を、歪曲円形画像の一部から平面正則画像を切り出すための条件として決定する実切出条件決定部と、
実切出条件決定部から与えられた実切出条件に基づいて、歪曲円形画像用メモリに格納されている歪曲円形画像の切出中心点Ｐで示される切り出し位置から、平面傾斜角φで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して、平面正則画像用メモリに格納する画像切出変換部と、
を設け、
実切出条件決定部が、現在の切出中心点Ｐ０を含む現切出条件から、目標となる切出中心点Ｐｎを含む目標切出条件への変更を行う際に、画像切出変換部に対して与える切出中心点Ｐの位置を、点Ｐ０から点Ｐｎへと段階的に移行させる処理を行うようにしたものである。
(41) 本発明の第４１の態様は、上述した第４０の態様に係る画像提示システムにおいて、
歪曲円形画像が配置された二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを中心として半径Ｒの仮想球面を定義し、原点Ｏに向かって当該仮想球面上の１点に入射した外光が、撮影に用いた魚眼レンズの光学作用によってＸＹ平面上の１点に到達する場合に、当該仮想球面上の１点と当該ＸＹ平面上の１点とを相互に対応する点と定義し、切出中心点Ｐに対応する仮想球面上の点である対応点Ｑをとり、原点Ｏを起点として対応点Ｑを通るベクトルを視線ベクトルｎと定義し、この視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上もしくは当該平面を湾曲させた曲面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ座標系を定義したときに、
画像切出変換部が、二次元ＵＶ座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出することにより、歪曲円形画像から切り出した画像を平面正則画像に変換する処理を行うようにしたものである。
(42) 本発明の第４２の態様は、上述した第４１の態様に係る画像提示システムにおいて、
実切出条件決定部が、切出中心点Ｐについての仮想球面上の対応点Ｑが、予め設定された所定の球面移動経路上を、時間に関する関数として設定された所定の球面移動速度で移動するように、切出中心点Ｐの位置を決定するようにしたものである。
(43) 本発明の第４３の態様は、上述した第４０〜第４２の態様に係る画像提示システムにおいて、
実切出条件決定部が、切出中心点Ｐの位置を点Ｐ０から点Ｐｎへと段階的に移行させる処理を行うとともに、倍率ｍの値を、現在の倍率ｍ０から目標となる倍率ｍｎへと段階的に移行させる処理を行うようにしたものである。
(44) 本発明の第４４の態様は、上述した第４３の態様に係る画像提示システムにおいて、
実切出条件決定部が、時間に関する関数として設定された所定の倍率変更速度で倍率ｍの値を移行させるようにしたものである。
本発明の魚眼監視システムおよび画像提示システムによれば、歪曲円形画像の切出条件を切り替える際に、所定の移行期間を設け、この移行期間に切出条件が段階的に変わるようにしたため、モニタ画面上の平面正則画像には、切り替え時にパンニングやズーミングの効果が加わることになる。したがって、ユーザは、切り替え前後の画像の空間的な位置関係を容易に把握することができるようになる。
正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。 魚眼レンズを用いた撮影によって得られた歪曲円形画像Ｓの一例を示す平面図である（歪曲円形画像Ｓの一般的なイメージを示すものであり、正確な画像を示すものではない）。 歪曲円形画像Ｓの一部分に切出領域Ｅを定義した例を示す平面図である。 歪曲円形画像Ｓを含む二次元ＸＹ直交座標系と、平面正則画像Ｔを含む二次元ＵＶ直交座標系との関係を示す斜視図である。 二次元ＵＶ直交座標系上に定義された平面正則画像Ｔと平面傾斜角φとの関係を示す平面図である。 二次元ＸＹ直交座標系から二次元ＵＶ直交座標系への座標変換の原理を示す斜視図である。 図６の斜視図に示されている各構成要素を水平方向から見た図である。 図６の斜視図に示されている各構成要素を上方から見た図である。 倍率ｍを考慮したモデルにおいて、二次元ＸＹ直交座標系上における点Ｓｉ（ｘｉ，ｙｉ）と二次元ＵＶ直交座標系上における点Ｔｉ（ｕｉ，ｖｉ）との対応関係を示す斜視図である。 倍率ｍ＝１に設定した場合の二次元ＵＶ直交座標系の配置および切出領域Ｅ１の範囲を示す側面図である。 倍率ｍ＞１に設定した場合の二次元ＵＶ直交座標系の配置および切出領域Ｅ２の範囲を示す側面図である。 図２に示す歪曲円形画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの一例を示す平面図である。 図２に示す歪曲円形画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの別な一例を示す平面図である。 二次元ＵＶ直交座標系上に定義された平面正則画像Ｔを示す平面図である。 二次元ＸＹ直交座標系上に定義された歪曲円形画像Ｓを示す平面図である。 二次元ＸＹ直交座標系上における点Ｓ１（ｘ１，ｙ１），Ｓ２（ｘ２，ｙ２）と、二次元ＵＶ直交座標系上における点Ｔ１（ｕ１，ｖ１），Ｔ２（ｕ２，ｖ２）との対応関係を示すための仮想球面の側面図である。 二次元ＸＹ直交座標系上における座標（ｘ，ｙ）と二次元ＵＶ直交座標系上における座標（ｕ，ｖ）との対応関係を示す正射影画像用対応関係式である。 魚眼レンズ付ビデオカメラを屋外の監視用に設置した例を示す側面図である。 図１８に示す魚眼レンズ付ビデオカメラを用いた撮影によって得られる歪曲円形画像の一例を示す平面図である。 図１９に示す歪曲円形画像上に、２通りの切出領域Ｅ０，Ｅｎを設定した例を示す平面図である。 図２０に示す２通りの切出領域Ｅ０，Ｅｎに対応して得られる平面正則画像を示す平面図である。 図１９に示す歪曲円形画像について、動体検出が行われた状態を示す平面図である。 図２２に示す検出動体に対して、更に動体追跡が行われた状態を示す平面図である。 図２２に示す２通りの切出領域Ｅ０，Ｅｎに対応して得られる平面正則画像を示す平面図である。 図２２に示す動体検出が行われたときに、切出領域を徐々に移動させることによりパンニング効果を生じさせる原理を示す平面図である。 図２５に示すパンニング効果の後に、ズーミング効果を生じさせる原理を示す平面図である。 図２６に示すズーミング効果の後に、動体追跡を行う原理を示す平面図である。 本発明の一実施形態に係る魚眼監視システム１００の基本構成を示すブロック図である。 図２８に示すシステムの動体検出部１６０によって行われる動体検出処理の手順を示す流れ図である。 図２９の流れ図におけるステップＳ１３，Ｓ１４の具体的プロセスを示す平面図である。 図２９の流れ図におけるステップＳ１３，Ｓ１４の具体的プロセスによって、猫が動体として検出された例を示す平面図である。 図２８に示すシステムの動体検出部１６０の詳細構成を示すブロック図である。 図２８に示すシステムの動体追跡部１９０によって行われる動体追跡処理の手順を示す流れ図である。 図２８に示すシステムの動体追跡部１９０の詳細構成を示すブロック図である。 図２８に示すシステムの実切出条件決定部１７０によって行われる実切出条件の決定処理の手順を示す流れ図である。 図２８に示すシステムの実切出条件決定部１７０の詳細構成を示すブロック図である。 図３６に示す移行期間担当部１７２によって行われる具体的な移行プロセスを示す平面図である。 図２２に示す動体検出が行われた場合における移行期間の実切出条件の具体的な変遷例を示す表である。 本発明に係る等速パンニングの具体的方法を示す側面図である。 本発明に係る等速パンニングの具体的方法を示す平面図およびグラフである。 本発明に係る不等速パンニングの具体的方法を示す平面図およびグラフである。 本発明に係る等速および不等速ズーミングの具体的方法を示すグラフである。 本発明に係る等速および不等速パンニングの具体的なステップを示す表である。 本発明に係る等速および不等速ズーミングの具体的なステップを示す表である。 図３６に示す移行期間担当部１７２の詳細構成を示すブロック図である。 図４５に示す実切出中心点決定部７０の詳細構成を示すブロック図である。 図４５に示す実倍率決定部９０の詳細構成を示すブロック図である。 撮像面が鉛直面に一致し、Ｘ軸が実世界の鉛直軸Ｗに一致するように魚眼レンズ付ビデオカメラを設置した場合の切出領域の向きを示す平面図である。 撮像面が鉛直面に一致し、実世界の鉛直軸Ｗに対してＹ軸が角度ξをなすような向きに魚眼レンズ付ビデオカメラを設置した場合の切出領域の向きを示す平面図である。 撮像面が水平面に一致するように魚眼レンズ付ビデオカメラを設置した場合の切出領域の向きを示す平面図である。 撮像面が水平面に一致するように魚眼レンズ付ビデオカメラを設置した場合の撮影画像の水平面方向を示す平面図である。 標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ以外の位置に設定されている場合のパンニング経路の一例を示す平面図である。 標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ以外の位置に設定されている場合のパンニング経路の別な一例を示す平面図である。 図５３に示すパンニング経路を採る場合の切出中心点Ｐの移動経路を求める原理を示す斜視図である。 図５４に示す原理に基づいて、切出中心点Ｐの位置を決定するための演算式を示す図である。 複数の動体が存在する場合の第１の取扱方針を示すタイムチャートである。 複数の動体が存在する場合の第２の取扱方針を示すタイムチャートである。 複数の動体が存在する場合の第３の取扱方針を示すタイムチャートである。 移行処理を行う前に待機時間を確保する運用を示すタイムチャートである。 正射影方式の魚眼レンズにおける入射光の投影状態を示す側面図である。 正射影方式の魚眼レンズを用いて形成される正射影画像と、等距離射影方式の魚眼レンズを用いて形成される等距離射影画像と、の関係を示す斜視図である。 等距離射影画像上の座標と正射影画像上の座標との間で座標変換を行うための変換式を示す図である。 二次元ＸＹ直交座標系上における点Ｓｉ（ｘｉ，ｙｉ）と曲面上に定義された二次元ＵＶ座標系上における点Ｃｉ（ｕｉ，ｖｉ）との対応関係を示す斜視図である。
以下、本発明を図示する実施形態に基づいて説明する。
＜＜＜ §１．画像変換処理の基本モデル ＞＞＞
魚眼レンズを用いた撮影で得られる画像は、歪曲した円形の画像になるため、モニタの画面上に表示するには、この歪曲円形画像を、歪みの少ない平面正則画像に変換する処理を行う必要がある。そこで、ここでは、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的な特徴と、その一部分を切り出して、平面正則画像に変換する処理の基本原理を説明する。
図１は、正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図１に示すモデルは、正射影方式の魚眼レンズについてのものである（正射影方式以外の魚眼レンズに本発明を適用する手法は、§９−３で述べる）。
図１には、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲円形画像Ｓが形成された例が示されている。ここでは、図示のとおり、Ｚ軸を図の上方にとり、Ｚ軸の正の領域側にドーム状の仮想球面Ｈ（半球）を定義した例を示すことにする。
ＸＹ平面上に形成された歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径Ｒの円を構成する画像であり、Ｚ軸の正の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。図２は、魚眼レンズを用いた撮影によって得られた歪曲円形画像Ｓの一例を示す平面図である。このように、歪曲円形画像Ｓには、Ｚ軸の正の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。なお、図２に示す歪曲円形画像Ｓは、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的なイメージを示すものであり、実際の魚眼レンズを用いて得られる正確な画像を示すものではない。
実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図１に示すような仮想球面Ｈによってモデル化できることが知られている。すなわち、歪曲円形画像Ｓの上面に、半径Ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図２において歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図１に示す入射光線Ｌ１の延長線上に存在する物体上の１点を示していることになる。
もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図１に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。したがって、前掲の特許文献に開示されている画像変換処理でも、このようなモデルを前提とした手法が示されており、本発明における以下の説明においても、このようなモデルを前提とした説明を行うことにする。
本発明に係る装置では、歪曲円形画像Ｓ上の一部分を切り出して、平面正則画像に変換する処理が必要になる。たとえば、図２に示す歪曲円形画像Ｓを見たユーザが、その左下に描かれている女性の画像を、歪みのない正しい画像で観察したいと考えたとしよう。このような場合、ユーザは、歪曲円形画像Ｓのどの部分を切り出して変換を行うべきかを指定する必要がある。たとえば、図３にハッチングを施して示すような切出領域Ｅを変換対象とすべき領域として指定するのであれば、最も直観的な指定方法は、その中心点Ｐ（ｘｐ，ｙｐ）の位置を指定する方法であろう。本願では、このようにしてユーザやシステムによって指定される点Ｐを、切出中心点Ｐと呼ぶことにする。もっとも、歪曲円形画像Ｓは歪んだ画像であるため、切出中心点Ｐは、切出領域Ｅについての正確な幾何学的中心にはならない。
ここでは、切出中心点Ｐ（ｘｐ，ｙｐ）を中心とした切出領域Ｅ内の画像を、平面正則画像に変換するために、次のような基本モデルを考える。図４は、この基本モデルにおいて、歪曲円形画像Ｓを含む二次元ＸＹ直交座標系と、平面正則画像Ｔを含む二次元ＵＶ直交座標系との関係を示す斜視図である。図示のとおり、歪曲円形画像Ｓは、三次元ＸＹＺ直交座標系のＸＹ平面上に定義されているので、歪曲円形画像Ｓ自身は、二次元ＸＹ直交座標系上に定義された画像である。そこで、この歪曲円形画像Ｓ上に定義された切出中心点Ｐ（ｘｐ，ｙｐ）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｇを考える。この交点Ｇは、いわば切出中心点Ｐ（ｘｐ，ｙｐ）の真上の点であり、その位置座標は（ｘｐ，ｙｐ，ｚｐ）である。
次に、この交点Ｇ（ｘｐ，ｙｐ，ｚｐ）において、仮想球面Ｈに接する接平面を定義し、この接平面上に二次元ＵＶ直交座標系を定義する。そして、平面正則画像Ｔを、この二次元ＵＶ直交座標系上の画像として求めることにする。図４に示す例の場合、交点Ｇ（ｘｐ，ｙｐ，ｚｐ）が原点となるように二次元ＵＶ直交座標系が定義されている。結局、このモデルにおけるＵＶ座標系の原点Ｇは、仮想球面Ｈ上のいずれかに設定され、ＵＶ座標系を構成するＵＶ平面は、この原点Ｇの位置における仮想球面Ｈに対する接平面に一致する。
ＵＶ座標系の原点となる点Ｇ（ｘｐ，ｙｐ，ｚｐ）の位置は、図示のとおり、方位角αと天頂角βとによって特定することができる。ここで、方位角α（０≦α＜３６０°）は、切出中心点Ｐ（ｘｐ，ｙｐ）とＸＹ座標系の原点Ｏとを結ぶ直線とＹ軸とのなす角であり、天頂角β（０≦β≦９０°）は、ＵＶ座標系の原点となる点Ｇ（ｘｐ，ｙｐ，ｚｐ）とＸＹ座標系の原点Ｏとを結ぶ直線とＺ軸とのなす角（鋭角）である。
このように、ＵＶ平面は、方位角αと天頂角βとを指定することによって特定することができるが、ＵＶ座標系を決定するには、更にもう１つの角度φを指定する必要がある。この角度φは、直線ＯＧを回転軸としたＵＶ座標系の向きを示すパラメータであり、図４の例では、Ｕ軸とＪ軸とのなす角度として定義されている。ここで、Ｊ軸は、点Ｇ（ｘｐ，ｙｐ，ｚｐ）を通り、ＸＹ平面に平行かつ直線ＯＧに直交する軸であり、以下、回転基準軸と呼ぶことにする。要するに、角度φは、ＵＶ座標系においてＵ軸方向を向いたベクトルＵと、回転基準軸Ｊの方向を向いたベクトルＪと、を定義したときに、ベクトルＵとベクトルＪとのなす角度として定義される角であり、通常、「平面傾斜角」と呼ばれている。
図５は、ＵＶ座標系上に定義された平面正則画像Ｔと平面傾斜角φとの関係を示す平面図である。ここに示す例の場合、平面正則画像Ｔは、ＵＶ座標系の原点Ｇ（ｘｐ，ｙｐ，ｚｐ）を中心とするＵＶ平面上の矩形として定義されており、その長辺はＵ軸に平行、短辺はＶ軸に平行になっている。平面傾斜角φは、上述したとおり、Ｕ軸とＪ軸とのなす角であるから、図５に示す例の場合、ＵＶ平面上での平面正則画像Ｔの回転ファクターを示すパラメータということになる。
結局、図４に示す平面正則画像Ｔを形成するためのＵＶ座標系の位置および向きは、方位角α，天頂角β，平面傾斜角φという３つの角度からなるパラメータを設定することにより一義的に決定される。この３つの角度は、一般にオイラー角と呼ばれている。
さて、ここで行うべき画像変換処理は、結局、ＸＹ座標系からＵＶ座標系への座標変換ということになる。そこで、ＸＹ座標系とＵＶ座標系との幾何学的な位置関係を、もう少し詳しく見てみよう。図６の斜視図に示されているように、ＸＹ平面上の歪曲円形画像Ｓを、方位角αによって示される方向に対して、天頂角βだけ傾斜すると、傾斜面Ｓ１が得られる。ここで、図示のとおり、ＸＹ座標系の原点ＯからＵＶ座標系の原点Ｇへ向かう方向に視線ベクトルｎを定義し、傾斜面Ｓ１をこの視線ベクトルｎの方向に距離Ｒだけ平行移動させると、接平面Ｓ２が得られることになる。移動距離Ｒは、歪曲円形画像Ｓの半径であり、仮想球面Ｈの半径でもある。
接平面Ｓ２は、点Ｇにおいて仮想球面Ｈに接する平面であり、視線ベクトルｎは、点Ｇにおける仮想球面Ｈの法線方向を示すベクトルである。そして、ＵＶ座標系は、この接平面Ｓ２上に定義される座標系であり、点Ｇを原点とし、Ｕ軸とＪ軸（点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸であり、図における傾斜面Ｓ１とＸＹ平面との交線に平行な軸になる。）とのなす角が平面傾斜角φとなるように定義された二次元直交座標系である。図７は、図６の斜視図に示されている各構成要素を水平方向から見た図である。前述したとおり、点Ｇ（ｘｐ，ｙｐ，ｚｐ）は、歪曲円形画像Ｓ上に定義された切出中心点Ｐ（ｘｐ，ｙｐ）を通りＺ軸に平行な直線と仮想球面Ｈとの交点として定まる点であり、その位置は方位角αおよび天頂角βによって定まる。一方、図８は、図６の斜視図に示されている各構成要素を上方から見た図である。図に示す交点Ｇ（ｘｐ，ｙｐ，ｚｐ）は、仮想球面Ｈ上の点であり、ＸＹ平面の上方に位置している。そして、この交点Ｇ（ｘｐ，ｙｐ，ｚｐ）における仮想球面Ｈに対する接平面上にＵＶ座標系が定義される。このとき、Ｕ軸とＪ軸とのなす角がφとなるように、Ｕ軸の向きが定められる。
＜＜＜ §２．倍率を加味した画像変換処理の基本原理 ＞＞＞
§１では、原点Ｇ（ｘｐ，ｙｐ，ｚｐ）が仮想球面Ｈ上の１点となるように、ＵＶ座標系を定義する基本モデルを述べた。この場合、ＸＹ座標系の原点ＯとＵＶ座標系の原点Ｇとの距離は半径Ｒに一致する。これに対して、通常は、変換により得られる平面正則画像にスケーリングファクタを導入した実用モデルが利用される。すなわち、所定の倍率ｍを設定し、２点ＯＧ間の距離が、半径Ｒのｍ倍となるような位置にＵＶ座標系を配置し、このＵＶ座標系上に、倍率ｍに対応するサイズをもった平面正則画像Ｔを定義する実用モデルが用いられる。ここでは、この実用モデルにおける画像変換処理の基本原理を説明する。
図９は、この実用モデルについて、二次元ＸＹ直交座標系上における点Ｓｉ（ｘｉ，ｙｉ）と二次元ＵＶ直交座標系上における点Ｔｉ（ｕｉ，ｖｉ）との対応関係を示す斜視図である。図４に示す基本モデルとの相違は、二次元ＵＶ直交座標系の原点Ｇ（ｘｇ，ｙｇ，ｚｇ）の位置である。すなわち、図９に示す実用モデルの場合、２点ＯＧ間の距離は、ｍ・Ｒに設定されている。図９は、ｍ＝２に設定した例である。図４に示す基本モデルは、この実用モデルにおいて、ｍ＝１に設定し、原点Ｇ（ｘｇ，ｙｇ，ｚｇ）を球面上対応点Ｑ（ｘｐ，ｙｐ，ｚｐ）に一致させるようにした特殊な例に相当する。
ここで、球面上対応点Ｑ（ｘｐ，ｙｐ，ｚｐ）は、切出中心点Ｐ（ｘｐ，ｙｐ）に対応した仮想球面Ｈ上の点であり、正射影方式の魚眼レンズの場合、切出中心点Ｐ（ｘｐ，ｙｐ）を通りＺ軸に平行な直線と仮想球面Ｈとの交点として定義される点である。視線ベクトルｎは、原点Ｏから球面上対応点Ｑ（ｘｐ，ｙｐ，ｚｐ）へ伸びるベクトルとして定義されるので、切出中心点Ｐ（ｘｐ，ｙｐ）を定めることは、視線ベクトルｎを定めることと等価である。
もちろん、この図９に示す実用モデルの場合も、二次元ＵＶ直交座標系の原点Ｇ（ｘｇ，ｙｇ，ｚｇ）は、視線ベクトルｎ上の点であり、ＵＶ座標系は、この視線ベクトルｎに直交する平面上に定義される。また、Ｕ軸の向きは、平面傾斜角φに基づいて決定される。具体的には、図示のとおり、原点Ｇ（ｘｇ，ｙｇ，ｚｇ）を通る回転基準軸ＪとＵ軸とのなす角度が、平面傾斜角φに一致するように、ＵＶ座標系の向きが決定されることになる。
ここで行う画像変換処理の目的は、ＸＹ座標系上に定義された歪曲円形画像Ｓ上の切出中心点Ｐ（ｘｐ，ｙｐ）を中心とした切出領域内の歪曲画像を切り出して変形し、ＵＶ座標系上に平面正則画像Ｔを得ることにある。具体的には、ＵＶ座標系上に得られる平面正則画像Ｔ上の１点Ｔｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、これに対応するＸＹ座標系上の１点Ｓｉ（ｘｉ，ｙｉ）の近傍に位置する画素の画素値に基づいて決定することである。そのためには、§３で述べるように、座標（ｕｉ，ｖｉ）と座標（ｘｉ，ｙｉ）との対応関係を示す対応関係式が必要になる。
このような画像変換処理を行う上で、視線ベクトルｎは、平面正則画像の切り出し位置を示すパラメータとして機能する。視線ベクトルｎを図示の方向に設定した場合、切出中心点Ｐ（ｘｐ，ｙｐ）を中心とした切出領域内から、平面正則画像の切り出しが行われることになる。視線ベクトルｎの方向を変えれば、切出中心点Ｐの位置も変わることになり、平面正則画像の切り出し位置も変わってくる。一方、平面傾斜角φは、平面正則画像の切り出し向きを示すパラメータとして機能し、倍率ｍ（２点ＯＧ間の距離を決めるファクター）は、平面正則画像の切り出しサイズを示すパラメータとして機能する。
図１０および図１１は、倍率ｍと切出領域Ｅとの関係を示す側面図である。図１０は、倍率ｍ＝１に設定したモデル（図４に示すモデル）に相当し、切出中心点Ｐの真上に位置する球面上対応点Ｑが、そのままＵＶ座標系の原点Ｇ１となっており、２点Ｏ，Ｇ１間の距離は半径Ｒに等しい。これに対して、図１１は、倍率ｍ＞１に設定したモデル（図９に示すモデル）に相当し、切出中心点Ｐの真上に位置する球面上対応点Ｑから離れた位置にＵＶ座標系の原点Ｇ２が設定されており、２点Ｏ，Ｇ２間の距離は半径Ｒのｍ倍に等しい。いずれも切出中心点Ｐの位置、球面上対応点Ｑの位置、視線ベクトルｎの位置は同じであるが、原点の位置Ｇ１，Ｇ２が異なるため、ＵＶ座標系の位置（その上に形成される平面正則画像Ｔ１，Ｔ２の位置）も異なっている。
図１０と図１１とを比較すれば、倍率ｍに応じて、切出領域Ｅが異なることが理解できよう。すなわち、倍率ｍ＝１の設定では、図１０のように、Ｅ１が切出領域となるのに対して、倍率ｍ＞１の設定では、図１１のように、Ｅ２が切出領域となり、倍率ｍが大きくなるほど、切出領域Ｅの面積は小さくなる。ここで、得られる平面正則画像Ｔ１，Ｔ２をモニタ装置の画面上に表示させる場合、平面正則画像Ｔ１，Ｔ２の大きさ（モニタ画面の大きさに応じて定まる）は一定である。したがって、平面正則画像Ｔ１，Ｔ２は、いずれも切出中心点Ｐを中心として切り出した画像であるが、倍率ｍ＞１に設定した平面正則画像Ｔ２の方が、より狭い切出領域Ｅ２を拡大表示した画像になる。別言すれば、平面正則画像Ｔ１が、画角Ｆ１内の被写体を撮影した画像になるのに対して、平面正則画像Ｔ２は、より狭い画角Ｆ２内の被写体を撮影した画像になる。
これに対して、平面傾斜角φは、平面正則画像の切り出し向きを示すパラメータであり、平面傾斜角φを変えると、平面正則画像Ｔ内に現れる被写体と画像枠との位置関係（回転方向に関する位置関係）が変わることになる。これは、図５において、角度φを増加させると、Ｕ軸（およびＶ軸）が反時計回りに回転し、平面正則画像Ｔの画像枠も反時計回りに回転することから、容易に理解できよう。
結局、ユーザは、視線ベクトルｎ（切出中心点Ｐ），倍率ｍ，平面傾斜角φという３つのパラメータを設定することにより、ＵＶ座標系上に所望の平面正則画像Ｔを得ることができる。また、得られた平面正則画像Ｔが満足のゆくものでなかった場合には、これら３つのパラメータを適宜修正することにより、平面正則画像Ｔを修正することができる。すなわち、得られた画像の向きに満足しなければ、平面傾斜角φを修正すればよいし、得られた画像の画角に満足しなければ、倍率ｍを修正すればよいし、得られた画像の切り出し位置に満足しなければ、視線ベクトルｎ（切出中心点Ｐ）を修正すればよい。
図１２は、図２に例示した歪曲円形画像Ｓについて、上記３つのパラメータを適宜設定し、その一部分を切り出して変換することによりＵＶ座標系上に得られた平面正則画像Ｔの一例を示す平面図である。この例では、図２に示す歪曲円形画像Ｓにおける女性の鼻の位置が切出中心点Ｐとして設定されており、女性の顔周辺の画像が切り出されている。ただ、女性の身長方向がＵ軸となるような切り出し向きが設定されているため、図示のように、Ｕ軸を水平方向にとったモニタ画面に表示させると、女性は横向きに表示されてしまう。
このような場合、ユーザは、平面傾斜角φを修正すればよい。たとえば、角度φを９０°程度減少させれば、Ｕ軸（およびＶ軸）が時計回りに回転し、平面正則画像Ｔの画像枠も時計回りに回転することになり、女性の正立像が得られることになる。ただ、図示のモニタ画面は、横方向寸法ａ（水平方向の画素数）より縦方向寸法ｂ（垂直方向の画素数）の方が小さい矩形枠を有しているため、女性の胸元まで表示するためには、倍率ｍを若干減少させる修正も必要になる。
図１３は、このような修正によって得られた平面正則画像Ｔである。ユーザの要望どおり、女性の胸元までの正立像が得られている。図１２も図１３も、視線ベクトルｎ（切出中心点Ｐ）は同一の設定となっており、いずれも女性の鼻の位置に指定した切出中心点Ｐが中心となる画像になっている。ただ、両者では定義されるＵＶ座標系の位置および向きが異なっているため、得られる平面正則画像Ｔが異なる結果となっている。
なお、本願にいう「平面正則画像」とは、必ずしも「歪みのない完全な画像」を意味するものではなく、「魚眼レンズを用いた撮影により得られる歪曲円形画像Ｓに比べて、通常レンズを用いた撮影により得られる画像に近い平面画像」を意味するものである。したがって、図２に示す歪曲円形画像Ｓ上の女性像に比べれば、図１２，図１３に示す平面正則画像Ｔは歪みのない画像に見えるが、完全に歪みが取り除かれているわけではない。
＜＜＜ §３．正射影方式の対応関係式 ＞＞＞
図１４は、二次元ＵＶ直交座標系上に定義された平面正則画像Ｔを示す平面図である。ここでは、この平面正則画像Ｔ上の任意の点Ｔｉを、ＵＶ座標系の座標値ｕｉ，ｖｉを用いて、Ｔｉ（ｕｉ，ｖｉ）と表すことにする。図９に示すとおり、このＵＶ座標系の原点Ｇは、三次元ＸＹＺ直交座標系上における座標を用いて、点Ｇ（ｘｇ，ｙｇ，ｚｇ）で示されることになるが、二次元ＵＶ直交座標系を用いて示すと、図１４に示すとおり、点Ｔ（０，０）ということになる。
一方、図１５は、二次元ＸＹ直交座標系上に定義された歪曲円形画像Ｓを示す平面図である。ここでは、この歪曲円形画像Ｓ上の任意の点Ｓｉを、ＸＹ座標系の座標値ｘｉ，ｙｉを用いて、Ｓｉ（ｘｉ，ｙｉ）と表すことにする。図１４に示す原点Ｇ（点Ｔ（０，０））上の画像は、図１５に示す切出中心点Ｐ（ｘｐ，ｙｐ）上の画像に対応し、図１４に示す任意の点Ｔｉ（ｕｉ，ｖｉ）上の画像は、図１５に示す点Ｓｉ（ｘｉ，ｙｉ）上の画像に対応する。
前述したとおり、二次元ＵＶ直交座標系上に平面正則画像Ｔを得るためには、図１４に示す点Ｔｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、図１５に示す点Ｓｉ（ｘｉ，ｙｉ）に位置する画素（二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の画素）の画素値に基づいて決定する必要がある。そのためには、二次元ＵＶ直交座標系上の座標（ｕｉ，ｖｉ）と二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）との間の１対１の対応関係を示す対応関係式が必要になる。このような対応関係式を用いれば、図１４に示す平面正則画像Ｔ上の任意の点は、図１５に示す歪曲円形画像Ｓの切出領域Ｅ内のいずれかの点に対応づけられることになり、切出領域Ｅ内の歪曲画像を平面正則画像Ｔに変換することができる。
このような対応関係式は、三次元ＸＹＺ座標系の空間内に配置されたＵＶ座標系の位置および向きが決定すれば、幾何学的な手法で一義的に定義することが可能である。たとえば、図９に示す例において、平面正則画像Ｔ上の点Ｔｉ（ｕｉ，ｖｉ）と、歪曲円形画像Ｓ上の点Ｓｉ（ｘｉ，ｙｉ）との位置関係に着目すれば、点Ｓｉ（ｘｉ，ｙｉ）の真上にある仮想球面Ｈ上の点を球面上対応点Ｑｉ（ｘｉ，ｙｉ，ｚｉ）としたときに、原点Ｏと球面上対応点Ｑｉとを結ぶ直線ｎｉとＵＶ座標系の座標平面との交点に、点Ｔｉ（ｕｉ，ｖｉ）が位置することになる。
図１６は、このような２点間の位置関係をより明確に説明するための側面図である。この図１６において、視線ベクトルｎは、原点Ｏから天頂角βをもつ方向に伸び、視線ベクトルｎと仮想球面Ｈとの交点Ｑは、切出中心点Ｐ（ｘｐ，ｙｐ）の真上に位置している。また、視線ベクトルｎ上における原点Ｏからの距離がｍＲの位置に点Ｇが定義されている。この点Ｇは、二次元ＵＶ直交座標系の原点であり、このＵＶ座標系の座標面は、視線ベクトルｎに直交しており、平面正則画像Ｔは、このＵＶ座標系の座標面上に定義される。
平面正則画像Ｔ上の任意の点Ｔ１（ｕ１，ｖ１）についての歪曲円形画像Ｓ上の対応点Ｓ１（ｘ１，ｙ１）は、次のようにして定義される。すなわち、点Ｔ１（ｕ１，ｖ１）と原点Ｏとを結ぶ直線と仮想球面Ｈとの交点位置に、球面上対応点Ｑ１を求め、この球面上対応点Ｑ１の真下の位置にある歪曲円形画像Ｓ上の点を、対応点Ｓ１（ｘ１，ｙ１）とすればよい。同様に、平面正則画像Ｔ上の任意の点Ｔ２（ｕ２，ｖ２）については、点Ｔ２（ｕ２，ｖ２）と原点Ｏとを結ぶ直線と仮想球面Ｈとの交点位置に、球面上対応点Ｑ２を求め、この球面上対応点Ｑ２の真下の位置にある歪曲円形画像Ｓ上の点を、対応点Ｓ２（ｘ２，ｙ２）とすればよい。
このような２点間の対応関係は、幾何学的な対応関係式で記述することができる。具体的には、図１７に示す式（１）〜（９）によって記述できることが知られており、たとえば、前掲の特許文献１，２などに、このような対応関係式を用いた画像変換の方法が開示されている。なお、座標系のとり方や角度の定義方法などによって、各項の符号等に多少の相違が生じるため、文献によっては、掲載されている式に若干の食い違いが生じるが、本質的には同一の幾何学演算を示す式である。
この図１７に示す対応関係式は、図９に示す座標系および角度の定義を行った場合の式であり、ＵＶ座標系の位置を示すパラメータα，βと、ＵＶ座標系の向きを示すパラメータφとを含む式になっている。これら３つのパラメータは、前述したオイラー角、すなわち、方位角α，天頂角β，平面傾斜角φである。
具体的には、
ｘ＝Ｒ（ｕＡ＋ｖＢ＋ｗＣ）／
√（ｕ２＋ｖ２＋ｗ２） 式（１）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｘ座標値を求めるための式であるが、Ａ，Ｂ，Ｃは、それぞれ、
Ａ＝cosφ cosα − sinφ sinα cosβ 式（３）
Ｂ＝−sinφ cosα − cosφ sinα cosβ 式（４）
Ｃ＝sinβ sinα 式（５）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
同様に、
ｙ＝Ｒ（ｕＤ＋ｖＥ＋ｗＦ）／
√（ｕ２＋ｖ２＋ｗ２） 式（２）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｙ座標値を求めるための式であるが、Ｄ，Ｅ，Ｆは、それぞれ、
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ 式（６）
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ 式（７）
Ｆ＝−sinβ cosα 式（８）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
なお、式（１），（２）におけるｗは、
ｗ＝ｍＲ 式（９）
で与えられる値である。ここで、Ｒは、既に述べたとおり、歪曲円形画像Ｓの半径であり、ｍは倍率である。倍率ｍは、座標値ｕ，ｖのスケーリングと、座標値ｘ，ｙのスケーリングとの関係を示すものであり、倍率ｍを大きく設定すればするほど、平面正則画像Ｔには拡大された画像が求められるが、歪曲円形画像Ｓの切出領域Ｅは小さくなる。
結局、図１７に示す式において、Ｒの値は歪曲円形画像Ｓの半径として既知であるから、方位角αおよび天頂角β（別言すれば、切出中心点Ｐの位置）と、平面傾斜角φと、倍率ｍとを定めて、ＵＶ座標系の位置および向きを決定してやれば、図１７に示す対応関係式において、座標値ｘ，ｙを算出するための未知数はｕ，ｖのみになる。したがって、この対応関係式を用いれば、平面正則画像Ｔにおける任意の１点Ｔ（ｕ，ｖ）に対応する歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）を決定することができる。
＜＜＜ §４．本発明の基本概念 ＞＞＞
続いて、本発明の基本概念を説明する。図１８は、一般的な魚眼レンズ付ビデオカメラを屋外の監視用に設置した例を示す側面図である。この例では、路面１０の左側に位置する建物２０の右側壁面に、魚眼レンズ付ビデオカメラ３０が設置されている。ビデオカメラ３０の撮像面（魚眼レンズの結像面）、すなわち、図１に示すＸＹ平面は、建物２０の側壁面に沿った面となっており、撮像中心点３１がＸＹ座標系の原点Ｏに対応する。要するに、図１に示すＸＹ平面（歪曲円形画像Ｓが形成される面）が、実世界の鉛直面に沿った面となるように、ビデオカメラ３０が取り付けられていることになる。
一方、路面１０の右側には、樹木４０とガードレール５０が配置されており、ビデオカメラ３０は、この樹木４０とガードレール５０を含む景色を正面から撮影することになる。図１９は、このような魚眼レンズ付ビデオカメラ３０を用いた撮影によって得られる歪曲円形画像Ｓの一例を示す平面図である。路面１０に沿って樹木４０とガードレール５０が左右方向に配置されている状態が示されているが、円周に近い部分ほど、画像に歪みが生じている。
ここでは、ＸＹ座標系のＹ軸が水平面に平行となりＸ軸が鉛直軸となるように、ビデオカメラ３０の向きが設定されているものとする。したがって、図１９に示すように、ＸＹ平面上に得られた歪曲円形画像Ｓの原点Ｏの直近に関しては、Ｙ軸方向が実世界の景色の水平線方向、Ｘ軸方向が実世界の景色の鉛直方向ということになる。このような方向性の特徴は、画像の円周に近くなるほど失われてくる。
前掲の特許文献１，２に開示されているような一般的な魚眼監視システムには、ユーザの要望に応じて、図１９に示すような歪曲円形画像Ｓ上の任意の一部分を切り出して、これを平面正則画像に変換してモニタ画面上に表示する機能が備わっている。たとえば、図２０に示すように、ユーザが、歪曲円形画像Ｓの中心にある点Ｐ０を切出中心点として切出領域Ｅ０の部分を切り出す指示を与えれば、モニタ画面上には、図２１(a) にフレームＦ０として示すような平面正則画像が得られ、樹木４０の細部を確認することができる。これに対して、図２０において、ユーザが、歪曲円形画像Ｓの右下にある点Ｐｎを切出中心点として切出領域Ｅｎの部分を切り出す指示を与えれば、モニタ画面上には、図２１(b) にフレームＦｎとして示すような平面正則画像が得られ、ガードレール５０の細部を確認することができる。
なお、図２０では、各切出領域Ｅ０，Ｅｎを矩形の領域として示しているが、実際には、図２１(a) ，(b) に示すように、モニタ画面上に表示される平面正則画像が矩形の画像である場合、これに対応する切出領域Ｅ０，Ｅｎは、矩形ではなく、歪んだ形状になる。ただ、図面上で切り出し向き（平面傾斜角φ）を示す上では、矩形の切出領域を描いた方が好都合である。たとえば、図２０に示す例の場合、切出領域Ｅ０，Ｅｎは、いずれもＵ軸（図５に示す例のように、矩形状の平面正則画像の長辺方向の軸）が図の水平方向となる向きに設定した領域である。したがって、以後の説明においても、歪曲円形画像Ｓ上の切出領域は、便宜的に矩形の領域として示すことにし、その長辺方向によってＵ軸の向きを示すことにする。
図９に示すモデルで説明したように、歪曲円形画像Ｓの中の一部分を切り出して平面正則画像Ｔを得るためには、切り出す場所を示すための切出中心点の位置Ｐ（ｘｐ，ｙｐ）、切り出す向きを示すための平面傾斜角φ、切り出し倍率を示すための倍率ｍ、という３つのパラメータからなる切出条件を与える必要がある。具体的には、図２１(a) に示す平面正則画像を得るためには、図２０に示す切出中心点Ｐ０の位置、切出領域Ｅ０の向き（平面傾斜角φ）、切出領域Ｅ０のサイズ（倍率ｍ）、という切出条件を指定する必要がある。
このような具体的な切出条件をユーザに指定させるためのマンマシンインターフェイスとしては、様々な形態のものが知られている。たとえば、切出中心点Ｐ０の位置は、モニタ画面上に図２０に示すような歪曲円形画像Ｓを表示し、マウスなどのポインティングデバイスによって、任意の位置をクリックするユーザ操作によって取り込むことが可能である。また、切出領域Ｅ０の向きやサイズも、モニタ画面上に表示した歪曲円形画像Ｓ上でのユーザ操作に基づいて取り込むことができる。もちろん、点Ｐ０の位置座標値、角度φの値、倍率ｍの値を、ユーザに数値入力させることも可能である。
したがって、たとえば警備に従事するユーザが、リアルタイムで撮影画像の監視を行う場合、モニタ画面上に表示された図２０のような歪曲円形画像Ｓを見ながら、この魚眼監視システムに対して所望の切出条件を入力すれば、任意の位置の画像を、任意の向きに、任意の倍率で切り出した平面正則画像を得ることができる。図２１(a) ，(b) に示すように、こうして得られた平面正則画像は、図１８に示す撮像中心点３１の位置から、通常のレンズを用いたカメラで所定方向を撮影した画像と同等の画像になるので、ユーザは、通常レンズを装着した監視カメラの視野をメカニカルな機構で動かした場合と同等の監視作業を行うことができる。
しかしながら、通常レンズを装着した監視カメラの場合、メカニカルな機構で視野を動かすため、視野の切替プロセスは、必ずパンニング動作やズーミング動作を伴うことになるのに対して、魚眼レンズを装着した監視カメラの場合、そのようなメカニカルな切替プロセスは存在しない。たとえば、図２１(a) に示すフレームＦ０の画像から、図２１(b) に示すフレームＦｎの画像へと切り替える場合、通常レンズを装着した監視カメラであれば、途中にフレームＦ１，Ｆ２，Ｆ３，... という中間的なフレームが介挿され、モニタ画面上には、フレームＦ０，Ｆ１，Ｆ２，Ｆ３，... ，Ｆｎという段階的な切替プロセスが表示されることになる。ところが、魚眼レンズを装着したカメラを用いる監視システムの場合、メカニカルな切替プロセスではなく、切出条件を変更する電子的な切替処理が行われるため、フレームＦ０からフレームＦｎへと瞬時の切り替えが行われる。
このように、フレームＦ０からフレームＦｎへの切り替えが瞬時に行われると、ユーザは、フレームＦ０に表示されていた樹木４０を含む景色と、フレームＦｎに表示されているガードレール５０を含む景色との相対的な位置関係を直感的に把握することが困難になる。この問題は、特に、動体追跡の技術を盛り込んだ魚眼監視システムの場合に顕著である。
一般に、ユーザ自身が、所望の切出条件を指定して、モニタ画面上に得られる平面正則画像を切り替えた場合、ユーザは、切り替え前後の画像の空間的な位置関係を意識的には認識していることになる。たとえば、図２０に示す切出領域Ｅ０からＥｎへと、ユーザ自身が切替指示を与えたのであれば、モニタ画面上に表示されている平面正則画像が、図２１(a) から(b) へと瞬時に切り替わったとしても、ユーザは、図２１(a) が真正面の監視画像であり、図２１(b) が右下路面の監視画像であることを、意識的には理解することができる（もちろん、視野の移動を直感的に把握するには不十分である）。
ところが、切出領域Ｅ０からＥｎへの切り替えが、ユーザの意志とは無関係に、監視システムによって勝手に行われた場合、切り替え前後の画像の空間的な位置関係の把握は極めて困難になる。たとえば、前掲の特許文献３に開示されている動体追跡機能をもった魚眼監視システムの場合、動体が検出された時点で、歪曲円形画像Ｓ上の切り出し部分や表示倍率などの切出条件を、当該動体の表示に適した切出条件に自動的に切り替える処理が行われる。たとえば、図２０に示す例において、通常は、領域Ｅ０から切り出した画像をモニタ上に表示し続け、領域Ｅｎ内に動体が検出された場合に、この領域Ｅｎから切り出した画像表示に自動的に切り替える処理を行うことにすると、モニタ画面は図２１(a) に示すフレームＦ０から、図２１(b) に示すフレームＦｎへと、ユーザの意志とは無関係に瞬時に切り替えられてしまうため、映像が時間的に不連続になり、モニタ画面を注視していたユーザには、どの場所の映像に切り替わったのかを認識することが非常に困難である。
本発明は、このような問題を解決するための新技術を提案するものであり、歪曲円形画像の切出条件を切り替える場合にも、ユーザが、切り替え前後の画像の空間的な位置関係を容易に把握することができるようにすることを目的とする。
以下に説明する実施形態に係る魚眼監視システムは、動体検出機能および動体追跡機能を有するシステムであり、動体検出がなされていない静的監視期間、動体検出がなされた後の移行期間、この移行期間が完了してから動体を追跡する動的監視期間、という３つの期間に分けて、それぞれ最適な態様で、モニタ画面上に平面正則画像を表示することができる。
たとえば、動体検出がなされていない静的監視期間は、図２２に示すように、切出中心点Ｐ０を中心とした切出領域Ｅ０内の画像を切り出して、平面正則画像に変換し、これをモニタ画面上に表示する設定がなされていた場合を考えよう。ここで、もし図示のとおり、点Ｐｎの近傍に動体６０が検出された場合（ここでは、猫が動体として検出されたものとする）、切出領域を領域Ｅ０からＥｎへと徐々に移行させる移行期間の処理が行われ、続いて、図２３に示すように、動体６０を追跡しながら、切出領域を領域ＥｎからＥ（ｉ）へと順次移動させる動的監視期間の処理が行われる。
ここで、切出中心点の位置に着目すれば、動体検出がなされていない静的監視期間は、図２２に示すように、歪曲円形画像Ｓの中心点Ｐ０の位置を維持し続けるが、動体検出が行われると、点Ｐ０から点Ｐｎへと段階的に移動し（移行期間）、更に、図２３に示すように、動体６０の移動に同期して、点Ｐｎから点Ｐ（ｉ）へと段階的に移動することになる（動的監視期間）。このような動体追跡処理は、動体６０が消滅したと判断されるまで続行される。
一方、切出領域のサイズ（切り出しの倍率ｍ）も必要に応じて変化する。すなわち、静的監視期間における切出領域Ｅ０は一定のサイズを維持するが、移行期間では、図２２に示すように、切出領域のサイズは、領域Ｅ０のサイズから領域Ｅｎのサイズへと段階的に変化し、続く動的監視期間では、図２３に示すように、切出領域のサイズは、領域Ｅｎのサイズから領域Ｅ（ｉ）のサイズへと段階的に変化する。ここで、領域Ｅｎおよび領域Ｅ（ｉ）のサイズは、動体６０の表示に適したサイズとなるように自動的に設定される。
結局、この実施形態に係る魚眼監視システムを利用すれば、監視業務に従事するユーザは、モニタ画面を注視してさえいれば、何ら指示操作を行わなくても、監視範囲内に進入した動体を認識することができる。すなわち、監視範囲内の動体が検出されていない静的監視期間には、図２４(a) に示すような樹木４０を含む静的画像が、モニタ画面上に表示され続ける。ところが、動体６０が検出されると、モニタ画面上に表示される平面正則画像は、図２４(b) に示すような動体６０を含む画像に自動的に切り替えられ、以後の動的監視期間では、常に動体６０を含む画像が表示されるよう、動体追跡が行われる。
しかも、図２４(a) に示すフレームＦ０の画像から、図２４(b) に示すフレームＦｎの画像へ切り替える際に、所定の移行期間が設けられ、あたかもメカニカルな機構で視野を動かすかのようなパンニング動作やズーミング動作が行われる。すなわち、この移行期間の間、フレームＦ１，Ｆ２，Ｆ３，... という中間的なフレームが介挿され、モニタ画面上には、フレームＦ０，Ｆ１，Ｆ２，Ｆ３，... ，Ｆｎという段階的な切替プロセスが表示されることになる。
移行期間に介挿する中間的なフレームの平面正則画像は、たとえば、切出条件を図２５および図２６に示すように、徐々に変化させてゆくことによって得ることができる。ここに示す例は、移行期間を、前半のパンニング期間と、後半のズーミング期間とによって構成した例であり、図２５はパンニング期間における切出領域の位置の変遷を示し、図２６はズーミング期間における切出領域のサイズの変遷を示している。
図２５に示すように、前半のパンニング期間には、切出中心点の位置を、点Ｐ０から点Ｐｊへ徐々に移動させる処理が行われる。ここで、点Ｐｊは、図２２に示す点Ｐｎと同じ位置の点であり、点Ｐｉは、点Ｐ０から点Ｐｊへの移動途中の点である。図示のとおり、切出中心点は、ＸＹ平面上での移動経路Ａに沿って徐々に移動する。ここに示す例の場合、最初の切出中心点Ｐ０がＸＹ座標系の原点Ｏの位置（歪曲円形画像Ｓの中心点）であるため、移動経路Ａは、この歪曲円形画像Ｓの半径に沿った経路になる。切出中心点は、モニタ画面上に表示させる平面正則画像のフレーム周期に同期して、Ｐ０，Ｐ１，... ，Ｐｉ，... ，Ｐｊと変遷することになる。
これに応じて、各切出領域も、Ｅ０，... ，Ｅｉ，... ，Ｅｊと変遷することになる。各切出領域は、いずれも各切出中心点を中心とした領域であるので、切出中心点の移動とともに移動経路Ａに沿って移動することになる。ここに示す例の場合、パンニング期間中、倍率ｍは一定に維持しているため、便宜的に矩形で示す領域Ｅ０〜Ｅｊのサイズは互いに等しい。なお、前述したとおり、ここで図示する切出領域は、切り出しの位置Ｐ，向きφ，倍率ｍを便宜的に矩形の位置，向き，サイズで示すものであり、実際に画像が切り出される領域を正確に示すものではない。
一方、後半のズーミング期間では、図２６に示すように、切出中心点の位置を固定したまま（点Ｐｊ〜Ｐｎは同じ位置の点である）、切出領域のサイズを徐々に小さくしてゆく処理が行われる。その結果、切出領域は、領域Ｅｊ，... ，Ｅｋ，... ，Ｅｎと変遷することになる。ここで、領域Ｅｎは、図２２に示す領域Ｅｎであり、検出された動体６０の表示に適したサイズに設定されている。
かくして、切出領域は、図２５に示すように、Ｅ０，... ，Ｅｉ，... ，Ｅｊと変遷し（前半のパンニング期間）、更に、図２６に示すように、Ｅｊ，... ，Ｅｋ，... ，Ｅｎと変遷する（後半のズーミング期間）。移行期間中、このように切出条件を段階的に変化させれば、モニタ画面上には、図２４(a) に示すフレームＦ０に後続して、ズーム倍率は一定にして右下方向へパンニングした画像に相当するフレームＦ１，... ，Ｆｉ，... ，Ｆｊが表示され、続いて、視線方向は固定して望遠側へズーミングした画像に相当するフレームＦ（ｊ＋１），... ，Ｆｋ，... が表示されることになり、最終的に、図２４(b) に示すフレームＦｎが得られる。
このような移行期間を設けるようにすれば、ユーザは、フレームＦ０からＦｎへの移行プロセスを、視覚的に認識することができるので、監視システムの動体検出機能によって、ユーザの意志とは無関係に画像の切り替えが行われたとしても、ユーザは、切り替え前後の画像の空間的な位置関係を容易に把握することができる。なお、動体の移動速度が速い場合、移行期間の終了時には切出領域Ｅｎ内から動体６０が走り去っているケースもありうるが、その後の動的監視期間で追跡が行われるため支障はない。
なお、前半のパンニング期間と後半のズーミング期間とを分けて設定する代わりに、パンニング動作（切出中心点の移動動作）とズーミング動作（切出領域のサイズ変更動作）とを並行して行うようにしてもかまわない。前半にパンニング動作のみを行うと、図２５の切出領域Ｅｊのように、一部分が歪曲円形画像Ｓの領域からはみ出してしまう可能性があるが（この場合、一部が欠けた平面正則画像がモニタ画面に表示されることになる）、パンニング動作とズーミング動作とを並行して行うようにすれば、そのようは弊害を防ぐことができる。
要するに、移行期間の全期間をパンニング期間およびズーミング期間に設定して、パンニング動作とズーミング動作とを並行して行うようにしてもよいし、移行期間の一部の期間をパンニング期間、別な一部の期間をズーミング期間に設定して、パンニング動作とズーミング動作とを別個に行ってもよい。あるいは、パンニング期間およびズーミング期間が部分的に重なるような設定を行うことも可能である。
こうして、移行期間が完了し、図２６に示す切出領域Ｅｎ内の画像がモニタ画面上に表示されるようになったら、動的監視期間が開始し、移動する動体を追いかけるように、切出領域の位置およびサイズが変更される。図２７は、このような動体追跡の様子を示す図である。図２７に示す切出中心点Ｐ（０）および切出領域Ｅ（０）は、図２６に示す切出中心点Ｐｎおよび切出領域Ｅｎと同じものである。切出中心点がＰ（ｉ），Ｐ（ｊ），Ｐ（ｋ）と移動しているが、これは動体６０（猫）がこの位置に移動したためである。動体６０を追跡して、切出領域もＥ（ｉ），Ｅ（ｊ），Ｅ（ｋ）と移動することになる。なお、ここでは、便宜上、移行期間における変遷を、添字「０，１，...，ｉ，... ，ｎ」で示し、動的監視期間における変遷を、括弧付きの添字「（０），（１），...，（ｉ），... 」で示して相互に区別することにする。
結局、ユーザには、図２４(a) に示すフレームＦ０から図２４(b) に示すフレームＦｎまで、段階的に変化するフレーム画像が提示された後、フレームＦｎ内の動体６０を追跡したフレーム画像の提示が、当該動体が消滅するまで、継続して行われることになる。動体６０が消滅した場合（歪曲円形画像Ｓの外部へ移動した場合）、監視システムは、動体消滅の判断を行い、再び、図２４(a) に示すフレームＦ０の提示を行うことになる。
以上、本発明の基本概念を説明したが、続く§５以降では、このような基本概念に基づいて設計された魚眼監視システムの具体的な実施形態を詳述する。
＜＜＜ §５．本発明に係る魚眼監視システムの基本構成 ＞＞＞
ここでは、図２８のブロック図を参照しながら、本発明の一実施形態に係る魚眼監視システムの基本構成を説明する。このシステムにおいて、図の上半分に示されている構成要素、すなわち、魚眼レンズ付ビデオカメラ１１０、モニタ装置１２０、画像入力部１１５、画像出力部１２５、歪曲円形画像用メモリ１３０、平面正則画像用メモリ１４０、画像切出変換部１５０は、従来の魚眼監視システムが備えている一般的な構成要素であり、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換し、これをモニタ画面上に表示する基本機能を有している。
魚眼レンズ付ビデオカメラ１１０は、装着した魚眼レンズによって、外界の画像を歪曲円形画像として撮影するビデオカメラであり、たとえば、図１８に示す例の場合、建物２０の壁面に取り付けられたビデオカメラが、図２８に示すビデオカメラ１１０に対応する。ビデオカメラ１１０で撮影されたフレーム単位の画像は、画像入力部１１５を介して歪曲円形画像用メモリ１３０に格納される。魚眼レンズ付カメラの撮影画像は、たとえば、図１９に示す例のように、歪曲した円形の画像になる。メモリ１３０は、この歪曲円形画像Ｓを画像データとして格納する。具体的には、歪曲円形画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、この二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった画像として、メモリ１３０に格納される。
ビデオカメラ１１０からは、このような歪曲円形画像Ｓが、フレーム単位の画像データとして所定周期（たとえば、３０フレーム／秒）で出力される。画像入力部１１５は、このように１フレームごとの時系列データとして順次与えられる歪曲円形画像Ｓを、メモリ１３０内に順次格納する処理を行う。メモリ１３０は、このような歪曲円形画像Ｓを少なくとも１フレーム格納する記憶容量をもっているバッファメモリである。もちろん、より大きな容量をもったメモリを用意しておけば、連続した複数フレーム分の歪曲円形画像のデータを同時に保持することができる。また、図には示されていないが、監視映像を記録として残す場合は、別途用意したハードディスク装置などに、メモリ１３０に格納された画像データを逐次転送するようにする。
一方、平面正則画像用メモリ１４０は、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像Ｔを格納するバッファメモリであり、ここに格納された平面正則画像Ｔは、画像出力部１２５によって読み出され、モニタ装置１２０へと出力される。通常、この平面正則画像Ｔは、モニタ装置１２０の表示画面に表示するのに適した矩形状の画像になるが、もちろん、平面正則画像Ｔの輪郭は、どのような形状のものであってもかまわない。
ここに示す実施形態の場合、画像出力部１２５は、メモリ１４０内に格納されている平面正則画像Ｔを読み出してモニタ装置１２０に出力する機能とともに、メモリ１３０内に格納されている歪曲円形画像Ｓを読み出してモニタ装置１２０に出力する機能も併せもつ。モニタ装置１２０にいずれの画像を出力するかは、ユーザの指示操作によって切り替え可能であり、モニタ装置１２０の表示画面には、平面正則画像Ｔを表示させることも可能であるし、歪曲円形画像Ｓを表示させることも可能であるし、必要があれば、画面を分割して、双方の画像を同時に表示させることも可能である。
既に述べたとおり、メモリ１３０内に格納される歪曲円形画像Ｓが、たとえば、図１９に示すような１８０°の画角をもった魚眼撮影画像であるのに対して、メモリ１４０内に格納される平面正則画像Ｔは、たとえば、図２１(a) ，(b) に示すように、歪曲円形画像Ｓの一部を切り出して、歪みを補正する変換処理を施した画像になる。画像切出変換部１５０は、このような部分画像の切り出しと、歪み補正の変換処理と、を行う構成要素である。
実際には、この画像切出変換部１５０の処理は、平面正則画像Ｔを構成する個々の画素の画素値を、歪曲円形画像Ｓ上の対応画素の画素値に基づいて決定する作業によって行われる。すなわち、ＵＶ座標系上の座標（ｕ，ｖ）に配置された平面正則画像Ｔ上の特定の着目画素について、ＸＹ座標系上の対応座標（ｘ，ｙ）を求め、この対応座標（ｘ，ｙ）に位置する歪曲円形画像Ｓ上の画素の画素値を、当該着目画素についての画素値とする作業を行えばよい。
ただ、歪曲円形画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、対応する座標（ｘ，ｙ）の位置は、通常、複数の格子点の間の位置になる。たとえば、歪曲円形画像Ｓが、ピッチ１で縦横に配列された多数の格子点位置の画素値を定義したデジタルデータによって構成されている場合、いずれの格子点も、その座標値は整数値になる。よって、算出された対応座標ｘおよびｙの値が小数を含む値であると（多くの場合はそうなるであろう）、対応座標（ｘ，ｙ）の位置は、複数の格子点の間の位置になり、対応する画素値を１つに決めることはできない。
したがって、実際には、画像切出変換部において、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の着目画素の画素値を決定する際には、対応座標（ｘ，ｙ）で示される位置の近傍に配置された歪曲円形画像Ｓ上の複数の参照画素の画素値を読み出し、これら複数の参照画素の画素値に対する補間演算を行う必要がある。このような補間演算を行う方法としては、たとえば、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知であるため、ここでは詳しい説明は省略する。もちろん、そのような補間を行わずに、対応座標（ｘ，ｙ）で示される位置に最も近い画素の画素値をそのまま着目画素の画素値と決定する方法を採ることも可能である。
結局、画像切出変換部１５０は、平面正則画像Ｔを構成する１つの着目画素の座標（ｕ，ｖ）についての対応座標（ｘ，ｙ）を算出し、歪曲円形画像用メモリ１３０内の当該対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて当該着目画素の画素値を決定する処理を、平面正則画像Ｔを構成する各画素について実行し、平面正則画像用メモリ１４０内に各画素の画素値を書き込むことにより、歪曲円形画像Ｓから切り出した一部分の画像を、平面正則画像Ｔに変換する処理を行うことになる。
なお、座標（ｕ，ｖ）についての対応座標（ｘ，ｙ）を算出するには、§３で述べたように、図１７に示す式（１）〜（９）を利用すればよい。これらの式に基づく演算を行うには、既に述べたとおり、方位角αおよび天頂角β（切出中心点Ｐの位置）、平面傾斜角φ、倍率ｍ、という３つのパラメータを定める必要がある。これらのパラメータは、切り出しの位置、向き、サイズという切出条件を定めるパラメータである。画像切出変換部１５０は、結局、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像Ｓの切出中心点Ｐで示される切り出し位置から、平面傾斜角φで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像Ｔに変換して、平面正則画像用メモリ１４０に格納する処理を行うことになる。
図２８のブロック図において、図の下半分に示されている構成要素、すなわち、動体検出部１６０、実切出条件決定部１７０、標準切出条件格納部１８０、手動条件設定部１８５、動体追跡部１９０は、画像切出変換部１５０に対して、切出中心点Ｐ、平面傾斜角φ、倍率ｍ、という３つのパラメータ（切出条件）を指定するための構成要素である。
前述したとおり、歪曲円形画像用メモリ１３０には、リアルタイム（たとえば、３０フレーム／秒）で撮影画像が逐次格納されてゆく。画像切出変換部１５０は、これら個々のフレームごとに、所定の切出条件に従って画像の切り出しを行い、平面正則画像への変換処理を行う。したがって、モニタ装置１２０の画面には、やはりリアルタイムで平面正則画像Ｔの表示が行われる。このため、画像切出変換部１５０には、リアルタイムで、切出中心点Ｐ、平面傾斜角φ、倍率ｍ、という切出条件を与える必要がある。ここでは、このようにリアルタイムで画像切出変換部１５０に与えられる切出条件を、実切出条件と呼ぶことにする。
実切出条件決定部１７０は、この実切出条件を、フレームに同期してリアルタイムで決定し、画像切出変換部１５０に与える役割を果たす。すなわち、実切出条件決定部１７０は、歪曲円形画像Ｓ上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件を、歪曲円形画像Ｓの一部から平面正則画像Ｔを切り出すための条件として決定する働きをする。
これに対して、標準切出条件格納部１８０、動体検出部１６０、動体追跡部１９０は、実切出条件を決定するための参考条件を実切出条件決定部１７０に与えることにより、実切出条件決定部１７０を補佐する役割を果たす。実切出条件決定部１７０は、与えられた参考条件に基づいて実切出条件を決定し、これを画像切出変換部１５０に与える処理を実行する。
§４で述べたとおり、この実施形態に係る魚眼監視システムは、動体検出機能および動体追跡機能を有するシステムであり、動体検出がなされていない静的監視期間（たとえば、図２０に示す画像が得られている期間）、動体検出がなされた後の移行期間（たとえば、図２２において、切出領域をＥ０からＥｎへ移行させる期間）、移行期間が完了してから動体を追跡する動的監視期間（たとえば、図２３に示すように、動体６０を追跡して表示する期間）、という３つの期間に分けて、それぞれ最適な態様で、モニタ画面上に平面正則画像を表示することができる。標準切出条件格納部１８０は、静的監視期間の切出条件を実切出条件決定部１７０に与えるための構成要素であり、動体検出部１６０は、移行期間における目標となる切出条件を実切出条件決定部１７０に与えるための構成要素であり、動体追跡部１９０は、動的監視期間の切出条件を実切出条件決定部１７０に与えるための構成要素である。
より具体的に説明すれば、標準切出条件格納部１８０には、静的監視期間の切出条件（標準切出条件）として、標準切出中心点Ｐ０、標準平面傾斜角φ０、標準倍率ｍ０が格納されている。たとえば、静的監視期間の切出領域として、図２０に示す切出領域Ｅ０を設定する場合、標準切出条件格納部１８０には、図示の画像の中心点を示す標準切出中心点Ｐ０の座標値（この例の場合、ＸＹ座標系の原点Ｏの座標値（０，０））と、切出領域Ｅ０の向きを示す標準平面傾斜角φ０（図の横方向をＵ軸方向とする向きを示す角度φ）と、切出領域Ｅ０のサイズに応じた標準倍率ｍ０が、標準切出条件格納部１８０に格納される。
このような標準切出条件を標準切出条件格納部１８０に設定しておけば、動体検出がなされていない静的監視期間にモニタ装置１２０に表示される平面正則画像は、図２１(a) に示すような画像になる。監視業務に従事するユーザには、監視視野に動体が侵入しない限り、もしくは、当該ユーザが意図的に特定の切出条件を指定する操作を行わない限り、図２１(a) に示す画像が提示されることになる。
一方、動体検出部１６０は、歪曲円形画像用メモリ１３０に時系列で順次格納される歪曲円形画像Ｓを相互に比較して動体検出処理を行い、動体検出がなされた場合に、検出動体の切り出し位置を示す目標切出中心点Ｐｎと、検出動体の切り出し向きを示す目標平面傾斜角φｎと、検出動体の切り出しサイズを示す目標倍率ｍｎと、によって構成される目標切出条件を生成し、この目標切出条件を実切出条件決定部１７０に与える処理を行う。
たとえば、図２２に示す例のように、図示の切出領域Ｅ０を規定する標準切出条件に基づいて静的監視を行っている状態において、動体検出部１６０によって動体６０の検出が行われた場合、動体検出部１６０は、図示の切出領域Ｅｎを規定する目標切出条件を生成し、これを実切出条件決定部１７０に与える処理を行う。具体的には、図示の切出領域Ｅｎの位置を示す目標切出中心点Ｐｎと、切出領域Ｅｎの向きを示す目標平面傾斜角φｎと、切出領域Ｅｎのサイズに応じた倍率を示す目標倍率ｍｎと、が生成され、実切出条件決定部１７０に与えられる。なお、ここに示す実施形態の場合、目標倍率ｍｎは、§６で詳述するように、「切出領域Ｅｎが、検出された動体６０を含む領域となるような適当な値」として計算される。
実切出条件決定部１７０は、動体検出部１６０から目標切出条件「Ｐｎ，φｎ，ｍｎ」が与えられると、標準切出条件格納部１８０から与えられている標準切出条件「Ｐ０，φ０，ｍ０」から、当該目標切出条件「Ｐｎ，φｎ，ｍｎ」へ移行するように段階的に変わる実切出条件を定める。具体的には、図２５に示すように、点Ｐ０から点Ｐｊ（＝Ｐｎ）へ向かって段階点に移動する点を、実切出中心点Ｐと決定し、図２６に示すように、切出領域Ｅｊのサイズ（＝Ｅ０のサイズ）に応じた標準倍率ｍ０から、切出領域Ｅｎのサイズに応じた目標倍率ｍｎへ向かって段階的に変化する倍率値を、実倍率ｍと決定する。
なお、切り出し向きについては、図２２に示す例の場合、切出領域Ｅ０〜Ｅｎのいずれも、Ｕ軸（平面正則画像の横軸）がＹ軸（図の横方向軸）に平行な方向に対応するような切り出し向きになっていればよいので、平面傾斜角φ０＝φｎとなり、実質的に平面傾斜角φは変化させる必要はない。また、目標倍率ｍｎは、上述したとおり、検出された動体のサイズ（撮影画面上での見かけのサイズ）に応じて定まる量なので、たまたま、ｍｎ＝ｍ０であった場合、実質的に倍率ｍは変化させる必要はない。あるいは、意図的にズーミングを行わない仕様にするのであれば、検出された動体のサイズにかかわらず、常に目標倍率ｍｎ＝標準倍率ｍ０に固定した運用も可能である。
結局、動体検出部１６０から実切出条件決定部１７０へ伝達する目標切出条件には、少なくとも目標切出中心点Ｐｎの情報が含まれていれば足りる。たとえば、φ０＝φｎの場合には、動体検出部１６０から実切出条件決定部１７０へ目標平面傾斜角φｎの情報を伝えることを省略することができ、ｍ０＝ｍｎの場合には、動体検出部１６０から実切出条件決定部１７０へ目標倍率ｍｎの情報を伝えることを省略することができる。
また、動体追跡部１９０は、動体検出部１６０による動体検出の後、検出動体を追跡する動体追跡処理を行い、追跡動体の切り出し位置を示す追跡切出中心点Ｐ（ｉ）と、追跡動体の切り出し向きを示す追跡平面傾斜角φ（ｉ）と、追跡動体の切り出しサイズを示す追跡倍率ｍ（ｉ）と、によって構成される追跡切出条件を、追跡動体が消滅したとの消滅判断がなされるまで、継続して実切出条件決定部１７０に与える処理を行う。
たとえば、図２２に示す例のように、動体検出部１６０によって動体６０の検出が行われた場合、上述したとおり、切出領域Ｅｎが決定され、実切出領域を、領域Ｅ０からＥｎへ向けて段階的に変化させる移行期間の処理が実行される。このとき、動体追跡部１９０は、動体検出部１６０から動体６０の情報を引き継ぎ、動体６０を追跡する作業を行う。そして、図２７に示す例のように、動体６０の位置に応じて、追跡切出条件を「Ｐ（０），φ（０），ｍ（０）」（＝「Ｐｎ，φｎ，ｍｎ」）から、「Ｐ（ｉ），φ（ｉ），ｍ（ｉ）」，「Ｐ（ｊ），φ（ｊ），ｍ（ｊ）」，「Ｐ（ｋ），φ（ｋ），ｍ（ｋ）」，... と変化させてゆく。これにより、追跡切出領域は、Ｅ（０），Ｅ（ｉ），Ｅ（ｊ），Ｅ（ｋ），... と移動することになる。実切出条件決定部１７０は、上述した移行期間の処理を完了した後、動体追跡部１９０から与えられる追跡切出条件を、実切出条件として採用する処理を行う。
ここに示す例の場合、追跡切出領域Ｅ（０），Ｅ（ｉ），Ｅ（ｊ），Ｅ（ｋ），... はいずれも、Ｕ軸（平面正則画像の横軸）がＹ軸に平行な方向に対応するような切り出し向きになっていればよいので、平面傾斜角φ（ｉ）は、常にそのような切り出し向きに対応する値に設定すればよい。なお、§８で詳述するように、魚眼レンズ付ビデオカメラを、その撮像面（ＸＹ平面）が鉛直面となるように設置した場合、通常、平面傾斜角φ（ｉ）を追跡位置に応じて変えてゆく必要があるが、撮像面が水平面となるように設置した場合、平面傾斜角φ（ｉ）は固定してかまわない。
また、追跡倍率ｍ（ｉ）は、目標倍率ｍｎと同様に、動体のサイズ（撮影画面上での見かけのサイズ）に応じて定めるのが好ましいが、意図的にズーミングを行わない仕様にするのであれば、追跡中の動体のサイズにかかわらず、常に追跡倍率ｍ（ｉ）＝目標倍率ｍｎのように、一定値に固定した運用も可能である。
結局、動体追跡部１９０から実切出条件決定部１７０へ伝達する追跡切出条件には、少なくとも追跡切出中心点Ｐ（ｉ）の情報が含まれていれば足りる。たとえば、魚眼レンズ付ビデオカメラを、その撮像面が水平面となるように設置した場合は、後述するとおり、φ（ｉ）を所定の固定値（０°）に維持することができる。また、得られる平面正則画像の向きを不問とする運用（モニタ上に表示される景色が天地逆でも、斜めでもかまわないとする運用）を採る場合には、ビデオカメラの設置向きにかかわらず、φ（ｉ）を固定値に維持することができる。このように、φ（ｉ）を所定の固定値に維持する場合、動体追跡部１９０から実切出条件決定部１７０へ追跡平面傾斜角φ（ｉ）の情報を伝えることを省略することができる。同様に、ｍ（ｉ）を固定する運用を行う場合は、動体追跡部１９０から実切出条件決定部１７０へ追跡倍率ｍ（ｉ）の情報を伝えることを省略することができる。
動体追跡部１９０は、動体を見失った場合、追跡切出条件を伝達する代わりに、動体が消滅した旨を実切出条件決定部１７０に報告する。実切出条件決定部１７０は、動体消滅の報告を受けると、実切出条件を、標準切出条件に切り替える処理を行う。その結果、モニタ装置１２０の画面には、元どおり図２４(a) に示す平面正則画像が表示されることになる。
一方、手動条件設定部１８５の第１の機能は、ユーザの設定操作に基づいて、実切出条件決定部１７０が決定すべき実切出条件を強制的に任意の条件に設定する機能である。上述したとおり、実切出条件決定部１７０は、静的監視期間、移行期間、動的監視期間という３つの期間に分けて、自動的に実切出条件を決定する自動決定処理を行うが、手動条件設定部１８５から任意の切出条件が与えられた場合、いずれの期間であっても、自動決定処理を一時中断し、手動条件設定部１８５から与えられた切出条件を優先的に実切出条件として採用し、画像切出変換部１５０へ与える処理を行う。
別言すれば、手動条件設定部１８５は、ユーザの割込操作によって入力された切出条件を実切出条件決定部１７０へと伝達する役割を果たし、実切出条件決定部１７０は、当該割込操作によって指示された切出条件を、無条件に実切出条件として採用して、画像切出変換部１５０へ与える処理を行うことになる。また、ユーザが、手動条件設定部１８５に対して、当該割込操作を解除する指示を与えれば、この解除指示を受けた実切出条件決定部１７０は、元の自動決定処理に復帰する。
手動条件設定部１８５の第２の機能は、ユーザの設定操作に基づいて、標準切出条件格納部１８０に格納される標準切出条件を任意に設定する機能である。たとえば、上述した例では、標準切出条件格納部１８０には、標準切出条件として、図２０の切出領域Ｅ０を示す標準切出中心点Ｐ０、標準平面傾斜角φ０、標準倍率ｍ０が格納されていたため、静的監視期間には、モニタの画面上に図２１(a) に示す平面正則画像が表示されることになる。ユーザは、手動条件設定部１８５に対して、任意の切出条件を標準切出条件に設定する指示を与えることができる。このような指示が与えられると、手動条件設定部１８５は、標準切出条件格納部１８０に格納されている標準切出条件を、新たな切出条件に書き換える処理を行う。したがって、ユーザは、静的監視期間に表示させる平面正則画像を、所望の画像に変更することができる。
手動条件設定部１８５を用いて、任意の切出条件をユーザに指定させるためのマンマシンインターフェイスとしては、前述したように、モニタ画面上に表示された歪曲円形画像上で、マウスなどのポインティングデバイスによって指定させる形式のものや、ユーザに数値入力させるものなどを適宜設計できる。なお、この手動条件設定部１８５は、本発明の構成に必須の構成要素ではないので、ユーザによる手動設定が不要なシステムでは、省略してもかまわない。
以上、図２８に示すブロック図を参照して、本発明の一実施形態に係る魚眼監視システム１００の基本構成を説明したが、実際には、このブロック図に示されている構成要素のうち、魚眼レンズ付ビデオカメラ１１０およびモニタ装置１２０を除く構成部分は、コンピュータに専用のプログラムを組み込むことによって実現可能である。したがって、この魚眼監視システム１００は、当該専用プログラムを組み込んだコンピュータに、魚眼レンズ付ビデオカメラ１１０およびモニタ装置１２０を接続することによって構築することが可能である。
また、このシステムにおける魚眼レンズ付ビデオカメラ１１０およびモニタ装置１２０を除く構成部分を、コンピュータにプログラムを組み込んで構成する代わりに、電子回路が組み込まれた半導体集積回路によって構成することも可能である。その場合、この魚眼監視システム１００は、当該半導体集積回路に、魚眼レンズ付ビデオカメラ１１０およびモニタ装置１２０を接続することによって実現できる。
＜＜＜ §６．動体検出処理 ＞＞＞
続いて、図２８に示す魚眼監視システム１００における動体検出部１６０の動体検出処理の詳細を説明する。
動体検出部１６０による動体検出処理は、歪曲円形画像用メモリ１３０に時系列で順次格納される歪曲円形画像Ｓを相互に比較して、監視領域内の動体の有無を検出し、更に、画像上での動体の領域を認識する処理である。一般に、動画データを解析して動体を認識する手法としては、様々なアルゴリズムに基づく手法が知られている。動体検出部１６０による動体検出には、このような公知の任意の手法を利用することが可能である。
ここでは、そのような手法の一例を、図２９の流れ図に基づいて説明する。既に述べたとおり、歪曲円形画像用メモリ１３０には、ビデオカメラ１１０によって撮影された歪曲円形画像Ｓがフレームごとの時系列画像データとして順次格納される。ここに示す手法の基本原理は、予め基準となる背景歪曲円形画像を記憶しておき、歪曲円形画像用メモリ１３０に時系列でフレームごとに順次格納される歪曲円形画像を、背景歪曲円形画像と比較し、両者の相違が所定の基準以上となる領域を、動体の領域と認識するものである。
まず、ステップＳ１１では、フレームカウンタＣの初期化を行う。ここで、フレームカウンタは、フレーム単位での処理を行う上で、現在の処理が何番目のフレームであるかを示すパラメータであり、ここに示す例の場合、初期値としてＣ＝１に設定される。続く、ステップＳ１２では、歪曲円形画像用メモリ１３０に格納されている第Ｃ番目のフレームの歪曲円形画像が動体検出部１６０へと読み込まれる。そして、ステップＳ１３では、この第Ｃ番目のフレームの歪曲円形画像Ｓ（Ｃ）を、前述した背景歪曲円形画像Ｓ（０）と比較し、画素値の差がしきい値ｄ以上となる画素を着目画素として抽出する処理が行われる。
図３０は、このステップＳ１３で行われる具体的なプロセスを示す平面図である。背景歪曲円形画像Ｓ（０）も、第Ｃ番目のフレームの歪曲円形画像Ｓ（Ｃ）も、ＸＹ平面上に配置された多数の画素の集合であるので、同じ座標位置に配置された一対の画素を対応画素として認識することができる。そこで、この対応する画素の画素値の差を求める。そして、差が所定のしきい値ｄ以上となる画素を着目画素として抽出する。図３０の右下部分には、こうして抽出されたいくつかの着目画素が例示されている。
なお、カラー画像の場合、１つの画素に、Ｒ／Ｇ／Ｂなどの３原色の画素値が定義されることになるが、その場合は、たとえば、３原色の画素値の差についての平均値をしきい値ｄと比較するか、もしくは、３原色の中で最も大きい差をしきい値ｄと比較する等の方法をとることもできるし、ＲＧＢ三次元色空間上にそれぞれの画素値をプロットし、両方のプロット点の空間上の距離をしきい値ｄと比較してもよい。
次に、ステップＳ１４では、ステップＳ１３で抽出された着目画素からなる連続領域であって、基準面積Ｓ以上の面積をもち、かつ、縦幅および横幅（Ｘ軸方向の幅およびＹ軸方向の幅）がともに基準寸法Ｄ以上となる条件を満たす領域を探索し、これを着目領域とする処理が行われる。たとえば、図３０に示す例の場合、着目画素からなる２つの連続領域Ａ１，Ａ２が存在する。連続領域Ａ１は、面積８，縦幅３，横幅４であり、連続領域Ａ２は、面積２，縦幅１，横幅２である。したがって、基準面積Ｓ＝６，基準寸法Ｄ＝３に設定した場合、連続領域Ａ１は着目領域となるが、連続領域Ａ２は着目領域にならない。
基準面積Ｓに満たない連続領域を着目領域としないのは、ノイズ成分や微小な物体が動体として検出されることを避けるためである。また、縦幅および横幅の双方が基準寸法Ｄ以上という基準を設定するのは、一般的には動体である可能性が低い細長い対象物が動体として検出されることを避けるためである。
図３１は、ステップＳ１３，Ｓ１４のプロセスによって、図２２に示す動体６０（猫）の領域が着目領域として認識された状態を示す平面図である。図にハッチングを施して示した画素が着目画素であり、この着目画素からなる連続領域は、基準面積Ｓ以上の領域であり、かつ、縦幅および横幅の双方が基準寸法Ｄ以上という基準を満たす領域となっている。
ただ、この図２９に示す方法では、ステップＳ１４の条件を満たす着目領域が探索されたとしても、これを直ちに動体として認識することはせず、そのような着目領域が基準のフレーム数（Ｃmax）に渡って連続して探索された場合に限って、これを動体として認識する処理を行うようにしている。すなわち、ステップＳ１５において、着目領域が探索されたと判定された場合は、ステップＳ１６へと進み、フレームカウンタＣを１だけ増やす更新処理が行われ、ステップＳ１７を経て、ステップＳ１２からの処理が繰り返し実行される。すなわち、歪曲円形画像用メモリ１３０から次のフレームが読み出され、上述したプロセスが繰り返される。こうして、ステップＳ１７において、フレームカウンタＣの値が基準のフレーム数Ｃmax に到達したら、ステップＳ１８へ進み、動体検出との判断がなされる。これは、ステップＳ１４の条件を満足する着目領域が、Ｃmax フレーム分連続して存在した場合に、当該着目領域が動体の領域と認識されることを意味する。
一方、ステップＳ１５において、着目領域が探索されなかった場合には、ステップＳ１１へと戻り、フレームカウンタＣがＣ＝１に初期化されることになる。したがって、たとえ数フレーム分に渡って着目領域が探索されたとしても、Ｃmax フレーム分連続して探索されなかった場合には、ステップＳ１５からステップＳ１１へと戻り、動体検出は行われない。
なお、着目領域がＣmax フレーム分連続して存在したとの判断を行う際には、Ｃmax フレームに渡って存在した着目領域の同一性が確保されていることも条件に入れるようにするのが好ましい。具体的には、ステップＳ１５では、単に「着目領域が探索されたか否か」を判定するだけではなく、「前回探索された着目領域と同一性をもった着目領域が探索されたか否か」を判定するようにする。ここで、同一性の判定は、たとえば、前回探索された着目領域を構成する個々の着目画素と、今回探索された着目領域を構成する個々の着目画素との位置関係を調べ、同一位置の画素の割合が所定割合以上であった場合に、両着目領域は同一性をもつ（同一の動体に起因して形成された領域である）、との判定を行うようにすればよい。もちろん、同一性の判定には、この他にも、着目領域のサイズや形状の類似度が所定の基準以上である場合、着目領域の特徴量（色ヒストグラムやエッジ方向ヒストグラムなど）の類似度が所定の基準以上である場合、など様々な基準を用いることができ、これら複数の基準の論理和や論理積を条件とする判定を行うことも可能である。
このように、ステップＳ１５の判定において、フレーム間に渡って存在する着目領域の同一性が確保されているか否かという条件を入れることにより、異なる位置に複数の着目領域が交替で出現したような事象を、動体として誤検出してしまうことを避けることができる。なお、この場合、互いに離隔した複数の着目領域が存在する場合には、より面積の大きい着目領域を対象とした判定を行うようにすればよい。
こうして、ステップＳ１８において、動体検出との判断がなされた場合、動体検出部１６０は、目標切出条件（Ｐｎ，φｎ，ｍｎ）を生成し、これを実切出条件決定部１７０に伝達する処理を行う。また、動体追跡部１９０に対しては、最終着目領域（図２９の流れ図において、フレームカウンタＣ＝Ｃmax の時点で探索された着目領域）を示す情報を伝達する処理を行う。
§５で述べたとおり、目標切出条件は、検出動体の切り出し位置を示す目標切出中心点Ｐｎと、検出動体の切り出し向きを示す目標平面傾斜角φｎと、検出動体の切り出しサイズを示す目標倍率ｍｎと、によって構成される。これらの情報は、最終着目領域に基づいて設定することができる。たとえば、最終着目領域の重心位置を目標切出中心点Ｐｎと設定し、最終着目領域の縦幅および横幅に基づいて、当該最終着目領域の全体が目標切出領域内に含まれるように、目標倍率ｍｎを設定すればよい。
具体的には、たとえば、図３１に示すハッチング画素の集合からなる領域が最終着目領域であったとすれば、これらハッチング画素の集合からなる図形の重心点位置が目標切出中心点Ｐｎとなり、これらハッチング画素の集合からなる図形全体が、目標切出領域内に含まれるように、目標倍率ｍｎが決定される。なお、ここに示す実施形態の場合、前述したとおり、目標平面傾斜角φｎは固定値（平面正則画像のＵ軸がＹ軸に平行な方向に対応するような切り出し向きを示す値）でよい。
図３２は、図２９の流れ図に示す動体検出処理を実行する機能をもった動体検出部１６０の詳細構成を示すブロック図である。図示のとおり、この動体検出部１６０は、歪曲円形画像用メモリ１３０からフレームごとの歪曲円形画像を読み出して動作し、背景画像保持部１６１、対応画素比較部１６２、着目領域探索部１６３、動体検出判定部１６４によって構成される。もっとも、実際には、これらの各構成要素は、コンピュータ用のプログラムもしくは半導体集積回路上の論理回路によって構成される。
背景画像保持部１６１は、歪曲円形画像用メモリ１３０に所定の初期時点で格納されていた画像を背景歪曲円形画像Ｓ（０）として保持する構成要素である。どの時点の画像を背景画像として保持するかは、たとえば、ユーザの指示に基づいて決定することができる。モニタ画面上の正則平面画像を監視中のユーザが、動体が存在しない時点で、その時点のメモリ１３０内の画像を背景画像として保持する旨の指示を与えればよい。当該指示を受けた背景画像保持部１６１は、その時点の画像を背景画像として取り込んで保持する。
ただ、ビデオカメラ１１０が屋外に設置されているケースでは、動体を含まない本来の背景画像自身が、時刻や天候によって大きく変化する。たとえば、同じ背景を撮影した画像であっても、昼間と夜間とでは、全体的な輝度に大きな変化が生じる。そこで、実用上は、背景画像保持部１６１が定期的に、保持する背景画像の自動更新を行うようにするのが好ましい。具体的には、メモリ１３０から全フレームの画像を背景画像保持部１６１に順次取り込んでゆくようにし、所定周期で、静的監視期間に取り込まれた複数フレーム分の画像の平均画像（各画素の画素値の平均をとった画像）を、新たな背景画像として保持する更新処理を行えばよい。たとえば、１分ごとに、「直近の静的監視期間に取り込んだ１００フレーム分の画像の平均画像を新たな背景画像とする」という更新処理を行えば、常に最新の背景画像を保持することができる。その他、直前までの複数フレームから得られる、画素ごとの画素値の分布モデル（正規分布近似やヒストグラム）から統計的な背景画像（各画素値は上限と下限で表現される）を作成する方法も、一般的な動体検出の手法として広く利用されており、これらの手法を適用することも可能である。この場合、動体領域は、ある閾値以上もしくはある閾値以下の画素値を有する領域として検出される。
一方、対応画素比較部１６２は、歪曲円形画像用メモリ１３０に時系列でフレームごとに順次格納される歪曲円形画像Ｓ（Ｃ）上の個々の画素の画素値を、背景画像保持部１６１に保持されている背景歪曲円形画像Ｓ（０）上の対応する画素の画素値と比較し、両者の差がしきい値以上となる画素を着目画素として抽出する処理（図３０参照）を行う。この処理は、図２９の流れ図におけるステップＳ１３の処理に対応する。抽出した着目画素を特定する情報（たとえば、その座標値）は、着目領域探索部１６３に伝達される。
着目領域探索部１６３は、着目画素からなる連続領域であって、基準面積Ｓ以上、かつ、縦幅および横幅がともに所定の基準寸法Ｄ以上となる条件を満たす着目領域を探索し、探索された着目領域を特定する情報（たとえば、当該領域を構成する個々の画素の座標値）を動体検出判定部１６４に伝達する。この処理は、図２９の流れ図におけるステップＳ１４の処理に対応する。なお、前述したとおり、互いに離隔した複数の着目領域が存在する場合には、より面積の大きい着目領域の情報を動体検出判定部１６４に伝達すればよい。
動体検出判定部１６４は、着目領域を含む歪曲円形画像が、基準のフレーム数Ｃmax 以上、連続して得られた場合に、動体検出がなされた旨の判定を行う。この処理は、図２９の流れ図におけるステップＳ１５〜Ｓ１８の処理に対応する。既に述べたとおり、このとき、基準のフレーム数Ｃmax にわたって連続して得られた着目領域が、同一性の条件を満足しているか否かのチェックを行うのが好ましい。すなわち、連続して得られた着目領域が、同一の動体に起因して形成された領域であると予想される場合に限り、動体検出との判断が行われるようにする。同一性の判定は、前回探索された着目領域を構成する個々の着目画素と、今回探索された着目領域を構成する個々の着目画素との位置関係を調べ、同一位置の画素の割合が所定割合以上であった場合に、両着目領域は同一性をもつ、との基準や、前述した様々な基準に基づいて行えばよい。
こうして、動体検出が行われた場合には、動体検出判定部１６４は、最終着目領域を示す情報（たとえば、第Ｃmax 番目のフレーム内の着目領域を構成する個々の画素の座標値）を動体追跡部１９０に伝える。また、この最終着目領域に基づいて目標切出条件を生成し、これを実切出条件決定部１７０に与える。具体的には、前述したとおり、最終着目領域の重心位置を目標切出中心点Ｐｎと設定し、最終着目領域の縦幅および横幅に基づいて目標倍率ｍｎを設定すればよい。
なお、ここに示す実施形態の場合、目標平面傾斜角φｎは固定値であるので、動体検出判定部１６４によって設定する必要はない。また、ズーミングを行わずに目標倍率ｍｎを固定値にする運用をとる場合には、動体検出判定部１６４は、目標倍率ｍｎを設定する必要もないので、目標切出中心点Ｐｎのみを目標切出条件として生成し、これを実切出条件決定部１７０に与えれば足りる。
＜＜＜ §７．動体追跡処理 ＞＞＞
続いて、図２８に示す魚眼監視システム１００における動体追跡部１９０の動体追跡処理の詳細を説明する。
動体追跡部１９０による動体追跡処理は、動体検出部１６０による動体検出の後、検出動体を追跡する動体追跡処理を行い、追跡切出中心点Ｐ（ｉ）と、追跡平面傾斜角φ（ｉ）と、追跡倍率ｍ（ｉ）と、によって構成される追跡切出条件を、追跡動体が消滅したとの消滅判断がなされるまで、継続して実切出条件決定部１７０に与える処理である。
動体追跡部１９０は、動体検出部１６０から、検出動体に関する情報（最終着目領域を示す情報）を受け取った後、歪曲円形画像用メモリ１３０からフレーム単位で歪曲円形画像を順次読み出し、検出動体を追跡する処理を行う。一般に、動画データを解析して動体を追跡してゆく方法には、様々なアルゴリズムに基づく手法が知られている。動体追跡部１９０による動体追跡には、このような公知の任意の手法を利用することが可能である。
ここでは、そのような手法の一例を、図３３の流れ図に基づいて説明する。まず、ステップＳ２１では、動体検出部１６０で検出された動体（最終着目領域）を第０番目のフレーム画像上の第０番目の追跡動体とする処理が行われる。
そして、ステップＳ２２において、第０番目の追跡動体の特徴量の演算が行われる。ここで、「追跡動体の特徴量」とは、対象となるフレーム画像上で認識されている動体を構成する領域（着目領域）について、画像の特徴を示す量であり、たとえば、当該領域を構成する画素の色ヒストグラムもしくはエッジ方向ヒストグラムを特徴量として利用することができる。具体的には、第０番目の追跡動体、すなわち、動体検出部１６０で検出された動体（最終着目領域）を構成する個々の画素の画素値を用いて、特徴量を求めるための所定の演算式に基づく演算が実行される。
次のステップＳ２３では、追跡パラメータｉが初期値１に設定される。この追跡パラメータｉは、動体検出プロセスにおけるフレームカウンタＣと同様に、フレーム単位での処理を行う上で、現在の処理が何番目のフレームであるかを示すパラメータである。ここに示す例の場合、動体検出処理の対象となった最終フレームを、動体追跡処理の対象となる第０番目のフレームに設定し、後続する第１番目以降のフレームについての動体追跡が行われることになる。
続くステップＳ２４では、第ｉ番目のフレーム画像における第（ｉ−１）番目の追跡動体の近傍範囲を探索し、特徴量が類似する領域を第ｉ番目の追跡動体と認識する処理が行われる。たとえば、ｉ＝１の場合、第１番目のフレーム画像について、第０番目のフレーム上の追跡動体の近傍範囲（すなわち、動体検出部１６０から与えられた最終着目領域の近傍範囲）を探索して、ステップＳ２２で求められた第０番目の追跡動体の特徴量に類似した特徴量をもつ範囲の探索が行われる。具体的には、たとえば、動体検出部１６０から与えられた最終着目領域を、上下左右に数画素分ずらすことにより、もしくは上下左右に数画素分増減させることにより、複数通りの候補領域を定義し、これら複数の候補領域についての特徴量を求め、類似する特徴量をもった候補領域を探索する処理を行えばよい。そして、類似度が所定の基準以上、かつ、最も高い特徴量をもった候補領域を、第ｉ番目のフレーム画像における追跡動体の領域と認識すればよい。
こうして、追跡動体の認識に成功した場合、ステップＳ２５からステップＳ２６へと進み、追跡パラメータｉを１だけ増加する更新を行い、ステップＳ２４の処理が繰り返される。すなわち、歪曲円形画像用メモリ１３０から、次のフレーム画像が読み出され、前のフレーム画像で認識されている追跡動体の領域と類似する特徴量をもった領域が、追跡動体の領域として認識される。
一方、追跡動体の認識に失敗した場合、すなわち、前のフレーム画像で認識されている追跡動体の領域と類似する特徴量をもった候補領域が発見できなかった場合、ステップＳ２５からステップＳ２７へと進み、動体消滅との判断がなされる。
ステップＳ２５において、追跡動体の認識に成功したとの判断がなされた場合、動体追跡部１９０は、第ｉ番目のフレームに関する追跡切出条件（Ｐ（ｉ），φ（ｉ），ｍ（ｉ））を生成し、これを実切出条件決定部１７０に伝達する処理を行う。一方、追跡動体の認識に失敗したとの判断がなされた場合、動体追跡部１９０は、動体消滅を示す情報を実切出条件決定部１７０に伝達する処理を行う。
§５で述べたとおり、追跡切出条件は、追跡動体の切り出し位置を示す追跡切出中心点Ｐ（ｉ）と、追跡動体の切り出し向きを示す追跡平面傾斜角φ（ｉ）と、追跡動体の切り出しサイズを示す追跡倍率ｍ（ｉ）と、によって構成される。これらの情報は、認識した追跡動体を構成する領域に基づいて設定することができる。たとえば、当該領域の重心位置を追跡切出中心点Ｐ（ｉ）と設定し、当該領域の縦幅および横幅に基づいて、当該領域の全体が追跡切出領域内に含まれるように、追跡倍率ｍ（ｉ）を設定すればよい。なお、前述したとおり、ビデオカメラの設置形態や運用形態によっては、追跡倍率ｍ（ｉ）や追跡平面傾斜角φ（ｉ）を固定値にすることもできる。
図３４は、図３３の流れ図に示す動体追跡処理を実行する機能をもった動体追跡部１９０の詳細構成を示すブロック図である。この動体追跡部１９０は、動体検出部１６０から最終着目領域を示す情報を受け取ってから動作を開始し、歪曲円形画像用メモリ１３０からフレームごとの歪曲円形画像を読み出して検出動体の追跡を行う機能を有し、図示のとおり、既知動体領域保持部１９１、候補領域抽出部１９２、特徴量演算部１９３、新動体領域認識部１９４、動体追跡判定部１９５によって構成される。もっとも、実際には、これらの各構成要素は、コンピュータ用のプログラムもしくは半導体集積回路上の論理回路によって構成される。
既知動体領域保持部１９１は、歪曲円形画像用メモリ１６０に格納されている第（ｉ−１）番目のフレーム画像上において既に認識されている既知動体領域の情報を保持する構成要素である。ｉ＝１の場合、第０番目のフレーム画像上の既知動体領域の情報は、動体検出部１６０から最終着目領域の情報として与えられる。ｉ＝２以降の既知動体領域の情報は、後述するように、動体追跡判定部１９５から新動体領域の情報として与えられる。
候補領域抽出部１９２は、歪曲円形画像用メモリ１３０に格納されている第ｉ番目のフレーム画像から、既知動体領域の近傍に位置する複数通りの領域を候補領域として抽出する処理を行う。具体的には、上述したように、既知動体領域保持部１９１に保持されている第（ｉ−１）番目のフレーム画像についての既知動体領域を、上下左右に数画素分ずらすことにより、もしくは上下左右に数画素分増減させることにより、複数通りの候補領域を定義すればよい。
特徴量演算部１９３は、既知動体領域保持部１９１に保持されている既知動体領域（第（ｉ−１）番目のフレーム画像上で認識されている動体の領域）と、候補領域抽出部１９２によって抽出された複数通りの候補領域（第ｉ番目のフレーム画像上で定義された領域）とについて、それぞれ画像の特徴を示す特徴量を求める演算を行う。具体的には、上述したように、演算対象として与えられた領域を構成する画素の色ヒストグラムもしくはエッジ方向ヒストグラムを特徴量として求める演算を行えばよい。なお、既知動体領域の特徴量は、１フレーム前の処理で候補領域の特徴量として既に演算済みなので、実用上、特徴量演算部１９３は再度の演算を行う必要はなく、１フレーム前の処理で求めた演算結果を流用することができる。
新動体領域認識部１９４は、特徴量演算部１９３によって演算された、既知動体領域の特徴量と、複数通りの候補領域の特徴量と、をそれぞれ比較し、既知動体領域の特徴量に対する類似度が所定の基準以上、かつ、最も高い特徴量をもった候補領域を、第ｉ番目のフレーム画像上の新動体領域と認識する処理を行う。類似度が所定の基準以上である候補領域が複数発見された場合でも、その中で最も高い特徴量をもった候補領域を新動体領域と認識することにより、動体追跡の確度を高めることができる。
動体追跡判定部１９５は、新動体領域認定部１９４における認識が成功した場合には、認識された新動体領域に基づいて第ｉ番目のフレーム画像についての追跡切出条件Ｐ（ｉ），φ（ｉ），ｍ（ｉ）を生成し、実切出条件決定部１７０へ伝達する。この場合、第ｉ番目のフレーム画像について認識された新動体領域の重心位置を追跡切出中心点Ｐ（ｉ）と設定し、この新動体領域の縦幅および横幅に基づいて追跡倍率ｍ（ｉ）を設定することは既に述べたとおりである。一方、認識が失敗した場合には、追跡動体が消滅したとの判断を行い、動体消滅を示す情報を実切出条件決定部１７０へ伝達する。
また、動体追跡判定部１９５は、認識に成功した場合、新動体領域を示す情報を既存動体領域保持部１９１へ与える。既存動体領域保持部１９１は、動体検出部１６０から与えられた検出動体の領域情報を、最初の既知動体領域の情報として保持するが、以後、動体追跡判定部１９５から逐次与えられる新動体領域の情報を新たな既知動体領域の情報として保持する。したがって、候補領域抽出部１９２が、第ｉ番目のフレームについての候補領域を抽出する際には、既存動体領域保持部１９１には、第（ｉ−１）番目のフレームについて認識された動体領域が保持されていることになる。
なお、追跡平面傾斜角φ（ｉ）として固定値を採用する場合、動体追跡判定部１９５は、φ（ｉ）を追跡切出条件として生成する必要はない。また、ズーミングを行わずに追跡倍率ｍ（ｉ）を固定値にする運用をとる場合には、追跡倍率ｍ（ｉ）を生成する必要もないので、動体追跡判定部１９５は、追跡切出中心点Ｐ（ｉ）のみを追跡切出条件として生成し、これを実切出条件決定部１７０に与えれば足りる。
＜＜＜ §８．実切出条件の決定処理 ＞＞＞
ここでは、図２８に示す魚眼監視システム１００における実切出条件決定部１７０による実切出条件の決定処理の詳細を説明する。
＜８−１．実切出条件決定部の基本機能＞
実切出条件決定部１７０の基本機能は、歪曲円形画像Ｓ上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件をリアルタイムで画像切出変換部１５０に与えることである。
図３５は、この実切出条件決定部１７０によって行われる実切出条件の決定処理の手順を示す流れ図である。図示のとおり、この決定処理は、ステップＳ３１，３２からなる静的監視期間Ｗ１、ステップＳ３３，３４からなる移行期間Ｗ２、ステップＳ３５，３６からなる動的監視期間Ｗ３という３つの期間ごとに、それぞれ異なる内容の処理が行われる。
静的監視期間Ｗ１では、ステップＳ３１に示されているとおり、標準切出条件格納部１８０に格納されている標準切出条件（Ｐ０，φ０，ｍ０）を、そのまま実切出条件（Ｐ，φ，ｍ）として、画像切出変換部１５０に与える処理が行われる。そして、ステップＳ３２において動体検出の判断が行われるまで、別言すれば、動体検出部１６０から目標切出条件（Ｐｎ，φｎ，ｍｎ）が与えられるまで、ステップＳ３１の処理が続行され、静的監視期間Ｗ１が継続する。
一方、ステップＳ３２において動体検出の判断が行われると、すなわち、動体検出部１６０から目標切出条件（Ｐｎ，φｎ，ｍｎ）が与えられると、移行期間Ｗ２が開始する。すなわち、ステップＳ３３に示されているとおり、標準切出条件（Ｐ０，φ０，ｍ０）から目標切出条件（Ｐｎ，φｎ，ｍｎ）へ移行するように、段階的に変わる実切出条件（Ｐ，φ，ｍ）が生成され、これを画像切出変換部１５０に与える処理が行われる。そして、ステップＳ３４において移行完了の判断が行われるまで、別言すれば、生成された実切出条件（Ｐ，φ，ｍ）が目標切出条件（Ｐｎ，φｎ，ｍｎ）に到達するまで、ステップＳ３３の処理が続行され、移行期間Ｗ２が継続する。
ここで、ステップＳ３４において移行完了の判断が行われると、すなわち、標準切出条件（Ｐ０，φ０，ｍ０）から段階的に変化させていった実切出条件（Ｐ，φ，ｍ）が目標切出条件（Ｐｎ，φｎ，ｍｎ）に到達すると、動的監視期間Ｗ３が開始する。すなわち、ステップＳ３５に示されているとおり、動体追跡部１９０から与えられる追跡切出条件（Ｐ（ｉ），φ（ｉ），ｍ（ｉ））を、そのまま実切出条件（Ｐ，φ，ｍ）として、画像切出変換部１５０に与える処理が行われる。そして、ステップＳ３６において動体消滅の判断が行われるまで、別言すれば、動体追跡部１９０から動体消滅を示す報告がなされるまで、ステップＳ３５の処理が続行され、動的監視期間Ｗ３が継続する。
ステップＳ３５において動体消滅の判断が行われると、動的監視期間Ｗ３は終了となり、ステップＳ３１へ戻り、静的監視期間Ｗ１が再開する。
このような処理を実行するためには、実切出条件決定部１７０を、図３６に示すように、静的監視期間担当部１７１と、移行期間担当部１７２と、動的監視期間担当部１７３によって構成すればよい。もっとも、実際には、これらの各構成要素は、コンピュータ用のプログラムもしくは半導体集積回路上の論理回路によって構成される。
ここで、静的監視期間担当部１７１は、動体検出がなされていない静的監視期間Ｗ１を担当する構成要素であり、当該期間Ｗ１の間、標準切出条件格納部１８０に格納されている標準切出条件（Ｐ０，φ０，ｍ０）を実切出条件（Ｐ，φ，ｍ）と定めて出力する機能を有する。また、移行期間担当部１７２は、動体検出がなされた後の所定の移行期間Ｗ２を担当する構成要素であり、当該期間Ｗ２の間、標準切出条件（Ｐ０，φ０，ｍ０）から目標切出条件（Ｐｎ，φｎ，ｍｎ）へ移行するように段階的に変わる実切出条件（Ｐ，φ，ｍ）を生成して出力する機能を有する。そして、動的監視期間担当部１７３は、移行期間が完了してから消滅判断がなされるまでの動的監視期間Ｗ３を担当する構成要素であり、当該期間Ｗ３の間、動体追跡部１９０から与えられる追跡切出条件（Ｐ（ｉ），φ（ｉ），ｍ（ｉ））を実切出条件（Ｐ，φ，ｍ）と定めて出力する機能を有する。
要するに、図３６に示す各担当部１７１，１７２，１７３は、期間Ｗ１，Ｗ２，Ｗ３のうちの自己の担当期間のみ、実切出条件（Ｐ，φ，ｍ）を出力する働きをする。したがって、実切出条件決定部１７０から出力される実切出条件（Ｐ，φ，ｍ）は、各担当部１７１，１７２，１７３のいずれかから選択的に出力された条件になる。
なお、既に述べたように、実切出条件のうち平面傾斜角φや倍率ｍは固定する運用をとることが可能である。この場合、実切出条件決定部１７０は、平面傾斜角φや倍率ｍについては当該固定値を常に出力すればよいので、実質的に、切出中心点Ｐの値のみを決定する処理を行えばよい。また、動体検出部１６０は、目標切出条件として目標切出中心点Ｐｎの値のみを出力すれば足り、動体追跡部１９０は、追跡切出条件として追跡切出中心点Ｐ（ｉ）の値のみを出力すれば足りる。
さて、図３６に示す各担当部１７１，１７２，１７３のうち、静的監視期間担当部１７１は、標準切出条件をそのまま出力する処理を行えばよく、動的監視期間担当部１７３は、追跡切出条件をそのまま出力する処理を行えばよいので、その構成は非常に単純である。これに対して、移行期間担当部１７２は、実切出条件を、標準切出条件（Ｐ０，φ０，ｍ０）から目標切出条件（Ｐｎ，φｎ，ｍｎ）へと段階的に移行させる移行処理を行う必要がある。そこで、以下、この移行処理の具体的な方法をいくつかの例を挙げながら説明する。
実切出条件は、Ｐ，φ，ｍという３つのパラメータによって構成されるが、移行は個々のパラメータごとに独立して行うことができる。すなわち、切出中心点Ｐについては、Ｐ０からＰｎへと段階的に移行させ、平面傾斜角φについては、φ０からφｎへと段階的に移行させ、倍率ｍについては、ｍ０からｍｎへと段階的に移行させればよい。これらの移行は、並行して同時に進行させてもよいし、それぞれ別個の期間に行ってもよい。
§４では、図２２に示す歪曲円形画像Ｓ上で、標準切出領域Ｅ０から目標切出領域Ｅｎへと段階的に移行させる例を説明した。この例の場合、移行期間Ｗ２を前半のパンニング期間と後半のズーミング期間とに分け、パンニング期間において、図２５に示すように切出中心点Ｐを点Ｐ０から点Ｐｊへと移行し、ズーミング期間において、図２６に示すように切出領域Ｅを領域ＥｊからＥｎへと移行することになる。ここでは、このような移行プロセスを行う場合の具体的な実切出条件の変遷を考えてみよう。
図３７は、この移行プロセスにおける切出中心点Ｐの移動状態を示す平面図である。図示のとおり、点Ｐは、歪曲円形画像Ｓを構成する円の中心点Ｐ０から、この円の半径に沿った移動経路Ａ（Ｙ軸を基準にして方位角αで示される方向）に沿って、Ｐ１，... ，Ｐｉ，... ，Ｐｊ〜Ｐｎと移動する。点Ｐｊ〜点Ｐｎは同一の点である。矢印で示すＪｉ，Ｊｊ〜Ｊｎは、後述するように、各位置における回転基準軸であり、移動経路Ａに対して直交する軸になる。ここで、点Ｐ１〜Ｐｊまでの移動期間が、前半のパンニング期間であり、点Ｐｊ〜Ｐｎに留まっている期間が、後半のズーミング期間である。
図３８は、この移行プロセスにおける実切出条件の具体的な変遷を示す表である。フレームＦの欄には、切出処理の対象となる歪曲円形画像のフレーム番号Ｆ０〜Ｆｎが記載されており、切出領域Ｅの欄には、各フレーム画像上に設定される切出領域Ｅ０〜Ｅｎが記載されている。実切出条件は、切出中心点Ｐ、平面傾斜角φ、倍率ｍの各欄に記載されているとおり変遷する。
まず、切出中心点Ｐは、第０番目の点Ｐ０から第ｎ番目の点Ｐｎへと変遷するが、実際には、第ｊ番目以降の点Ｐｊ〜は、いずれも第ｎ番目の点Ｐｎと同一点であり、切出中心点Ｐの移動は、第ｊ番目のフレームＦｊで完了している。これは前半のパンニング期間が、第ｊ番目のフレームＦｊまでで完了することを意味する。これに対して、倍率ｍは、第０番目の倍率ｍ０から第ｎ番目の倍率ｍｎへと変遷するが、実際には、第ｊ番目の倍率ｍｊまでは元の倍率ｍ０と等しく、倍率が変化し始めるのは、第（ｊ＋１）目の倍率からである。これは後半のズーミング期間が、第ｊ番目のフレームＦｊから始まることを意味する。
一方、平面傾斜角φは、この例の場合、移動経路Ａに沿って移動中は、常に同一の値でよい。平面傾斜角φは、切り出しの向きを定めるパラメータであるが、図３７に示す回転基準軸Ｊｉ，Ｊｊ〜Ｊｎを基準に定めた角度であるので、方位角αが同じであれば、平面傾斜角φは常に同一の値に固定しておけばよい。この平面傾斜角φの取り扱いについては、後にまとめて説明する。
ここに示す例のように、移行期間担当部１７２が、移行期間前半のパンニング期間において、切出中心点Ｐが標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変わる実切出条件を定め、移行期間後半のズーミング期間において、倍率ｍが標準倍率ｍ０から目標倍率ｍｎへと段階的に変わる実切出条件を定めるようにすると、ユーザから見ると、動体検出時に、まず、視野が動体位置まで移動するパンニングが行われた後、動体観察に適した倍率までズーミングが行われることになる。このように、倍率固定のまま前半にパンニングを行う方法をとると、ユーザは位置関係の把握をより直感的に行うことができる。なお、後半のズーミングでは、ｍｎ＞ｍ０の場合はズームイン動作になるが、ｍｎ＜ｍ０の場合はズームアウト動作になる。
ただ、上例のようにパンニングとズーミングとを期間を分けて実施すると、移行期間が長くなり、また、図２５の切出領域Ｅｊのような設定が行われると、一部分が歪曲円形画像Ｓの領域からはみ出してしまう弊害も生じる。このような弊害を避けるには、移行期間担当部１７２が、移行期間の全期間をパンニング期間およびズーミング期間に設定し、切出中心点Ｐが標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変わると同時に、倍率ｍが標準倍率ｍ０から目標倍率ｍｎへと段階的に変わる実切出条件を定めるようにし、パンニングとズーミングとを並行して行うようにすればよい。この場合、第０番目のフレームＦ０から第ｎ番目のフレームＦｎに向かって、切出中心点Ｐと倍率ｍとが並行して段階的に変化してゆくことになる。
＜８−２．切出中心点Ｐの移動（パンニング）＞
続いて、パンニングを行うための具体的な切出中心点Ｐの移動方法を考えてみる。一般に、パンニングの方法には、等速パンニングと不等速パンニングとが知られている。たとえば、通常のレンズを装着したビデオカメラを用いて、水平パンニングを行う場合、カメラを水平方向へ回転させることになるが、回転角速度を一定にすれば等速パンニングとなり、回転角速度を変化させれば不等速パンニングになる。ところが、本発明のように、魚眼レンズを装着したビデオカメラによって撮影された歪曲円形画像を利用して、パンニング撮影で得られるような平面正則画像を擬似的に得る処理を行う場合、通常のレンズを装着したビデオカメラのパンニング操作とは若干異なった取り扱いを行う必要がある。
まず、等速パンニングを行うことを考えてみよう。魚眼レンズを用いて撮影された歪曲円形画像を用いて擬似的にパンニングを行う場合、切出中心点Ｐを等速移動させても、等速パンニングの効果は得られない。たとえば、図３７に示す例では、前半のパンニング期間に、切出中心点Ｐを移動経路Ａに沿って点Ｐ０から点Ｐｊへ移動させることになるが、点Ｐの移動速度を一定に維持した場合、通常のレンズを装着したビデオカメラによる等速パンニングの効果は得られない。これは、歪曲円形画像Ｓの中心部分と周辺部分とでは、撮影対象の画角が異なっているためである。
図３９は、本発明に係る等速パンニングの具体的方法を示す側面図である。図の水平線は歪曲円形画像Ｓが形成されたＸＹ平面を示し、半円は、この歪曲円形画像Ｓ上に定義された仮想球面Ｈを示している。ここでは、図の右方を向いた矢印Ａの方向に切出中心点Ｐの移動経路をとり、図示の点Ｐ０から点Ｐｎに向けてｎ段階からなる等速パンニングを行うことを考えてみよう。
§２で述べたとおり、ＸＹ平面上の任意の点Ｐに対して、仮想球面Ｈ上に対応点Ｑを定義することができる。この場合、２点Ｐ，Ｑには、「原点Ｏに向かって仮想球面Ｈ上の点Ｑに入射した外光がＸＹ平面上の点Ｐに到達する」という関係があり、正射影方式の魚眼レンズを用いた場合、対応点Ｑは点Ｐの真上の点（同じＸＹ座標をもつ点）になる。図３９に示す点Ｑ０，Ｑ１，... ，Ｑｉ，... ，Ｑｎは、それぞれ点Ｐ０，Ｐ１，... ，Ｐｉ，... ，Ｐｎの対応点である。ＸＹ平面上の歪曲円形画像Ｓが歪んでいるのは、仮想球面Ｈ上の球面画像をＸＹ平面上に投影したためである。いわば、仮想球面Ｈ上の実映像空間が、ＸＹ平面上の魚眼映像空間に歪んで収容されていることになる。
通常のレンズを装着したビデオカメラを用いた等速パンニングは、図３９の点Ｐ０の位置（原点Ｏの位置）から仮想球面Ｈ上の実映像空間を望む視線ベクトルを考え、この視線ベクトルを等角速度で運動させることに相当する。したがって、通常のレンズを装着したビデオカメラによる等速パンニングの効果を得るためには、ＸＹ平面上における切出中心点Ｐの運動ではなく、仮想球面Ｈ上における対応点Ｑの運動が、等速運動となるようにすればよい。
たとえば、図示のとおり、切出中心点Ｐを、点Ｐ０から点Ｐｎに向けてｎ段階に分けて移動させる場合、第ｉ番目の点Ｐｉの移動距離ａｉ（移動始点Ｐ０から移動経路Ａに沿った距離）が時間ｔに対して線形変化するようにしても、等速パンニングの効果は得られない。等速パンニングの効果を得るためには、第ｉ番目の対応点Ｑｉの仮想球面Ｈ上での移動距離ｂｉ（移動始点Ｑ０から、図に矢印Ｂで示す仮想球面上での移動経路Ｂに沿った距離：別言すれば、円弧Ｑ０−Ｑｉの長さ）が時間ｔに対して線形変化するように、第ｉ番目の点Ｐｉの位置を定めればよい。
この対応点Ｑの運動を数式で示せば、図３９の上段に示すような関係が得られる。すなわち、図示のとおり、対応点ＱｉおよびＱｎの天頂角を、それぞれβｉおよびβｎとすれば、移動経路Ａに沿った移動距離ａｉは、歪曲円形画像Ｓの半径（仮想球面Ｈの半径）をＲとして、「ａｉ＝Ｒ・sin βｉ」である。そして、等速パンニングを行う場合、角度βｉを０°〜βｎまで、ｎ段階にわたって等間隔で変化させる必要があるから、「βｉ＝ｉ／ｎ・βｎ」となり、結局、「ａｉ＝Ｒ・sin （ｉ／ｎ・βｎ）」が得られる。ここで、角度βｎは、点Ｐの最終移動距離をａｎとすれば、「βｎ＝sin -1 ａｎ」である。結局、ＸＹ平面上において、点Ｐを移動経路Ａに沿って点Ｐ０から点Ｐｎに向けてｎ段階に分けて移動させる場合、第ｉ番目の点Ｐｉの移動距離ａｉを、
ａｉ＝Ｒ・sin （ｉ／ｎ・（sin -1 ａｎ））
に設定すれば、等速パンニングの効果が得られることになる。
図４０は、この等速パンニングの具体的方法を示す平面図およびグラフである。上段に示す円形の図は、ＸＹ平面上に定義された魚眼映像空間（歪曲円形画像Ｓ）を示しており、右方向に移動経路Ａがとられている。切出中心点Ｐの始点は標準切出中心点Ｐ０であり、終点は目標切出中心点Ｐｎである。切出中心点Ｐは、始点Ｐ０から終点Ｐｎへ向かう移動経路Ａに沿って、距離ａｎだけ移動することになる。移動はｎ段階に分けて行われ、第ｉ段階の移動位置を示す点Ｐｉは、始点Ｐ０から移動距離ａｉだけ離れた点になる。このＸＹ平面は、歪んだ魚眼映像空間に対応するので、等速パンニングを行う場合、ＸＹ平面上での点Ｐの移動速度は等速度にならず、図示のとおり、時間ｔとともに速度が減少してゆく。
一方、図４０の中段に示す矩形の図は、仮想球面Ｈ上に定義された実映像空間を示しており、右方向に移動経路Ｂがとられている。この移動経路Ｂは、仮想球面Ｈの円周に沿った経路であり、その始点は点Ｐ０の対応点Ｑ０、終点は点Ｐｎの対応点Ｑｎである。対応点Ｑは、始点Ｑ０から終点Ｑｎへ向かう移動経路Ｂに沿って、距離ｂｎだけ移動することになる。移動はｎ段階に分けて行われ、第ｉ段階の移動位置を示す点Ｑｉは、始点Ｑ０から移動距離ｂｉだけ離れた点になる。上段の図と中段の図とを結ぶ破線は、各点Ｐ０，... ，Ｐｉ，... ，Ｐｎと、各点Ｑ０，... ，Ｑｉ，... ，Ｑｎとの対応関係を示している。等速パンニングを行う場合、図示のとおり、実映像空間での対応点Ｑの移動速度を等速度にすればよい。
図４０の下段左に示すグラフは、仮想球面上を点Ｑ０〜点Ｑｎに向かって移動経路Ｂに沿って移動する対応点Ｑの時間ｔに対する移動距離ｂを示すグラフであり、下段右に示すグラフは、ＸＹ平面上を点Ｐ０〜点Ｐｎに向かって移動経路Ａに沿って移動する切出中心点Ｐの時間ｔに対する移動距離ａを示すグラフである。図示のとおり、対応点Ｑが等速運動をするのに対して、切出中心点Ｐの運動は等速運動にならない。結局、本発明に係るシステムにおいて、通常のレンズを装着したビデオカメラを用いた等速パンニングと同等の効果を得るためには、移行期間担当部１７２が、対応点Ｑの仮想球面上の運動が等速運動となるように、切出中心点Ｐの位置を変化させるようにすればよい。
このように、本発明において等速パンニングを行う基本原理がわかれば、この基本原理を利用して、所望の不等速パンニングを行うことが可能である。不等速パンニングは、文字どおり、等速パンニング以外のパンニング手法をすべて含む概念であるが、ここでは、パンニング期間の開始部分および終了部分の速度が中間部分の速度よりも遅くなるような視線移動を行う不等速パンニングを例示する。このような不等速パンニングの手法は、物理的なカメラの動きに合致するので、視聴者に対して自然な動きを提示する利点をもち、様々な映像表現に広く利用されている。
図４１は、本発明に係る不等速パンニングの具体的方法を示す平面図およびグラフである。図４０と同様に、上段に示す円形の図は、ＸＹ平面上に定義された魚眼映像空間（歪曲円形画像Ｓ）を示し、中段に示す矩形の図は、仮想球面Ｈ上に定義された実映像空間を示し、下段左に示すグラフは、仮想球面上を移動経路Ｂに沿って移動する対応点Ｑの移動距離ｂを示し、下段右に示すグラフは、ＸＹ平面上を移動経路Ａに沿って移動する切出中心点Ｐの移動距離ａを示している。
ここで、下段左のグラフに注目すると、対応点Ｑの運動は、運動開始部分および運動終了部分の速度が中間部分の速度よりも遅くなるように設定されている。このような設定は、上述した一般的な不等速パンニングに対応する運動のための設定であり、実映像空間での対応点Ｑは、中段の矩形の図に示すような運動を行うことになる。このように、実映像空間での対応点Ｑの運動を規定すれば、これに対応する切出中心点ＰのＸＹ平面上での運動を決定することができる。下段右のグラフは、こうして決定された切出中心点Ｐの運動を示すものであり、上段の円形の図には、移動経路Ａに沿ってこのような運動をする切出中心点Ｐの軌跡が示されている。
結局、この場合は、移行期間担当部１７２が、対応点Ｑの仮想球面上の運動が、パンニング期間の開始部分および終了部分の速度が中間部分の速度よりも遅くなるような不等速運動となるように、切出中心点Ｐの位置を変化させるようにすればよい。このような切出中心点Ｐの運動を数式で示せば、図４１の上段に示すように、
ａｉ＝Ｒ・sin （ｂｉ／ｂｎ・（sin -1 ａｎ））
となる（前掲の等速パンニングの式における係数「ｉ／ｎ」を、係数「ｂｉ／ｂｎ」に置き換えた式）。ここで、ａｉは、ＸＹ平面上において、点Ｐを移動経路Ａに沿って点Ｐ０から点Ｐｎに向けてｎ段階に分けて移動させる場合の第ｉ番目の点Ｐｉの移動距離であり、ｂｎは、図４１の中段に示すように、仮想球面Ｈに沿って測定した点Ｑ０から点Ｑｎまでの距離、ｂｉは、同様に、仮想球面Ｈに沿って測定した点Ｑ０から点Ｑｉまでの距離である。そして、距離ｂｉは、図４１の下段左のグラフによって与えられる時間ｔｉにおける移動距離ということになる。したがって、この図４１の下段左のグラフを定義しておけば、上式に基づいて、同図下段右のグラフを演算によって求めることができ、所定の時間ｔｉにおける距離ａｉ（すなわち、切出中心点Ｐの位置）を一義的に決定することができる。
＜８−３．倍率ｍの変更（ズーミング）＞
次に、ズーミングを行うための具体的な倍率ｍの変更方法を考えてみる。一般に、ズーミングの方法も、等速ズーミングと不等速ズーミングとが知られている。通常のレンズを装着したビデオカメラの場合、光学的なズーミングは、対物レンズを光軸に沿って移動させる操作によって行う。対物レンズの移動速度が等速なら等速ズーミング、不等速なら不等速ズーミングになる。通常、不等速ズーミングを行う場合は、不等速パンニングと同様に、ズーミング期間の開始部分および終了部分の対物レンズの移動速度が、中間部分の移動速度よりも遅くなるような設定がなされる。
本発明の場合、ズーミング操作は、倍率ｍを変更することによって行われる。§２で述べたとおり、倍率ｍは、図９に示すモデルにおける三次元ＸＹＺ直交座標系の原点Ｏと、二次元ＵＶ直交座標系の原点Ｇとの距離を決定するパラメータであり、両点の距離は、仮想球面Ｈの半径をＲとした場合に、ｍ・Ｒで与えられることになる。図１０に示すように、倍率ｍを小さく設定すれば、より広い切出領域Ｅ１が設定され、フレームＦ１には広角画像が得られることになり、図１１に示すように、倍率ｍを大きく設定すれば、より狭い切出領域Ｅ２が設定され、フレームＦ２には望遠画像が得られることになる。
したがって、ズーミング操作は、移行期間担当部１７２が、移行期間の全期間もしくは一部の期間をズーミング期間に設定し、当該ズーミング期間の間、時間軸に沿って単調増加（ｍｎ＞ｍ０の場合：ズームイン動作）もしくは単調減少（ｍｎ＜ｍ０の場合：ズームアウト動作）するように、倍率ｍを標準倍率ｍ０から目標倍率ｍｎへと変化させることにより行うことができる。
図４２は、本発明に係る等速および不等速ズーミングの具体的方法を示すグラフであり、上段は等速ズーミングのグラフ、下段は不等速ズーミングのグラフである。いずれも横軸は時間ｔ、縦軸は倍率ｍを示している。等速ズーミングの場合は、上段のグラフに示すとおり、倍率ｍは、時間ｔ０〜ｔｎのズーミング期間に、標準倍率ｍ０から目標倍率ｍｎまで線形増加する。したがって、倍率をｎ段階にわたって段階的に変化させる場合、第ｉ番目の段階の倍率ｍｉは、図示のとおり、
ｍｉ＝ｍ０＋ｉ／ｎ・（ｍｎ−ｍ０）
で与えられる。したがって、等速ズーミング動作は、移行期間担当部１７２が、ズーミング期間の間、倍率ｍを時間軸に沿って線形変化させることにより行うことができる。
一方、不等速ズーミングの場合は、下段のグラフに示すとおり、倍率ｍは、時間ｔ０〜ｔｎのズーミング期間に、標準倍率ｍ０から目標倍率ｍｎまで非線形増加する。したがって、倍率をｎ段階にわたって段階的に変化させる場合、第ｉ番目の段階の倍率ｍｉは、図示のとおり、
ｍｉ＝ｍ０＋Ｋｉ・（ｍｎ−ｍ０）
で与えられる。ここで、係数Ｋｉは、下段のグラフの形状によって決定される第ｉ番目の段階に固有の比例係数である。
したがって、予め図４２の下段に示すグラフを用意しておき、移行期間担当部１７２が、このグラフに応じて倍率ｍを標準倍率ｍ０から目標倍率ｍｎまで変化させれば、ズーミング期間の開始部分および終了部分の倍率変化速度が、中間部分の変化速度よりも遅くなるような不等速変化するように、倍率ｍを時間軸に沿って変化させることができ、不等速ズーミングを行うことができる。
図４３は、上述した等速および不等速パンニングの具体的なステップを示す表であり、合計８段階のステップによるパンニング動作が例示されている。各表の左欄にはステップの番号、右欄には当該ステップの時点における対応点Ｑの実映像空間（仮想球面上）での移動距離ｂが記載されている。図４３(a) に示す等速パンニングでは、距離ｂが線形増加しているのに対して、図４３(b) に示す不等速パンニングでは、距離ｂが非線形増加（開始部分および終了部分の増加速度が中間部分の増加速度よりも遅くなるような非線形増加）していることがわかる。
ここで、ｂｎの値は、目標切出中心点Ｐｎの位置（すなわち、検出された動体の位置）に応じて変動することになるが、これに乗じられる係数の部分は表に掲載された値に固定しておくことができるので、この係数の部分を関数式もしくはテーブルとして用意しておけば、テーブルの内容に応じた所望のパンニング動作を行うことが可能である。
一方、図４４は、上述した等速および不等速ズーミングの具体的なステップを示す表であり、合計８段階のステップによるズーミング動作が例示されている。各表の左欄にはステップの番号、右欄には当該ステップの時点における実倍率ｍが記載されている。図４４(a) に示す等速ズーミングでは、倍率ｍが線形増加しているのに対して、図４４(b) に示す不等速ズーミングでは、倍率ｍが非線形増加（開始部分および終了部分の増加速度が中間部分の増加速度よりも遅くなるような非線形増加）していることがわかる。
ここでも、目標倍率ｍｎの値は検出された動体のサイズに応じて変動することになるが、これに乗じられる係数の部分は表に掲載された値に固定しておくことができるので、この係数の部分を関数式もしくはテーブルとして用意しておけば、テーブルの内容に応じた所望のズーミング動作を行うことが可能である。
図４５は、図３６に示す移行期間担当部１７２の詳細構成を示すブロック図である。図示のとおり、この移行期間担当部１７２は、実切出中心点決定部７０、実平面傾斜角決定部８０、実倍率決定部９０によって構成されている。
実切出中心点決定部７０は、標準切出中心点Ｐ０と目標切出中心点Ｐｎとに基づいて、点Ｐ０から点Ｐｎへ移行するように段階的に変わる実切出中心点Ｐの値を定める処理を実行する。その具体的な方法は、上述した等速パンニングや不等速パンニングの手法として述べたとおりである。ここで、パンニングの速度は、予め定めた関数に基づいて制御することが可能である。
要するに、所望の速度でパンニングを行うには、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、このパンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、切出中心点Ｐについての仮想球面上の対応点Ｑが、予め設定された所定の球面移動経路上を、時間に関する関数として設定された所定の球面移動速度で移動するように、切出中心点Ｐの位置を決定すればよい。
たとえば、図４６に示すように、実切出中心点決定部７０を、関数格納部７１と対応点変換部７２よって構成し、関数格納部７１には、対応点Ｑの仮想球面上の移動距離ｂと時間ｔとの関係を示す関数を格納しておき、対応点変換部７２によって、当該関数を用いて求まる「時間ｔにおける対応点Ｑの位置」に対応するＸＹ平面上の点を、当該時間ｔにおける切出中心点Ｐとして出力するようにすれば、用意した関数に応じた所望の速度でパンニングを行うことが可能になる。
具体的には、図４０の下段左に示すグラフに対応する関数式や、図４３(a) の距離ｂ欄の係数に対応する数値テーブルを関数格納部７１に格納しておけば、等速パンニングを行うことが可能になる。また、図４１の下段左に示すグラフに対応する関数式や、図４３(b) の距離ｂ欄の係数に対応する数値テーブルを関数格納部７１に格納しておけば、開始部分および終了部分の速度が中間部分の速度よりも遅くなるような不等速パンニングを行うことが可能になる。
一方、実倍率決定部９０は、標準倍率ｍ０と目標倍率ｍｎに基づいて、倍率ｍ０から倍率ｍｎへ移行するように段階的に変わる実倍率ｍの値を定める処理を実行する。その具体的な方法は、上述した等速ズーミングや不等速ズーミングの手法として述べたとおりである。ここで、ズーミングの速度は、予め定めた関数に基づいて制御することが可能である。
たとえば、図４７に示すように、実倍率決定部９０を、関数格納部９１と関数参照部９２によって構成し、関数格納部９１には、倍率ｍと時間ｔとの関係を示す関数を格納しておき、関数参照部９２によって、当該関数を用いて求まる時間ｔにおける倍率を、当該時間ｔにおける倍率ｍとして出力するようにすれば、用意した関数に応じた所望の速度でズーミングを行うことが可能になる。
具体的には、図４２の上段に示すグラフに対応する関数式や、図４４(a) の倍率ｍ欄の係数に対応する数値テーブルを関数格納部９１に格納しておけば、等速ズーミングを行うことが可能になる。また、図４２の下段に示すグラフに対応する関数式や、図４４(b) の倍率ｍ欄の係数に対応する数値テーブルを関数格納部９１に格納しておけば、開始部分および終了部分の速度が中間部分の速度よりも遅くなるような不等速ズーミングを行うことが可能になる。
＜８−４．平面傾斜角φの決定＞
最後に、平面傾斜角φの決定方法を考えてみる。図４５に示す実平面傾斜角決定部８０は、標準平面傾斜角φ０と目標平面傾斜角φｎに基づいて、角度φ０から角度φｎへ移行するように段階的に変わる実平面傾斜角φの値を定める処理を実行する。ただ、実用上は、平面傾斜角φを段階的に変える処理は行う必要はない。以下にその理由を説明する。
図２８に示す魚眼監視システム１００において、画像切出変換部１５０が、実切出条件の１つとして平面傾斜角φを必要とするのは、図１７に示す画像変換式において、画像の切り出し向きを示すパラメータとしてφが利用されるためである。この平面傾斜角φは、図９に示すように、二次元ＵＶ直交座標系のＵ軸（平面正則画像の横軸）の向きを定めるパラメータである。すなわち、二次元ＵＶ直交座標系は、視線ベクトルｎ上における原点Ｏから距離ｍ・Ｒだけ離れた点Ｇを原点とし、ＵＶ平面が視線ベクトルｎに直交する座標系として定義され、視線ベクトルｎを回転軸とした回転ファクターが平面傾斜角φとして定義される。具体的には、平面傾斜角φは、「回転基準軸ＪとＵ軸とのなす角」と定義され、「回転基準軸Ｊ」は、「原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸」と定義される。
そこで、まず、図１８に示す例のように、魚眼レンズ付ビデオカメラ３０を建物２０の側壁面に取り付けた場合を考える。この場合、カメラの撮像面、すなわち、ＸＹ平面（歪曲円形画像Ｓが形成される面）は、実世界の鉛直面に沿った面になる。ここでは、説明の便宜上、Ｘ軸が実世界の鉛直線方向、Ｙ軸が実世界の水平面方向となるような向きに、カメラが設置されているものとしよう。そうすると、撮像面であるＸＹ平面には、図４８に示すような外界の画像が形成される。
この図４８に示す撮像画像において、原点Ｏの位置における実世界の鉛直軸Ｗは、図の真下へ向かう方向であり、Ｘ軸と一致する。ここでは、この鉛直軸Ｗに対してＹ軸がなす角度をξと定義する。図示のとおり、鉛直軸ＷとＹ軸とは直交しているので、鉛直軸Ｗを基準として時計まわりの方向に角度ξを定義することにすれば、図示の例では、ξ＝−９０°となる（Ｙ軸は、鉛直軸Ｗを反時計まわりに９０°回転した位置にある）。
ここで、この図４８に示す歪曲円形画像から、切出領域Ｅの部分を切り出して平面正則画像に変換することを考えよう。切出領域Ｅの位置は切出中心点Ｐで指定され、サイズは倍率ｍで指定され、向きは平面傾斜角φで指定される。前述したように、矩形状の平面正則画像を得る場合、切出領域Ｅは矩形ではなく歪んだ形状になるが、ここでは説明の便宜上、矩形の切出領域Ｅを描いており、その長辺方向がＵ軸方向を示している。図示の例では、切出領域Ｅの長辺方向、すなわち、Ｕ軸の方向は、Ｙ軸に平行になっている。Ｕ軸がＹ軸に平行となるように切り出し向きを決める理由は、撮影画像上の鉛直軸Ｗの方向を下方向とする向きに平面正則画像を切り出すためである。そのような向きに切り出せば、図２１(a) ，(b) に示すように、常に、鉛直軸Ｗの方向を下方向とする平面正則画像を得ることができる。
もちろん、得られる平面正則画像の向きは任意に設定することができるので、モニタ画面上に、実世界の景色を天地逆に表示したり、斜めに表示したりすることも可能であるが、一般的な監視用途で要求される画像は、鉛直軸Ｗの方向を下方向とする画像であろう。したがって、実用上、平面正則画像を切り出す際の向きは、「鉛直軸Ｗの方向を下方向とする画像が得られる向き」ということになる。
このように「常に天地の関係が正しい平面正則画像がモニタ画面上に得られるような向きに切り出す」という基本条件を設定するならば（実用上は、そのような基本条件を設定することになろう）、図２８に示す魚眼監視システムにおいて、標準切出条件格納部１８０には、撮影画像における実世界の鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような標準平面傾斜角φ０を設定しておき、動体検出部１６０が、鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような目標平面傾斜角φｎを設定し、動体追跡部１９０が、鉛直軸方向を下方向とする向きに平面正則画像が切り出されるように、追跡平面傾斜角φ（ｉ）を設定するようにすればよい。また、実切出条件決定部１７０内の移行期間担当部１７２が、鉛直軸方向を下方向とする向きに平面正則画像が切り出されるように、平面傾斜角φを標準平面傾斜角φ０から目標平面傾斜角φｎへと変化させるようにすればよい。
そこで、「鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような平面傾斜角φ」の値がどのような値になるかを考えてみる。上述したとおり、平面傾斜角φは、「回転基準軸ＪとＵ軸とのなす角」であり、「回転基準軸Ｊ」は、「原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸」である。したがって、図４８に示す例の場合、図示のとおり、回転基準軸ＪとＵ軸とのなす角として平面傾斜角φが定義されることになる。本来、回転基準軸ＪとＵ軸は、図９に示すように、原点Ｇを起点としたベクトルとして定義されるが、図４８では、説明の便宜上、これらのベクトルの起点を切出中心点Ｐまで平行移動した状態を示している。また、回転基準軸ＪはＸＹ平面に平行な軸であるが、Ｕ軸は必ずしもＸＹ平面に平行な軸にはならないので、図４８に示すＵ軸は、本来のＵ軸ではなく、切出中心点ＰにおけるＵ軸に対応する軸（平面正則画像に変換した場合のＵ軸方向）を示すことになる。
ここで、「回転基準軸Ｊ」は、「原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸」であり、図４８に示す半径方向軸Ｒは、視線ベクトルｎのＸＹ平面上への正射影に相当する軸であるから、図４８に示す「平行移動後の回転基準軸Ｊ」は、半径方向軸Ｒに直交する軸になる。一方、半径方向軸Ｒ（視線ベクトルｎの正射影）は、図９に示すとおり、Ｙ軸を基準とした方位角αで示される向きに配置されているので、平面傾斜角φと方位角αとの間には、φ＝−α＋９０°の関係が成り立つ。すなわち、切出中心点Ｐが、この歪曲円形画像上のどこに位置していたとしても、「鉛直軸Ｗの方向を下方向とする画像が得られる向き」（別言すれば、図示のＵ軸がＹ軸に平行となるような向き）に平面正則画像を切り出すためには、平面傾斜角φ＝−α＋９０°なる設定を行えばよいことがわかる。
たとえば、図のＹ軸上に切出中心点Ｐをとった場合、方位角α＝０°になるので、平面傾斜角φ＝＋９０°になる。Ｙ軸上の切出中心点Ｐについては、Ｘ軸に平行な方向に回転基準軸Ｊが定義されるので、平面傾斜角φ＝＋９０°に設定すれば、図示のＵ軸はＹ軸に平行な方向に設定される。同様に、図のＸ軸上に切出中心点Ｐｎをとった場合、方位角α＝９０°になるので、平面傾斜角φ＝０°になる。Ｘ軸上の切出中心点Ｐについては、Ｙ軸に平行な方向に回転基準軸Ｊが定義されるので、平面傾斜角φ＝０°に設定すれば、図示のＵ軸はＹ軸に平行な方向に設定される。
このように、図４８に示す例の場合、平面傾斜角φ＝−α＋９０°なる設定を行えば、切出中心点Ｐの位置にかかわらず、常に、鉛直軸Ｗの方向を下方向とする平面正則画像が得られることになる。したがって、図３７に示すように、移行期間中に切出中心点Ｐを、半径方向軸（移動経路Ａ）に沿って点Ｐ０から点Ｐｊへ移動させる場合でも、方位角αは一定であるから平面傾斜角φも一定（φ＝−α＋９０°）でよい。
以上、図４８に例示するように、撮像面が鉛直面に一致し、Ｘ軸が実世界の鉛直軸Ｗに一致するように魚眼レンズ付ビデオカメラを設置した場合の説明を行った。続いて、Ｘ軸が斜めになるような設置が行われた場合を考えてみよう。図４９に示す例は、撮像面が鉛直面に一致するようにビデオカメラが設置されている点は図４８に示す例と同じであるが、Ｘ軸と鉛直軸Ｗとが一致しないような配置がなされた例である。別言すれば、実世界の鉛直軸Ｗに対してＹ軸がなす角度をξとした場合、図４８はξ＝−９０°に設定された例であるのに対して、図４９はξが任意の角度に設定された例ということになる。
図４９を見れば明らかなように、Ｘ軸と鉛直軸Ｗとが一致しないため、ＸＹ平面上に得られる歪曲円形画像は、Ｘ軸およびＹ軸を基準にすると、斜めに配置された画像になる。この場合でも、半径方向軸Ｒが方位角αで与えられ、回転基準軸Ｊが半径方向軸Ｒに直交する軸になる点に変わりはない。したがって、「鉛直軸Ｗの方向を下方向とする画像が得られる向き」に平面正則画像を切り出すためには、平面傾斜角φと方位角αとの間には、角度ξを介して、φ＝−α−ξの関係が成り立つ。すなわち、切出中心点Ｐが、この歪曲円形画像上のどこに位置していたとしても、平面傾斜角φ＝−α−ξなる設定を行えばよいことになる。図４８に示す例は、図４９に示す一般例において、ξ＝−９０°とした特殊な例に他ならない。
結局、撮像面となるＸＹ平面が鉛直面に一致し、Ｙ軸が鉛直軸Ｗに対して角度ξをなす方向を向くように魚眼レンズ付ビデオカメラが設置されていた場合、平面傾斜角φは、常にφ＝−α−ξとなるように設定すれば、常に天地の関係が正しい平面正則画像がモニタ画面上に得られることになる。
続いて、カメラの撮像面（ＸＹ平面）が水平面となるような設置を行った場合を考えてみよう。たとえば、図５０に示す例は、カメラを地面に設置して、周囲の景色を撮影した画像である。この場合、撮像面は地面に平行な面になる。一般的な魚眼監視システムの場合、カメラを地面や床に設置するケースよりも、カメラを天井に設置するケースの方が多いであろうが、「撮像面が水平面となるように設置する」という設置形態に関しては共通であり、平面傾斜角φの決定方法も共通する。
図５０に示す例において、たとえば、切出中心点Ｐの近傍に切出領域Ｅを設定して、ビルの一部についての平面正則画像を得る場合を考える。この場合、「常に天地の関係が正しい平面正則画像がモニタ画面上に得られるような向きに切り出す」という基本条件を満足させるためには、図示のような方向にＵ軸を設定する必要がある。ここで、切出中心点Ｐの位置における回転基準軸Ｊは、半径方向軸Ｒに直交する軸であり、Ｕ軸は回転基準軸Ｊに一致するので、平面傾斜角φ＝０°になる。
図５１は、撮像面が水平面に一致するように魚眼レンズ付ビデオカメラを設置した場合の撮影画像の実世界の水平面方向を示す平面図である。図示の円Ｃは、実世界の等高線を示している。この等高線Ｃは、実世界での水平面に平行な所定平面の位置を示しており、この歪曲円形画像Ｓにおいて、外界の景色の水平方向は、等高線Ｃとして示される円の円周方向ということになる。したがって、たとえば、図示の切出中心点Ｐａの近傍における景色の水平方向は、円Ｃの点Ｐａにおける接線τａの方向になり、図示の切出中心点Ｐｂの近傍における景色の水平方向は、円Ｃの点Ｐｂにおける接線τｂの方向になる。これらの接線は、当然、半径方向軸に対して直交するので、いずれも回転基準軸Ｊと同じ方向を向くことになる。このため、これら接線方向にＵ軸を設定するためには、平面傾斜角φを常に０°に設定すればよいことになる。
結局、撮像面となるＸＹ平面が水平面に一致するように魚眼レンズ付ビデオカメラが設置されていた場合、切出中心点Ｐの位置がどこであろうとも、常にφ＝０°となるように設定すれば、常に天地の関係が正しい平面正則画像がモニタ画面上に得られることになる。
魚眼監視システムの用途では、実用上、撮像面を鉛直面もしくは水平面のいずれかに一致させてカメラを設置するのが一般的であり、また、常に天地の関係が正しい平面正則画像がモニタ画面上に得られるようにするのが一般的である。このような一般的な用途で利用する限り、特定の切出中心点Ｐの位置についての平面傾斜角φは、「φ＝−α−ξ」（撮像面が鉛直面の場合）もしくは「φ＝０°」（撮像面が水平面の場合）として一義的に算出できる。特に、撮像面が水平面の場合は、切出中心点Ｐの位置にかかわらず、常に、φ＝０°という固定値になるので、動体検出部１６０は目標平面傾斜角φｎを設定する必要はなく、動体追跡部１９０は追跡平面傾斜角φ（ｉ）を設定する必要はない。
なお、設計実務上、留意しておくべき点は、切出中心点ＰがＸＹ平面の原点Ｏ（歪曲円形画像の中心点）に位置する場合、平面傾斜角φの値が定まらない点である。平面傾斜角φは、「回転基準軸ＪとＵ軸とのなす角」として定義されるが、切出中心点Ｐが原点Ｏ上に位置する場合、回転基準軸Ｊを定義することができない。すなわち、回転基準軸Ｊは、「原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸」であるが、切出中心点Ｐが原点Ｏ上に位置する場合、視線ベクトルｎはＺ軸に一致し、原点ＧはＺ軸上の点になる。このため、「原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎ（Ｚ軸）に直交する軸」は無数に存在し、回転基準軸Ｊによって特定の方向を定義することができない。実際、切出中心点Ｐが原点Ｏ上に位置する場合、天頂角β＝０になるが、方位角αと平面傾斜角φは定義することができない。このため、図１７に示す変換式もそのままでは適用することができず、例外的な演算を行う必要が生じる。
したがって、切出中心点Ｐが原点Ｏ上に位置する場合だけ例外的に、別な方法によって切り出し向きを指定する必要がある。たとえば、図４９に示す例のように、撮像面が鉛直面となるようにカメラを設置した場合、切出中心点Ｐについての切り出し向きは、「Ｖ軸が撮影画像の原点Ｏの位置における実世界の鉛直軸Ｗに対応するように平面正則画像が切り出されるような切り出し向き」に設定すればよい。
結局、図２２に示す例のように、標準切出中心点Ｐ０を、二次元ＸＹ直交座標系の原点Ｏ上に設定する場合、標準切出条件格納部１８０には、Ｖ軸が撮影画像の原点Ｏの位置における実世界の鉛直軸に沿うように平面正則画像が切り出されるような切り出し向きを示す標準切出条件を設定しておくようにし、動体６０を検出した動体検出部１６０は、目標切出中心点Ｐｎについての方位角をαｎとしたときに、目標平面傾斜角φｎ＝−αｎ−ξなる設定を行い（ξは、前述したとおり、実世界の鉛直軸Ｗに対してＹ軸がなす角度）、実切出条件決定部１７０が、移行期間中、常に平面傾斜角φ＝φｎに設定するようにすればよい。
図３８に示す表の平面傾斜角φの欄には、便宜上、標準平面傾斜角をφ０と記載したが、実際には、原点Ｏ上に位置する標準切出中心点Ｐ０について、平面傾斜角は定義することができないので、標準切出条件における切り出し向きは、別な方法（たとえば、図４８や図４９に示す例の場合、Ｕ軸とＹ軸とのなす角）で定義する必要がある。
＜＜＜ §９．様々な変形例 ＞＞＞
ここでは、これまで述べてきた本発明の一実施形態に係る魚眼監視システムについての変形例を述べる。
＜９−１．標準切出中心点の任意設定＞
これまで述べてきた実施形態では、標準切出中心点Ｐ０を、歪曲円形画像Ｓの中心点（すなわち、ＸＹ座標系の原点Ｏ）の位置に設定しているが、標準切出中心点Ｐ０は、静的監視期間Ｗ１の間（撮影範囲内に動体が検出されていない間）、モニタ装置１２０に表示させる平面正則画像の標準位置を指定するパラメータであり、歪曲円形画像Ｓ上の任意の位置に設定することが可能である。
たとえば、図２０に示す例では、歪曲円形画像Ｓの中心に標準切出中心点Ｐ０を設定しているため、静的監視期間Ｗ１の間、図２１(a) に示すように、樹木４０の正面像がモニタ画面上に表示されることになる。これに対して、もし、ガードレール５０の近傍を表示させたい場合は、標準切出中心点Ｐ０の位置を下方に修正すればよい。予め、標準切出中心点Ｐ０の位置として、図２８に示す標準切出条件格納部１８０に任意の座標値を格納しておくようにすれば、静的監視期間Ｗ１の間、当該任意の座標値で示される位置近傍から切り出した平面正則画像をモニタ画面上に表示させることができる。
なお、動体検出がなされた場合、既に述べたとおり、図３６に示す移行期間担当部１７２によって、実切出中心点Ｐを、標準切出中心点Ｐ０から目標切出中心点Ｐｎへ向かって段階的に移動させるパンニング処理を行う必要がある。ここで、標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ（歪曲円形画像Ｓの中心）に設定されている場合、図３７に示すように、原点Ｏから目標切出中心点Ｐｎへ向かって、歪曲円形画像Ｓの半径方向の移動経路Ａに沿って、切出中心点Ｐを移動させればよい。このように、円の中心から半径方向に切出中心点Ｐを移動させるパンニングは、比較的単純な演算処理によって実行可能である。実際、図４０に示す式を用いた等速パンニングや、図４１に示す式を用いた不等速パンニングは、それほど複雑な演算処理を必要としない。
ところが、標準切出中心点Ｐ０が二次元ＸＹ直交座標系の原点Ｏ以外の任意の位置に設定されている場合、当該任意の位置から目標切出中心点Ｐｎへ直接向かう移動経路に沿って、点Ｐを移動させるパンニングを行うためには、かなり複雑な演算処理を必要とする。このような複雑な演算処理を避けるためには、原点Ｏを経由するパンニング経路をとればよい。
たとえば、図５２に破線の経路で示すように、まず、パンニング期間の前段階として、標準切出中心点Ｐ０から原点Ｏへ向かって、歪曲円形画像Ｓの半径に沿って切出中心点Ｐを移動させた後、パンニング期間の後段階として、原点Ｏから目標切出中心点Ｐｎへ向かって、歪曲円形画像Ｓの半径に沿って切出中心点Ｐを移動させるようにすればよい。図５２に破線で示すパンニング経路は、点Ｐ０から点Ｐｎへ直接向かう経路に比べて長くなるが、演算処理は単純化される。
もっとも、演算処理の負担が問題にならないシステムであれば、図５３に破線で示すように、点Ｐ０から点Ｐｎへ直接向かうパンニング経路をとるのが好ましい。一般に、動体検出が行われた後の移行期間のパンニング経路は、最短経路を採るのが効率的である。すなわち、ユーザには、切り替え前後の画像の空間的な位置関係を明瞭に認識させつつ、できるだけ速やかに検出動体を提示するのが好ましい。したがって、システムの演算処理速度に問題がなければ、図５２のような原点経由のパンニング経路を採るよりも、図５３のような直行パンニング経路を採るのが好ましく、特に、「最短経路」を採用するのが好ましい。
ただ、ここで言う「最短経路」とは、「魚眼映像空間上での最短経路」ではなく、「実映像空間上での最短経路」とすべきである。たとえば、図５３に示す例の場合、点Ｐ０から点Ｐｎに至る「魚眼映像空間上での最短経路」は、「ＸＹ平面上での最短経路」であるので、２点Ｐ０，Ｐｎを結ぶ線分が最短経路になる。ところが、切出中心点Ｐを、そのような線分に沿って移動させると、通常のレンズを装着したビデオカメラを、実映像空間における歪んだ経路に沿ってパンニングした結果が得られるため、モニタ画面を観察しているユーザから見ると、不自然なパンニング動作が行われたように見えてしまう。
図５３に示す例の場合、破線で示すパンニング経路は、ＸＹ平面上での最短経路にはなっていないが、仮想球面上での対応点の移動軌跡が最短経路となるようになっているので、「実映像空間上での最短経路」に沿ってパンニングした結果が得られ、モニタ画面を観察しているユーザには、自然なパンニング動作が行われたように見える。具体的には、図示の歪曲円形画像Ｓ上に仮想球面Ｈを配置し、標準切出中心点Ｐ０についての仮想球面Ｈ上の対応点Ｑ０と、目標切出中心点Ｐｎについての仮想球面Ｈ上の対応点Ｑｎと、を定義し、切出中心点Ｐについての仮想球面Ｈ上の対応点Ｑの仮想球面Ｈ上での移動経路が、対応点Ｑ０と対応点Ｑｎとを仮想球面Ｈ上で結ぶ最短経路となるようにすればよい。
上述した条件に基づいて、切出中心点Ｐを点Ｐ０から点Ｐｎへと移動させる経路は、幾何学的演算によって一義的に求めることができる。この演算式は、前述したとおり、かなり複雑な式になるが、以下、図５４および図５５を参照しながら簡単に説明する。
まず、図５４の上段に示すような三次元モデルを考える。この図は、ＸＹ平面上の歪曲円形画像Ｓの上に仮想球面Ｈを配置した状態を示す斜視図である。歪曲円形画像Ｓ上には、点Ｐ０と点Ｐｎとが定義されており、両点間に破線で示すような経路が描かれている。この破線で示す経路を定めるには、当該経路上の任意の点Ｐｉ（切出中心点Ｐを、点Ｐ０から点Ｐｎに向かって段階的に移動させる際の第ｉ番目の点）の座標値が求まればよい。
そこで、まず、２点Ｐ０，Ｐｎについて、それぞれ仮想球面Ｈ上の対応点Ｑ０，Ｑｎを考える。既に述べたとおり、正射影方式の魚眼レンズを用いて撮影された歪曲円形画像Ｓの場合、対応点Ｑ０，Ｑｎは、各点Ｐ０，Ｐｎの真上の点になる。次に、この２つの対応点Ｑ０，Ｑｎと、原点Ｏと、を通る仮想球面Ｈの切断面Ｓ３を定義する。切断面Ｓ３は原点Ｏを通る面であるので、半径Ｒの円形切断面になる。そして、この切断面Ｓ３に直交し、原点Ｏを起点とする法線ベクトルｎを定義する。
続いて、この切断面Ｓ３の円周上の点であって、点Ｑ０と点Ｑｎとの間に位置する任意の点Ｑｉを定義し、当該点Ｑｉを対応点とする点ＰｉをＸＹ平面上に定義すれば、点Ｐｉの座標値は、対応点Ｑｉの座標値に基づいて決定される。すなわち、正射影方式の魚眼レンズを用いて撮影された歪曲円形画像Ｓの場合、対応点Ｑｉは、点Ｐｉの真上の点になるので、対応点ＱｉのＸ座標値およびＹ座標値が、そのまま点Ｐｉの座標値になる。結局、対応点Ｑｉの座標値が求まれば、目的となる点Ｐｉの座標値が求まることになる。
そこで、まず、図５４の下段に示すように、点Ｑ０の座標値をＱ０（ｘ０，ｙ０，ｚ０）とし、点Ｑｎの座標値をＱｎ（ｘｎ，ｙｎ，ｚｎ）とする。これらの座標値は、点Ｐ０，Ｐｎの座標値から求めることができるので既知の値である。また、求めるべき点Ｑｉの座標値をＱｉ（ｘｉ，ｙｉ，ｚｉ）とする。更に、点Ｏから点Ｑ０へ向かうベクトルをベクトルＶ０，点Ｏから点Ｑｎへ向かうベクトルをベクトルＶｎ，点Ｏから点Ｑｉへ向かうベクトルをベクトルＶｉとし、法線ベクトルｎのベクトル成分をｎ（ｎｘ，ｎｙ，ｎｚ）とする。
そうすると、図５５に示すとおり、外積の公式より、式（１０）が導かれる。また、ベクトルＶ０とベクトルＶｎのなす角θは、その外積の大きさにより式（１１）で表され、式（１２）で算出される。ここで、等速パンニングを行うものとして、弧Ｑ０Ｑｎをｎ等分したときの第ｉ番目の点が点Ｑｉであるとすると、ベクトルＶｉとベクトルＶ０のなす角θｉは、式（１３）で表される。円形切断面Ｓ３の円周に沿って、点Ｑ０を角度θｉだけ回転運動させれば、点Ｑｉの位置にくるので、結局、点Ｑｉの座標値（ｘｉ，ｙｉ，ｚｉ）は、ロドリゲスの公式によって、式（１４）で求められることになる。なお、不等速
パンニングを行う場合は、式（１３）の「ｉ／ｎ」の部分をｉに応じた所望の値に設定すればよい。
＜９−２．複数の動体の取り扱い＞
本発明に係る魚眼監視システムでは、図３５の流れ図に示すとおり、静的監視期間Ｗ１において動体検出がなされると、移行期間Ｗ２を経て動的監視期間Ｗ３へと移行し、動体追跡が行われる。そして、動体が消滅したと判断されると、再び静的監視期間Ｗ１に復帰する処理が行われる。ただ、これまで述べてきた基本的な処理手順は、撮影領域内に単一の動体のみが存在するという前提で組まれた手順であり、§６で述べた動体検出処理の具体例においても、動体の候補となる着目領域が複数存在する場合には、より面積の大きい着目領域のみを考慮する処理が行われていた。
しかしながら、複数の着目領域のそれぞれを考慮した処理を行えば、動体検出部１６０によって複数の動体を検出することが可能であり、動体追跡部１９０によって複数の動体を追跡することが可能である。ここでは、このように複数の動体についての取り扱い方を、いくつかの方針に基づいて説明する。
第１の取扱方針は、最初に検出された動体のみを考慮し、当該動体が消滅するまで、２番目以降の動体を無視する取り扱いを行う、という最も単純な方針である。この方針を採る場合、動体検出部１６０は、動体追跡部１９０による動体追跡処理が行われている間、新たな動体検出処理を休止すればよい。図５６は、この第１の取扱方針を示すタイムチャートである。
３本のバーはいずれも横軸を時間軸とし、それぞれ固有の事象の時間変化を示している。まず、上段のバーは、各時点における実切出領域に含まれている動体（すなわち、切出対象として平面正則画像上に表示されるべき動体）の変遷を示している。「０」は切出対象となる動体が存在しないことを示し、静的監視期間Ｗ１を維持している状態を示す。「０→Ａ」は、動体Ａが検出されたために移行期間Ｗ２が進行中であることを示し、「Ａ」は、動体Ａを追跡する動的監視期間Ｗ３が進行中であることを示す。一方、中段のバーは、動体検出部１６０による動体検出処理が行われているか否かを示す、「サーチ」はたとえば図２９に示す動体検出処理が実行されていることを示し、「（休止）」は当該処理が休止していることを示す。また、下段のバーは、動体追跡部１９０による追跡対象の状態を示し、「Ａの追跡」は動体Ａを追跡中であることを示し、「（休止）」は当該処理が休止していることを示す。
図における時刻ｔ０〜ｔ１の期間は、何ら動体検出が行われていない静的監視期間Ｗ１である。切出対象となる動体は存在せず、モニタ画面上には何ら動体の表示は行われていない。この期間中、動体検出部１６０は動体検出処理（サーチ）を実行しているが、動体追跡部１９０は処理を休止している。
ここで、時刻ｔ１において、動体検出部１６０による動体Ａの検出が行われると、時刻ｔ１〜ｔ２の間が移行期間Ｗ２となり、切出対象を動体Ａとする移行処理が行われる。モニタ画面上では、パンニング動作が行われ、やがて画面上に動体Ａが表示される。一方、動体検出部１６０は、このように最初の動体Ａが検出されたら、その時点で動体検出処理を一時休止する。一方、動体追跡部１９０は、動体検出部１６０から動体Ａが検出された旨の報告を受け、動体Ａの追跡処理を開始する。
やがて、時刻ｔ２において移行処理が完了すると、実切出中心点Ｐが目標切出中心点Ｐｎへ到達していることになるので、モニタ画面上には動体Ａが表示され、動的監視期間Ｗ３が開始する。すなわち、モニタ画面上では、動体追跡部１９０が追跡中の動体Ａが表示され続ける。そして、時刻ｔ３において、動体追跡部１９０による動体消滅の判断がなされると、再び静的監視期間Ｗ１へ戻り、時刻ｔ０からの処理と同じ処理が繰り返し実行される。
この図５６に示す第１の取扱方針によれば、動体検出部１６０は、最初に動体Ａを検出すると、以降、動体Ａが消滅するまで、動体検出処理を休止するので、新たに２番目以降の動体が検出されることはない。したがって、ユーザには、１つの動体が検出されたら、当該動体が消滅するまで、当該動体のみを考慮した画面提示が行われることになる。
第２の取扱方針は、常に最新の検出動体を考慮し、新たに動体検出がなされた場合には、常に新動体をユーザに提示してゆくという方針である。この方針を採る場合、動体検出部１６０は、動体追跡部１９０による動体追跡処理が行われている間も動体検出処理を続行し、動体追跡処理の対象となっている旧動体とは異なる新動体の検出がなされた場合、この新動体についての目標切出条件を実切出条件決定部１７０に与える処理を行えばよい。そして、実切出条件決定部１７０に新動体についての目標切出条件が与えられた場合には、移行期間担当部１７２が、旧動体についての追跡切出条件から新動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定めるようにし、動体追跡部１９０は、新動体に対する追跡処理を行うようにすればよい。図５７は、この第２の取扱方針を示すタイムチャートである。
図５７における時刻ｔ０〜ｔ１の期間は、何ら動体検出が行われていない静的監視期間Ｗ１である。切出対象となる動体は存在せず、モニタ画面上には何ら動体の表示は行われていない。この期間中、動体検出部１６０は動体検出処理（サーチ）を実行しているが、動体追跡部１９０は処理を休止している。
ここで、時刻ｔ１において、動体検出部１６０による動体Ａの検出が行われると、時刻ｔ１〜ｔ２の間が移行期間Ｗ２となり、切出対象を動体Ａとする移行処理が行われる。モニタ画面上では、パンニング動作が行われ、やがて画面上に動体Ａが表示される。ただし、動体検出部１６０は、最初の動体Ａが検出された後も、動体検出処理（サーチ）を続行する。動体追跡部１９０は、動体検出部１６０から動体Ａが検出された旨の報告を受け、動体Ａの追跡処理を開始する。
やがて、時刻ｔ２において移行処理が完了すると、実切出中心点Ｐが目標切出中心点Ｐｎへ到達していることになるので、モニタ画面上には動体Ａが表示され、動的監視期間Ｗ３が開始する。すなわち、モニタ画面上では、動体追跡部１９０が追跡中の動体Ａが表示され続ける。
動体検出部１６０は、時刻ｔ２以降も動体検出処理を続行する。この場合、常に動体Ａが検出されることになるが、動体追跡部１９０から追跡結果の報告を受けるようにすれば、各フレーム画像上での動体Ａの占有領域を認識することができるので、検出された動体が新たな動体であるのか、動体追跡部１９０が追跡中の旧動体であるのかを判断することが可能である。旧動体のみしか検出されなかった場合、外部への報告は行われないが、新動体が検出された場合、実切出条件決定部１７０および動体追跡部１９０に対して、新動体が検出された旨の報告がなされる。
図５７には、時刻ｔ３において、動体検出部１６０が新動体Ｂを検出した例が示されている。時刻ｔ２〜ｔ３の動的監視期間Ｗ３は、旧動体Ａを追跡して表示する処理が行われていたが、時刻ｔ３において新動体Ｂが検出されると、その報告を受けた実切出条件決定部１７０は、切出対象を旧動体Ａから新動体Ｂへ切り替えるための移行処理を実行する。したがって、図示の時刻ｔ３〜ｔ４は移行期間Ｗ２になる。ただ、ここで実行される移行処理は、これまで述べてきた移行処理とは若干異なる。
すなわち、これまで述べてきた移行処理は、静的監視期間Ｗ１から動的監視期間Ｗ３へ移行するための処理であり、実切出条件決定部１７０は、実切出条件を、標準切出条件から目標切出条件へ段階的に変化させる処理を行っていたが、切出対象を旧動体Ａから新動体Ｂへ切り替えるための移行処理では、旧動体Ｂについての追跡切出条件（時刻ｔ３において、動体追跡部１９０から与えられた切出条件）から新動体Ａについての目標切出条件へ移行するように段階的に変わる実切出条件を定めることになる。なお、任意の位置から別な任意の位置へ切出中心点Ｐを移動させるには、たとえば、§９−１で述べた方法を利用すればよい。
一方、動体追跡部１９０は、時刻ｔ３において、動体検出部１６０から新動体Ｂを検出した旨の報告を受けると、追跡対象を旧動体Ａから新動体Ｂに切り替え、以後、新動体Ｂの追跡処理を実行する。やがて、時刻ｔ４において、旧動体Ａから新動体Ｂへの移行処理が完了すると、実切出中心点Ｐが新動体Ｂについての目標切出中心点へ到達していることになるので、モニタ画面上には動体Ｂが表示され、新動体Ｂについての動的監視期間Ｗ３が開始する。すなわち、モニタ画面上には、動体追跡部１９０が追跡中の新動体Ｂが表示されることになる。そして、時刻ｔ５において、動体追跡部１９０による動体Ｂの消滅判断がなされると、再び静的監視期間Ｗ１へ戻り、時刻ｔ０からの処理と同じ処理が繰り返し実行される。
この図５７に示す第２の取扱方針によれば、新たに検出された動体が次々と表示されることになるので、ユーザには、常に最新の動体情報の提示を行うことができる。
なお、この第２の取扱方針のバリエーションとして、動体Ｂが検出された時点で、動体Ａとの面積比較を行い、動体Ｂの面積が動体Ａの面積よりも大きい場合に限って、切出対象を動体Ｂへ切り替える運用を採ることもできる。動体Ｂの面積が動体Ａの面積よりも大きくなければ、切出対象は引き続き動体Ａということになる。そうすれば、現在追跡中の動体よりも重要度の高い動体（ここでは、面積の大きい動体）が出現した場合にのみ、追跡対象の切り替えが行われることになり、より実用度が増すことになる。
このような運用を採る場合、動体検出部１６０は、動体追跡部１９０による動体追跡処理が行われている間も動体検出処理を続行し、動体追跡処理の対象となっている旧動体とは異なり、かつ、旧動体よりも面積が大きいという条件を満たす別な動体の検出がなされた場合、当該条件を満たす新動体についての目標切出条件を実切出条件決定部１７０に与える処理を行うようにすればよい。上記面積条件を満たさない限り、別な動体の検出がなされても、当該別な動体は、新動体としての取り扱いを受けないことになる。
第３の取扱方針は、上述した第２の取扱方針に加えて、動体追跡部１９０に、複数の動体の同時追跡処理を実行させるものである。図５７に示す例では、時刻ｔ３において、新動体Ｂの検出がなされると、動体追跡部１９０は、旧動体Ａの追跡を中止し、新動体Ｂの追跡を開始しているが、図３３の流れ図に示す動体追跡処理は、複数の動体について並行して行うことも可能である。このように、複数の動体が検出されたときに、複数の動体について同時追跡処理を行う利点は、一方の動体が消滅した時点で直ちに他方の動体を切出対象とすることができる点である。
すなわち、動体追跡部１９０が、ある動体についての追跡処理を実行中に、動体検出部１６０から新動体を検出した旨の報告を受けた場合、新動体に対する追跡処理を行うとともに、旧動体に対する追跡処理も併せて行うようにする。この場合、実切出条件決定部１７０に対して与える追跡切出条件は、あくまでも新動体に基づく追跡切出条件にする。したがって、切出対象はあくまでも新動体になり、旧動体に対する追跡処理は、いわば水面下で行われる処理になる。そうすれば、旧動体よりも新動体が先に消滅した場合、動体追跡部１９０が動体検出部１６０に代わって、旧動体についての目標切出条件を、実切出条件決定部１７０に与えることができる。もちろん、動体追跡部１９０には、そのまま旧動体に対する追跡処理を続行させる。
実切出条件決定部１７０に対して、動体追跡部１９０から旧動体についての目標切出条件が与えられた場合、移行期間担当部１７２が、新動体についての追跡切出条件から旧動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定めるようにすればよい。
図５８は、この第３の取扱方針を示すタイムチャートである。図５７に示すタイムチャートとの相違点は、時刻ｔ３において、新動体Ｂが検出されたときに、動体追跡部１９０が、新動体Ｂの追跡とともに、旧動体Ａの追跡を並行して行う点である。そうすれば、もし、時刻ｔ５において新動体Ｂが消滅したときに、旧動体Ａがまだ存在していれば、動体追跡部１９０は、実切出条件決定部１７０に対して、新動体Ｂの消滅を報告するとともに、旧動体Ａを切出対象とするための目標切出条件を報告することができる。実切出条件決定部１７０は、この報告を受け、切出対象を新動体Ｂから旧動体Ａへ移行する移行処理を行うことができるので、図示のとおり、時刻ｔ５〜ｔ６の移行期間Ｗ２を経て、旧動体Ａについての動的監視期間Ｗ３へ移行することができる。
以上、複数の動体が存在する場合の取扱方針をいくつか述べたが、切出対象（表示対象）となる動体が、短時間の間に頻繁に変更されると、ユーザに対して非常に目まぐるしい画像提示が行われることになり好ましくない。したがって、実用上は、移行期間担当部１７２が、旧動体から新動体へ交替する移行処理を行う際に、旧動体についての動的監視期間Ｗ３が所定の最小基準時間ｔmin に満たない場合には、当該動的監視期間Ｗ３が最小基準時間ｔmin に達するまで、待機時間をおいてから処理を開始するようにするのが好ましい。
図５９は、図５８に示す事例において、このような待機時間を設けるようにした例を示すタイムチャートである。図５８のタイムチャートでは、時刻ｔ２〜ｔ３の期間が比較的短いため、動体Ａについての動的監視期間Ｗ３を十分に確保することができず、動体Ａの位置へのパンニング動作が完了した後（時刻ｔ２）、わずかな時間で、新たな動体Ｂの位置へのパンニング動作が開始する（時刻ｔ３）。この時刻ｔ２〜ｔ３の期間が、たとえば、１秒間といった短い時間であると、ユーザには、表示対象物の切り替えタイミングが早すぎて非常に目まぐるしい印象を与えることになる。
これに対して、図５９のタイムチャートでは、新動体Ｂが検出された時刻ｔ３を過ぎても、切出対象は依然として旧動体Ａのまま維持されている。すなわち、動体追跡部１９０は、時刻ｔ３から、新動体Ｂと旧動体Ａの双方の追跡動作を並行して実行するが、実切出条件決定部１７０は、時刻ｔ３のタイミングでは、依然として旧動体Ａについての動的監視期間Ｗ３を継続しており、旧動体Ａについての追跡切出条件を、実切出条件として採用している。
実切出条件決定部１７０が、旧動体Ａから新動体Ｂへの移行期間Ｗ２を開始するのは、時刻ｔ２から最小基準時間ｔmin だけ経過した時刻ｔ４の時点であり、時刻ｔ３〜ｔ４の待機時間だけ延長されている。そうすれば、旧動体Ａについての動的監視期間Ｗ３として、最小基準時間ｔmin を確保することができるので、ユーザに対して目まぐるしい印象を与えることを避けることができる。なお、図示の例の場合、新動体Ｂから旧動体Ａへの移行期間Ｗ２は、新動体Ｂの消滅判定がなされた時刻ｔ６に開始しているが、これは新動体Ｂについての動的監視期間Ｗ３（時刻ｔ５〜ｔ６）として、最小基準時間ｔmin が確保されているためである。もし、時刻ｔ５〜ｔ６の期間が、最小基準時間ｔmin に満たない場合には、新動体Ｂから旧動体Ａへの移行期間Ｗ２の開始時刻は所定の待機時間だけ延長されることになる。
＜９−３．非正射影方式への適用＞
これまでの実施形態は、いずれも正射影方式の魚眼レンズを用いた例であり、画像変換に用いる対応関係式も、正射影方式の魚眼レンズで撮影された歪曲円形画像Ｓを前提とした式になっていた。ところが、実際に市販されている魚眼レンズは、必ずしも正射影方式のレンズとは限らない。実際、魚眼レンズの投影方式としては、等距離射影方式、立体射影方式、等立体角射影方式など、様々な方式が知られており、用途に応じて、これら様々な射影方式をとる魚眼レンズが利用されている。ここでは、このような非正射影方式の魚眼レンズによって撮影された非正射影画像に対して本発明を適用する方法を説明する。
正射影方式の魚眼レンズの光学的特性は、既に述べたとおり、図１に示すようなモデルによって説明することができる。すなわち、仮想球面Ｈ上の任意の入射点Ｈ（ｘ，ｙ，ｚ）に対して、その法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な方向に進む入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ到達する、という特性である。図６０は、この正射影方式の魚眼レンズにおける入射光の投影状態を示す正面図である。図示のとおり、天頂角βをもった仮想球面Ｈ上の入射点Ｈ（ｘ，ｙ，ｚ）に対して、その法線方向から入射した入射光線Ｌ１は、Ｚ軸に平行な方向に進む入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ到達している。
ここで、入射点Ｈ（ｘ，ｙ，ｚ）の天頂角βと、当該入射点Ｈ（ｘ，ｙ，ｚ）を経た入射光線Ｌ２がＸＹ平面上で到達する到達点Ｓ（ｘ，ｙ）の原点Ｏからの距離ｒと、の関係は、正射影方式の魚眼レンズを用いた撮影によって形成される正射影画像の場合、ｒ＝ｆ・sinβなる式で表される。ここで、ｆは、魚眼レンズに固有の定数である。これに対して、たとえば、等距離射影方式の魚眼レンズを用いた撮影によって形成される等距離射影画像の場合、両者の関係は、ｒ＝ｆ・βなる式で表されることになる。
図６１は、正射影方式の魚眼レンズを用いて形成される正射影画像と、等距離射影方式の魚眼レンズを用いて形成される等距離射影画像と、の関係を示す斜視図である。図に同心円状に示す線は、同一の天頂角βをもつ入射点を経た入射光線についてのＸＹ平面上での到達点の集合を示している。図６１(a) に示す正射影画像の場合、ｒ＝ｆ・sinβなる式が成り立つため、隣接する同心円状の線の配置間隔は、中心から周囲に向かうほど小さくなってゆく。これに対して、図６１(b) に示す等距離射影画像の場合、ｒ＝ｆ・βなる式が成り立つため、同心円状の線は、中心から周囲に向かって等間隔に配置される。
このように、正射影画像と等距離射影画像とは、いずれも歪曲円形画像という点では共通するものの、その歪みの状態が両者では異なっているため、当然ながら、平面正則画像に変換するために用いる変換演算式も異なったものになる。したがって、正射影画像を平面正則画像に変換する場合には、図１７に示す正射影画像用対応関係式を用いることができるが、等距離射影画像などの非正射影画像を平面正則画像に変換する場合には、それぞれについての専用の対応関係式を用いる必要がある。
ただ、正射影画像上の座標と非正射影画像上の座標とは、所定の座標変換式を介して相互に変換することが可能である。したがって、本発明を実施するにあたって、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像Ｓが、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いるようにすればよい。以下、非正射影画像として、等距離射影画像を用いた場合を例にとって、この方法を説明する。
図６１に示すように、正射影画像上の任意の１点と、等距離射影画像上の特定の１点とは、相互に１対１の対応関係を定義することができる（図の破線は、この対応関係を示している）。具体的には、等距離射影画像上の任意の１点の座標を（ｘｂ，ｙｂ）とし、これに対応する正射影画像上の特定の１点の座標を（ｘａ，ｙａ）とすれば、両者間には、図６２の上段に示すように、
ｘａ＝ｘｂ（Ｒ／ｒ） sin （πｒ／２Ｒ） 式（１５）
ｙａ＝ｙｂ（Ｒ／ｒ） sin （πｒ／２Ｒ） 式（１６）
但し、ｒ＝√（ｘｂ２＋ｙｂ２）
なる式が成り立つ。逆に、正射影画像上の任意の１点の座標を（ｘａ，ｙａ）とし、これに対応する等距離射影画像上の特定の１点の座標を（ｘｂ，ｙｂ）とすれば、両者間には、図２６の下段に示すように、
ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ） 式（１７）
ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ） 式（１８）
但し、ｒ＝√（ｘａ２＋ｙａ２）
が成り立つ。
結局、上記式（１５），（１６）は、等距離射影画像上の座標（ｘｂ，ｙｂ）を正射影画像上の座標（ｘａ，ｙａ）に変換する式（以下、第１の座標変換式と言う）であり、上記式（１７），（１８）は、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する式（以下、第２の座標変換式と言う）ということになる。
そこで、図２８に示す歪曲円形画像用メモリ１３０に格納されている画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、画像切出変換部１５０は、まず、これまで述べてきた正射影画像用対応関係式を用いて、所望の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出すればよい。こうして算出された対応座標（ｘ，ｙ）は、正射影画像上の座標（ｘａ，ｙａ）に対応するものであるから、上述した第２の座標変換式を用いて、これを等距離射影画像上の座標（ｘｂ，ｙｂ）に変換し、変換後の座標（ｘｂ，ｙｂ）を、歪曲円形画像用メモリ１３０を実際にアクセスする際に用いる座標として利用すればよい。
なお、図９，図３９，図５４等に示すモデルにおいて、歪曲円形画像Ｓ上の切出中心点Ｐと、これに対応する仮想球面Ｈ上の対応点Ｑとの関係についても留意が必要である。これまで述べてきた実施形態のように、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像Ｓが、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、図９のモデルのように、切出中心点Ｐ（ｘｐ，ｙｐ）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｑ（ｘｐ，ｙｐ，ｚｐ）を定義すれば、当該交点Ｑが切出中心点Ｐの対応点になる。これは、正射影方式の場合、切出中心点Ｐの真上の位置に、仮想球面Ｈ上の対応点Ｑが位置するからである。
ところが、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像Ｓが、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、仮想球面上の対応点Ｑは切出中心点Ｐの真上には位置しない。そこで、この場合、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて、切出中心点Ｐの座標を補正し、補正後の点を通りＺ軸に平行な直線と仮想球面Ｈとの交点を対応点Ｑとする必要がある。
たとえば、歪曲円形画像Ｓが等距離射影画像の場合、当該歪曲円形画像Ｓ上の１点として指定された切出中心点Ｐの座標は、等距離射影画像上の座標（ｘｂ，ｙｂ）に相当するので、上述した第１の座標変換式を用いて、これを正射影画像上の座標（ｘａ，ｙａ）に変換し、変換後の座標（ｘａ，ｙａ）によって示される点を通りＺ軸に平行な直線と仮想球面Ｈとの交点を対応点Ｑとすればよい。
このような方法を採れば、歪曲円形画像用メモリ１３０に格納されている画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合にも、基本的には、これまで述べてきた実施形態と同等の変換処理を適用することが可能になる。もちろん、この方法は、等距離射影画像への適用に限定されるものではなく、非正射影画像一般に広く適用することが可能である。
結局、一般論として述べれば、画像切出変換部１５０は、仮想球面Ｈ上に、撮影に用いた魚眼レンズの投影方式に応じて、二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）で示される点Ｓｉに対応する球面上対応点Ｑｉをとり、原点Ｏとこの球面上対応点Ｑｉとを結ぶ直線と二次元ＵＶ直交座標系の配置面との交点Ｔｉの二次元ＵＶ直交座標系上での座標を（ｕｉ，ｖｉ）としたときに、座標（ｘｉ，ｙｉ）が座標（ｕｉ，ｖｉ）に対応する対応座標として求まる対応関係式を用いて、歪曲円形画像Ｓを平面正則画像Ｔに変換する処理を行えばよい。
特に、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像Ｓが、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、図９に示すモデルで説明したとおり、座標（ｘｐ，ｙｐ）で示される切出中心点Ｐに対して、当該点Ｐを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる座標（ｘｐ，ｙｐ，ｚｐ）で示される点を仮想球面Ｈ上の対応点Ｑとし、座標（ｘｉ，ｙｉ）で示される点Ｓｉに対して、当該点Ｓｉを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる座標（ｘｉ，ｙｉ，ｚｉ）で示される点を仮想球面Ｈ上の対応点Ｑｉとすることを前提として成り立つ正射影画像用対応関係式（図１７に示す関係式）を用いて、座標（ｘ，ｙ）と座標（ｕ，ｖ）との間の変換を行うようにすればよい。
一方、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像Ｓが、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いるようにすればよい。具体的には、歪曲円形画像用メモリ１３０に格納されている歪曲円形画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、図６２の下段に示すように、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する座標変換式
ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
但し、ｒ＝√（ｘａ２＋ｙａ２）
を用いて、正射影画像用対応関係式に対する補正を行えばよい。
＜９−４．曲面上に配置された座標系の利用＞
これまで述べた実施形態では、図９のモデルに示すとおり、平面上に定義された二次元ＵＶ直交座標系上に平面正則画像Ｔを求める変換方法を採っていた。しかしながら、歪曲円形画像Ｓから平面正則画像Ｔへの画像変換には、必ずしも平面上に定義された二次元ＵＶ直交座標系を用いる必要はなく、曲面上に定義された二次元ＵＶ湾曲座標系を用いることも可能である。
図６３は、図９のモデルにおける二次元ＵＶ直交座標系の代わりに、曲面上に定義された二次元ＵＶ湾曲座標系を用いたモデルである。両者の相違点は、ＵＶ座標系の定義の仕方だけである。すなわち、図９のモデルでは、ＵＶ座標系は、点Ｇ（ｘｇ，ｙｇ，ｚｇ）を通り、視線ベクトルｎに直交する平面上に定義されているのに対し、図６３のモデルでは、この平面上に定義されたＵＶ直交座標系を円柱側面に沿って湾曲させている。したがって、図９のモデルでは、二次元ＵＶ直交座標系（平面上の座標系）上に平面正則画像Ｔが得られることになるのに対して、図６３のモデルでは、二次元ＵＶ湾曲座標系（円柱側面上の座標系）上に湾曲正則画像Ｃが得られることになる。
図６３に破線で示す平面正則画像Ｔは、図９に実線で示す平面正則画像Ｔと同じものであり、点Ｇ（ｘｇ，ｙｇ，ｚｇ）を通り、視線ベクトルｎに直交する平面上に定義された二次元ＵＶ直交座標系上の画像である。これに対して、図６３に実線で示す湾曲正則画像Ｃは、この平面正則画像Ｔを湾曲させた画像に相当し、円柱側面に沿った曲面上の画像になる。
要するに、この図６３に示すモデルで定義される二次元ＵＶ湾曲座標系は、三次元ＸＹＺ直交座標系を構成する空間内の所望の位置において、仮想円柱の側面に沿った湾曲面上に配置された座標系ということになり、この湾曲座標系上に定義される湾曲正則画像Ｃも、仮想円柱の側面に沿って湾曲した画像ということになる。
この二次元ＵＶ湾曲座標系も、Ｕ軸とＶ軸とを有する二次元の座標系であるから、湾曲正則画像Ｃ内の任意の１点が（ｕｉ，ｖｉ）なる座標で示される点は、通常の平面上の二次元座標系の場合と同じである。ただ、この二次元ＵＶ湾曲座標系は、点Ｇを原点とし、視線ベクトルｎに直交する平面上に配置された二次元ＵＶ直交座標系を、仮想円柱の側面に沿って湾曲させることにより定義された座標系になる。そして、この湾曲のプロセスに用いる仮想円柱は、二次元ＵＶ直交座標系のＶ軸に平行な中心軸をもち、半径がｍＲ（点ＯＧ間の距離）に等しい円柱とし、その側面上に点Ｇがくるように配置される。結局、このような条件を満たす仮想円柱を三次元ＸＹＺ直交座標系上に配置すると、当該仮想円柱の中心軸は、図６３に一点鎖線で示すように、原点Ｏを通る軸Ｖ′になり、２点ＯＧを結ぶ線分は、この仮想円柱の半径を構成することになる。
このような二次元ＵＶ湾曲座標系上に湾曲正則画像Ｃを得る原理は、二次元ＵＶ直交座標系上に平面正則画像Ｔを得る原理と全く同じである。すなわち、湾曲正則画像Ｃ上の１点Ｃｉ（ｕｉ，ｖｉ）について、歪曲円形画像Ｓ上の１点Ｓｉ（ｘｉ，ｙｉ）を対応づけ、点Ｃｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、点Ｓｉ（ｘｉ，ｙｉ）の近傍に位置する画素の画素値に基づいて決定すればよい。そのためには、二次元ＵＶ湾曲座標系上の任意の座標（ｕ，ｖ）とＸＹ平面上の対応座標（ｘ，ｙ）とを１対１に対応づける対応関係式が必要になる。このような対応関係式は、図１７に示す対応関係式とは若干異なるが、ＸＹＺ三次元座標系における仮想円柱側面の幾何学的位置を考慮することにより求めることができる。詳細は、たとえば、特願２００８−２２５５７０明細書などに開示されているので、ここでは具体的な対応関係式についての説明は省略する。
結局、本発明に係る魚眼監視システムの画像切出変換部１５０は、二次元ＵＶ座標系（平面上に定義された直交座標系でもよいし、曲面上に定義された湾曲座標系でもよい）上の座標（ｕ，ｖ）と二次元ＸＹ座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出することにより、歪曲円形画像Ｓから切り出した画像を平面正則画像Ｔに変換する処理を行えばよい。
この場合、図９もしくは図６３に示すモデルのように、切出中心点Ｐに対応する仮想球面Ｈ上の点である対応点Ｑをとり、原点Ｏを起点として対応点Ｑを通るベクトルを視線ベクトルｎと定義し、この視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上もしくは当該平面を湾曲させた曲面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ座標系を定義すればよい。ここで、点Ｑと点Ｐとの対応関係は、歪曲円形画像Ｓが配置された二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを中心として半径Ｒの仮想球面Ｈを定義し、原点Ｏに向かって当該仮想球面Ｈ上の１点に入射した外光が、撮影に用いた魚眼レンズの光学作用（レンズの投射方式によって異なる）によってＸＹ平面上の１点に到達する場合に、当該仮想球面Ｈ上の１点Ｑと当該ＸＹ平面上の１点Ｐとの関係として定義される。
なお、これまで述べた例では、得られる平面正則画像の中心点が、ＵＶ座標系の原点Ｇに一致していたが、平面正則画像は、必ずしも原点Ｇを中心に切り出したものにする必要はない。
＜９−５．動体消滅後の移行期間＞
これまで述べてきた実施形態では、図３５の流れ図に示すとおり、動体追跡中に動体が消滅したと判断されると、動的監視期間Ｗ３から静的監視期間Ｗ１に復帰する処理が行われる。この復帰時には、特に移行期間を設けていないため、モニタ画面上では、動体が消滅したと判定されると、当該動体を追跡していた画面から、急に、もとの標準監視画面（標準切出中心点Ｐ０の周辺を示す画面）へ切り替わることになる。
この標準監視画面は、たとえば、図２１(a) に示すフレームＦ０の画面のように、動体の検出が行われていない場合にモニタに表示されるデフォルト画面であり、監視業務を行うユーザであれば、その位置を潜在的に認識していることになる。したがって、動的監視期間Ｗ３から静的監視期間Ｗ１への切り替えが急に行われて、モニタ画面が標準監視画面に切り替わったとしても、切り替え前後の画像の空間的な位置関係の認識に混乱が生じるわけではない。むしろ、標準監視画面への急な切り替えを行うことにより、ユーザに、追跡中の動体が消滅した事実を明示的に報知する効果が得られるメリットがある。
ただ、画面の急激な切り替えを行うことが好ましくない事情がある場合には、動的監視期間Ｗ３から静的監視期間Ｗ１に復帰する際に、移行期間Ｗ４を設けることも可能である。この場合、実切出条件決定部１７０は、この移行期間Ｗ４において、動的監視期間Ｗ３の最終的な追跡切出条件から標準切出条件へ移行するように段階的に変わる実切出条件を決定すればよい。具体的な移行プロセスは、移行期間Ｗ２における移行プロセスと同様であり、パンニング動作およびズーミング動作によって、表示画面が徐々に切り替わることになる。
＜＜＜ §１０．一般的な画像提示システムへの適用 ＞＞＞
以上、本発明の基本的技術思想を魚眼監視システムという具体的なシステムに応用した実施形態を述べたが、本発明の技術思想は、魚眼監視システムへの応用に限定されるものではない。すなわち、この技術思想は、監視カメラの用途だけではなく、一般的な画像提示システムに広く利用可能であり、たとえば、ゲーム装置、遊技装置などのエンターテインメントの分野において、画像を提示する技術にも利用可能である。
もちろん、このような分野に用いる画像提示システムでは、魚眼レンズ付ビデオカメラは必須の構成要件にはならない。たとえば、何らかの歪曲円形画像Ｓ（実際に魚眼レンズを用いた撮影によって得られた画像でもよいし、ＣＧで作成した画像でもよい）を予めメモリに格納しておき、ユーザが指定した任意の切出条件に基づいて、所定の箇所から、所定の向きに、所定の倍率で画像を切り出して平面正則画像に変換し、これを提示する画像提示システムの場合、ユーザが新たな切出条件を指定するたびに、旧切出条件から新切出条件へ移行する処理が必要になるが、§８で述べたパンニング処理やズーミング処理は、このような移行処理へ応用することができる。
要するに、本発明は、魚眼レンズを用いた撮影により得られた歪曲円形画像もしくは同等のＣＧ処理で作成された歪曲円形画像の一部分を切り出して、平面正則画像に変換し、これを画面上に提示する画像提示システムに広く応用することが可能である。
たとえば、二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、当該座標系の原点Ｏを中心とし半径Ｒをもち、魚眼レンズを用いた撮影により得られた歪曲円形画像を格納する歪曲円形画像用メモリと、二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、平面正則画像用メモリ内に格納されている平面正則画像を画面上に表示する画像表示装置と、歪曲円形画像上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件を、歪曲円形画像の一部から平面正則画像を切り出すための条件として決定する実切出条件決定部と、この実切出条件決定部から与えられた実切出条件に基づいて、歪曲円形画像用メモリに格納されている歪曲円形画像の切出中心点Ｐで示される切り出し位置から、平面傾斜角φで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して、平面正則画像用メモリに格納する画像切出変換部と、を備えた一般的な画像提示システムに対して、本発明に係るパンニング処理を適用するのであれば、実切出条件決定部が、現在の切出中心点Ｐ０を含む現切出条件から、目標となる切出中心点Ｐｎを含む目標切出条件への変更を行う際に、画像切出変換部に対して与える切出中心点Ｐの位置を、点Ｐ０から点Ｐｎへと段階的に移行させる処理を行うようにすればよい。
具体的には、これまで述べてきた実施形態と同様に、歪曲円形画像が配置された二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを中心として半径Ｒの仮想球面Ｈを定義し、原点Ｏに向かって当該仮想球面Ｈ上の１点に入射した外光が、撮影に用いた魚眼レンズの光学作用によってＸＹ平面上の１点に到達する場合に、当該仮想球面Ｈ上の１点と当該ＸＹ平面上の１点とを相互に対応する点と定義し、切出中心点Ｐに対応する仮想球面Ｈ上の点である対応点Ｑをとり、原点Ｏを起点として対応点Ｑを通るベクトルを視線ベクトルｎと定義し、この視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上もしくは当該平面を湾曲させた曲面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ座標系を定義する。そして、画像切出変換部が、二次元ＵＶ座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出することにより、歪曲円形画像から切り出した画像を平面正則画像に変換する処理を行うようにすればよい。
このとき、実切出条件決定部が、切出中心点Ｐについての仮想球面Ｈ上の対応点Ｑが、予め設定された所定の球面移動経路上を、時間に関する関数として設定された所定の球面移動速度で移動するように、切出中心点Ｐの位置を決定するようにすれば、実映像空間における所望の速度でのパンニング動作が可能になるので、ユーザに対して自然なパンニング効果を提供することができる。
また、本発明に係るパンニング処理に加えて、本発明に係るズーミング処理を適用するのであれば、実切出条件決定部が、切出中心点Ｐの位置を点Ｐ０から点Ｐｎへと段階的に移行させる処理を行うとともに、倍率ｍの値を、現在の倍率ｍ０から目標となる倍率ｍｎへと段階的に移行させる処理を行うようにすればよい。この場合も、時間に関する関数として設定された所定の倍率変更速度で倍率ｍの値を移行させるようにすれば、実映像空間における所望の速度でのズーミング動作が可能になるので、ユーザに対して自然なズーミング効果を提供することができる。
１０：路面
２０：建物
３０：魚眼レンズ付ビデオカメラ
３１：撮像中心点
４０：樹木
５０：ガードレール
６０：動体
７０：実切出中心点決定部
７１：関数格納部
７２：対応点変換部
８０：実平面傾斜角決定部
９０：実倍率決定部
９１：関数格納部
９２：関数参照部
１００：魚眼監視システム
１１０：魚眼レンズ付ビデオカメラ
１１５：画像入力部
１２０：モニタ装置
１２５：画像出力部
１３０：歪曲円形画像用メモリ
１４０：平面正則画像用メモリ
１５０：画像切出変換部
１６０：動体検出部
１６１：背景画像保持部
１６２：対応画素比較部
１６３：着目領域探索部
１６４：動体検出判定部
１７０：実切出条件決定部
１７１：静的監視期間担当部
１７２：移行期間担当部
１７３：動的監視期間担当部
１８０：標準切出条件格納部
１８５：手動条件設定部
１９０：動体追跡部
１９１：既知動体領域保持部
１９２：候補領域抽出部
１９３：特徴量演算部
１９４：新動体領域認識部
１９５：動体追跡判定部
Ａ〜Ｆ：回転係数（数式における符号）
Ａ：ＸＹ平面上での移動経路
Ａ１，Ａ２：着目画素からなる連続領域
ａ：モニタ装置の横方向寸法（水平方向の画素数）
ａ，ａｉ，ａｎ：移動経路Ａに沿った移動距離
Ｂ：仮想球面上での移動経路
ｂ：モニタ装置の縦方向寸法（垂直方向の画素数）
ｂ，ｂｉ，ｂｎ：移動経路Ｂに沿った移動距離
Ｃ：曲面上に定義された二次元ＵＶ座標系上の湾曲正則画像／等高線／フレームカウンタの値
Ｃｉ（ｕｉ，ｖｉ）：曲面上に定義された二次元ＵＶ座標系上の湾曲正則画像Ｃ内の点
Ｄ：基準寸法
Ｅ，Ｅ１，Ｅ２：切出領域
Ｅ０：標準切出領域
Ｅｉ，Ｅｊ，Ｅｋ：移行途中の切出領域
Ｅｎ：目標切出領域
Ｅ（０），Ｅ（ｉ），Ｅ（ｊ），Ｅ（ｋ）：追跡切出領域
Ｆ１，Ｆ２：画角
Ｆ０，Ｆ１，Ｆｉ，Ｆｊ，Ｆｋ，Ｆｎ：撮像画像の各フレーム
ｆ：魚眼レンズに固有の定数
Ｇ，Ｇ１，Ｇ２：二次元ＵＶ座標系の原点
Ｇ（ｘｐ，ｙｐ，ｚｐ）：二次元ＵＶ座標系の原点
Ｇ（ｘｇ，ｙｇ，ｚｇ）：二次元ＵＶ座標系の原点
Ｈ：仮想球面
Ｈ（ｘ，ｙ，ｚ）：仮想球面Ｈ上の入射点
ｉ：整数
Ｊ，Ｊｉ，Ｊｎ：回転基準軸
ｊ：整数
ｋ：整数
Ｋｉ：比例定数
Ｌ１，Ｌ２：入射光線
ｍ：倍率／実倍率
ｍ０：標準倍率
ｍ１，ｍｉ，ｍｋ：移行途中の倍率
ｍｎ：目標倍率
ｍ（ｉ）：追跡倍率
ｎ：視線ベクトル／整数
ｎ（ｎｘ，ｎｙ，ｎｚ）：法線ベクトル
ｎｉ：ＯとＱｉとを結ぶ直線
Ｏ：三次元ＸＹＺ直交座標系の原点
Ｐ：切出中心点／実切出中心点
Ｐ（ｘｐ，ｙｐ）：切出中心点
Ｐａ，Ｐｂ：切出中心点
Ｐ０：標準切出中心点
Ｐｎ：目標切出中心点
Ｐｉ：移行途中の切出中心点
Ｐｎ：目標切出中心点
Ｐ（０），Ｐ（ｉ），Ｐ（ｊ），Ｐ（ｋ）：追跡切出中心点
Ｑ，Ｑ０，Ｑ１，Ｑ２，Ｑｉ，Ｑｎ：球面上対応点
Ｑ（ｘｐ，ｙｐ，ｚｐ）：球面上対応点
Ｑ０（ｘ０，ｙ０，ｚ０）：球面上対応点
Ｑｉ（ｘｉ，ｙｉ，ｚｉ）：球面上対応点
Ｑｎ（ｘｎ，ｙｎ，ｚｎ）：球面上対応点
Ｒ：歪曲円形画像Ｓの半径（仮想球面Ｈの半径）／半径方向軸
ｒ：歪曲円形画像Ｓの中心点からの距離
Ｓ：歪曲円形画像／基準面積
Ｓ１：傾斜面
Ｓ２：接平面
Ｓ３：仮想球面の切断面
Ｓ（０）：背景歪曲円形画像
Ｓ（Ｃ）：現在読み込んだ歪曲円形画像
Ｓ（ｘ，ｙ）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓ１（ｘ１，ｙ１）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓ２（ｘ２，ｙ２）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓｉ（ｘｉ，ｙｉ）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓ１１〜Ｓ３６：流れ図の各ステップ
Ｔ，Ｔ１，Ｔ２：二次元ＵＶ直交座標系上の平面正則画像
Ｔｉ（ｕｉ，ｖｉ）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｔ（０，０）：二次元ＵＶ直交座標系の原点
Ｔ１（ｕ１，ｖ１）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｔ２（ｕ２，ｖ２）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｔｉ（ｕｉ，ｖｉ）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
ｔ，ｔ０〜ｔ７，ｔｎ：時間
ｔmin：最小基準時間
Ｕ：二次元ＵＶ座標系の座標軸
ｕ：二次元ＵＶ座標系の座標軸Ｕに関する座標値
Ｖ：二次元ＵＶ座標系の座標軸
Ｖ０，Ｖｉ，Ｖｎ：ベクトル
ｖ：二次元ＵＶ座標系の座標軸Ｖに関する座標値
Ｗ：実世界の鉛直軸
Ｗ１：静的監視期間
Ｗ２：移行期間
Ｗ３：動的監視期間
ｗ：ｍ×Ｒで与えられる数値
Ｘ：三次元ＸＹＺ直交座標系の座標軸
ｘ，ｘａ，ｘｂ：二次元ＸＹ直交座標系の座標軸Ｘに関する座標値
Ｙ：三次元ＸＹＺ直交座標系の座標軸
ｙ，ｙａ，ｙｂ：二次元ＸＹ直交座標系の座標軸Ｙに関する座標値
Ｚ：三次元ＸＹＺ直交座標系の座標軸
α：方位角
β，βｉ，βｎ：天頂角
θ，θｉ：ベクトル間の角度
φ：平面傾斜角／実平面傾斜角
φ０：標準平面傾斜角
φｎ：目標平面傾斜角
φ（ｉ）：追跡平面傾斜角
ξ：鉛直軸Ｗに対する角度
τａ，τｂ：接線

Claims (44)

  1. 魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換し、これを画面上に表示する魚眼監視システムであって、
    装着した魚眼レンズによって、外界の画像を歪曲円形画像として撮影する魚眼レンズ付ビデオカメラと、
    二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、前記二次元ＸＹ座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像を、少なくとも１フレーム格納する歪曲円形画像用メモリと、
    前記魚眼レンズ付ビデオカメラから１フレームごとの時系列データとして順次与えられる歪曲円形画像を、前記歪曲円形画像用メモリに格納する画像入力部と、
    二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
    前記平面正則画像用メモリに格納されている平面正則画像を読み出して出力する画像出力部と、
    前記画像出力部から出力された平面正則画像を画面上に表示するモニタ装置と、
    歪曲円形画像上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件を、歪曲円形画像の一部から平面正則画像を切り出すための条件として決定する実切出条件決定部と、
    前記歪曲円形画像用メモリに格納されている歪曲円形画像の前記切出中心点Ｐで示される切り出し位置から、前記平面傾斜角φで示される切り出し向きに、前記倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して、前記平面正則画像用メモリに格納する画像切出変換部と、
    標準切出中心点Ｐ０と、標準平面傾斜角φ０と、標準倍率ｍ０と、によって構成される標準切出条件を格納する標準切出条件格納部と、
    前記歪曲円形画像用メモリに時系列で順次格納される歪曲円形画像を相互に比較して動体検出処理を行い、動体検出がなされた場合に、検出動体の切り出し位置を示す目標切出中心点Ｐｎと、検出動体の切り出し向きを示す目標平面傾斜角φｎと、検出動体の切り出しサイズを示す目標倍率ｍｎと、によって構成される目標切出条件のうち、少なくとも目標切出中心点Ｐｎを、前記実切出条件決定部に与える動体検出部と、
    前記動体検出の後、検出動体を追跡する動体追跡処理を行い、追跡動体の切り出し位置を示す追跡切出中心点Ｐ（ｉ）と、追跡動体の切り出し向きを示す追跡平面傾斜角φ（ｉ）と、追跡動体の切り出しサイズを示す追跡倍率ｍ（ｉ）と、によって構成される追跡切出条件のうち、少なくとも追跡切出中心点Ｐ（ｉ）を、追跡動体が消滅したとの消滅判断がなされるまで、継続して前記実切出条件決定部に与える動体追跡部と、
    を備え、
    前記実切出条件決定部が、前記動体検出がなされていない静的監視期間を担当する静的監視期間担当部と、前記動体検出がなされた後の所定の移行期間を担当する移行期間担当部と、前記移行期間が完了してから前記消滅判断がなされるまでの動的監視期間を担当する動的監視期間担当部と、を備え、前記静的監視期間担当部は、前記標準切出条件を実切出条件と定め、前記移行期間担当部は、前記標準切出条件から前記目標切出条件へ移行するように段階的に変わる実切出条件を定め、前記動的監視期間担当部は、前記追跡切出条件を実切出条件と定めることを特徴とする魚眼監視システム。
  2. 請求項１に記載の魚眼監視システムにおいて、
    歪曲円形画像が配置された二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを中心として半径Ｒの仮想球面を定義し、原点Ｏに向かって当該仮想球面上の１点に入射した外光が、撮影に用いた魚眼レンズの光学作用によってＸＹ平面上の１点に到達する場合に、当該仮想球面上の１点と当該ＸＹ平面上の１点とを相互に対応する点と定義し、切出中心点Ｐに対応する前記仮想球面上の点である対応点Ｑをとり、原点Ｏを起点として前記対応点Ｑを通るベクトルを視線ベクトルｎと定義し、この視線ベクトルｎ上における、前記原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、前記点Ｇを通り前記視線ベクトルｎに直交する平面上もしくは当該平面を湾曲させた曲面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ座標系を定義したときに、
    画像切出変換部が、前記二次元ＵＶ座標系上の座標（ｕ，ｖ）と前記二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出することにより、歪曲円形画像から切り出した画像を平面正則画像に変換する処理を行うことを特徴とする魚眼監視システム。
  3. 請求項１または２に記載の魚眼監視システムにおいて、
    移行期間担当部が、移行期間前半のパンニング期間において、切出中心点Ｐが標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変わる実切出条件を定め、移行期間後半のズーミング期間において、倍率ｍが標準倍率ｍ０から目標倍率ｍｎへと段階的に変わる実切出条件を定めることを特徴とする魚眼監視システム。
  4. 請求項１または２に記載の魚眼監視システムにおいて、
    移行期間担当部が、移行期間の全期間をパンニング期間およびズーミング期間に設定し、切出中心点Ｐが標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変わると同時に、倍率ｍが標準倍率ｍ０から目標倍率ｍｎへと段階的に変わる実切出条件を定めることを特徴とする魚眼監視システム。
  5. 請求項２に記載の魚眼監視システムにおいて、
    移行期間担当部が、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、前記パンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、前記標準切出中心点Ｐ０についての前記仮想球面上の対応点Ｑ０と、前記目標切出中心点Ｐｎについての前記仮想球面上の対応点Ｑｎと、を定義したときに、切出中心点Ｐについての前記仮想球面上の対応点Ｑの前記仮想球面上での移動経路が、前記対応点Ｑ０と前記対応点Ｑｎとを前記仮想球面上で結ぶ最短経路となるようにすることを特徴とする魚眼監視システム。
  6. 請求項５に記載の魚眼監視システムにおいて、
    標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ上に設定されており、
    移行期間担当部が、原点Ｏから目標切出中心点Ｐｎへ向かって、歪曲円形画像の半径に沿って切出中心点Ｐを移動させることを特徴とする魚眼監視システム。
  7. 請求項２に記載の魚眼監視システムにおいて、
    標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ以外の位置に設定されており、
    移行期間担当部が、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、前記パンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、標準切出中心点Ｐ０から原点Ｏへ向かって、歪曲円形画像の半径に沿って切出中心点Ｐを移動させた後、原点Ｏから目標切出中心点Ｐｎへ向かって、歪曲円形画像の半径に沿って切出中心点Ｐを移動させることを特徴とする魚眼監視システム。
  8. 請求項５〜７のいずれかに記載の魚眼監視システムにおいて、
    移行期間担当部が、対応点Ｑの仮想球面上の運動が等速運動となるように、切出中心点Ｐの位置を変化させることを特徴とする魚眼監視システム。
  9. 請求項５〜７のいずれかに記載の魚眼監視システムにおいて、
    移行期間担当部が、対応点Ｑの仮想球面上の運動が、パンニング期間の開始部分および終了部分の速度が中間部分の速度よりも遅くなるような不等速運動となるように、切出中心点Ｐの位置を変化させることを特徴とする魚眼監視システム。
  10. 請求項５〜７のいずれかに記載の魚眼監視システムにおいて、
    移行期間担当部が、
    対応点Ｑの仮想球面上の移動距離ｂと時間ｔとの関係を示す関数を格納する関数格納部と、
    前記関数を用いて求まる「時間ｔにおける対応点Ｑの位置」に対応するＸＹ平面上の点を、当該時間ｔにおける切出中心点Ｐとして出力する対応点変換部と、
    を有することを特徴とする魚眼監視システム。
  11. 請求項２に記載の魚眼監視システムにおいて、
    移行期間担当部が、移行期間の全期間もしくは一部の期間をパンニング期間に設定し、前記パンニング期間に切出中心点Ｐを標準切出中心点Ｐ０から目標切出中心点Ｐｎへと段階的に変化させる際に、切出中心点Ｐについての仮想球面上の対応点Ｑが、予め設定された所定の球面移動経路上を、時間に関する関数として設定された所定の球面移動速度で移動するように、切出中心点Ｐの位置を決定することを特徴とする魚眼監視システム。
  12. 請求項２に記載の魚眼監視システムにおいて、
    移行期間担当部が、移行期間の全期間もしくは一部の期間をズーミング期間に設定し、前記ズーミング期間の間、時間軸に沿って単調増加もしくは単調減少するように、倍率ｍを標準倍率ｍ０から目標倍率ｍｎへと変化させることを特徴とする魚眼監視システム。
  13. 請求項１２に記載の魚眼監視システムにおいて、
    移行期間担当部が、ズーミング期間の間、倍率ｍを時間軸に沿って線形変化させることを特徴とする魚眼監視システム。
  14. 請求項１２に記載の魚眼監視システムにおいて、
    移行期間担当部が、ズーミング期間の開始部分および終了部分の倍率変化速度が、中間部分の変化速度よりも遅くなるような不等速変化するように、倍率ｍを時間軸に沿って変化させることを特徴とする魚眼監視システム。
  15. 請求項１２に記載の魚眼監視システムにおいて、
    移行期間担当部が、
    倍率ｍと時間ｔとの関係を示す関数を格納する関数格納部と、
    前記関数を用いて求まる時間ｔにおける倍率を、当該時間ｔにおける倍率ｍとして出力する倍率決定部と、
    を有することを特徴とする魚眼監視システム。
  16. 請求項２に記載の魚眼監視システムにおいて、
    標準切出条件格納部には、撮影画像における実世界の鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような標準平面傾斜角φ０が設定されており、
    動体検出部が、前記鉛直軸方向を下方向とする向きに平面正則画像が切り出されるような目標平面傾斜角φｎを設定し、
    移行期間担当部が、前記鉛直軸方向を下方向とする向きに平面正則画像が切り出されるように、平面傾斜角φを標準平面傾斜角φ０から目標平面傾斜角φｎへと変化させ、
    動体追跡部が、前記鉛直軸方向を下方向とする向きに平面正則画像が切り出されるように、追跡平面傾斜角φ（ｉ）を設定することを特徴とする魚眼監視システム。
  17. 請求項１６に記載の魚眼監視システムにおいて、
    撮像面となるＸＹ平面が鉛直面に一致し、Ｙ軸が鉛直軸Ｗに対して角度ξをなす方向を向くように魚眼レンズ付ビデオカメラが設置されており、
    二次元ＵＶ座標系の原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸として与えられる回転基準軸Ｊと、二次元ＵＶ座標系のＵ軸とのなす角を平面傾斜角φと定義し、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角を方位角αと定義し、Ｕ軸方向を平面正則画像の横方向と定義した場合に、常にφ＝−α−ξとなる設定が行われることを特徴とする魚眼監視システム。
  18. 請求項１７に記載の魚眼監視システムにおいて、
    標準切出中心点Ｐ０が、二次元ＸＹ直交座標系の原点Ｏ上に設定されており、
    標準切出条件格納部には、Ｖ軸が撮影画像の原点Ｏの位置における実世界の鉛直軸に対応するように平面正則画像が切り出されるような切り出し向きを示す標準切出条件が設定されており、
    動体検出部は、目標切出中心点Ｐｎについての方位角をαｎとしたときに、目標平面傾斜角φｎ＝−αｎ−ξなる設定を行い、
    移行期間担当部が、常に平面傾斜角φ＝φｎに設定することを特徴とする魚眼監視システム。
  19. 請求項１６に記載の魚眼監視システムにおいて、
    撮像面となるＸＹ平面が水平面に一致するように魚眼レンズ付ビデオカメラが設置されており、
    二次元ＵＶ座標系の原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸として与えられる回転基準軸Ｊと、二次元ＵＶ座標系のＵ軸とのなす角を平面傾斜角φと定義し、Ｕ軸方向を平面正則画像の横方向と定義した場合に、常にφ＝０°となる設定が行われることを特徴とする魚眼監視システム。
  20. 請求項２に記載の魚眼監視システムにおいて、
    画像切出変換部が、平面正則画像を構成する１つの着目画素の座標（ｕ，ｖ）についての対応座標（ｘ，ｙ）を算出し、歪曲円形画像用メモリ内の前記対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて前記着目画素の画素値を決定する処理を、前記平面正則画像を構成する各画素について実行し、前記平面正則画像用メモリ内に各画素の画素値を書き込むことにより、平面正則画像に変換する処理を行うことを特徴とする魚眼監視システム。
  21. 請求項２０に記載の魚眼監視システムにおいて、
    画像切出変換部が、座標（ｕ，ｖ）で示される位置に配置された着目画素の画素値を決定する際に、対応座標（ｘ，ｙ）で示される位置の近傍に配置された歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うことを特徴とする魚眼監視システム。
  22. 請求項２に記載の魚眼監視システムにおいて、
    画像切出変換部が、仮想球面上に、撮影に用いた魚眼レンズの投影方式に応じて、二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）で示される点Ｓｉに対応する球面上対応点Ｑｉをとり、原点Ｏと前記球面上対応点Ｑｉとを結ぶ直線と二次元ＵＶ座標系の配置面との交点Ｔｉの前記二次元ＵＶ座標系上での座標を（ｕｉ，ｖｉ）としたときに、前記座標（ｘｉ，ｙｉ）が前記座標（ｕｉ，ｖｉ）に対応する対応座標として求まる対応関係式を用いることを特徴とする魚眼監視システム。
  23. 請求項２２に記載の魚眼監視システムにおいて、
    画像切出変換部が、
    歪曲円形画像用メモリに格納されている歪曲円形画像が、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、座標（ｘｐ，ｙｐ）で示される切出中心点Ｐに対して、当該点Ｐを通りＺ軸に平行な直線と仮想球面との交点として与えられる座標（ｘｐ，ｙｐ，ｚｐ）で示される点を球面上対応点Ｑとし、座標（ｘｉ，ｙｉ）で示される点Ｓｉに対して、当該点Ｓｉを通りＺ軸に平行な直線と仮想球面との交点として与えられる座標（ｘｉ，ｙｉ，ｚｉ）で示される点を球面上対応点Ｑｉとする正射影画像用対応関係式を用い、
    歪曲円形画像用メモリに格納されている歪曲円形画像が、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、前記正射影画像上の座標と前記非正射影画像上の座標との間の座標変換式を用いて前記正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いることを特徴とする魚眼監視システム。
  24. 請求項２３に記載の魚眼監視システムにおいて、
    画像切出変換部が、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角を方位角αとし、視線ベクトルｎとＺ軸正方向とのなす角を天頂角βとして、
    Ａ＝cosφ cosα − sinφ sinα cosβ
    Ｂ＝−sinφ cosα − cosφ sinα cosβ
    Ｃ＝sinβ sinα
    Ｄ＝cosφ sinα ＋ sinφ cosα cosβ
    Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ
    Ｆ＝−sinβ cosα
    ｗ＝ｍＲ
    との定義の下で、座標（ｕ，ｖ）と座標（ｘ，ｙ）との対応関係を示す正射影画像用対応関係式として、
    ｘ＝Ｒ（ｕＡ＋ｖＢ＋ｗＣ）／√（ｕ２＋ｖ２＋ｗ２）
    ｙ＝Ｒ（ｕＤ＋ｖＥ＋ｗＦ）／√（ｕ２＋ｖ２＋ｗ２）
    なる式を用いることを特徴とする魚眼監視システム。
  25. 請求項２４に記載の魚眼監視システムにおいて、
    画像切出変換部が、
    歪曲円形画像用メモリに格納されている歪曲円形画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する座標変換式
    ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
    ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
    但し、ｒ＝√（ｘａ２＋ｙａ２）
    を用いて、正射影画像用対応関係式に対する補正を行うことを特徴とする魚眼監視システム。
  26. 請求項１〜２５のいずれかに記載の魚眼監視システムにおいて、
    動体検出部が、
    歪曲円形画像用メモリに所定の初期時点で格納されていた画像を背景歪曲円形画像として保持する背景画像保持部と、
    前記歪曲円形画像用メモリに時系列でフレームごとに順次格納される歪曲円形画像上の個々の画素の画素値を、前記背景歪曲円形画像上の対応する画素の画素値と比較し、両者の差がしきい値以上となる画素を着目画素として抽出する対応画素比較部と、
    前記着目画素からなる連続領域であって、基準面積以上、かつ、縦幅および横幅がともに所定の基準寸法以上となる条件を満たす着目領域を探索する着目領域探索部と、
    前記着目領域を含む歪曲円形画像が、基準のフレーム数以上、連続して得られた場合に、動体検出がなされた旨の判定を行い、最終着目領域に基づいて目標切出条件を生成する動体検出判定部と、
    を有することを特徴とする魚眼監視システム。
  27. 請求項２６に記載の魚眼監視システムにおいて、
    動体検出判定部が、同一の動体に起因して形成されたと予想される特定の着目領域を含む歪曲円形画像が、基準のフレーム数以上、連続して得られた場合に、動体検出がなされた旨の判定を行うようにし、互いに離隔した複数の着目領域が存在する場合には、より面積の大きい着目領域を前記特定の着目領域とする判定を行うことを特徴とする魚眼監視システム。
  28. 請求項２６または２７に記載の魚眼監視システムにおいて、
    動体検出判定部が、最終着目領域の重心位置を目標切出中心点Ｐｎと設定し、最終着目領域の縦幅および横幅に基づいて目標倍率ｍｎを設定することを特徴とする魚眼監視システム。
  29. 請求項１〜２８のいずれかに記載の魚眼監視システムにおいて、
    動体追跡部が、
    歪曲円形画像用メモリに格納されている第（ｉ−１）番目のフレーム画像上において既に認識されている既知動体領域の情報を保持する既知動体領域保持部と、
    歪曲円形画像用メモリに格納されている第ｉ番目のフレーム画像から、前記既知動体領域の近傍に位置する複数通りの領域を候補領域として抽出する候補領域抽出部と、
    前記既知動体領域と前記複数通りの候補領域とについて、それぞれ画像の特徴を示す特徴量を求める演算を行う特徴量演算部と、
    前記特徴量演算部によって演算された、既知動体領域の特徴量と、複数通りの候補領域の特徴量と、をそれぞれ比較し、前記既知動体領域の特徴量に対する類似度が所定の基準以上、かつ、最も高い特徴量をもった候補領域を、前記第ｉ番目のフレーム画像上の新動体領域と認識する新動体領域認識部と、
    前記新動体領域認定部における認識が成功した場合には、前記新動体領域に基づいて前記第ｉ番目のフレーム画像についての追跡切出条件を生成し、認識が失敗した場合には、追跡動体が消滅したとの消滅判断を行う動体追跡判定部と、
    を有し、
    前記既存動体領域保持部が、動体検出部から与えられた検出動体の領域情報を、最初の既知動体領域の情報として保持し、以後、前記新動体領域の情報を新たな既知動体領域の情報として保持することを特徴とする魚眼監視システム。
  30. 請求項２９に記載の魚眼監視システムにおいて、
    動体追跡判定部が、第ｉ番目のフレーム画像について認識された新動体領域の重心位置を追跡切出中心点Ｐ（ｉ）と設定し、この新動体領域の縦幅および横幅に基づいて追跡倍率ｍ（ｉ）を設定することを特徴とする魚眼監視システム。
  31. 請求項２９または３０に記載の魚眼監視システムにおいて、
    特徴量演算部が、演算対象として与えられた領域を構成する画素の色ヒストグラムもしくはエッジ方向ヒストグラムを特徴量として求めることを特徴とする魚眼監視システム。
  32. 請求項１〜３１のいずれかに記載の魚眼監視システムにおいて、
    動体検出部が、動体追跡部による動体追跡処理が行われている間、新たな動体検出処理を休止することを特徴とする魚眼監視システム。
  33. 請求項１〜３１のいずれかに記載の魚眼監視システムにおいて、
    動体検出部が、動体追跡部による動体追跡処理が行われている間も動体検出処理を続行し、動体追跡処理の対象となっている旧動体とは異なる新動体の検出がなされた場合、この新動体についての目標切出条件を実切出条件決定部に与える処理を行い、
    実切出条件決定部に新動体についての目標切出条件が与えられた場合、移行期間担当部が、前記旧動体についての追跡切出条件から前記新動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定め、
    動体追跡部が、前記新動体に対する追跡処理を行うことを特徴とする魚眼監視システム。
  34. 請求項１〜３１のいずれかに記載の魚眼監視システムにおいて、
    動体検出部が、動体追跡部による動体追跡処理が行われている間も動体検出処理を続行し、動体追跡処理の対象となっている旧動体とは異なり、かつ、旧動体よりも面積が大きいという条件を満たす別な動体の検出がなされた場合、当該条件を満たす新動体についての目標切出条件を実切出条件決定部に与える処理を行い、
    実切出条件決定部に前記新動体についての目標切出条件が与えられた場合、移行期間担当部が、前記旧動体についての追跡切出条件から前記新動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定め、
    動体追跡部が、前記新動体に対する追跡処理を行うことを特徴とする魚眼監視システム。
  35. 請求項３３または３４に記載の魚眼監視システムにおいて、
    動体追跡部が、新動体に対する追跡処理を行うとともに、旧動体に対する追跡処理も併せて行い、新動体に基づいて追跡切出条件を設定し、旧動体よりも新動体が先に消滅した場合、動体検出部に代わって、前記旧動体についての目標切出条件を、実切出条件決定部に与え、
    実切出条件決定部に前記旧動体についての目標切出条件が与えられた場合、移行期間担当部が、前記新動体についての追跡切出条件から前記旧動体についての目標切出条件へ移行するように段階的に変わる実切出条件を定め、
    動体追跡部が、前記旧動体に対する追跡処理を続行することを特徴とする魚眼監視システム。
  36. 請求項３３〜３５のいずれかに記載の魚眼監視システムにおいて、
    移行期間担当部が、旧動体から新動体へ交替する移行処理を行う際に、旧動体についての動的監視期間が所定の最小基準時間に満たない場合には、前記動的監視期間が前記最小基準時間に達するまで、待機時間をおいてから処理を開始することを特徴とする魚眼監視システム。
  37. 請求項１〜３６のいずれかに記載の魚眼監視システムにおいて、
    ユーザの設定操作に基づいて、実切出条件決定部が決定すべき実切出条件および標準切出条件格納部に格納される標準切出条件を任意に設定する機能をもった手動条件設定部を更に備えることを特徴とする魚眼監視システム。
  38. 請求項１〜３７のいずれかに記載の魚眼監視システムにおける魚眼レンズ付ビデオカメラおよびモニタ装置を除く構成部分としてコンピュータを機能させるためのプログラム。
  39. 請求項１〜３７のいずれかに記載の魚眼監視システムにおける魚眼レンズ付ビデオカメラおよびモニタ装置を除く構成部分として機能する電子回路が組み込まれた半導体集積回路。
  40. 魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換し、これを画面上に提示する画像提示システムであって、
    二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、前記二次元ＸＹ座標系の原点Ｏを中心とし半径Ｒをもち、魚眼レンズを用いた撮影により得られた歪曲円形画像を格納する歪曲円形画像用メモリと、
    二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
    前記平面正則画像用メモリ内に格納されている平面正則画像を画面上に表示する画像表示装置と、
    歪曲円形画像上の１点である切出中心点Ｐと、所定の平面傾斜角φと、所定の倍率ｍと、によって構成される実切出条件を、歪曲円形画像の一部から平面正則画像を切り出すための条件として決定する実切出条件決定部と、
    前記実切出条件決定部から与えられた実切出条件に基づいて、前記歪曲円形画像用メモリに格納されている歪曲円形画像の前記切出中心点Ｐで示される切り出し位置から、前記平面傾斜角φで示される切り出し向きに、前記倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して、前記平面正則画像用メモリに格納する画像切出変換部と、
    を備え、
    前記実切出条件決定部が、現在の切出中心点Ｐ０を含む現切出条件から、目標となる切出中心点Ｐｎを含む目標切出条件への変更を行う際に、前記画像切出変換部に対して与える切出中心点Ｐの位置を、点Ｐ０から点Ｐｎへと段階的に移行させる処理を行うことを特徴とする画像提示システム。
  41. 請求項４０に記載の画像提示システムにおいて、
    歪曲円形画像が配置された二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを中心として半径Ｒの仮想球面を定義し、原点Ｏに向かって当該仮想球面上の１点に入射した外光が、撮影に用いた魚眼レンズの光学作用によってＸＹ平面上の１点に到達する場合に、当該仮想球面上の１点と当該ＸＹ平面上の１点とを相互に対応する点と定義し、切出中心点Ｐに対応する前記仮想球面上の点である対応点Ｑをとり、原点Ｏを起点として前記対応点Ｑを通るベクトルを視線ベクトルｎと定義し、この視線ベクトルｎ上における、前記原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、前記点Ｇを通り前記視線ベクトルｎに直交する平面上もしくは当該平面を湾曲させた曲面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ座標系を定義したときに、
    画像切出変換部が、前記二次元ＵＶ座標系上の座標（ｕ，ｖ）と前記二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出することにより、歪曲円形画像から切り出した画像を平面正則画像に変換する処理を行うことを特徴とする画像提示システム。
  42. 請求項４１に記載の画像提示システムにおいて、
    実切出条件決定部が、切出中心点Ｐについての仮想球面上の対応点Ｑが、予め設定された所定の球面移動経路上を、時間に関する関数として設定された所定の球面移動速度で移動するように、切出中心点Ｐの位置を決定することを特徴とする画像提示システム。
  43. 請求項４０〜４２のいずれかに記載の画像提示システムにおいて、
    実切出条件決定部が、切出中心点Ｐの位置を点Ｐ０から点Ｐｎへと段階的に移行させる処理を行うとともに、倍率ｍの値を、現在の倍率ｍ０から目標となる倍率ｍｎへと段階的に移行させる処理を行うことを特徴とする画像提示システム。
  44. 請求項４３に記載の画像提示システムにおいて、
    実切出条件決定部が、時間に関する関数として設定された所定の倍率変更速度で倍率ｍの値を移行させることを特徴とする画像提示システム。
JP2009209213A 2009-09-10 2009-09-10 魚眼監視システム Expired - Fee Related JP5233926B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009209213A JP5233926B2 (ja) 2009-09-10 2009-09-10 魚眼監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009209213A JP5233926B2 (ja) 2009-09-10 2009-09-10 魚眼監視システム

Publications (2)

Publication Number Publication Date
JP2011061511A JP2011061511A (ja) 2011-03-24
JP5233926B2 true JP5233926B2 (ja) 2013-07-10

Family

ID=43948641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009209213A Expired - Fee Related JP5233926B2 (ja) 2009-09-10 2009-09-10 魚眼監視システム

Country Status (1)

Country Link
JP (1) JP5233926B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742880B2 (en) 2016-10-27 2020-08-11 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081400A1 (ja) * 2010-12-14 2012-06-21 コニカミノルタオプト株式会社 画像処理方法、画像処理装置及び撮像装置
JP5613041B2 (ja) 2010-12-24 2014-10-22 パナソニック株式会社 カメラ装置、画像処理システムおよび画像処理方法
JP5845819B2 (ja) * 2011-11-02 2016-01-20 大日本印刷株式会社 動画提示装置
WO2013114848A1 (ja) * 2012-01-31 2013-08-08 パナソニック株式会社 画像処理装置及び画像処理方法
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
EP3189657B1 (en) * 2014-09-03 2022-11-23 Nevermind Capital LLC Method and apparatus for transmitting and/or playing back stereoscopic content
KR102533555B1 (ko) * 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
KR20160119966A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 와치 타입의 이동 단말기
US10277836B2 (en) 2016-03-07 2019-04-30 Ricoh Company, Ltd. Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US10839601B2 (en) * 2016-03-31 2020-11-17 Sony Corporation Information processing device, information processing method, and program
DE102016209662A1 (de) * 2016-06-02 2017-12-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Bestimmen eines Übergangs zwischen zwei Anzeigebildern, und Fahrzeug
KR101760892B1 (ko) 2016-06-22 2017-07-24 재단법인 실감교류인체감응솔루션연구단 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법
CN106898000B (zh) * 2017-02-15 2020-02-18 华东师范大学 一种磁共振成像大脑灰质核团的自动分割方法
CN109472736A (zh) * 2017-09-07 2019-03-15 微鲸科技有限公司 图像处理方法及设备
US11195295B2 (en) 2018-11-22 2021-12-07 Ricoh Company, Ltd. Control system, method of performing analysis and storage medium
JP7188240B2 (ja) * 2019-04-01 2022-12-13 オムロン株式会社 人検出装置および人検出方法
CN112150554B (zh) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
CN111754394B (zh) * 2020-06-29 2022-06-10 苏州科达科技股份有限公司 鱼眼图像中的对象检测方法、装置及存储介质
CN115376313A (zh) * 2022-07-26 2022-11-22 四川智慧高速科技有限公司 一种基于监控摄像头组的图像融合与畸变矫正的实现方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3126955B2 (ja) * 1999-02-12 2001-01-22 株式会社アドバネット 画像変換用演算装置
JP3025255B1 (ja) * 1999-02-19 2000-03-27 有限会社フィット 画像デ―タ変換装置
JP3569163B2 (ja) * 1999-04-23 2004-09-22 株式会社日立製作所 移動物体監視装置
JP3768073B2 (ja) * 1999-06-15 2006-04-19 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP3523847B2 (ja) * 2001-05-02 2004-04-26 株式会社リオスコーポレーション 動体関連付けシステム
JP4241742B2 (ja) * 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP4795212B2 (ja) * 2006-12-05 2011-10-19 キヤノン株式会社 録画装置、端末装置及び処理方法
JP4268206B2 (ja) * 2007-09-21 2009-05-27 富士通株式会社 魚眼レンズカメラ装置及びその画像歪み補正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742880B2 (en) 2016-10-27 2020-08-11 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image

Also Published As

Publication number Publication date
JP2011061511A (ja) 2011-03-24

Similar Documents

Publication Publication Date Title
JP5233926B2 (ja) 魚眼監視システム
US9858643B2 (en) Image generating device, image generating method, and program
TWI535285B (zh) Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
CN106803884B (zh) 图像处理装置
WO2018051815A1 (ja) 情報処理装置および方法、並びにプログラム
JP5136060B2 (ja) 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置
JP4508049B2 (ja) ３６０°画像撮影装置
EP2849439B1 (en) Display image formation device and display image formation method
JP2018107583A (ja) 情報処理装置、情報処理方法及びプログラム
US20210235014A1 (en) Image processing apparatus and control method thereof, computer-readable storage medium
JP2012134920A (ja) カメラ装置、画像処理システムおよび画像処理方法
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
US11244423B2 (en) Image processing apparatus, image processing method, and storage medium for generating a panoramic image
US9906710B2 (en) Camera pan-tilt-zoom (PTZ) control apparatus
JP5733088B2 (ja) 動画提示装置
JP2020053774A (ja) 撮像装置および画像記録方法
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
CN113286138A (zh) 一种全景视频显示方法及显示设备
JP2010154391A (ja) 自動追尾カメラ装置
JP2008187393A (ja) 露出制御システム、露出制御方法、そのプログラムと記録媒体およびカメラ制御システムとカメラ
US20090051770A1 (en) Camera control method, camera control device, camera control program, and camera system
WO2017159014A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2014165866A (ja) 画像処理装置及びその制御方法、プログラム
JP2011004054A (ja) 画像処理システム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5233926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees