JPWO2016185522A1

JPWO2016185522A1 - 画像処理装置及び画像処理方法及び画像処理プログラム

Info

Publication number: JPWO2016185522A1
Application number: JP2017518633A
Authority: JP
Inventors: 吉大小川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-05-15
Filing date: 2015-05-15
Publication date: 2017-07-20
Anticipated expiration: 2035-05-15
Also published as: WO2016185522A1; JP6345345B2

Abstract

マスク領域指定部（１１５）は、魚眼レンズ（１００）を用いて撮影された魚眼画像上の座標を変換して得られた平面画像で平面画像内のマスク領域として指定された一部の領域の座標を魚眼画像上の座標に変換し、平面画像内の一部の領域に対応する魚眼画像内の一部の領域を魚眼画像内のマスク領域として指定する。マスク処理部（１１８）は、マスク領域指定部（１１５）により指定された魚眼画像内のマスク領域をマスクする。

Description

本発明は、撮影画像の一部の領域をマスクする技術に関する。

従来から、旋回型監視カメラを用いた監視システムがある。
この監視システムでは、パン方向、チルト方向に自由に回転できるカメラ用回転台にビデオカメラが固定される。
そして、外部のコントローラがカメラ用回転台およびカメラのズーミング等を操作することにより、カメラが写し出す映像箇所を自由に変えることが可能である。

また、カメラのレンズに魚眼レンズを用いた監視システムでは、魚眼レンズにより広い画角で撮影した画像をデジタル画像処理により切り出すことにより、旋回型監視カメラと同様にカメラのパン方向、チルト方向、およびズーミング等の表示が可能である。
このような魚眼レンズ型監視カメラでは、魚眼レンズで撮影した歪の生じている画角１８０度程度の円形画像から、一部領域を切り出して歪補正処理を行うことにより、通常の旋回型監視カメラで撮影した画像と同等な画像を得ることができる。

旋回型監視カメラでは撮影の方向を機械的に設定するため１つの方向の撮影しかできない。
これに対して、魚眼レンズ型監視カメラでは撮影した画角１８０度程度の円形画像に対し、切り出し位置を変えた複数の画像をデジタル画像処理で生成することにより、複数の方向の撮影を模擬することが可能である。

一方、セキュリティーを目的として、監視カメラを取り付ける個人、法人または公共機関等が増えており、街頭等の公共の場所、店舗または銀行といった屋内に監視カメラが設置されることがある。
監視カメラの設置には、防犯につながるというメリット及び証拠を記録できるというメリットがある。

しかし、被写体側にとってはプライバシーが侵害されるといった問題、または個人情報が撮影され機密情報が漏れるといった問題がある。
プライバシー保護の観点、および機密保持の観点から、保存しておくことが望ましくない画像がある。
そこで、監視カメラによって得られた画像内の領域のうち、保存しておくことが望ましくない領域にマスク処理を施す監視カメラシステムが知られている（特許文献１）。

特開２００４−０１５３６２号公報

特許文献１では、旋回型カメラのマスク処理に関する技術が開示されている。
特許文献１では、マスク領域を矩形で設定し、マスク領域の４つの頂点でマスク領域を定義する。
マスク表示時は、旋回台のパン角度及びチルト角度の情報とカメラレンズのズーム位置情報とから、マスク領域を定義する４つの頂点の位置が算出される。
マスク領域が歪んでいる場合や回転している場合は、前記マスク領域を定義する４つの頂点から、マスク領域に外接しかつ水平と垂直が保たれる矩形領域が算出され、マスク処理が行われる。

特許文献１の監視カメラシステムでは、旋回カメラの撮影方向に応じてマスク領域を算出する必要があるため、外部のコントローラから連続した旋回が要求された場合はフレーム処理ごとにマスク領域を算出する必要がある。
このため、特許文献１の監視カメラシステムでは、リアルタイムな演算処理が要求される。
また、魚眼レンズ型監視カメラで同時に複数の方向の撮影画像を切り出す場合は、切り出し画像数分のマスク領域の算出が必要となり、さらに高い演算処理性能が要求される。

本発明は斯かる事情に鑑みてなされたものであり、高負荷な演算処理を必要とせずに、効率的に画像をマスクすることを主な目的とする。

本発明に係る画像処理装置は、
魚眼レンズを用いて撮影された魚眼画像上の座標を変換して得られた平面画像で平面画像内のマスク領域として指定された一部の領域の座標を前記魚眼画像上の座標に変換し、前記平面画像内の前記一部の領域に対応する前記魚眼画像内の一部の領域を前記魚眼画像内のマスク領域として指定するマスク領域指定部と、
前記マスク領域指定部により指定された前記魚眼画像内のマスク領域をマスクするマスク処理部とを有する。

本発明では、平面画像で指定されたマスク領域に対応する魚眼画像内のマスク領域をマスクする。
本発明によれば、マスク領域がマスクされた状態の魚眼画像を保持することで、歪補正処理後の平面画像にマスク処理をする必要が無い。
このため、魚眼画像から複数の平面画像を切り出す際にも、平面画像ごとにマスク領域を算出する必要がなく、高負荷な演算処理を必要とせずに、効率的に画像をマスクすることができる。

実施の形態１における監視カメラシステムの構成例を示す図。実施の形態１における平面画像でのマスク領域の一例を示す図。実施の形態１における魚眼画像でのマスク領域の一例を示す図。実施の形態１における魚眼画像でのマスク位置の算出方法の一例を示す図。実施の形態１における魚眼画像でのマスク領域の分割方法の一例を示す図。実施の形態１における魚眼画像でのマスク領域の別の分割方法の一例を示す図。実施の形態１における魚眼画像でのマスク画像の一例を示す図。実施の形態１における平面画像でのマスク画像の一例を示す図。実施の形態２における監視カメラシステムの構成例を示す図。実施の形態２におけるマスク処理の一例を示す図。実施の形態１における投影球面３次元イメージを示す図。実施の形態１における魚眼画像２次元イメージを示す図。実施の形態１におけるマスク領域指定部の処理例を示すフローチャート図。実施の形態１におけるサイズ位置算出部の処理例を示すフローチャート図。実施の形態１におけるマスク位置情報の例を示す図。実施の形態１におけるマスク処理部の処理例を示すフローチャート図。実施の形態１における魚眼画像から複数の平面画像を切り出す例を示す図。実施の形態２におけるデータ加工部の処理例を示すフローチャート図。実施の形態１における歪補正処理部の処理例を示すフローチャート図。実施の形態１及び２におけるカメラ信号処理装置のハードウェア構成例を示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る監視カメラシステムの構成例を示す。

図１において、１００は魚眼レンズ、１０１は撮影素子、１０２はカメラ信号処理装置、１０３は表示装置、１０４はカメラ制御装置である。
なお、カメラ信号処理装置１０２は、画像処理装置の例に相当する。

魚眼レンズ１００で撮影された画像は撮影素子１０１で画像信号に変換され、カメラ信号処理装置１０２に入力される。
魚眼レンズ１００を用いて撮影された画像を魚眼画像という。
カメラ信号処理装置１０２は、歪補正処理やマスク処理を施した画像データを生成する。
カメラ信号処理装置１０２で生成された画像データは、表示装置１０３で表示される。
魚眼画像中で表示位置を設定する場合はカメラ制御装置１０４からカメラ信号処理装置１０２に対して表示位置情報を送る。
マスク位置を設定する場合は、カメラ制御装置１０４からカメラ信号処理装置１０２に対してマスク位置情報を送る。

図１において１１０から１１５はカメラ信号処理装置１０２を構成するブロックである。

画像入力部１１０は、魚眼画像を取得する。

魚眼画像蓄積部１１１は、画像入力部１１０により取得された魚眼画像を記憶する。
また、魚眼画像蓄積部１１１は、後述するマスク処理部１１８によりマスク処理された後の魚眼画像も記憶する。

歪補正処理部１１２は、魚眼画像の歪を補正して、平面画像を生成する。
歪補正処理部１１２は、より具体的には、魚眼画像上の座標を平面画像上の座標に変換して、魚眼画像に対応する平面画像を生成する。

平面画像蓄積部１１３は、歪補正処理部１１２により生成された平面画像を記憶する。

画像出力部１１４は、平面画像を表示装置１０３に出力する。

マスク領域指定部１１５は、魚眼画像内のマスク領域を指定する。
マスク領域とは、マスクする領域、すなわち画像の閲覧ができないような処理が施される領域である。
マスク領域指定部１１５は、カメラ制御装置１０４からのマスク位置情報に従って、魚眼画像内のマスク領域を特定する。
マスク領域指定部１１５は、より具体的には、魚眼画像上の座標を変換して得られた平面画像で平面画像内のマスク領域として指定された一部の領域の座標（平面画像上の座標）を示すマスク位置情報を取得する。
そして、マスク領域指定部１１５は、マスク位置情報に示される、平面画像内の一部の領域の座標（平面画像上の座標）を魚眼画像上の座標に変換し、平面画像内のマスク領域である一部の領域に対応する魚眼画像内の一部の領域を魚眼画像内のマスク領域として指定する。
なお、本実施の形態では、平面画像内の矩形領域が平面画像内のマスク領域として指定される。
このため、マスク領域指定部１１５は、平面画像内の矩形領域の座標（平面画像上の座標）を魚眼画像上の座標に変換し、平面画像内の矩形領域に対応する魚眼画像内の一部の領域を魚眼画像内のマスク領域として指定する。
また、マスク領域指定部１１５は、魚眼画像内のマスク領域が内接する四角形を拡張マスク領域として指定する。
なお、マスク領域指定部１１５の動作は、マスク領域指定処理の例に相当する。

サイズ位置算出部１１６は、マスク領域に設定される矩形のマスク画像のサイズ及び設定位置を算出する。
より具体的には、サイズ位置算出部１１６は、マスク領域指定部１１５により指定された拡張マスク領域の四つの頂点が複数のマスク画像のうちのいずれかのマスク画像の外縁に重なるように、各マスク画像の画像サイズと設定位置とを算出する。
マスク画像は、マスク領域の画像を認識できなくする画像データである。
マスク画像としては、塗りつぶし画像が考えられるが、マスク領域の画像を認識できなくする画像データであれば、マスク画像はどのようなデータでもよい。

マスク位置情報蓄積部１１７は、マスク領域指定部１１５により指定された魚眼画像内のマスク領域の頂点位置、拡張マスク領域の頂点位置、サイズ位置算出部１１６により算出されたマスク画像のサイズ及び設定位置の情報を記憶する。

マスク処理部１１８は、サイズ位置算出部１１６により算出された画像サイズ及び設定位置に従って、複数の矩形のマスク画像を魚眼画像内のマスク領域に設定して魚眼画像内のマスク領域をマスクする。
なお、マスク処理部１１８の動作は、マスク処理の例に相当する。

＊＊＊動作の説明＊＊＊
まず、カメラ信号処理装置１０２の動作の概要を説明する。
なお、以下に示すカメラ信号処理装置１０２の動作が、本願の画像処理方法及び画像処理プログラムの例に相当する。

撮影素子１０１からカメラ信号処理装置１０２に入力された画像信号は、画像入力部１１０により、歪の生じている画角１８０度程度の円形の画像データ（魚眼画像）として魚眼画像蓄積部１１１に蓄積される。
歪補正処理部１１２は、カメラ制御装置１０４から設定された表示位置情報に従い、魚眼画像蓄積部１１１の魚眼画像から切り出した画像データを取得する。
更に、歪補正処理部１１２は、魚眼画像蓄積部１１１から取得した画像データに歪補正処理を施し、歪補正処理後の画像データ（平面画像）を平面画像蓄積部１１３に格納する。
画像出力部１１４は、平面画像蓄積部１１３に蓄積されている画像データを画像信号としてカメラ信号処理装置１０２の外部に出力する。

ここで、歪補正処理部１１２の処理を説明する。
歪補正処理部１１２は、歪補正後の平面画像上の画素位置に相当する魚眼画像上の画素位置を算出し、前記算出した魚眼画像上の画素位置の画素データを魚眼画像蓄積部から読み出して平面画像上の画素データとして出力する。
魚眼画像上の画素位置は平面画像上の画素位置と、平面画像の表示位置情報から算出する。
表示位置情報は旋回カメラを想定した場合にカメラの旋回方向を示すパン角度とチルト角度に相当する。
投影球面上の３次元イメージは図１１のようになる。
図１１では、パン角度の基点をＮ方向、チルト角度の基点をＣ方向としている。
また、図１１に対する魚眼画像上の２次元イメージは図１２のようになる。
一般的に、平面画像上の画素位置（＝座標）から魚眼画像上での画素位置（＝座標）への座標変換は、平面画像上の座標から投影球面上の座標への座標変換と、投影球面上の座標から魚眼画像上の座標への座標変換の２段階で行われる。
平面画像０の中心を基準座標（０，０）とした平面画像上の座標を（Ｘ，Ｙ）とし、パン角度Ｄｐ_０、チルト角度Ｄｔ_０とした場合に、歪補正処理部１１２は、この４つの値から投影球面上の座標を算出する（（ａＸ，ａＹ，ａＺ）＝ｆ（Ｘ，Ｙ，Ｄｐ_０，Ｄｔ_０））。
次に、歪補正処理部１１２は、投影球面上の座標から魚眼画像上への座標を算出する（（ｄＸ，ｄＹ）＝ｆ’（ａＸ，ａＹ，ａＺ））。
ここで、投影球面上の３次元座標から魚眼画像上の２次元座標への変換では、魚眼レンズの射影方式やレンズ特性により異なるので、歪補正処理部１１２は、魚眼レンズ固有の特性に応じた補正パラメータを変数に用いた演算式で算出（座標変換）を行う。
歪補正処理部１１２は、平面画像上の画素位置を左上から右下までラスタスキャン順に変更し、各画素位置に相当する魚眼画像上の画素位置から画素データを魚眼画像蓄積部１１１から読み出し、平面画像蓄積部１１３に書き込んで歪補正処理を行う。
また、切り出す平面画像が複数ある場合は、歪補正処理部１１２は、この処理を繰り返し実施する。
歪補正処理部１１２の処理フローを図１９に示す。

歪補正処理部１１２は、カメラ制御装置１０４から表示位置情報を取得することにより、平面画像の表示位置を取得する（Ｓ１９０１）。
次に、歪補正処理部１１２は、平面画像の垂直座標を初期化（Ｙ＝０）する（Ｓ１９０２）。
次に、歪補正処理部１１２は、平面画像の水平座標を初期化（Ｘ＝０）する（Ｓ１９０３）。

次に、歪補正処理部１１２は、平面画像上の座標（Ｘ，Ｙ）を、魚眼画像上の座標（ｄＸ，ｄＹ）に座標変換する（Ｓ１９０４）。

次に、歪補正処理部１１２は、魚眼画像の座標（ｄＸ，ｄＹ）の画素データを読出し、平面画像上の座標（Ｘ，Ｙ）に書き込む（Ｓ１９０５）。

次に、歪補正処理部１１２は、水平座標を更新する（Ｘ＝Ｘ＋１）（Ｓ１９０６）。
また、歪補正処理部１１２は、全ての水平座標について、Ｓ１９０４〜Ｓ１９０６の処理を行ったかを判定する（Ｓ１９０７）。
未処理の水平座標がある場合（Ｓ１９０７でＮＯ）は、歪補正処理部１１２は、Ｓ１９０６で更新した水平座標に対してＳ１９０４以降の処理を繰り返す。
一方、全ての水平座標に対してＳ１９０４〜Ｓ１９０６の処理を行っている場合（Ｓ１９０７でＹＥＳ）は、歪補正処理部１１２は、垂直座標を更新する（Ｙ＝Ｙ＋１）（Ｓ１９０８）。
また、歪補正処理部１１２は、全ての垂直座標について、Ｓ１９０３〜Ｓ１９０７の処理を行ったかを判定する（Ｓ１９０９）。
未処理の垂直座標がある場合（Ｓ１９０９でＮＯ）は、歪補正処理部１１２は、Ｓ１９０８で更新した垂直座標に対してＳ１９０３以降の処理を繰り返す。
一方、全ての垂直座標に対してＳ１９０３〜Ｓ１９０７の処理を行っている場合（Ｓ１９１１でＹＥＳ）は、歪補正処理部１１２は、全ての平面画像に対して図１９に示す処理を行ったか否かを判定する（Ｓ１９１０）。
未処理の平面画像がある場合（Ｓ１９１０でＮＯ）は、歪補正処理部１１２は、未処理の平面画像に対して、Ｓ１９０１以降の処理を繰り返す。
一方、全ての平面画像が処理済みである場合（Ｓ１９１０でＹＥＳ）は、歪補正処理部１１２は処理を終了する。

カメラ制御装置１０４から指定された平面画像上のマスク位置情報は、マスク領域指定部１１５に入力される。
マスク領域指定部１１５は、魚眼画像内のマスク領域の位置を算出する。
マスク領域指定部１１５が算出した魚眼画像内のマスク領域の位置に基づき、サイズ位置算出部１１６が、魚眼画像内のマスク領域に設定する複数の矩形領域のサイズ及び位置を算出する。
後述するように、マスク処理部１１８は、各矩形領域にマスク画像を配置する。
サイズ位置算出部１１６は、各矩形領域のサイズ及び位置の情報をマスク位置情報蓄積部１１７に格納する。
マスク処理部１１８は、マスク位置情報蓄積部１１７に蓄積されている矩形領域のサイズ及び位置の情報に基づき、魚眼画像蓄積部１１１に蓄積されている画像データ（魚眼画像）の該当位置にマスク画像を描画する。

図２は、実施の形態１に係る平面画像でのマスク領域の一例を示す。

図２において、２００は平面画像内のマスク領域である。
点Ｐ０はマスク領域の上辺中心点、点Ｐ１はマスク領域の左上頂点、点Ｐ２はマスク領域の右上頂点、点Ｐ３はマスク領域の左下頂点、Ｐ４はマスク領域の右下頂点である。

本実施の形態では、平面画像内のマスク領域２００は水平と垂直を保った矩形領域で指定でき、矩形領域の指定は、マスク領域の上辺中心点Ｐ０と、マスク領域の頂点Ｐ１〜Ｐ４で行う。

図２の平面画像は、表示装置１０３から表示する画像データのイメージの一例を示している。
カメラ制御装置１０４から歪補正処理部１１２に対して表示位置情報を指定すると、魚眼画像蓄積部１１１から図２に示すような画像領域が切り出される。
歪補正処理部１１２による歪補正処理後の画像データ（平面画像）が表示装置１０３で表示される。
ユーザは、カメラ制御装置１０４を用いて、平面画像上でマスク領域２００を指定する。
以上が、歪補正処理部の説明である。

カメラ制御装置１０４からマスク領域指定部１１５に対して通知されるマスク位置情報は、図２のＰ０〜Ｐ４が該当する。
本実施の形態では、マスク位置情報としてＰ０〜Ｐ４の５点を使用しているが、マスク位置情報としてＰ０とＰ４との２点のように一部の点のみを使用し、Ｐ１〜Ｐ３の３点はマスク領域指定部１１５で算出することも可能である。
また、マスク位置情報としてＰ０とマスク領域の水平サイズおよび垂直サイズとを使用し、Ｐ１〜Ｐ４の４点はマスク領域指定部１１５で算出することも可能である。

本実施の形態におけるマスク領域指定部１１５の処理を、図３及び図４を使用して説明する。

図３は、実施の形態１に係る魚眼画像内のマスク領域の一例を示す。

図３において、３００は魚眼画像内のマスク領域である。
点ＦＰ０はマスク領域の上辺中心点、点ＦＰ１はマスク領域の左上頂点、点ＦＰ２はマスク領域の右上頂点、点ＦＰ３はマスク領域の左下頂点、点ＦＰ４はマスク領域の右下頂点、点ＦＣ０は魚眼円の中心点である。

図３は、図２の平面画像内のマスク領域および当該マスク領域を示す頂点を魚眼画像に投影した図である。
魚眼画像内のマスク領域３００は平面画像内のマスク領域２００に対応している。
マスク領域３００の上辺中心点ＦＰ０はマスク領域２００の上辺中心点Ｐ０に対応している。
マスク領域３００の左上頂点ＦＰ１はマスク領域２００の左上頂点Ｐ１に対応している。
マスク領域３００の右上頂点ＦＰ２はマスク領域２００の右上頂点Ｐ２に対応している。
マスク領域３００の左下頂点ＦＰ３はマスク領域２００の左下頂点Ｐ３に対応している。
マスク領域３００の右下頂点ＦＰ４はマスク領域２００の右下頂点Ｐ４に対応している。

平面画像上でのマスク領域頂点から魚眼画像上でのマスク領域頂点の算出は、一般的に知られている歪補正処理で行われる魚眼画像から平面画像の座標変換の算出方法の逆変換を使用する。
一般的に、歪補正処理は魚眼レンズ固有の特性に応じた補正パラメータを用意し、魚眼画像上の座標から平面画像上の座標に座標変換を行い、ピクセルの転送を行う。
具体的には、歪補正処理部１１２が、歪補正後の平面画像上の画素位置に相当する魚眼画像上の画素位置を算出し、前記算出した魚眼画像上の画素位置の画素データを魚眼画像蓄積部１１１から読み出して平面画像上の画素データとして出力する。
魚眼画像上の画素位置は、平面画像上の画素位置と、平面画像の表示位置情報から算出される。
本実施の形態では、マスク領域指定部１１５は、前記補正パラメータを使用し歪補正処理と逆の方法で平面画像上の座標から魚眼画像上の座標への逆変換を行い、魚眼画像上のマスク領域頂点を算出する。

図４は、図３の左上部分のみを拡大表示した図である。
図４において、図３と同一の要素には同一番号および同一記号を付加し、説明を省略する。

マスク領域指定部１１５は、点ＦＰ１〜ＦＰ４の座標を特定して、魚眼画像内のマスク領域３００を指定する。
更に、マスク領域指定部１１５は、魚眼画像内のマスク領域３００が内接する四角形である拡張マスク領域を指定する。
図４では、マスク領域指定部１１５は、点ＦＰ５、点ＦＰ６、点ＦＰ３、点ＦＰ４を結んで得られる領域を拡張マスク領域として指定する。
なお、点ＦＰ５は拡張マスク領域の左上頂点、点ＦＰ６は拡張マスク領域の右上頂点である。

図４において、点ＦＰ５は、点ＦＣ０および点ＦＰ０を通る直線と点ＦＰ０で直角に交わる直線と、点ＦＣ０および点ＦＰ１を通る直線との交点である。
点ＦＰ６は、点ＦＣ０および点ＦＰ０を通る直線と点ＦＰ０で直角に交わる直線と、点ＦＣ０および点ＦＰ２を通る直線との交点である。

マスク領域指定部１１５は、サイズ位置算出部１１６に、拡張マスク領域の位置情報として図４の点ＦＰ５と点ＦＰ６と点ＦＰ３と点ＦＰ４の４点の情報を出力する。

以下、マスク領域指定部１１５のマスク領域の指定処理を説明する。

マスク位置情報は、カメラ制御装置１０４に表示している画像の表示位置情報とマスク領域を示す頂点である。
表示位置情報とは、旋回カメラを想定した場合にカメラの旋回方向を示すパン角度とチルト角度の情報である。
投影球面上の３次元イメージは図１１のようになる。
図１１では、パン角度の基点をＮ方向、チルト角度の基点をＣ方向としている。
また、図１１に対する魚眼画像上の２次元イメージは図１２のようになる。
また、マスク領域を示す点は図２に示したＰ０〜Ｐ４である。
一般的に、平面画像（＝表示画像）上でのマスク領域頂点から魚眼画像上でのマスク領域頂点への座標変換は、平面画像上の座標から投影球面上の座標への座標変換と、投影球面上の座標から魚眼画像上の座標への座標変換の２段階で行われる。
平面画像の中心を基準座標（０，０）としたＰ０の座標を（Ｘ_０，Ｙ_０）とし、パン角度をＤｐ、チルト角度をＤｔとした場合に、マスク領域指定部１１５は、この４つの値から投影球面上の座標を算出する（（ａＸ_０，ａＹ_０，ａＺ_０）＝ｆ（Ｘ_０，Ｙ_０，Ｄｐ，Ｄｔ）。
次に、マスク領域指定部１１５は、投影球面上の座標から魚眼画像上への座標を算出する（（ｄＸ_０，ｄＹ_０）＝ｆ’（ａＸ_０，ａＹ_０，ａＺ_０））。
ここで、投影球面上の３次元座標から魚眼画像上の２次元座標への変換では、魚眼レンズの射影方式やレンズ特性により異なるので、マスク領域指定部１１５は、魚眼レンズ固有の特性に応じた補正パラメータを変数に用いた演算式で座標を算出する（座標変換を行う）。
マスク領域指定部１１５の処理フローを図１３に示す。

マスク領域指定部１１５は、表示画像の表示位置情報（パン、チルト角度）とマスク領域頂点（Ｐ０〜Ｐ４）をカメラ制御装置１０４から取得する（Ｓ１３０１）。
次に、マスク領域指定部１１５は、頂点Ｐ０〜Ｐ４について、上述した手順にて、頂点ＦＰ０〜ＦＰ４への座標変換を行う（Ｓ１３０２、Ｓ１３０３）。
次に、マスク領域指定部１１５は、頂点ＦＰ０〜ＦＰ４と魚眼画像中心点ＦＣ０から、点ＦＰ５とＦＰ６を算出する（Ｓ１３０４）。
点ＦＰ５とＦＰ６の算出手順は、前述の通りである。
最後に、マスク領域指定部１１５は、魚眼画像内のマスク領域を示す頂点としてＦＰ３〜ＦＰ６を指定する（Ｓ１３０５）。
すなわち、マスク領域指定部１１５は、魚眼画像内のマスク領域を示す頂点としてＦＰ３〜ＦＰ６をサイズ位置算出部１１６に出力する。

次に、本実施の形態におけるサイズ位置算出部１１６の処理を、図５と図６を使用して説明する。

図５は、実施の形態１に係る魚眼画像でのマスク領域の分割方法、換言すると、マスク画像のサイズ及び設定位置の算出方法の一例として拡張マスク領域を３つのマスク画像で塗りつぶす例を示している。
図５は、図４で算出した拡張マスク領域を複数の矩形領域で覆った状態を表している。
サイズ位置算出部１１６は、図５の矩形領域のサイズ及び位置を決定することで、マスク画像の画像サイズ及び設定位置を決定する。
サイズ位置算出部１１６は、拡張マスク領域の四つの頂点（ＦＰ５、ＦＰ６、ＦＰ３、ＦＰ４）が複数の矩形領域（マスク画像）のうちのいずれかの矩形領域の外縁に重なるように、各矩形領域のサイズと位置とを算出する。
なお、図５において、図４と同一の要素には同一番号および同一記号を付加し、説明を省略する。

図５において、５００と５０１と５０２はマスク画像の輪郭に相当する矩形領域である。
点ＦＰ７と点ＦＰ８と点ＦＰ７６と点ＦＰ４６と点ＦＰ５４と点ＦＰ４５と点ＦＰ５３と点ＦＰ８３は、矩形領域の頂点を示している。

図５において、第一の矩形領域は、点ＦＰ４と点ＦＰ５との２点を含む最小の矩形領域である。
すなわち、点ＦＰ５を通る垂直な直線と点ＦＰ４を通る水平な直線との交点を点ＦＰ５４、点ＦＰ４を通る垂直な直線と点ＦＰ５を通る水平な直線との交点を点ＦＰ４５とした場合、第一の矩形領域は点ＦＰ５４を左上頂点、点ＦＰ４を右上頂点、点ＦＰ５を左下頂点、点ＦＰ４５を右下頂点とする矩形領域である。
つまり、第一の矩形領域は、矩形領域５００である。

図５において、点ＦＰ７は、点ＦＰ５および点ＦＰ６を通る直線と点ＦＰ４を通る水平な直線との交点である。
点ＦＰ８は、点ＦＰ３および点ＦＰ４を通る直線と点ＦＰ５を通る水平な直線との交点である。

図５において、第二の矩形領域は、点ＦＰ６と点ＦＰ７と点ＦＰ４との３点を含む最小の矩形領域である。
すなわち、点ＦＰ７を通る垂直な直線と点ＦＰ６を通る水平な直線との交点を点ＦＰ７６、点ＦＰ４を通る垂直な直線と点ＦＰ６を通る水平な直線との交点を点ＦＰ４６とした場合、第二の矩形領域は点ＦＰ７６を左上頂点、点ＦＰ４６を右上頂点、点ＦＰ７を左下頂点、点ＦＰ４を右下頂点とする矩形領域である。
つまり、第二の矩形領域は、矩形領域５０１である。

図５において、第三の矩形領域は、点ＦＰ５と点ＦＰ８と点ＦＰ３との３点を含む最小の矩形領域である。
すなわち、第三の矩形領域は、点ＦＰ５を通る垂直な直線と点ＦＰ３を通る水平な直線との交点を点ＦＰ５３、点ＦＰ８を通る垂直な直線と点ＦＰ３を通る水平な直線との交点を点ＦＰ８３とした場合、第三の矩形領域は点ＦＰ５を左上頂点、点ＦＰ８を右上頂点、点ＦＰ５３を左下頂点、点ＦＰ８３を右下頂点とする矩形領域である。
つまり、第三の矩形領域は、矩形領域５０２である。

以上のように、図５では、拡張マスク領域の頂点ＦＰ５は第一の矩形領域５００と第三の矩形領域５０２の外縁と重なっている。
また、拡張マスク領域の頂点ＦＰ６は第二の矩形領域５０１の外縁と重なっている。
また、拡張マスク領域の頂点ＦＰ３は第三の矩形領域５０２の外縁と重なっている。
また、拡張マスク領域の頂点ＦＰ４は第二の矩形領域５０１と一の矩形領域５００の外縁と重なっている。
このように、サイズ位置算出部１１６は、拡張マスク領域の四つの頂点（ＦＰ５、ＦＰ６、ＦＰ３、ＦＰ４）が複数の矩形領域（マスク画像）のうちのいずれかの矩形領域の外縁に重なるように、各矩形領域のサイズと位置とを算出する。

図６は、実施の形態１に係る魚眼画像でのマスク領域の分割方法、すなわち、マスク画像のサイズ及び設定位置の算出方法の別の例として拡張マスク領域を５つのマスク画像で塗りつぶす例を示している。
図６は、図５と同様に、図４で算出した拡張マスク領域を複数の矩形領域で覆った状態を表しているが、図５よりも矩形領域の個数を増やしている。
なお、図６において、図５と同一の要素には同一番号および同一記号を付加し、説明を省略する。

図６において、５００と６０１と６０２と６０３と６０４はマスク画像の輪郭に相当する矩形領域である。
点ＦＰ９と点ＦＰａと点ＦＰｂと点ＦＰｃと点ＦＰ９６と点ＦＰａ６と点ＦＰ７９と点ＦＰ４ａと点ＦＰ５ｂと点ＦＰ８ｃと点ＦＰｂ３と点ＦＰｃ３は、矩形領域の頂点を示している。

図６において、第一の矩形領域は、点ＦＰ４と点ＦＰ５との２点を含む最小の矩形領域である。
すなわち、点ＦＰ５を通る垂直な直線と点ＦＰ４を通る水平な直線との交点を点ＦＰ５４、点ＦＰ４を通る垂直な直線と点ＦＰ５を通る水平な直線との交点を点ＦＰ４５とした場合、第一の矩形領域は点ＦＰ５４を左上頂点、点ＦＰ４を右上頂点、点ＦＰ５を左下頂点、点ＦＰ４５を右下頂点とする矩形領域である。
つまり、第一の矩形領域は、矩形領域５００である。

図６において、点ＦＰ９は、点ＦＰ６および点ＦＰ７を通る直線上の点ＦＰ６と点ＦＰ７の中間点である。
点ＦＰａは、点ＦＰ４および点ＦＰ６を通る直線上の点ＦＰ４と点ＦＰ６の中間点である。

図６において、第二の矩形領域は、点ＦＰ６と点ＦＰ９と点ＦＰａとの３点を含む最小の矩形領域である。
すなわち、点ＦＰ９を通る垂直な直線と点ＦＰ６を通る水平な直線との交点を点ＦＰ９６、点ＦＰａを通る垂直な直線と点ＦＰ６を通る水平な直線との交点を点ＦＰａ６とした場合、第二の矩形領域は点ＦＰ９６を左上頂点、点ＦＰａ６を右上頂点、点ＦＰ９を左下頂点、点ＦＰａを右下頂点とする矩形領域である。
つまり、第二の矩形領域は、矩形領域６０１である。

図６において、第三の矩形領域は、点ＦＰ９と点ＦＰａと点ＦＰ７と点ＦＰ４との４点を含む最小の矩形領域である。
すなわち、点ＦＰ７を通る垂直な直線と点ＦＰ９を通る水平な直線との交点を点ＦＰ７９、点ＦＰ４を通る垂直な直線と点ＦＰａを通る水平な直線との交点を点ＦＰ４ａとした場合、第三の矩形領域は点ＦＰ７９を左上頂点、点ＦＰ４ａを右上頂点、点ＦＰ７を左下頂点、点ＦＰ４を右下頂点とする矩形領域である。
すなわち、第三の矩形領域は矩形領域６０２である。

図６において、点ＦＰｂは、点ＦＰ３および点ＦＰ５を通る直線上の点ＦＰ３と点ＦＰ５の中間点である。
点ＦＰｃは、点ＦＰ３および点ＦＰ８を通る直線上の点ＦＰ３と点ＦＰ８の中間点である。

図６において、第四の矩形領域は、点ＦＰ５と点ＦＰ８と点ＦＰｂと点ＦＰｃとの４点を含む最小の矩形領域である。
すなわち、点ＦＰ５を通る垂直な直線と点ＦＰｂを通る水平な直線との交点を点ＦＰ５ｂ、点ＦＰ８を通る垂直な直線と点ＦＰｃを通る水平な直線との交点を点ＦＰ８ｃとした場合、第四の矩形領域は点ＦＰ５を左上頂点、点ＦＰ８を右上頂点、点ＦＰ５ｂを左下頂点、点ＦＰ８ｃを右下頂点とする矩形領域である。
つまり、第四の矩形領域は、矩形領域６０３である。

図６において、第五の矩形領域は、点ＦＰｂと点ＦＰｃと点ＦＰ３との３点を含む最小の矩形領域である。
すなわち、点ＦＰｂを通る垂直な直線と点ＦＰ３を通る水平な直線との交点を点ＦＰｂ３、点ＦＰｃを通る垂直な直線と点ＦＰ３を通る水平な直線との交点を点ＦＰｃ３とした場合、第五の矩形領域は点ＦＰｂを左上頂点、点ＦＰｃを右上頂点、点ＦＰｂ３を左下頂点、点ＦＰｃ３を右下頂点とする矩形領域である。
つまり、第五の矩形領域は、矩形領域６０４である。

以上のように、図６では、拡張マスク領域の頂点ＦＰ５は第一の矩形領域５００と第四の矩形領域６０３の外縁と重なっている。
また、拡張マスク領域の頂点ＦＰ６は第二の矩形領域６０１の外縁と重なっている。
また、拡張マスク領域の頂点ＦＰ３は第五の矩形領域６０４の外縁と重なっている。
また、拡張マスク領域の頂点ＦＰ４は第三の矩形領域６０２と第一の矩形領域５００の外縁と重なっている。
このように、サイズ位置算出部１１６は、拡張マスク領域の四つの頂点（ＦＰ５、ＦＰ６、ＦＰ３、ＦＰ４）が複数の矩形領域（マスク画像）のうちのいずれかの矩形領域の外縁に重なるように、各矩形領域のサイズと位置とを算出する。

図５では、３つの矩形領域を設定する方法を示し、図６では５つの矩形領域を設定する方法を示している。
本実施の形態で示した以外の矩形領域の個数を設定することも可能である。
矩形領域の個数を少なくすれば矩形領域のサイズ及び位置の算出のための演算量を削減することが可能である。
しかし、個々の矩形領域が広くなるため、マスク画像で隠れて監視できない領域が広くなる。
一方、矩形領域の個数を増やせば、個々の矩形領域は狭くなり、マスク画像により監視できない領域は低減するが、矩形領域のサイズ及び位置の算出のための演算量が多くなる。

本実施の形態では、マスク領域指定部１１５がマスク画像で塗りつぶす矩形領域の個数が固定値の場合の例として３つの場合と５つの場合を示した。
その他の例として、前記矩形領域の個数をカメラ制御装置１０４から指定してもよい。
また、ＣＰＵ負荷が高い場合は矩形領域の個数を減らし、ＣＰＵ負荷が低い場合は矩形領域の個数を減らすなど、マスク領域指定部１１５がＣＰＵ負荷率に応じて矩形領域の個数を変更してもよい。

サイズ位置算出部１１６からマスク位置情報蓄積部１１７に対して設定されるマスク位置情報には、各矩形領域の頂点の座標が含まれる。
つまり、図６の例では、第一の矩形領域５００の点ＦＰ５４と点ＦＰ４と点ＦＰ５と点ＦＰ４５の座標、第二の矩形領域６０１の点ＦＰ９６と点ＦＰａ６と点ＦＰ９と点ＦＰａの座標、第三の矩形領域６０２の点ＦＰ７９と点ＦＰ４ａと点ＦＰ７と点ＦＰ４の座標、第四の矩形領域６０３の点ＦＰ５と点ＦＰ８と点ＦＰ５ｂと点ＦＰ８ｃの座標、第五の矩形領域６０４の点ＦＰｂと点ＦＰｂ３と点ＦＰｃ３と点ＦＰｃの座標がマスク位置情報に含まれる。

本実施の形態ではマスク位置情報として矩形領域ごとに左上頂点と右上頂点と左下頂点と右下頂点の４点を使用している。
これに代えて、マスク位置情報として左上頂点と右下頂点との２点のように一部の頂点のみを使用し、右上頂点と左下頂点との２点のような残りの頂点はマスク処理部１１８で算出することも可能である。
また、マスク位置情報として左上頂点と矩形領域の水平サイズおよび垂直サイズとを使用し、右上頂点と左下頂点と右下頂点の３点はマスク処理部１１８で算出することも可能である。

ここで、サイズ位置算出部１１６の処理フローを説明する。
図１４は、サイズ位置算出部１１６が図５に示すマスク画像のサイズ及び設定位置を算出する際の処理フローを示す。

まず、サイズ位置算出部１１６は、魚眼画像内のマスク領域頂点ＦＰ３〜ＦＰ６を取得する（Ｓ１４０１）。
次に、サイズ位置算出部１１６は、点ＦＰ７と点ＦＰ８を算出する（Ｓ１４０２）。
点ＦＰ７と点ＦＰ８の算出方法は、前述の通りである。
次に、サイズ位置算出部１１６は、点ＦＰ４６と点ＦＰ７６を算出する（Ｓ１４０３）。
点ＦＰ４６と点ＦＰ７６の算出方法も、前述の通りである。

次に、サイズ位置算出部１１６は、矩形領域５０１のマスク位置情報（左上頂点、水平サイズ、垂直サイズ）を算出する（Ｓ１４０４）。
点ＦＰ７６の座標を（Ｘ_２Ｌ，Ｙ_２Ｔ）、点ＦＰ４の座標を（Ｘ_２Ｒ，Ｙ_２Ｂ）とすると、矩形領域５０１のマスク位置情報の左上座標は（Ｘ_２Ｌ，Ｙ_２Ｔ）、水平サイズＷ_２＝Ｘ_２Ｒ−Ｘ_２Ｌ、垂直サイズＨ_２＝Ｘ_２Ｂ−Ｘ_２Ｔとなる。

次に、サイズ位置算出部１１６は、点ＦＰ４５と点ＦＰ５４を算出する（Ｓ１４０５）。
点ＦＰ４５と点ＦＰ５４の算出方法は、前述の通りである。

次に、サイズ位置算出部１１６は、矩形領域５００のマスク位置情報（左上頂点、水平サイズ、垂直サイズ）を算出する（Ｓ１４０６）。
ＦＰ５４の座標を（Ｘ_１Ｌ，Ｙ_１Ｔ）、ＦＰ４５の座標を（Ｘ_１Ｒ，Ｙ_１Ｂ）とすると、矩形領域５００のマスク位置情報の左上座標は（Ｘ_１Ｌ，Ｙ_１Ｔ）、水平サイズＷ_１＝Ｘ_１Ｒ−Ｘ_１Ｌ、垂直サイズＨ_１＝Ｘ_１Ｂ−Ｘ_１Ｔとなる。

次に、サイズ位置算出部１１６は、点ＦＰ５３と点ＦＰ８３を算出する（Ｓ１４０７）。
点ＦＰ５３と点ＦＰ８３の算出方法は、前述の通りである。

次に、サイズ位置算出部１１６は、矩形領域５０２のマスク位置情報（左上頂点、水平サイズ、垂直サイズ）を算出する（Ｓ１４０８）。
ＦＰ５の座標を（Ｘ_３Ｌ，Ｙ_３Ｔ）、ＦＰ８３の座標を（Ｘ_３Ｒ，Ｙ_３Ｂ）とすると、矩形領域５０２のマスク位置情報の左上座標は（Ｘ_３Ｌ，Ｙ_３Ｔ）、水平サイズＷ_３＝Ｘ_３Ｒ−Ｘ_３Ｌ、垂直サイズＨ_３＝Ｘ_３Ｂ−Ｘ_３Ｔとなる。

最後に、サイズ位置算出部１１６は、Ｓ１４０４、Ｓ１４０６、Ｓ１４０８で算出した矩形領域５００、５０１、５０２のマスク位置情報をマスク位置情報蓄積部１１７に出力する（Ｓ１４０９）。
図１５は、矩形領域５００、５０１、５０２のマスク位置情報の例を示す。
マスク位置情報蓄積部１１７は、サイズ位置算出部１１６から出力されたマスク位置情報を蓄積する。

次に、本実施の形態におけるマスク処理部１１８の処理フローを、図１６を使用して説明する。

マスク処理部１１８は、マスク位置情報をマスク位置情報蓄積部１１７から取得する（Ｓ１６０１）。
マスク処理部１１８は、マスク位置情報蓄積部１１７から、例えば、図１５のマスク位置情報を取得する。
また、マスク処理部１１８は、取得したマスク位置情報から、マスク領域数を導出する。
図１５のマスク位置情報を取得した場合は、マスク処理部１１８は、マスク領域数として「３」を導出する。

次に、マスク処理部１１８は、マスク位置情報と、被マスク対象魚眼画像の蓄積領域からマスク領域を抽出する（Ｓ１６０２）。
被マスク対象魚眼画像は、魚眼画像蓄積部１１１に蓄積されている魚眼画像である。
魚眼画像蓄積部１１１には、撮影のフレームレートに応じて、画像入力部１１０により、撮影された最新の魚眼画像が蓄積される。
魚眼画像蓄積部１１１に蓄積された魚眼画像は歪補正処理部１１２での歪補正処理が完了すると不要になるため、新規撮影した魚眼画像で上書き更新される。
マスク処理部１１８は、被マスク対象魚眼画像が蓄積されている領域の先頭アドレス、画像のラインフィード、およびマスク位置情報からマスク領域を算出する。
例えば、被マスク対象魚眼画像が蓄積されている領域の先頭アドレスをＡＤＤＲ＿ＳＴＡＲＴ、画像格納領域のラインフィードをＬＦとすると、マスク処理部１１８は、図１５のマスクＮｏ．１のマスク領域５００を、以下のように算出する。
“開始アドレス”＝ＡＤＤＲ＿ＳＴＡＲＴ＋（ＬＦ＊ｙ_１Ｌ）＋ｘ_１Ｔ
“水平サイズ” ＝Ｗ_１
“ライン数” ＝Ｈ_１
なお、画像入力部１１０が魚眼画像蓄積部１１１に撮影した魚眼画像を蓄積し、マスク処理部１１８が魚眼画像蓄積部１１１に蓄積されている前記魚眼画像にマスク処理をし、歪補正処理部１１２が魚眼画像蓄積部１１１に蓄積されている前記魚眼画像の歪補正処理を行うが、魚眼画像の蓄積／マスク処理／歪補正処理の実施タイミングはずれるため、一般的に魚眼画像蓄積部１１１は複数の魚眼画像を蓄積するバッファ領域を持つ。
そして、各バッファ領域を順番に使用して魚眼画像の蓄積／マスク処理／歪補正処理が行われる。

次に、マスク処理部１１８は、マスク領域をマスクデータ値で塗潰す（Ｓ１６０３）。
つまり、マスク処理部１１８は、被マスク対象魚眼画像内のマスク領域（Ｓ１６０２で算出された領域）をマスクデータ値で上書きする。

次に、マスク処理部１１８は、Ｓ１６０２及びＳ１６０３の処理を全てのマスク領域に対して行ったか否かを判定し（Ｓ１６０４）、未処理のマスク領域があればＳ１６０２及びＳ１６０３の処理を当該マスク領域に対して行う。
全てのマスク領域にＳ１６０２及びＳ１６０３の処理を行っている場合は、マスク処理部１１８は処理を終了する。
図１５のマスク位置情報の場合は、３つのマスク領域に対してＳ１６０２及びＳ１６０３の処理を行っていれば、マスク処理部１１８は処理を終了する。

次に、本実施の形態におけるマスク処理部１１８の処理の具体例を、図７を使用して説明する。

図７は、実施の形態１に係る魚眼画像でのマスク処理の一例を示す。
図７は、図６で算出した矩形領域に基づきマスク処理を行った状態を示す。
なお、図７において、図６と同一の要素には同一記号を付加し、説明を省略する。

図７において、７００〜７０４はマスク画像を示す。
つまり、マスク処理部１１８は、マスク画像７００を矩形領域５００に、マスク画像７０１を矩形領域６０１に、マスク画像７０２を矩形領域６０２に、マスク画像７０３を矩形領域６０３に、マスク画像７０４を矩形領域６０４に、それぞれ設定している。
このように、マスク処理部１１８は、マスク画像を対応する矩形領域に設定することで、図４のマスク領域３００をマスクしている。
より具体的には、マスク処理部１１８は、魚眼画像蓄積部１１１に蓄積されている魚眼画像内の矩形領域５００、６０１、６０２、６０３、６０４の画像を、マスク画像７００、７０１、７０２、７０３、７０４に置換することで、マスク領域３００をマスクしている。

本実施の形態における魚眼画像蓄積部１１１に蓄積された図７に示したマスク処理を施された魚眼画像が、歪補正処理部１１２と平面画像蓄積部１１３と画像出力部１１４を通り、表示装置１０３から表示された画像データ（平面画像）の例を図８に示す。

図８において、マスク画像８００〜８０４は、図７のマスク画像７００〜７０４に相当する。
つまり、マスク画像８００はマスク画像７００に、マスク画像８０１はマスク画像７０１に、マスク画像８０２はマスク画像７０２に、マスク画像８０３はマスク画像７０３に、マスク画像８０４はマスク画像７０４にそれぞれ対応している。
また、Ｐ３およびＰ４は図２におけるＰ３とＰ４と同一の点を示している。

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、本実施の形態によれば、平面画像で指定されたマスク領域に対応する魚眼画像内のマスク領域をマスクする。
このため、本実施の形態によれば、マスク領域がマスクされた状態の魚眼画像を保持することで、歪補正処理後の平面画像にマスク処理をする必要が無い。
このため、魚眼画像から複数の平面画像を切り出す際にも、平面画像ごとにマスク領域を算出する必要がなく、高負荷な演算処理を必要とせずに、効率的に画像をマスクすることができる。
例えば、図１７に示すように、魚眼画像から平面画像１と平面画像２を切り出すことを想定する。
マスク領域は平面画像１と平面画像２の両方に含まれるが、マスク領域のマスク位置算出とマスク処理は、平面画像ごとに行う必要がない。
つまり、魚眼画像において一度マスク処理を行えば、マスク領域がマスクされている状態で平面画像１と平面画像２を切り出すことができる。
このため、外部のコントローラから連続した旋回が要求された場合でもフレームごとに平面画像上でマスク領域を算出する必要がなくなり、マスク領域の算出のための演算処理をリアルタイムで行う必要が無くなる。
このため、演算リソースを有効に利用することができる。

また、マスク領域を水平と垂直が保たれた複数の矩形のマスク画像を用いてマスクすることにより、簡単な矩形領域のマスクデータ書き込みの処理だけでマスク領域をマスクすることができる。
また、マスク領域が内接する拡張マスク領域に基づいてマスク画像の画像サイズと設定位置を算出するため、監視すべき領域の一部がマスクされてしまう可能性も低減することができる。

特許文献１の監視カメラシステムではマスク領域が歪んでいる場合や回転している場合はマスクが必要な領域が内接する矩形領域のマスク処理が行われる。
従って、マスク領域が広くなり、監視すべき領域の一部もマスク処理されてしまうという課題があった。
本実施の形態によれば、前述したように、マスクが必要な領域を複数に分割し、前記分割した各マスクが必要な領域が内接する矩形領域をマスク処理するため、特許文献１でマスク処理される領域より狭い領域がマスク処理され、監視すべき領域の一部がマスクされてしまう可能性も低減することができる。

＊＊＊補足＊＊＊
以上では、拡張マスク領域を複数の矩形のマスク画像でマスクする例を説明した。
これに代えて、魚眼画像内のマスク領域３００を１つの矩形のマスク画像でマスクするようにしてもよい。
この場合のマスク領域は、魚眼画像内のマスク領域３００を内包する、最小の矩形とする。

実施の形態２．
＊＊＊構成の説明＊＊＊
図９は、実施の形態２に係る監視カメラシステムの構成例を示す。
図１と同一の要素には同一番号を付加し、説明を省略する。

図９では、図１の構成と比較して、データ加工部９１０と、解析部９１１が追加されている。
また、図１のマスク処理部１１８が、マスク処理部９１８に置き換わっている。

図１のマスク処理部１１８は、魚眼画像の輝度データと色差データの両方に対しマスク処理を行っていた。
これに対し、図９のマスク処理部９１８は、魚眼画像の輝度データと色差データのうち、色差データ内のマスク領域のみをマスクする。

図９において、魚眼画像蓄積部１１１には色差データがマスク処理され、輝度データがマスク処理されていない魚眼画像が蓄積されている。
歪補正処理部１１２の歪補正処理により平面画像蓄積部１１３には色差データがマスク処理され、輝度データがマスク処理されていない平面画像が蓄積される。

データ加工部９１０は、平面画像の色差データ内のマスク領域に基づいて、平面画像の輝度データを加工して、平面画像の色差データ内のマスク領域に対応する領域がマスクされている表示用の平面画像の輝度データを生成する。
また、データ加工部９１０は、表示用の平面画像の色差データも生成する。

図９において、マスク処理部９１８は魚眼画像蓄積部１１１に蓄積されている魚眼画像に対してマスク処理をする場合、データ加工部９１０でマスク指示を判別可能なユニークなマスクデータ値を色差データに書き込む。
例えば、画素値を８ｂｉｔのデータとして表現する場合、画素値は最大０〜２５５のレンジが使用可能であるが、例えば画素値を１６〜２４０のリミテッドレンジで使用するように制限し、０の値をマスクデータ値として定義することで、マスク指示を判別可能なユニークなマスクデータ値にすることができる。
また、データ加工部９１０は色差データからユニークなマスクデータ値を検出した場合は、マスク指示を判別し、予め指定されているマスク色になるように、輝度データのマスク領域の画素値と色差データのマスク領域の画素値の両方を置換する。

図９において、解析部９１１は平面画像蓄積部１１３に蓄積されている平面画像のうち輝度データに対する解析を行う。
解析部９１１は、輝度データのみを用いて、例えば、顔検出等の検出処理を実施する。
また、解析部９１１は、検出処理の結果である検出情報をカメラ制御装置１０４に渡す。
なお、本実施の形態では顔検出を例に挙げたが、解析部９１１が行う解析は、特定の対象の検出に限定するものではない。

＊＊＊動作の説明＊＊＊
図１８を参照して、データ加工部９１０の処理例を説明する。

データ加工部９１０は、平面画像の垂直座標を初期化（Ｙ＝０）する（Ｓ１８０１）。
次に、データ加工部９１０は、平面画像の水平座標を初期化（Ｘ＝０）する（Ｓ１８０２）。

次に、データ加工部９１０は、平面画像上の座標（Ｘ、Ｙ）の輝度画素値と色差画素値を取得する（Ｓ１８０３）。
そして、取得した色差画素値がマスクデータ値（例えば、値０）であるかどうかを判定する（Ｓ１８０４）。

色差画素値がマスクデータ値であれば（Ｓ１８０４でＹＥＳ）、データ加工部９１０は、マスク指示を判別し、平面画像の輝度画素値と色差画素値を、予め指定されているマスク色値に置換する（Ｓ１８０５）。
そして、Ｓ１８０５で置換された輝度画素値と色差画素値を画像出力部１１４に出力する（Ｓ１８０６）。

一方、色差画素値がマスクデータ値でなければ（Ｓ１８０４でＮＯ）、輝度画素値と色差画素値をそのまま画像出力部１１４に出力する（Ｓ１８０６）。

次に、データ加工部９１０は、水平座標を更新する（Ｘ＝Ｘ＋１）（Ｓ１８０７）。
また、データ加工部９１０は、全ての水平座標について、Ｓ１８０３〜Ｓ１８０６の処理を行ったかを判定する（Ｓ１８０８）。
未処理の水平座標がある場合（Ｓ１８０８でＮＯ）は、データ加工部９１０は、Ｓ１８０７で更新した水平座標に対してＳ１８０３以降の処理を繰り返す。
一方、全ての水平座標に対してＳ１８０３〜Ｓ１８０６の処理を行っている場合（Ｓ１８０８でＹＥＳ）は、データ加工部９１０は、垂直座標を更新する（Ｙ＝Ｙ＋１）（Ｓ１８０９）。
また、データ加工部９１０は、全ての垂直座標について、Ｓ１８０３〜Ｓ１８０６の処理を行ったかを判定する（Ｓ１８１０）。
未処理の垂直座標がある場合（Ｓ１８１０でＮＯ）は、データ加工部９１０は、Ｓ１８０９で更新した垂直座標に対してＳ１８０２以降の処理を繰り返す。
一方、全ての垂直座標に対してＳ１８０３〜Ｓ１８０６の処理を行っている場合（Ｓ１８１０でＹＥＳ）は、データ加工部９１０は、全ての平面画像に対して図１８に示す処理を行ったか否かを判定する（Ｓ１８１１）。
未処理の平面画像がある場合（Ｓ１８１１でＮＯ）は、データ加工部９１０は、未処理の平面画像に対して、Ｓ１８０１以降の処理を繰り返す。
一方、全ての平面画像が処理済みである場合（Ｓ１８１１でＹＥＳ）は、データ加工部９１０は処理を終了する。

図１０は、実施の形態２に係るマスク処理の一例を示す。

図１０では、蓄積魚眼画像１０００は、魚眼画像蓄積部１１１に蓄積されている魚眼画像である。
蓄積魚眼画像１０００には、輝度データ１００１と色差データ１００２とが含まれる。
蓄積魚眼画像１０００の色差データ１００２では、マスク画像１００３によりマスク領域がマスクされている。
蓄積平面画像１０１０は、平面画像蓄積部１１３に蓄積されている平面画像である。
蓄積平面画像１０１０には、輝度データ１０１１と色差データ１０１２とが含まれる。
蓄積平面画像１０１０の色差データ１０１２では、マスク画像１０１３によりマスク領域がマスクされている。
表示画像１０２０は、表示用の平面画像である。
表示画像１０２０には、輝度データ１０２１と色差データ１０２２とが含まれる。
表示画像１０２０の輝度データ１０２１はマスク画像１０２４によりマスク領域がマスクされ、表示画像１０２０の色差データ１０２２はマスク画像１０２３によりマスク領域がマスクされている。

図１０において、蓄積魚眼画像１０００の色差データ１００２のマスク画像１００３はマスク処理部９１８が設定したものである。
本実施の形態では、図１０に示すように、蓄積魚眼画像１０００の色差データ１００２にのみマスク処理がされ、蓄積魚眼画像１０００の輝度データ１００１にはマスク処理がされない。

図１０において、蓄積平面画像の輝度データ１０１１は魚眼画像蓄積部１１１に蓄積されている蓄積魚眼画像の輝度データ１００１を歪補正処理部１１２が歪補正処理を行い平面画像蓄積部１１３に蓄積したものである。
また、蓄積平面画像の色差データ１０１２は、魚眼画像蓄積部１１１に蓄積されている蓄積魚眼画像の色差データ１００２を歪補正処理部１１２が歪補正処理を行い平面画像蓄積部１１３に蓄積したものである。
蓄積平面画像の色差データ１０１２のマスク画像１０１３は蓄積魚眼画像の色差データ１００２のマスク画像１００３に対応している。

図１０において、表示画像の輝度データ１０２１は、平面画像蓄積部１１３に蓄積されている蓄積平面画像の輝度データ１０１１がデータ加工部９１０で加工された後の輝度データであり、画像出力部１１４により表示装置１０３から表示される。
表示画像の輝度データ１０２１では、データ加工部９１０によりマスク領域の画素値がマスクデータ値に置換されている。
つまり、表示画像の輝度データ１０２１には、マスク処理部９１８により指定されたマスク色のマスク画像１０２４が含まれる。
表示画像の色差データ１０２２は平面画像蓄積部１１３に蓄積されている蓄積平面画像の色差データ１０１２がデータ加工部９１０で加工された後の色差データであり、画像出力部１１４により表示装置１０３から表示される。
表示画像の色差データ１０２２では、データ加工部９１０によりマスク領域の画素値がマスクデータ値に置換されている。
つまり、表示画像の色差データ１０２２には、マスク処理部９１８により指定されたマスク色のマスク画像１０２３が含まれる。

なお、表示装置１０３では、表示画像の輝度データ１０２１と表示画像の色差データ１０２２が合成された表示画像が表示される。

以上のような構成にすることにより、平面画像蓄積部１１３にはマスク処理が施されていない蓄積平面画像の輝度データ１０１１が蓄積されているため、解析部９１１はマスク処理が施されていない輝度データを使用して検出処理等の解析を行うことができる。
このため、表示画像ではマスク処理で隠されてしまう領域に検出対象がある場合でも検出を行うことができる。

一方、データ加工部９１０は平面画像蓄積部１１３に格納されているマスク処理が施されている蓄積平面画像の色差データのマスク位置情報に従い蓄積平面画像の輝度データ１０１１に対してマスク処理を施すため、表示位置に応じた歪補正後の画像に対するマスク位置の算出を行う必要が無くなる。

以上、本発明の実施の形態について説明したが、これら２つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら２つの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これら２つの実施の形態を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

＊＊＊ハードウェア構成の説明＊＊＊
最後に、カメラ信号処理装置１０２のハードウェア構成例を図１９を参照して説明する。
カメラ信号処理装置１０２はコンピュータである。
カメラ信号処理装置１０２は、プロセッサ１９０１、補助記憶装置１９０２、メモリ１９０３、通信装置１９０４、入力インタフェース１９０５、ディスプレイインタフェース１９０６といったハードウェアを備える。
プロセッサ１９０１は、信号線１９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入力インタフェース１９０５は、入力装置１９０７に接続されている。
ディスプレイインタフェース１９０６は、ディスプレイ１９０８に接続されている。

プロセッサ１９０１は、プロセッシングを行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。
プロセッサ１９０１は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。
補助記憶装置１９０２は、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）である。
メモリ１９０３は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。
図１及び図９に示す魚眼画像蓄積部１１１は、補助記憶装置１９０１又はメモリ１９０３により実現される。
通信装置１９０４は、データを受信するレシーバー１９０４１及びデータを送信するトランスミッター１９０４２を含む。
通信装置１９０４は、例えば、通信チップ又はＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）である。
入力インタフェース１９０５は、入力装置１９０７のケーブル１９１１が接続されるポートである。
入力インタフェース１９０５は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）端子である。
ディスプレイインタフェース１９０６は、ディスプレイ１９０８のケーブル１９１２が接続されるポートである。
ディスプレイインタフェース１９０６は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）端子である。
入力装置１９０７は、例えば、マウス、キーボード又はタッチパネルである。
ディスプレイ１９０８は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）である。

補助記憶装置１９０２には、図１及び図９に示す画像入力部１１０、歪補正処理部１１２、画像出力部１１４、マスク領域指定部１１５、サイズ位置算出部１１６、マスク処理部１１８、データ加工部９１０、解析部９１１、マスク処理部９１８（以下、これらをまとめて「部」と表記する）の機能を実現するプログラムが記憶されている。
このプログラムは、メモリ１９０３にロードされ、プロセッサ１９０１に読み込まれ、プロセッサ１９０１によって実行される。
更に、補助記憶装置１９０２には、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がメモリ１９０３にロードされ、プロセッサ１９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
図１９では、１つのプロセッサ１９０１が図示されているが、カメラ信号処理装置１０２が複数のプロセッサ１９０１を備えていてもよい。
そして、複数のプロセッサ１９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ１９０３、補助記憶装置１９０２、又は、プロセッサ１９０１内のレジスタ又はキャッシュメモリに記憶される。

「部」を「サーキットリー」で提供してもよい。
また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、プロセッサ１９０１だけでなく、ロジックＩＣ又はＧＡ（ＧａｔｅＡｒｒａｙ）又はＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）といった他の種類の処理回路をも包含する概念である。

１００魚眼レンズ、１０１撮影素子、１０２カメラ信号処理装置、１０３表示装置、１０４カメラ制御装置、１１０画像入力部、１１１魚眼画像蓄積部、１１２歪補正処理部、１１３平面画像蓄積部、１１４画像出力部、１１５マスク領域指定部、１１６サイズ位置算出部、１１７マスク位置情報蓄積部、１１８マスク処理部、９１０データ加工部、９１１解析部、９１８マスク処理部。

Claims

魚眼レンズを用いて撮影された魚眼画像上の座標を変換して得られた平面画像で平面画像内のマスク領域として指定された一部の領域の座標を前記魚眼画像上の座標に変換し、前記平面画像内の前記一部の領域に対応する前記魚眼画像内の一部の領域を前記魚眼画像内のマスク領域として指定するマスク領域指定部と、
前記マスク領域指定部により指定された前記魚眼画像内のマスク領域をマスクするマスク処理部とを有する画像処理装置。
前記マスク領域指定部は、
前記平面画像内のマスク領域として指定された前記平面画像内の矩形領域の座標を前記魚眼画像上の座標に変換し、前記平面画像内の前記矩形領域に対応する前記魚眼画像内の一部の領域を前記魚眼画像内のマスク領域として指定する請求項１に記載の画像処理装置。
前記マスク処理部は、
複数の矩形のマスク画像を前記魚眼画像内のマスク領域に設定して前記魚眼画像内のマスク領域をマスクする請求項２に記載の画像処理装置。
前記画像処理装置は、更に、
各マスク画像の画像サイズと、各マスク画像の前記魚眼画像内のマスク領域への設定位置とを算出するサイズ位置算出部を有し、
前記マスク処理部は、
前記サイズ位置算出部により算出された画像サイズ及び設定位置に従って、複数の矩形のマスク画像を前記魚眼画像内のマスク領域に設定して前記魚眼画像内のマスク領域をマスクする請求項３に記載の画像処理装置。
前記マスク処理部は、
前記魚眼画像内のマスク領域が内接する四角形を拡張マスク領域として指定し、
前記サイズ位置算出部は、
前記拡張マスク領域の四つの頂点が複数のマスク画像のうちのいずれかのマスク画像の外縁と重なるように、各マスク画像の画像サイズと設定位置とを算出する請求項４に記載の画像処理装置。
前記マスク処理部は、
前記魚眼画像の色差データと輝度データのうち、前記魚眼画像の色差データ内のマスク領域のみをマスクする請求項１に記載の画像処理装置。
前記画像処理装置は、更に、
前記魚眼画像の色差データが変換されて得られた平面画像の色差データ内のマスク領域に基づいて、前記魚眼画像の輝度データが変換されて得られた平面画像の輝度データを加工して、前記平面画像の色差データ内のマスク領域に対応する領域がマスクされている表示用の平面画像の輝度データを生成するデータ加工部を有する請求項６に記載の画像処理装置。
前記マスク処理部は、
前記データ加工部がマスク指示を判別できるマスクデータ値を、前記魚眼画像の色差データに設定し、
前記データ加工部は、
前記平面画像の色差データに設定されているマスクデータ値からマスク指示を判別し、
前記平面画像の色差データと輝度データとを加工して、指定されているマスク色でマスク領域が描画されている、表示用の平面画像の色差データと輝度データとを生成する請求項７に記載の画像処理装置。
前記画像処理装置は、更に、
前記平面画像の色差データ内のマスク領域に対応する領域がマスクされていない平面画像の輝度データを解析する解析部を有する請求項７に記載の画像処理装置。
前記画像処理装置は、更に、
前記マスク処理部により前記魚眼画像内のマスク領域がマスクされた後の前記魚眼画像を記憶する魚眼画像蓄積部を有する請求項１に記載の画像処理装置。
コンピュータが、魚眼レンズを用いて撮影された魚眼画像上の座標を変換して得られた平面画像で平面画像内のマスク領域として指定された一部の領域の座標を前記魚眼画像上の座標に変換し、前記平面画像内の前記一部の領域に対応する前記魚眼画像内の一部の領域を前記魚眼画像内のマスク領域として指定し、
前記コンピュータが、指定した前記魚眼画像内のマスク領域をマスクする画像処理方法。
魚眼レンズを用いて撮影された魚眼画像上の座標を変換して得られた平面画像で平面画像内のマスク領域として指定された一部の領域の座標を前記魚眼画像上の座標に変換し、前記平面画像内の前記一部の領域に対応する前記魚眼画像内の一部の領域を前記魚眼画像内のマスク領域として指定するマスク領域指定処理と、
前記マスク領域指定処理により指定された前記魚眼画像内のマスク領域をマスクするマスク処理とをコンピュータに実行させる画像処理プログラム。