JPWO2013114848A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置（１０１）は、見栄えのよい形状のマスク領域を含む歪補正画像を提供する。画像処理装置（１０１）は、有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部（１１２）と、マスク領域保持部（１１２）のマスク領域を用いて有歪み画像にマスク処理を行うマスク実行部（１１３）と、有歪み画像の歪みを補正する補正パラメータを用いて、マスク処理された有歪み画像を補正する歪補正部（１１５）と、補正後の画像のマスク領域を所定の形状に整形するマスク領域整形部（２１２）とを備えている。

Description

関連する出願

本出願では、２０１２年１月３１日に日本国に出願された特許出願番号２０１２−０１７５７６、２０１２年２月１０日に日本国に出願された特許出願番号２０１２−０２７１６０、２０１２年３月２日に日本国に出願された特許出願番号２０１２−０４７１６６、及び２０１２年３月２９日に日本国に出願された特許出願番号２０１２−０７５７４１の利益を主張し、これらの出願の内容は引用することによりここに組み込まれているものとする。

本発明は、歪みを有する画像（有歪み画像）に対して歪補正をするとともに、その一部領域にマスク処理を施す画像処理装置及び画像処理方法に関する。

従来より、監視カメラは、街頭など公共の場所に設置されることがある。監視カメラによる撮影によって得られる画像には監視の用途には不要な領域が含まれることがある。また、プライバシー保護の観点から、そのような一部領域の画像又は映像を取得して保存しておくことが望ましくないこともある。そこで、監視カメラで監視対象範囲を撮影するとともに、監視カメラによって得られた画像に対して、プライバシー保護のために一部領域にマスク処理を施す撮影システムが知られている（例えば、特許文献１及び特許文献２）。

一方、監視カメラには、魚眼レンズを用いることで、全周囲画像の撮影が可能な全周囲カメラが用いられることがある。このような全周囲カメラにおいて、水平方向の画角は約３６０度となり、円形又はドーナツ形の全周囲画像が得られる。この全周囲画像には、場所に応じて不均一に歪みが生じている。この円形又はドーナツ形の全周囲画像を矩形のビューワ画面にて見やすくするために、全周囲画像に対して歪補正が行なわれる。具体的には、例えば、全周囲画像の一部領域を切り出した上で歪補正を行ったり、全周囲画像に対して歪補正を行なってパノラマ画像に展開したりする処理が行われる。

図４１Ａは、全周囲画像の例を示し、図４１Ｂは、この全周囲画像のパノラマ画像を表示する例を示し、図４１Ｃは、全周囲画像とともに複数の切り出し範囲の切り出し歪補正画像を並べて表示する例を示している。図４１Ａ〜図４１Ｃに示すように、全周囲画像を取得した場合には、その全周囲画像について複数とおりの歪補正を行うことができる。

このように、従来の監視カメラでは、全周囲画像中の切出し範囲、即ち切出し画角及び切出し位置を任意に指定して切出し歪補正画像を得ることができる。また、動画像を撮影するとともに、切出し範囲をリアルタイムに変更することもできる。例えば、画像中の動体を検出してその動体を追尾するように切出し範囲を変化させつつその切出し範囲の切出し歪補正画像を生成することもできる。

特許第３９９６８０５号公報 米国特許第７３６６３５９号公報

しかしながら、全周囲画像上で一部領域にマスク処理を施すと、歪補正が行なわれることによって、マスクされていない領域については歪が解消する一方で、マスク領域は歪補正画像において歪な形になってしまい、見栄えがよくない。

特許文献１の監視カメラシステムでは、マスク領域を矩形にして表示する。図１８は、特許文献１における処理を説明する図である。図中、Ｐ１〜Ｐ４は、マスク領域の頂点であり、ＭＬＵ、ＭＲＵ、ＭＬＤ、ＭＲＤは、Ｐ１〜Ｐ４で囲まれる図形に外接する水平×垂直の矩形の頂点である。特許文献１の監視カメラシステムでは、信号発生部の構成上、水平×垂直の矩形でしかマスクができない場合において、Ｐ１〜Ｐ４で囲まれるマスク領域が歪んでいるときは、そのマスク領域に外接するＭＬＵ、ＭＲＵ、ＭＬＤ、ＭＲＤで囲まれる領域をマスクしている。

特許文献１の監視カメラシステムは、信号発生部の要請によってマスク領域Ｐ１〜Ｐ４に外接する水平×垂直の矩形をマスクしているのみであって、見栄えをよくするという観点からマスク領域の形状を変形しているものではない。即ち、常にマスク領域Ｐ１〜Ｐ４に外接する水平×垂直の矩形をマスクすることが見やすい補正とは限らない。

また、ユーザは、有歪み画像上でマスク領域を指定した場合に、そのマスク領域が歪補正画像においてどのような形状になるかを想像することは困難である。特に、歪補正の際の補正パラメータは、切出し範囲によって異なるので、有歪み画像上で同一位置かつ同一の形状のマスク領域が指定されたとしても、異なる切出し範囲が複数ある場合には、そのようなマスク領域が各切出し範囲の歪補正によってどのように変形するかを予想することは極めて困難である。

特許文献２に記載された技術では、歪補正後の画像において処理範囲を指定して、その指定された処理範囲を歪補正前の有歪み画像に座標投影している。しかしながら、特許文献２に記載のような有歪み画像に対して任意の範囲を指定する方法で範囲指定を行うと、歪補正の有無や表示方法の違い、また画像の切出し位置によって範囲の形状が変化することになる。この状態ではユーザからは範囲指定の方法が難しく、指定された範囲の位置も判り難い表示になる。また、特許文献２に記載の技術では、歪補正前後で多量の座標を投影する必要があり、情報の処理量が増大するという問題がある。

本発明の一の目的は、見栄えのよい形状のマスク領域を含む歪補正画像を提供できる画像処理装置及び画像処理方法を提供することである。

本発明の他の目的は、歪補正後のマスク領域を確認しながら、有歪み画像上にてマスク領域を指定するのに便利な画像処理装置及び画像処理方法を提供することである。

本発明のさらに他の目的は、有歪み画像に歪補正がされた場合に所定の種類の形状となる処理範囲を、有歪み画像上で指定して、有歪み画像上で確認できる画像処理装置及び画像処理方法を提供することである。

本発明のさらに他の目的は、ユーザの範囲指定の容易さを向上し、歪補正前後における範囲共有の情報処理量を低減できる画像処理装置及び画像処理方法を提供することである。

画像処理装置は、有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、前記マスク領域保持部のマスク領域を用いて前記有歪み画像にマスク処理を行うマスク処理部と、前記有歪み画像の歪みを補正する補正パラメータを用いて、前記マスク処理された有歪み画像を補正する歪補正部と、前記補正後の画像のマスク領域を所定の形状に整形するマスク領域整形部とを備えている。

以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図１は、本発明の第１の実施の形態におけるカメラの外観図である。 図２は、本発明の第１の実施の形態におけるカメラの部切り欠き斜視図である。 図３は、本発明の第１の実施の形態における光学ユニットの分解斜視図である。 図４は、本発明の第１の実施の形態における撮影システムの構成を示すブロック図である。 図５は、本発明の第１の実施の形態におけるマスク領域の整形を説明するための図である。 図６は、本発明の第１の実施の形態における撮影システムにおける処理の流れを説明する図である。 図７は、本発明の第１の実施の形態における変形例のカメラ及びビューワでの処理及びそれらの間のデータのやり取りを示す図である。 図８は、本発明の第１の実施の形態における別の変形例のカメラ及びビューワでの処理及びそれらの間のデータのやり取りを示す図である。 図９は、本発明の第２の実施の形態における撮影システムの構成を示すブロック図である。 図１０は、本発明の第２の実施の形態における撮影システムにおける処理の流れを説明する図である。 図１１は、本発明の第３の実施の形態における撮影システムの構成を示すブロック図である。 図１２は、本発明の第３の実施の形態における撮影システムにおける処理の流れを説明する図である。 図１３Ａは、本発明の実施の形態におけるマスク領域の整形の第１の変形例の切出し方向（半径方向）を説明する図である。 図１３Ｂは、本発明の実施の形態におけるマスク領域の整形の第１の変形例の切出し方向（非半径方向）を説明する図である。 図１４は、本発明の実施の形態におけるマスク領域の整形の第１の変形例のマスク領域の整形を説明する図である。 図１５は、本発明の実施の形態におけるマスク領域の整形の第２の変形例を説明するための図である。 図１６は、本発明の実施の形態におけるマスク領域の整形の第２の変形例を説明するための図である。 図１７は、本発明の実施の形態におけるマスク領域の整形の第２の変形例を説明するための図である。 図１８は、従来のマスク領域に対する処理を説明する図である。 図１９は、本発明の第４の実施の形態のプレビュー画像の例を示す図である。 図２０は、本発明の第４の実施の形態の撮影システムのブロック図である。 図２１は、本発明の第４の実施の形態の全周囲画像の例を示す図である。 図２２は、本発明の第４の実施の形態のマスク領域指定の例を示す図である。 図２３は、本発明の第４の実施の形態のマスク領域指定の例を示す図である。 図２４は、本発明の第４の実施の形態の切出し歪補正画像の例を示す図である。 図２５は、本発明の第４の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。 図２６は、本発明の第４の実施の形態の撮影システムの動作フロー図である。 図２７は、本発明の第５の実施の形態の撮影システムのブロック図である。 図２８は、本発明の第５の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。 図２９は、本発明の第５の実施の形態の撮影システムの動作フロー図である。 図３０は、本発明の第６の実施の形態の撮影システムのブロック図である。 図３１は、本発明の第６の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。 図３２は、本発明の第６の実施の形態の撮影システムの動作フロー図である。 図３３Ａは、本発明の変形例における全周囲画像上でマスク領域が指定された例を示す図である。 図３３Ｂは、本発明の変形例における全周囲画像上で切出し範囲が指定された例を示す図である。 図３３Ｃは、本発明の変形例における全周囲画像上でプレビュー画像の表示が指示された例を示す図である。 図３３Ｄは、本発明の変形例におけるプレビュー画像の表示例を示す図である。 図３４は、本発明の第７の実施の形態の撮影システムの動作を示すフロー図である。 図３５は、本発明の第７の実施の形態の撮影システムを示すブロック図である。 図３６Ａは、本発明の第７の実施の形態の範囲記憶部に記憶される処理範囲（座標の集合として記憶する場合）を示す図である。 図３６Ｂは、本発明の第７の実施の形態の範囲記憶部に記憶される処理範囲（関数の集合として記憶する場合）を示す図である。 図３７Ａは、本発明の第７の実施の形態のユーザによる処理範囲の始点の指定を説明する図である。 図３７Ｂは、本発明の第７の実施の形態のユーザによる処理範囲の終点の指定を説明する図である。 図３８Ａは、本発明の第７の実施の形態の全周囲画像上で指定された処理範囲の始点及び終点を示す図である。 図３８Ｂは、本発明の第７の実施の形態の処理範囲の指定に応じて決定される表示範囲を示す図である。 図３９は、本発明の第７の実施の形態のプレビュー画像に重畳表示された処理範囲を示す図である。 図４０Ａは、本発明の第７の実施の形態の通常モードにおける切出し歪補正画像の表示例を示す図である。 図４０Ｂは、本発明の第７の実施の形態の通常モードにおけるパノラマ画像の表示例を示す図である。 図４１Ａは、従来の全周囲画像の例を示す図である。 図４１Ｂは、従来の全周囲画像とともに複数の切り出し範囲の切り出し画像を並べて表示する例を示す図である。 図４１Ｃは、従来の全周囲画像のパノラマ画像を表示する例を示す図である。 図４２は、本発明の第８の実施の形態の撮影システムの構成を示すブロック図である。 図４３は、本発明の第８の実施の形態の撮影システムの処理を示すフロー図である。 図４４は、本発明の第８の実施の形態の範囲生成部の処理を示すフロー図である。 図４５は、本発明の第８の実施の形態における位置情報を生成する処理を示すフロー図である。 図４６は、本発明の第８の実施の形態の画像処理の例を示す図である。 図４７Ａは、本発明の第８の実施の形態の範囲情報の例を示す図である。 図４７Ｂは、本発明の第８の実施の形態の範囲情報の例を示す図である。 図４８は、本発明の第８の実施の形態の形状の方向を指定する例を示す図である。 図４９Ａは、従来の全周囲画像の例を示す図である。 図４９Ｂは、従来の全周囲画像のパノラマ画像を表示する例を示す図である。 図４９Ｃは、従来の全周囲画像とともに複数の切出し範囲の切出し画像を並べて表示する例を示す図である。

以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、特許請求の範囲を限定するものではない。

本発明の実施の形態の画像処理装置は、有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、マスク領域保持部のマスク領域を用いて有歪み画像にマスク処理を行うマスク処理部と、有歪み画像の歪みを補正する補正パラメータを用いて、マスク処理された有歪み画像を補正する歪補正部と、補正後の画像のマスク領域を所定の形状に整形するマスク領域整形部とを備えた構成を有する。

この構成によれば、有歪み画像の歪みが補正された歪補正画像において、マスクされる領域の見栄えがよくなる。

上記の画像処理装置は、歪補正部で補正された画像のマスク領域を検出するマスク領域検出部を備えていてよく、マスク領域整形部はマスク領域検出部で検出されたマスク領域を所定の形状に整形してよい。

この構成によれば、マスク領域検出部にて歪補正画像からマスク領域が検出されるので、この検出されたマスク領域を整形できる。

上記の画像処理装置において、マスク領域整形部は、画像に対して垂直及び平行な線によって囲まれる矩形となるように、マスク領域を整形してよい。

この構成によれば、好適にマスク領域を見栄えのよい形状に整形できる。

上記の画像処理装置において、マスク領域整形部は、歪補正部による歪補正によって曲線となる線が直線になるように、マスク領域を整形してよい。

この構成によれば、マスク領域を自然で見栄えのよい形状に整形できる。

上記の画像処理装置において、有歪み画像は、全周囲画像から切り出した画像であってよく、マスク領域整形部は、有歪み画像の全周囲画像からの切出し方向に応じてマスク領域を整形してよい。

この構成によれば、全周囲画像から切り出した画像において、被写体の正立方向とマスク領域の正立方向がそろうように、マスク領域を整形できる。

上記の画像処理装置において、歪補正部は、複数の画素からなるスクエアごとに変換元の座標を線形補間して対応する座標の画素を埋めることで、補正を行なってよく、マスク領域整形部は、補正が行なわれたマスク領域を含むスクエアを、整形後のマスク領域としてよい。

この構成によれば、マスク領域を斜めの辺や湾曲した辺を含む領域ではなく、スクエアの境界に沿った形状とすることができるので、好適にマスク領域の見栄えをよくすることができる。

上記の画像処理装置において、マスク領域整形部は、補正が行なわれたマスク領域を含むスクエアを含み全体として矩形に構成される複数のスクエアを、整形後のマスク領域としてよい。

この構成によれば、歪補正の際に用いるスクエアを利用してマスク領域を整形できるので、好適にマスク領域の見栄えをよくすることができる。

上記の画像処理装置は、有歪み画像を入力する撮像部を備えていてよい。

この構成によれば、撮影部から入力された有歪み画像について、歪補正画像におけるマスク領域の見栄えがよくなる。

上記の画像処理装置において、撮像部は魚眼レンズを含んでいてよい。

この構成によれば、撮影部にて広角の有歪み画像が得られ、そのような有歪み画像について、歪補正画像におけるマスク領域の見栄えがよくなる。

上記の画像処理装置は、マスク領域保持部にて保持するマスク領域を、有歪み画像上でユーザが指定するための指定部と、指定部より指定されたマスク領域を、補正パラメータにより補正するマスク領域補正部とを備えていてよく、ユーザがマスク領域を指定する際に、補正されたマスク領域を同時に表示してよい。

この構成によれば、マスク領域を指定する際に、指定されたマスク領域が有歪み画像においてどのように適用されるかを確認することができる。

上記の画像処理装置は、マスク領域保持部にて保持するマスク領域を、有歪み画像上でユーザが指定するための指定部と、指定部より指定されたマスク領域を、補正パラメータにより補正するマスク領域補正部とを備えていてよく、ユーザがマスク領域を指定する際に、補正されたマスク領域を有歪み画像上に重畳表示してよい。

この構成によれば、指定されたマスク領域を有歪み画像上で確認できる。

本発明の他の実施の形態の画像処理装置は、有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、有歪み画像の歪みを補正する補正パラメータを用いて、マスク領域保持部のマスク領域を補正するマスク領域補正部と、マスク領域補正部で補正されたマスク領域を所定の形状に整形するマスク領域整形部と、マスク領域整形部で整形されたマスク領域に補正パラメータを用いた逆変換を行う逆変換補正部と、逆変換補正部で逆変換されたマスク領域を用いて有歪み画像にマスク処理を行うマスク処理部と、補正パラメータを用いて、マスク処理された有歪み画像を補正する歪補正部とを備えた構成を有している。

この構成によれば、補正が行なわれるマスク領域を、そのマスク領域でのマスク処理が施された有歪み画像に対する歪補正の後に見やすい形状となるように整形できる。

本発明のさらに他の実施の形態の画像処理装置は、有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、有歪み画像の歪みを補正する補正パラメータを用いて、有歪み画像を補正する歪補正部と、補正パラメータを用いて、マスク領域保持部のマスク領域を補正するマスク領域補正部と、マスク領域補正部で補正されたマスク領域を所定の形状に整形するマスク領域整形部と、歪補正部で補正された画像に対して、マスク領域整形部で整形されたマスク領域のマスク処理をするマスク処理部とを備えた構成を有している。

この構成によれば、有歪み画像とマスク領域とがそれぞれ補正されて、マスク領域についてはさらに見栄えがよくなるように整形された上で、歪補正画像に適用される。

本発明の実施の形態の画像処理方法は、有歪み画像を取得するステップと、有歪み画像に対して設定されたマスク領域を保持するステップと、マスク領域を用いて有歪み画像にマスク処理を行うステップと、有歪み画像の歪みを補正する補正パラメータを用いて、マスク処理された有歪み画像を補正するステップと、補正後の画像のマスク領域を所定の形状に整形するステップとを有する。

この構成によっても、有歪み画像の歪みが補正された歪補正画像において、マスクされる領域の見栄えがよくなる。

以下、本発明の実施の形態の撮影システムについて、図面を用いて説明する。なお、以下に説明する撮影システムは、撮影された画像を処理するものであり、その全部又は一部の構成を画像処理装置として捉えることができる。

１．第１〜第３の実施の形態
１−１．第１の実施の形態
まず、本実施の形態のカメラの構造について説明する。図１は、本実施の形態におけるカメラの外観図である。図２は、本実施の形態におけるカメラの部切り欠き斜視図である。図１に示すように、カメラ１００は、筐体１１、ドームカバー１２、基台１３を備えている。カメラ１００は、例えば、施設の監視用途に用いられ、施設の壁や天井に設置される。カメラ１００は、合成樹脂等によって円環状に形成された筐体１１によって外周を覆われ、中央には透明なプラスチック製のドームカバー１２が配置される。基台１３の外面側が取り付け金具１８等によって壁や天井等に取り付けられる。その場合、ドームカバー１２が下向きとなる。

図２に示すように、基台１３の光学ユニット１４の周囲には部品収容スペースが形成され、画像処理や電源供給のための主基板１５が設けられている。主基板１５にはＣＰＵや記憶部を備えた制御部（図示せず）が実装されている。光学ユニット１４はレンズホルダ１９に支持された魚眼レンズ１６や開閉カバー１７を備える。

図３は、本実施の形態における光学ユニットの分解斜視図である。図３において、レンズホルダ１９にはパッキン材２０を介して魚眼レンズ１６が装着される。主基板１５に接続されるセンサ基板２１にはＭＯＳホルダ２４が固定ネジ２３によって固定される。ＭＯＳホルダ２４が固定されたセンサ基板２１はＭＯＳブランケット２５と固定ネジ２６によりレンズホルダ１９の下面側に固定される。

レンズホルダ１９の外周には貫通孔２２が四箇所設けられている。基台１３には四つの嵌合ボス２９が設けられており、支持柱２８をそれぞれ固定する。それぞれの支持柱２８はレンズホルダ１９の貫通孔２２を貫通し、固定ネジ２１で固定される。基台１３とレンズホルダ１９の貫通孔２２との間にはコイルバネ２７が外挿され、コイルバネ２７はレンズホルダ１９を基台１３から浮上させる方向に付勢する。

図４は、本実施の形態の撮影システムの構成を示すブロック図である。図４に示すように、第１の実施の形態の撮影システム１０１は、カメラ１１０とビューワ２１０を含んで構成される。カメラ１１０は、監視対象箇所に設置される監視カメラである。ビューワ２１０は、カメラ１１０と有線又は無線で通信可能に接続される。ビューワ２１０は、例えば監視室に備えられたコンピュータとモニタ、又は監視要員が持ち歩く携帯端末である。

カメラ１１０は、全周囲撮像部１１１、マスクデータ保持部１１２、マスク実行部１１３、切出しパラメータ設定部１１４、及び切出し歪補正部１１５を備えている。全周囲撮像部１１１は、魚眼レンズ、魚眼レンズを介して入射した被写体（監視対象）からの光が結像される撮像素子、撮像素子にて得られた画像信号に対して処理を行い、画像データを生成する処理部等を含む公知の全周囲カメラである。全周囲撮像部１１１は、撮影により生成した全周囲画像をマスク実行部１１３に出力する。

ここで、全周囲画像は、魚眼レンズによって水平画角約３６０度で撮影された画像であり、円形又はドーナツ形の画像である。この全周囲画像には歪みが生じており、その度合いは、画像中の外周に近いほど大きくなる。このような全周囲画像をそのままビューワ２１０で表示することも可能であるが、後述するように、ビューワ２１０では、歪みが除去された画像を表示することも可能である。

マスクデータ保持部１１２には、全周囲画像上のマスク領域を表すデータ（以下、「マスクデータ」あるいは「マスク領域」ともいう。）が保持されている。即ち、マスクデータ保持部１１２に保持されるマスクデータは、マスク領域の形状と、その向きと、その全周囲画像上の位置を示すデータである。ユーザは、全周囲画像中の任意の領域をマスク領域として設定できる。即ち、ユーザは、全周囲画像中の任意の位置に、任意の形状（例えば、矩形、楕円、円等）のマスク領域を設定して、マスクデータ保持部１２に保存できる。なお、全周囲画像中の複数箇所にマスク領域が設定されてよい。

マスク実行部１１３は、全周囲撮像部１１１から取得した全周囲画像のうちの、マスクデータ保持部１１２に設定されたマスク領域に対してマスク処理を行なう。ここで、マスク処理とは、画像から得られる情報量を減じる処理であって、所定の色で塗り潰す処理のように当該領域の情報量をゼロにする処理のほか、当該領域の解像度が低くなるように変換する処理（モザイク処理）やすりガラス越しに見たような画像に変換する処理等を含むものである。本実施の形態では、一色に塗り潰す処理を採用している。

切出しパラメータ設定部１１４は、全周囲画像中の切出し範囲を示す切出しパラメータを設定する。切出しパラメータは、例えば切出し範囲の中心座標、ズーム率（全周囲画像上の切出し範囲の大きさ）、切出し方向のパラメータを含む。切出し歪補正部１１５は、マスク実行部１１３によってマスク領域にマスク処理が施された全周囲画像から、切出しパラメータ設定部１１４にて設定された切出しパラメータによって特定される切出し範囲を切り出して、歪みがなくなるように補正して、歪補正画像を生成する。

切出しパラメータ設定部１１４にて切出し範囲が特定されると、当該切出し範囲について、歪みがなくなるように補正するためのパラメータは一義に求まるため、切出しパラメータ設定部１１４に設定された切出しパラメータは、即ち切出し歪補正部１１５の処理で用いられる補正パラメータとなる。切出しパラメータ設定部１１４に設定される切出しパラメータは、ユーザが指定することで設定されてもよいし、カメラ１１０自身が全周囲画像に対して画像認識処理を行うことで、所定の被写体が認識された領域を含むように設定されてもよい。

切出し歪補正部１１５は、マスク処理が施された全周囲画像の切出し範囲を切り出して、歪補正を行なうことで、歪補正画像を生成する。この切出し歪補正部１１５は、全周囲画像の切出し範囲について歪補正を行なうことで、全周囲画像に適用されたマスク領域を補正するものである。切出し歪補正部１１５にて歪補正画像が生成されると、当該歪補正画像は、図示しない通信インタフェースを介して、ビューワ２１０に送信される。ビューワ２１０では、この歪補正画像を受信する。

ビューワ２１０は、マスク領域検出部２１１、マスク領域整形部２１２、及び出力部２１３を備えている。マスク領域検出部２１１は、カメラ１１０から送信されてきた歪補正画像を取得して、この歪補正画像からマスク領域を検出する。本実施の形態では、マスク領域が一色で塗りつぶされているので、当該色の領域をマスク領域として検出する。検出されたマスク領域は、歪補正画像とともにマスク領域整形部２１２に出力される。

マスク領域整形部２１２は、マスク領域検出部２１１で検出したマスク領域の形状を後述する方法で見やすい形状に整形して、整形後の形状で、歪補正画像に対して再度マスク処理を施す。出力部２１３は、マスク領域整形部２１２にて再度のマスク処理が施された歪補正画像を表示する表示装置である。

ここで、マスク領域整形部２１２におけるマスク領域の整形について説明する。図５は、マスク領域整形部２１２におけるマスク領域の整形を説明するための図である。図５の例では、元画像である全周囲画像上で、水平及び垂直の辺からなる矩形のマスク領域ｍｏ１がマスクデータ保持部１１２において設定されている。

このマスク領域ｍｏ１がマスク実行部１１３において全周囲画像に適用され、そのような全周囲画像の切出し範囲が切出し歪補正部１１５にて補正されると、もとのマスク領域ｍｏ１は、例えば図５のマスク領域ｍｍ１のように補正される。即ち、歪補正前の全周囲画像に適用したマスク領域は水平及び垂直の辺からなる矩形であって、整った形状であったが、切出し歪補正部１１５による歪補正によって、歪な形状の四角形になってしまっている。なお、この図に示す歪補正後のマスク領域は例であり、実際にはレンズの歪などから決定される歪補正パラメータで決定される形状であり、四角形に限らず曲線を含む形状である場合もある。

マスク領域整形部２１２は、このような歪な四角形のマスク領域を、そのマスク領域の全て又は一部を含む水平及び垂直の辺からなる矩形に整形する。図５において、整形後のマスク領域ｍｓ１１は、歪補正によって歪になった四角形を完全に含む、それより大きい水平及び垂直の辺からなる矩形であり、整形後のマスク領域ｍｓ１２は、歪補正によって歪になった四角形の一部を含む水平及び垂直の辺からなる矩形である。マスク領域整形部２２は、これらの矩形ｍｓ１１又はｍｓ１２の領域について、再度マスク処理を施す。

図５において歪補正後のマスク領域ｍｍ２は、歪補正によって４つの辺が凹んだ曲線となっている形状を有している。マスク領域整形部２２は、このような形状のマスク領域ｍｍ２における凹んだ曲線部分を直線になるように整形する。また、図５において、歪補正後のマスク領域ｍｍ３は、対向する２つの辺が凹んだ曲線になっており、かつ他の対向する２つの辺が凸の曲線になっている形状を有している。マスク領域整形部２１２は、このような形状のマスク領域ｍｍ３における凹んだ曲線部分が直線になり、かつ、凸の曲線部分も直線になるように整形する。

以上のように構成された撮影システム１０１における処理の流れを画像及びマスク領域とともに説明する。図６は、撮影システム１０１における処理の流れを説明する図である。まず、全周囲撮像部１１１が監視対象箇所を撮影することで全周囲画像ＩＭ１１を取得する（ステップＳ６１）。全周囲画像ＩＭ１１は、図６に示すように円形であり、外周に向かうにつれて度合いを増して歪んだ画像である。この全周囲画像ＩＭ１１に対して、マスク実行部１３はマスクデータ保持部１２から読み出したマスク領域ＭＡ１１について、マスク処理を行う（ステップＳ６２）。これにより、全周囲画像ＩＭ１１は、マスク領域ＭＡ１１にマスク処理が施された画像ＩＭ１２となる。

このように部分的にマスク処理が施された画像ＩＭ１２に対して、切出しパラメータ設定部１１２にて設定された切出しパラメータ（即ち、補正パラメータ）を用いて、切出し範囲が切り出されて歪補正が行われる（ステップＳ６３）。これにより、マスク処理が施された全周囲画像ＩＭ１２から切出し範囲が歪補正された状態で切り出されて、歪補正画像ＩＭ１３が得られる。この歪補正画像ＩＭ１３には、マスク領域ＭＡ１２が含まれているが、マスク領域ＭＡ１２は切出し歪補正部１５による切出し及び歪補正によって、もとのマスク領域ＭＡ１１が補正され、歪な形状になっている。

このようにして生成された歪補正画像ＩＭ１３は、カメラ１１０からビューワ２１０に送信されて、ビューワ２１０のマスク領域検出部２１１に与えられる。マスク領域検出部２１１は、歪補正画像ＩＭ１３からマスク領域を検出する（ステップＳ６４）。マスク領域ＭＡ１２が検出されると、マスク領域整形部２１２は、このマスク領域を整形して、整形後のマスク領域ＭＡ１３を得る（ステップＳ６５）。図６の例では、整形後のマスク領域ＭＡ１３は、もとの歪んだマスク領域ＭＡ１２を囲う水平及び垂直な辺からなる矩形とされる。

マスク領域整形部２１２は、整形後のマスク領域ＭＡ１３について、歪補正画像ＩＭ１３に対してマスク処理を施す（ステップＳ６６）。このようにして、マスク領域整形部２１２にて、水平及び垂直な辺からなる矩形のマスク領域ＭＡ１３にマスク処理が施された歪補正画像ＩＭ１４が得られる。

以上のように、本発明の第１の実施の形態によれば、歪みを有する全周囲画像に対して、所望の領域をマスク領域としてマスク処理を施した上で、そのような画像に対して歪補正を行う。この歪補正によって、マスク領域以外の画像の歪みは解消するが、マスク領域が歪な形状になる。そこで、マスク領域検出部２１１にて、歪補正画像からマスク領域を検出して、マスク領域整形部２１２にてマスク領域を見栄えのよい形状に整形して、再度マスク処理を行う。よって、最終的に得られる歪補正画像では、マスク処理された領域が見栄えのよい形状となる。

なお、上記の第１の実施の形態では、マスクデータ保持部１１２、マスク実行部１１３、切出しパラメータ設定部１１４、切出し歪補正部１１５がカメラ１１０に備えられ、マスク領域検出部２１１及びマスク領域整形部２１２がビューワ２１０に備えられていたが、これらの構成要素は、カメラ１１０及びビューワ２１０のいずれに備えられていてもよい。

例えば、カメラ１１０には、全周囲撮像部１１１のみが設けられ、他の構成はすべてビューワ２１０に設けられていてもよい。図７は、この場合のカメラ１１０及びビューワ２１０での処理及びそれらの間のデータのやり取りを示す図である。この場合には、カメラ１１０の全周囲撮像部１１１にて撮像が行われると（ステップＳ７１）、全周囲画像が得られ、この全周囲画像は、ビューワ２１０に送信される（ステップＳ７２）。ビューワ２１０では、切出し補正部１１５が全周囲画像の切出し範囲を切出して歪補正を行う切出し補正を行い（ステップＳ７３）、出力部２１３が歪補正画像を表示する（ステップＳ７４）。なお、図７の説明では、マスク処理に関する説明を省略している。

図８は、図４に示す構成の撮影システム１０１に対して、切出しパラメータ設定部１１４がビューワ２１０に備えられるよう変形された場合のカメラ１１０及びビューワ２１０での処理及びそれらの間のデータのやり取りを示す図である。この場合には、カメラ１１０の全周囲撮像部１１１にて撮像が行われ（ステップＳ８１）、ビューワ２１０の切出しパラメータ設定部１１４にて切出し範囲が指定されると（ステップＳ８２）、この切出し範囲を特定する切出しパラメータがビューワ２１０からカメラ１１０に送信される（ステップＳ８３）。

カメラ１１０の切出し歪補正部１１５は、この切出しパラメータを補正パラメータとして用いて、全周囲画像に対して歪補正を行い（ステップＳ８４）、歪補正画像を得る。この歪補正画像は、カメラ１１０からビューワ２１０に送信され（ステップＳ８５）、出力部２１３にて表示される（ステップＳ８６）。

１−２．第２の実施の形態
次に、本発明の第２の実施の形態を説明する。図９は、第２の実施の形態の撮影システムの構成を示すブロック図である。図９に示すように、第２の実施の形態の撮影システム１０２は、カメラ１２０とビューワ２２０を含んで構成される。カメラ１２０及びビューワ２２０の各構成要素において、第１の実施の形態と同じものについては、同一の符号を付して、詳細な説明は省略する。

カメラ１２０は、全周囲撮像部１１１、マスクデータ保持部１１２、マスク実行部１１３、切出し歪補正部１１５、及びマスク領域整形部１２６を含んでいる。本実施の形態では、マスク領域整形部１２６において、切出し歪補正部１１５における歪補正を受けることで見栄えのよい形状となるように、マスクデータ保持部１１２から読み出したマスク領域を整形した上で、マスク実行部１１３に提供し、マスク実行部１１３がそのような予め整形された形状のマスク領域について、全周囲画像に対してマスク処理を行い、切出し歪補正部１１５は、マスク領域についてマスク処理が施された全周囲画像について、切出し歪補正を行う。

このために、カメラ１２０は、マスク保持部１１２とマスク実行部１１３との間にマスク領域整形部１２６を有している。マスク領域整形部１２６は、補正後マスク領域生成部１２６１、補正後マスク領域整形部１２６２、及び逆変換補正部１２６３を備えている。ビューワ２２０の切出しパラメータ設定部１１４で設定された切出しパラメータは、ビューワ２２０からカメラ１２０に送信され、カメラ１２０の補正後マスク領域生成部１６１、逆変換補正部１６３、及び切出し歪補正部１１５に与えられる。

補正後マスク領域生成部１２６１は、マスクデータ保持部１１２からマスク領域を読み出して、切出しパラメータを補正パラメータとして用いて、このマスク領域を補正し、補正後マスク領域を生成する。このマスク領域の補正は、同一の切出しパラメータを用いて切出し歪補正部１１５にて行われる歪補正と同一の方法により行われる。上述のように、マスクデータ補正部１１２には、水平及び垂直な辺からなる矩形のマスク領域が保持されているが、補正後マスク領域生成部１２６１における、切出しパラメータを用いた上述の補正によって、補正後マスク領域は歪な形状になる。この補正後マスク領域は、補正後マスク領域整形部１２６２に与えられる。

補正後マスク領域整形部１２６２は、見栄えがよくなるように、補正後マスク領域を整形する。整形の具体的方法は、すでに述べたとおりである。整形されたマスク領域は、逆変換補正部１２６３に与えられる。逆変換補正部１２６３は、切出しパラメータを用いて、補正後マスク領域生成部１２６１及び切出し歪補正部１１５にて行われる補正とは逆の補正を行う。これにより、補正後マスク領域整形部１２６２で整形された見栄えのよい形状のマスク領域は、再び歪な形状になる。この歪な形状は、切出しパラメータを用いて歪補正を行うことで、補正後マスク領域整形部１２６２における整形によって得られた見栄えのよい形状に戻る形状である。

逆変換補正部１２６３にて逆変換が行われたマスク領域は、マスク実行部１１３に与えられ、マスク実行部１１３は、全周囲画像に対して、このマスク領域においてマスク処理を施す。切出し歪補正部１１５は、そのようにして得られた、マスク領域にマスク処理が施された全周囲画像に対して、切出しパラメータを用いた切出し、及び歪補正を行う。図９から明らかなように、この切出し歪補正部１１５で補正パラメータとして用いられる切出しパラメータは、補正後マスク領域生成部１２６１にてマスク領域を補正するのに用いた切出しパラメータ及び逆変換補正部１２６３における逆変換に用いられた切出しパラメータと同一のパラメータである。

この切出し歪補正部１１５による切出し及び歪補正によって、マスク領域は見栄えのよい形状になるとともに、マスク領域以外の歪みも解消する。このようにして得られたマスク処理済みの歪補正画像をカメラ１２０からビューワ２２０に送信すると、ビューワ２２０では、出力部２１３にてこの歪補正画像が表示される。

以上のように構成された撮影システム１０２における処理の流れを画像及びマスク領域とともに説明する。図１０は、撮影システム１０２における処理の流れを説明する図である。補正後マスク領域生成部１２６１は、マスクデータ保持部１１２からマスク領域ＭＡ２１を取得し、かつ、切出しパラメータ設定部１４から切出しパラメータを取得して、この切出しパラメータを補正パラメータとして用いてマスク領域ＭＡ２１に対して歪補正を行い、補正後マスク領域ＭＡ２２を生成する（ステップＳ１０１）。

補正後マスク領域整形部１２６２は、補正後マスク領域ＭＡ２２を補正後マスク領域ＭＡ２３に整形する（ステップＳ１０２）。次に、逆変換補正部１２６３が、切出しパラメータ設定部１４から切出しパラメータを取得して、この切出しパラメータの逆数を補正パラメータとして、補正後マスク領域ＭＡ２３に対して、ステップＳ１０２における補正とは逆方向の変換を行い（ステップＳ１０３）、逆変換補正マスク領域ＭＡ２４を得る。全周囲撮像部１１１が監視対象箇所を撮影することで全周囲画像ＩＭ２１を取得すると（ステップＳ１０４）、マスク実行部１１３は、補正逆変化部１２６３にて得られた逆変換補正マスク領域ＮＡを用いて、全周囲画像ＩＭ２１に対してマスク処理を行い（ステップＳ１０５）、マスク処理が施された画像ＩＭ２２が得られる。

切出し歪補正部１１５は、このマスク処理が施された画像ＩＭ２２に対して、切出しパラメータ設定部１１４にて設定された切出しパラメータを用いて、切出し範囲の切出し及び歪補正を行い（ステップＳ１０６）、歪補正画像ＩＭ２３を得る。上述のように、この歪補正画像ＩＭ２３では、補正後マスク領域整形部１２６２にて整形された見栄えのよいマスク領域にてマスク処理が行われている。

以上のように、本発明の第２の実施の形態によれば、マスク領域に対して、全周囲画像対する切出し歪補正で用いられるのと同じ補正パラメータを用いた補正が行われて、マスク領域が歪な形状とされる。そして、その歪な形状のマスク領域が整形された見栄えのよいマスク領域とされ、そのようなマスク領域がいったん上記の補正パラメータによって逆変換されて、そのような領域をマスク領域として、歪みを有する全周囲画像にマスク処理が行われる。そして、切出し歪補正部１１５にて、再び上記と同じ補正パラメータを用いて歪補正が行われる。これにより、このようにして得られた歪補正画像において、マスク領域は、補正後マスク領域整形部１２６２にて整形された見栄えのよい形状となる。

なお、第２の実施の形態では、図９に示すように、ビューワ２２０は、本発明に関連する構成としては、切出しパラメータ設定部１１４及び出力部２１３のみを備えていればよく、それらの処理負荷も大きくないので、ビューワ２２０は処理能力の限られた装置においても実現できる。例えば、ビューワ２２０を携帯端末とする場合に、本実施の形態が有効である。

１−３．第３の実施の形態
次に、第３の実施の形態を説明する。図１１は、第３の実施の形態の撮影システムの構成を示すブロック図である。図１１に示すように、第３の実施の形態の撮影システム１０３は、カメラ１３０とビューワ２３０を含んで構成される。カメラ１３０及びビューワ２３０の各構成要素において、第１の実施の形態と同じものについては、同一の符号を付して、詳細な説明は省略する。

カメラ１３０は、全周囲撮像部１１１、マスクデータ保持部１１２、マスク実行部１１３、切出しパラメータ設定部１１４、切出し歪補正部１１５、マスク領域歪補正部１３７、及びマスク領域整形部１３８を備えている。

マスク領域歪補正部１３７は、マスクデータ保持部１１２に保持されたマスク領域に対して、切出しパラメータ設定部１１４から取得した切出しパラメータを補正パラメータとして用いて、切出し範囲の切出し及び歪補正を行い、全周囲画像上の歪補正マスク領域を生成する。この歪補正マスク領域は、切出し範囲上のマスク領域であり、かつ、歪な形状をしている。この歪補正マスク領域はマスク領域整形部１３８に出力される。

マスク領域整形部１３８は、マスク領域歪補正部１３７にて生成された切出し範囲上の歪補正マスク領域を見栄えがよい形状に整形する。具体的な整形の方法は、上述したとおりである。

切出し歪補正部１１５は、全周囲撮像部１１１にて取得された全周囲画像に対して、切出しパラメータ設定部１１４から読み出した切出しパラメータを補正パラメータとして、切出し領域の切出し、及び歪補正を行い、歪補正画像を生成する。マスク実行部１１３には、切出し歪補正部１１５にて生成された歪補正画像と、マスク領域整形部１３８で整形されたマスク領域を入力して、歪補正画像に対して、整形されたマスク領域のマスク処理を行う。

マスク実行部１１３でマスク処理された歪補正画像は、カメラ１３０からビューワ２３０に送信される。ビューワ２３０の出力部２１３は、カメラ１３０から送信されてきた歪補正画像を表示する。

以上のように構成された撮影システム１０３における処理の流れを画像及びマスク領域とともに説明する。図１２は、撮影システム１０３における処理の流れを説明する図である。まず、マスク領域歪補正部１３７が切出しパラメータ設定部１１４から切出しパラメータを読み出し、それを補正パラメータとして、マスクデータ保持部１１２から読み出したマスク領域ＭＡ３１を補正して（ステップＳ１２１）、補正後のマスク領域ＭＡ３２を生成する。ここで、マスク領域歪補正部１３７は、全周囲画像上のマスク領域ＭＡ３１に対して、切出しパラメータを用いて切出し範囲を切り出した上で歪補正をする。その後、マスク領域整形部１３８は、マスク領域歪補正部１３７にて補正されたマスク領域を見栄えのよい形状に整形して（ステップＳ１２２）、整形後のマスク領域ＭＡ３３を生成する。

全周囲撮像部１１１が監視対象を撮影して、全周囲画像ＩＭ３１を取得すると（ステップＳ１２３）、切出し歪補正部１１５は、切出しパラメータ設定部１１４で設定された切出しパラメータを用いてこの全周囲画像ＩＭ３１から切出し範囲を切り出して、歪補正を行ない（ステップＳ１２４）、歪補正画像ＩＭ３２を生成する。マスク実行部１１３には、この歪補正画像ＩＭ３２とマスク領域整形部１３８で生成された整形後のマスク領域ＭＡ３３が入力される。マスク実行部１１３は、歪補正画像ＩＭ３２に対して、整形後のマスク領域ＭＡ３３についてマスク処理を行い（ステップＳ１２５）、マスク領域ＭＡ３３がマスク処理された歪補正画像ＩＭ３３を生成する。

以上のように、本発明の第３の実施の形態によれば、マスク領域及び全周囲画像に対して、それぞれ同一の切出しパラメータを用いて、切出し歪補正が行なわれ、マスク領域については、そのようにして補正されたマスク領域が整形されて、切出し歪補正された全周囲画像（歪補正画像）に適用される。

また、第３の実施の形態の撮影システム１０３では、ビューワ２３０は本件発明に関する構成としては出力部２１３を備えるのみであるので、ビューワ２３０は、処理能力の少ない装置においても実現できる。

なお、第２及び第３の実施の形態においても、カメラ１２０、１３０が少なくとも全周囲撮像部１１１を備え、ビューワ２２０、２３０が少なくとも出力部２１３を備えていれば、他の構成要素については、カメラ１２０、１３０に備えられても、ビューワ２２０、２３０に備えられてもよい。例えば、第３の実施の形態の撮影システム１０３において、第２の実施の形態の撮影システム１０２と同様に、切出しパラメータ設定部１１４がビューワ２３０に備えられて、ビューワ２３０側で切出し範囲を指定できるようにしてよい。

また、第１〜第３の実施の形態の撮影システムにおける全周囲撮像部１１１及び出力部以外の構成一部又は全部の構成が、カメラ及びビューワとは別体であってカメラとビューワとの間に設けられた装置に備えられていてもよい。

以下、第１〜第３の実施の形態におけるマスク領域の整形の変形例を説明する。

１−４．マスク領域の整形の変形例
１−４−１．第１の変形例
図１３は、第１ないし第３の実施の形態で説明した切出し歪補正部１１５による、切出し方向を説明する図である。図１３Ａは、円形状の全周囲画像の半径方向に切り出す場合を示しており、図１３Ｂは、全周囲画像の半径方向とは異なる方向（図１３Ａの切出し方向と角度αをなす方向）に切り出す場合を示している。なお、切出し歪補正においてある方向に切り出すとは、切出し範囲を切り出して歪補正をした後の矩形の画像において、当該ある方向が上になるように切り出すことを意味する。

図１３Ａの場合には、半径方向に切り出して歪補正画像を生成した結果、その切出し範囲ＣＡ１１に映っている人物Ｍを含む被写体の正立方向は、歪補正画像ＩＭ４２における垂直方向と一致する。一方、図１３Ｂの場合は、半径方向と角度αをなす方向に切り出して歪補正画像を生成した結果、その切出し範囲ＣＡ１２に映っている人物Ｍを含む被写体の正立方向は、歪補正画像ＩＭ４３における垂直方向から角度αだけ傾いている。

図１４は、図１３Ａ及び図１３Ｂの場合のマスク領域の整形を説明する図である。切出し範囲ＣＡ１１を半径方向に切り出して、歪補正画像ＩＭ４２において被写体の正立方向が歪補正画像ＩＭ４２の垂直方向に一致している場合には、歪補正によって歪な形状になったマスク領域ＭＡ４１を正立した矩形で囲うようなマスク領域ＭＡ４２に整形することで、ユーザにとって見やすいマスク形状とすることができる。

しかしながら、切出し範囲ＣＡ１２を半径方向から傾いた方向に切り出して、歪補正画像ＩＭ４３において被写体の正立方向が歪補正画像ＩＭ４３の垂直方向から傾いている場合において、歪補正によって歪な形状になったマスク領域ＭＡ４３を正立した矩形で囲うようなマスク領域ＭＡ４４とすると、被写体は傾いているのに対してマスク領域ＭＡ４４は正立しているので、違和感が生じる。

そこで、本変形例では、切出し方向の傾きによって歪補正画像ＩＭ４３において被写体の正立方向が歪補正画像ＩＭ４３の垂直方向から傾いている場合には、その傾きを考慮して、歪補正によって歪な形状となったマスク領域ＭＡ４３を整形する。具体的には、マスク領域ＭＡ４３を、切出し方向の半径方向に対する傾き角度と同じ角度だけ傾いた方向を成立方向とするマスク領域ＭＡ４５に整形する。

本変形例によれば、マスク領域にマスク処理が施された歪補正画像において、被写体の正立方向と整形後のマスク領域の成立方向とが一致するので、違和感のない自然なマスク処理が施された歪補正画像が得られる。

１−４−２．第２の変形例
図１５ないし図１７は、マスク領域の整形の第２の変形例を説明するための図である。まず、図１５を参照して、全周囲画像に対して切出し範囲を切り出して歪補正を行ない、歪補正画像を生成する処理を説明する。本変形例では、切出し範囲ＣＡ２１を切出し範囲として切出し歪補正が行なわれる場合には、全周囲画像ＩＭ５１における切出し範囲ＣＡ２１内の画素がそれぞれ座標変換されて歪補正画像に投影される。例えば、全周囲画像ＩＭ５１における画素Ｐ１１、Ｐ１２、Ｐ１３は、それぞれ、歪補正画像上のＰ２１、Ｐ２２、Ｐ２３となる。歪補正画像において不足する画素は、例えば１６画素四方のスクエアごとに、変換元の座標を線形補間することで埋められて、最終的に歪補正画像ＩＭ５２が生成される。

本変形例では、このスクエアを利用して、マスク領域の整形を行なう。即ち、マスク領域の整形はスクエア単位で行う。図１６は、本変形例の第１の方法を示す図である。この例では、全周囲画像ＩＭ５１上の切出し範囲ＣＡ２１に対して切出し歪補正が行なわれて歪補正画像ＩＭ５３が生成されると、そこに設定されていたマスク領域ＭＡ５１は、歪な形状のマスク領域ＭＡ５２となる。このマスク領域ＭＡ５２を整形する場合には、このマスク領域ＭＡ５２を囲い、かつ、全体が矩形となる複数のスクエアを整形後のマスク領域ＭＡ５３とする。

具体的には、歪補正によって歪な形状となったマスク領域ＭＡ５２の最上点を含むスクエアＳＱ１を含む行のスクエアを整形後のマスク領域の最上行のスクエアとし、マスク領域ＭＡ５２の最右点を含むスクエアＳＱ２を含む列のスクエアを整形後のマスク領域の最右列のスクエアとし、マスク領域ＭＡ５２の最下点を含むスクエアＳＱ３を含む行のスクエアを整形後のマスク領域の最下行のスクエアとし、マスク領域ＭＡ５２の最左点を含むスクエアＳＱ４を含む列のスクエアを整形後のマスク領域の最左列のスクエアとして、それらの最上行、最右列、最下行、及び最左列によって囲まれる矩形の領域を整形後のマスク領域ＭＡ５３とする。

図１７は、本変形例の第２の方法を示す図である。第２の方法では、歪補正によって歪な形状となったマスク領域ＭＡ５２を含むスクエア（のみ）を整形後のマスク領域ＭＡ５４とする。整形後のマスク領域ＭＡ５４は、水平及び垂直な線分のみからなる領域となり、整形前のマスク領域ＭＡ５２のように斜めの線分がないので、見栄えがよくなる。

なお、上記では、全周囲画像上の切出し範囲を切り出して歪補正を行なう場合を例に本発明の第１〜第３の実施の形態を説明したが、本発明は、全周囲画像に対して歪補正を行なうことでパノラマ画像を生成し、その際に当該パノラマ画像の一部領域に対してマスク処理をする場合にも適用できる。さらに、上記では、歪みを有する画像として、全周囲画像を撮影する例を説明したが、歪みを有する画像は全周囲画像（水平画角約３６０度）に限られない。歪みを有する画像に対して、マスク領域を設定するとともに、歪補正を行なう撮影システムであれば、本発明が有効に適用される。

２．第４〜第６の実施の形態
以下、本発明の第４〜第６の実施の形態の撮影システムを説明する。以下の説明において、第４ないし第６の実施の形態のいずれも、カメラが魚眼レンズを用いて、有歪み画像として全周囲画像を撮像する撮影システムを例に説明する。但し、本発明の有歪み画像は、全周囲画像には限られず、広角レンズを用いた撮像によって歪みが生じている画像であればよい。

２−１．第４の実施の形態
図２０は、本発明の実施の形態の画像表示システムを示すブロック図である。図２０に示すように、撮影システム１０４は、カメラ１４０とビューワ２４０とが接続されて構成されている。カメラ１４０が監視カメラである場合は、カメラ１４０は監視対象箇所を撮像できるように設置され、ビューワ２４０は、カメラ１４０において撮像されて、画像処理された画像をユーザが閲覧するための装置である。ビューワ２４０は、例えばパーソナルコンピュータであってよく、携帯端末であってもよい。カメラ１４０は、いわゆるネットワークカメラであり、ビューワ２４０とは有線で接続されてよく、無線で接続されてもよい。また、カメラ１４０の全周囲撮像部１４１以外の構成の一部又は全部がビューワ２４０に備えられていてもよい。

カメラ１４０は、全周囲撮像部１４１と、マスク領域受付部１４２と、マスク枠生成部１４３と、マスク枠重畳部１４４と、マスク実行部１４５と、切出し歪補正部１４６と、合成部１４７とを備えている。ビューワ２４０は、入力部２４１と、マスク領域決定部２４２と、表示切替部２４３と、表示部２４４とを備えている。

カメラ１４０の全周囲撮像部１４１は、広角レンズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部１４１によって、円形の全周囲画像が撮像される。この全周囲画像は、外周に向かうほど歪みが強くなる有歪み画像である。全周囲撮像部１４１は、撮像によって取得した全周囲画像をマスク枠重畳部１４４及びマスク実行部１４５に出力し、また、ビューワ２４０に送信する。なお、全周囲撮像部１４１が撮像して出力する画像は、静止画像であっても動画像であってもよい。動画である場合は、フレームごとに以下に説明する処理が行われる。

ビューワ２４０の入力部２４１は、ユーザによる各種の指示を入力する。これらの指示には、表示の切り替えの指示、マスク領域の指定、マスク領域のキャンセル／決定の指示等が含まれる。これらのうち、表示の切り替えの指示は表示切替部２４３に入力され、マスク領域の指定及びマスク領域のキャンセル／決定の指示は、マスク領域決定部２４２に入力される。入力部２４１は、例えばマウス及びキーボード、又は表示部２４４と一体となったタッチセンサである。

マスク領域決定部２４２は、入力部２４１で入力された入力内容からマスク領域を求める。具体的には、マウスでクリックされた全周囲画像上の点を１つの頂点として、現在のポインタの位置をその頂点の対角にある頂点とする、垂直方向及び水平方向の辺からなる矩形（長方形）を求める。この全周囲画像上の矩形の位置及び形状（垂直方向の高さ及び水平方向の幅）の情報は、マスク領域の指示情報として、カメラ１４０に送信される。

マスク領域受付部１４２は、マスク領域決定部２４２で決定されたマスク領域の指示情報を受け付けて、マスク枠生成部１４３及びマスク実行部１４５に出力する。マスク枠生成部１４３は、マスク領域受付部１４２から得たマスク領域の指示情報に基づいて、当該マスク領域の外延を示すマスク枠を生成する。このマスク枠には、全周囲画像におけるマスク枠の位置を示す情報も含まれる。

マスク枠重畳部１４４は、全周囲撮像部１４１から全周囲画像を取得するとともに、マスク枠生成部１４３からマスク枠を取得し、全周囲画像にマスク枠の形状を重畳する。マスク枠重畳部１４４は、マスク枠が重畳された全周囲画像を合成部１４７及び表示切替部２４３に出力する。

マスク実行部１４５は、全周囲撮像部１４１から全周囲画像を取得するとともに、マスク領域受付部１４２からマスク領域の指定情報を取得し、全周囲画像中のその指定情報に対応するマスク領域に対して、マスク処理を行う。ここで、本実施の形態のマスク実行部１４５によるマスク処理は、マスク領域を黒く塗りつぶす処理である。但し、マスク処理はこれに限られず、モザイク処理など、マスク領域の画像の情報量を減少させる処理であれば他のマスク処理であってもよい。マスク実行部１４５は、マスク領域においてマスク処理が施された全周囲画像を切出し歪補正部１４６に出力する。

切出し歪補正部１４６は、マスク領域においてマスク処理が施された全周囲画像の切出し範囲を切出して、歪補正を行い、切出し歪補正画像を生成する。本実施の形態では、切出し範囲は予め決められている。なお、この切出し範囲を示す枠が全周囲画像に重畳されて表示されてもよい。切出し歪補正部１４６は、この切出し歪補正画像を合成部１４７に出力し、また、ビューワ２４０に送信する。

合成部１４７は、マスク領域枠重畳部１４４から得た、マスク枠が重畳された全周囲画像と、切出し歪補正部１４６から得た、マスク領域においてすでにマスク処理が施された切出し歪補正画像を合成して、両画像を同時に表示するプレビュー画像を生成する。合成部１４７は、生成したプレビュー画像をビューワ２４０に送信する。

表示切替部２４３は、全周囲撮像部１４１から全周囲画像を受信し、マスク枠重畳部１４４からマスク枠が重畳された全周囲画像を受信し、切出し補正部１４６からマスク領域についてマスク処理が施された切出し歪補正画像を受信し、合成部１４７からプレビュー画像を受信する。

ここで、撮影システム１０４の表示モードについて説明する。撮影システム１０４には、マスク領域を決定するためのマスク領域指定モードと、マスク領域についてマスク処理がされた切出し歪補正画像を表示する通常モードとが設けられている。これらの表示モードは、入力部２４１から入力に基づいて切り替えられる。表示切替部２４３は、入力部２４１からモードの切り替えの情報を取得して表示モードの切り替えを行う。

表示切替部２４３は、マスク領域指定モードでは、まず、全周囲撮像部１４１から得た全周囲画像を表示部２４４に出力する。マスク領域指定モードにて、マスク枠重畳部１４４からマスク枠が重畳された全周囲画像を得たときには、表示切替部２４３は、そのマスク枠が重畳された全周囲画像を表示部２４４に出力し、合成部１４７からプレビュー画像を得たときには、そのプレビュー画像を表示部２４４に出力する。また、表示切替部２４３は、通常モードでは、全周囲撮像部１４１から得た全周囲画像又は切出し歪補正部１４６から得たマスク領域についてマスク処理が施された切出し歪補正画像のいずれかを表示部２４４に出力する。全周囲画像及びマスク処理が施された切出し歪補正画像のいずれを出力するかは入力部２４１から指示に従う。

表示部２４４は、表示切替部２４３から得た画像を表示する。表示部２４４は、例えば液晶表示パネルを備えた液晶表示装置であり、入力部２４１タッチセンサである場合は、それと一体となったタッチパネルである。

図１９及び図２１〜図２４は、表示部２４４における表示例である。図２１は、本実施の形態の全周囲画像の例を示す図である。全周囲撮像部１４１の水平視野角は３６０度であり、図２１に示すように、全周囲画像は円形となる。この円形の全周囲画像には歪み画生じており、その度合いは、画像全域において均一ではなく、円形の縁に近づくほど歪みが大きくなる。図２１に示す全周囲画像は、通常モードにおいて全周囲画像の表示が選択された場合、及びマスク領域指定モードにてマスク領域を指定する際に表示される。

図２２は、本発明の実施の形態のマスク領域指定の例を示す図である。本実施の形態では、全周囲画像上でマスク領域を指定する。図２２に示すように、全周囲画像上には入力部２４１としてのマウスの操作に応じて移動するポインタが表示され、マウスをクリックすることでマスク領域の始点が指定される。始点が指定されてポインタが移動すると、マスク領域決定部２４２によって、始点とポインタの位置を対角の頂点とする、画面の垂直方向に平行な辺及び画面の水平方向に平行な辺からなる矩形が求められる。この矩形の情報（マスク領域の指定情報）を用いてマスク枠重畳部１４４にてマスク枠が重畳された全周囲画像が生成されると、それが表示部２４４にて表示される。

図２３は、本発明の実施の形態のマスク領域指定の例を示す図である。全周囲画像上には、求められた矩形を示す枠が重畳表示されている。ポインタを移動させて所望のマスク領域を示す枠ができたら、その位置で、再度マウスをクリックすると、そのときのマスク領域の指定情報を用いて、プレビュー画像が生成され、表示部２４４で表示される。

図１９は、本発明の実施の形態のプレビュー画像の例を示す図である。プレビュー画像では、マスク枠が重畳された全周囲画像に、マスク領域にマスク処理が施された切出し歪補正画像が重畳されて表示される。このとき、切出し歪補正画像は、全周囲画像に重畳されたマスク枠から吹き出す吹き出しの中に配置される。

このプレビュー画像とともに、「キャンセル」ボタン及び「決定」ボタンが表示される。ユーザは、吹き出し内の切出し歪補正画像を確認して、そのマスク領域が不満である場合は、「キャンセル」ボタンをクリックすることで、このマスク領域をキャンセルできる。キャンセルすると、表示切替部２４３は、図２２に示すマスク領域指定のための表示に切り替える。ユーザは、吹き出し内の切出し歪補正画像を確認して、そのマスク領域でよい場合は、「決定」ボタンをクリックすることで、このマスク領域を確定することができる。

図２４は、本発明の実施の形態の切出し歪補正画像の例を示す図である。この切出し歪補正画像は、通常モードにて切出し歪補正画像の表示が選択された場合に表示される。この切出し歪補正画像では、確定されたマスク領域についてマスク処理が施されている。但し、このマスク領域は、全周囲画像上で矩形の領域として指定されて確定されたものであるので、切出し歪補正画像においては、それを全周囲画像から生成する際の歪補正によって、矩形で指定されたマスク領域は歪な形状になっている。

図２５は、本発明の第４の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。図２５を参照して、本実施の形態においてプレビュー画像を生成する手順を説明する。まず、全周囲撮像部１４１にて全周囲画像Ｄ７１が撮像される。次に、この全周囲画像上でマスク領域Ｄ７２が指定される。マスク枠重畳部１４４は、マスク領域Ｄ７２を用いて、生成されたマスク枠が全周囲画像Ｄ７１に重畳されて、マスク枠が重畳された全周囲画像Ｄ７３を生成する。また、マスク実行部１４５は、全周囲画像Ｄ７１に対して、マスク領域Ｄ７２におけるマスク処理が行われて、マスク領域についてマスク処理が施された全周囲画像Ｄ７４を生成する。

そして、切出し歪補正部１４６は、このマスク領域についてマスク処理がされた全周囲画像Ｄ７４に対して、切出し範囲の切出し及び歪補正を行って、マスク領域においてマスク処理がされた切出し歪補正画像Ｄ７５を生成する。最後に、合成部１４７は、マスク領域にマスク枠が重畳された全周囲画像Ｄ７３に対して、マスク領域においてマスク処理がされた切出し歪補正画像Ｄ７５をその中に含む吹き出しを重畳して、プレビュー画像Ｄ７６を生成する。

図２６は、本発明の第４の実施の形態の撮影システムの動作フロー図である。図２６のフローは、マスク領域指定モードにおける撮影システム１０４の動作を示している。図２６を参照して、第４の実施の形態の撮影システム１０４の動作を説明する。

まず、全周囲撮像部１４１が全周囲画像を撮像して、表示部２４４がこれを表示する（ステップＳ２６１）。次に、入力部２４１によって、マスク領域の指定が開始されたか否かを判断する（ステップＳ２６２）。具体的には、入力部２４１の操作によってマスク領域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領域の指定が開始されていない場合は（ステップＳ２６２にてＮＯ）、マスク領域の指定が開始されるまで、全周囲画像を表示して待つ。

マスク領域の指定が開始されたとき、即ち、全周囲画像上でマスク領域の始点となる点がクリックされたときは（ステップＳ２６２にてＹＥＳ）、マウスの操作によるポインタの移動に応じてマスク領域決定部２４２がマスク領域を求めてその指定情報をカメラ１４０に送信し、マスク領域受付部１４２がこのマスク領域の指定情報を取得する（ステップＳ２６３）。次に、マスク枠生成部１４３がマスク領域の指定情報に基づいて、マスク枠を生成し（ステップＳ２６４）、マスク枠重畳部１４４が全周囲画像にマスク枠を重畳する（ステップＳ２６５）。このマスク枠の生成及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している間、そのポインタの位置に応じて行われる。

次に、マスク領域の終点がクリックされると、マスク領域が仮確定し、マスク実行部１４５は、全周囲画像に対して、その仮確定したマスク領域（以下単に「マスク領域」という。）をマスクするマスク処理を行う（ステップＳ２６６）。そして、切出し歪補正部１４６は、マスク領域についてマスク処理がされた全周囲画像から、切出し範囲の切出し及び歪補正を行って、切出し歪補正画像を生成する（ステップＳ２６７）。この切出し歪補正画像においては、マスク領域にマスク処理が施されている。合成部１４７は、マスク枠が重畳された全周囲画像とマスク領域についてマスク処理が施された切出し歪補正画像とを合成して、プレビュー画像を生成し（ステップＳ２６８）、ビューワ２４０に送信する。

ビューワ２４０の表示切替部２４３は、プレビュー画像を受信すると、このプレビュー画像を表示部２４４に出力し、表示部２４４は、このプレビュー画像を表示する（ステップＳ２６９）。ユーザが入力部２４１に対して、このプレビュー画像で示されたマスク領域を確定したか否かを判断する（ステップＳ２７０）、プレビュー画像で示されたマスク領域が確定すると（ステップＳ２７０でＹＥＳ）、処理を終了する。ユーザが入力部２４１に対して、このプレビュー画像で示されたマスク領域をキャンセルすると（ステップＳ２７０にてＮＯ）、表示切替部２４３は、表示部２４４に出力する画像を全周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップＳ２６３に戻る。

以上のように、本実施の形態の撮影システム１０４及びそれによって実行される画像表示方法によれば、全周囲画像上でマスク領域の指定が行われて、プレビュー画像では、指定されたマスク領域が全周囲画像上で認識可能に示されるとともに、このマスク領域も含めて歪補正がされ、マスク領域を認識可能な切出し歪補正画像も同時に表示されるので、全周囲画像上で指定したマスク領域が切出し歪補正画像においてどのような位置及び形状の領域になるのかを確認できる。そして、確認の結果そのマスク領域でよい場合には、プレビュー画像に対して「決定」を指示することで、そのマスク領域を確定できる。

２−２．第５の実施の形態
次に、本発明の第５の実施の形態を説明する。図２７は、本発明の第５の実施の形態の撮影システムのブロック図である。図２７に示すように、撮影システム１０５は、カメラ１５０とビューワ２５０とが接続されて構成されている。カメラ１５０が監視カメラである場合は、カメラ１５０は監視対象箇所を撮像できるように設置され、ビューワ２５０は、カメラ１５０において撮像されて、画像処理された画像をユーザが閲覧するための装置である。ビューワ２５０は、例えばパーソナルコンピュータであってよく、携帯端末であってもよい。カメラ１５０は、いわゆるネットワークカメラであり、ビューワ２５０とは有線で接続されてよく、無線で接続されてもよい。また、カメラ１５０の全周囲撮像部１２１以外の構成の一部又は全部がビューワ２５０に備えられていてもよい。

カメラ１５０は、全周囲撮像部１５１と、マスク領域受付部１５２と、切出し範囲決定部１５３と、マスク実行部１５４と、切出し歪補正部１５５と、合成部１５６とを備えている。ビューワ２５０は、入力部２５１と、マスク領域決定部２５２と、マスク枠生成部２５３と、マスク枠重畳部２５４と、表示切替部２５５と、表示部２５６とを備えている。

以下、第４の実施の形態と同様の構成については、説明を省略する。本実施の形態では、第４の実施の形態と比較して、主に以下の２点で相違する。第１の相違点は、プレビュー画像を生成する手順及びそのための構成のカメラ１５０とビューワ２５０との間の分配の相違である。即ち、第４の実施の形態では、カメラ１４０において、マスク実行部１４５で全周囲画像に対してマスク処理を行なった後に切出し歪補正部１４６でマスク領域でのマスク処理がされた切出し歪補正画像を生成し、一方で、マスク枠重畳部１４４では、全周囲画像に対してマスク領域の枠を重畳してマスク枠が重畳された全周囲画像を生成し、合成部１４７で、マスク領域でマスク処理がされた切出し歪補正画像とマスク枠が重畳された全周囲画像とを合成して、図１９に示すプレビュー画像を生成した。これに対して、本実施の形態では、カメラ１５０において、同様に、全周囲画像に対してマスク処理を行なった後に切出し歪補正画像補正を行なって切出し歪補正画像を生成するが、この切出し歪補正画像をまず全周囲画像と合成して、ビューワ２５０に送信する。ビューワ２５０では、この合成画像にマスク枠を重畳することで、図１９に示すようなプレビュー画像を生成する。

第２の相違点は、第４の実施の形態では、切出し歪補正部１４６における切出し範囲は固定とされていたが、本実施の形態では、マスク領域の指定情報に基づいて、切出し範囲が決定される点である。以下、具体的に説明する。

マスク領域決定部２５２は、入力部２５１から入力内容を受けると、マスク領域を求めて、そのマスク領域を示す指示情報をマスク枠生成部２５３に出力するとともに、カメラ１５０に送信する。マスク領域受付部１５２は、マスク領域の指定情報を得て、それを切出し範囲決定部１５３及びマスク実行部１５４に出力する。切出し範囲決定部１５３は、マスク領域受付部１５２から得たマスク領域の指定情報に基づいて、切出し範囲を決定する。切出し範囲決定部１５３には指定情報によって示されるマスク領域と切出し範囲との関係が記憶されており、マスク領域の指定情報が与えられるとそれに対応する切出し範囲を求める。

指定情報によって示されるマスク領域と切出し範囲との関係は種々の関係が考えられるが、本実施の形態では、切出し範囲決定部１５３は、マスク領域と中心及び向きが同一で、マスク領域の１０／７の大きさを持つ矩形の領域を切出し範囲として決定する。

マスク実行部１５４は、全周囲撮像部１５１から得た全周囲画像に対して、マスク領域受付部１５２から得たマスク領域にマスク処理を行なう。切出し歪補正部１５５は、マスク領域にマスク処理が施された全周囲画像に対して、切出し範囲決定部１５３にて決定された切出し範囲の切出し及び歪補正を行ない、マスク領域にマスク処理がされた切出し歪補正画像を生成する。生成された切出し歪補正画像は合成部１５６に出力される。

本実施の形態では、全周囲撮像部１５１で撮像された全周囲画像は、そのまま合成部１５６に出力され、ビューワ２５０に送信される。合成部１５６では、この全周囲画像と切出し歪補正部１５５で生成された切出し歪補正画像とを合成して、合成画像を生成する。この合成画像では、図１９に示すように、全周囲画像に対して、切出し歪補正画像を含む吹き出しが重畳されている。但し、この合成画像では、全周囲画像に、ユーザが指定したマスク領域を示すマスク枠は重畳されていない。合成部１５６は、生成した合成画像をビューワ２５０に送信する。

ビューワ２５０のマスク枠重畳部２５４は、合成画像を受信する。一方、マスク枠生成部２５３は、マスク領域決定部２５２から得たマスク領域の指示情報に基づいて、マスク枠を生成し、マスク枠重畳部２５４に出力する。マスク枠重畳部２５４は、マスク枠生成部２５３から得たマスク枠をカメラ１５０から得た合成画像に重畳して、図１９に示すようなプレビュー画像を生成し、表示切替部２５５に出力する。

マスク枠重畳部２５４は、全周囲撮像部１５１から直接全周囲画像を受けた場合には、その全周囲画像にマスク枠生成部２５３にて生成されたマスク枠を重畳して、表示切替部２５５に出力する。マスク枠重畳部２５４は、全周囲画像でマスク領域の視点が指定されてから、終点が決定されるまでの間に、ポインタの位置に応じて、ポインタの位置を終点とする矩形のマスク枠を全周囲画像に重畳するときに、上記のように全周囲撮像部１５１から得た全周囲画像にマスク枠を重畳する。マスク領域が仮確定されて、それに伴って切出し歪補正部１５５がその仮確定されたマスク領域をマスク処理した切出し歪補正画像を生成し、合成部１５６がその切出し歪補正画像を吹き出し内に含む合成画像を生成してビューワ２５０に送信し、マスク枠重畳部２５４がこれを受けた後には、マスク枠重畳部２５４は、全周囲撮像部１５１から得た全周囲画像ではなく、この合成画像に対してマスク枠を重畳して、プレビュー画像を生成し、表示切替部２５５に出力する。

表示切替部２５５は、全周囲撮像部１５１から全周囲画像を取得し、マスク枠重畳部２５４からプレビュー画像又はマスク枠が重畳された全周囲画像を取得し、切出し歪補正部１５５からマスク領域にてマスク処理が施された切出し歪補正画像を取得する。表示切替部２５５は、入力部２５１から表示モードの切り替えの情報を取得して表示モードの切替えを行なう。

表示切替部２５５は、マスク領域指定モードでは、まず、全周囲撮像部１５１から得た全周囲画像を表示部２５６に出力する。マスク領域指定モードにて、マスク枠重畳部２５４からマスク枠が重畳された全周囲画像を得たときには、表示切替部２５５は、そのマスク枠が重畳された全周囲画像を表示部２５６に出力し、マスク枠重畳部２５４からプレビュー画像を得たときには、そのプレビュー画像を表示部２５６に出力する。また、表示切替部２５５は、通常モードでは、全周囲撮像部１５１から得た全周囲画像又は切出し歪補正部１５５から得たマスク領域についてマスク処理が施された切出し歪補正画像のいずれかを表示部２５６に出力する。全周囲画像及びマスク処理が施された切出し歪補正画像のいずれを出力するかは入力部２５１から指示に従う。

図２８は、本発明の第５の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。図２８を参照して、本実施の形態においてプレビュー画像を生成する手順を説明する。まず、全周囲撮像部１５１にて全周囲画像Ｄ１１が撮像される。次に、この全周囲画像上でマスク領域Ｄ１２が指定される。マスク実行部１５４は、全周囲画像Ｄ１１に対して、マスク領域Ｄ１２におけるマスク処理を行い、マスク領域についてマスク処理が施された全周囲画像Ｄ１３を生成する。切出し範囲決定部１５３は、マスク領域Ｄ１２に基づいて切出し範囲を決定する。切出し歪補正部１５５は、マスク領域についてマスク処理がされた全周囲画像Ｄ１３から、切出し範囲を切り出して、歪補正を行なって、切出し歪補正画像Ｄ１４を生成する。合成部１５６は、全周囲画像Ｄ１１に対して、マスク領域においてマスク処理がされた切出し歪補正画像Ｄ１４をその中に含む吹き出しを重畳して、合成画像Ｄ１５を生成する。

ビューワ２５０では、マスク枠生成部２５３がマスク枠Ｄ１６を生成する。マスク枠重畳部２５４は、このマスク枠Ｄ１６を合成画像Ｄ１５に重畳して、プレビュー画像Ｄ１７を生成する。

図２９は、本発明の第５の実施の形態の撮影システムの動作フロー図である。図２９のフローは、マスク領域指定モードにおける撮影システム１０５の動作を示している。図２９を参照して、第５の実施の形態の画像表示方法を説明する。

まず、全周囲撮像部１５１が全周囲画像を撮像して、表示部２５６がこれを表示する（ステップＳ２９１）。次に、入力部２５１によって、マスク領域の指定が開始されたか否かを判断する（ステップＳ２９２）。具体的には、入力部２５１の操作によってマスク領域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領域の指定が開始されていない場合は（ステップＳ２９２にてＮＯ）、マスク領域の指定が開始されるまで、全周囲画像を表示して待つ。

マスク領域の指定が開始されたとき、即ち、全周囲画像上でマスク領域の始点となる点がクリックされたときは（ステップＳ２９２にてＹＥＳ）、マウスの操作によるポインタの移動に応じてマスク領域決定部２５２がマスク領域を求めてその指定情報をカメラ１５０に送信するとともに、マスク枠生成部２５３に出力する。カメラ１５０のマスク領域受付部１５２がこのマスク領域の指定情報を取得する（ステップＳ２９３）。また、ビューワ２５０のマスク枠生成部２５３がマスク領域の指定情報に基づいて、マスク枠を生成して（ステップＳ２９４）、マスク枠重畳部２５４に出力する。マスク重畳部２５４は、全周囲画像にマスク枠を重畳して、表示部２５６は、これを表示する。このマスク枠の生成及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している間、そのポインタの位置に応じて行われる。

次に、マスク領域の終点がクリックされると、マスク領域が仮確定し、マスク実行部１２４は、全周囲画像に対して、全周囲画像におけるその仮確定したマスク領域についてマスク処理を行い（ステップＳ２９５）、切出し範囲決定部１５３は、仮確定したマスク領域に基づいて切出し範囲を決定する（ステップＳ２９６）。そして、切出し歪補正部１５５は、マスク領域についてマスク処理がされた全周囲画像から、切出し範囲の切出し及び歪補正を行って、切出し歪補正画像を生成する（ステップＳ２９７）。この切出し歪補正画像においては、マスク領域にマスク処理が施されている。合成部１５６は、全周囲撮像部１５１から取得した全周囲画像とマスク領域についてマスク処理が施された切出し歪補正画像とを合成して、合成画像を生成し（ステップＳ２９８）、ビューワ２５０に送信する。

ビューワ２５０のマスク枠重畳部２５４は、合成画像を受信すると、この合成画像に、マスク枠生成部２５３で生成されたマスク枠を重畳して、プレビュー画像を生成し、表示切替部２５５に出力し（ステップＳ２９９）、表示部２５６はこのプレビュー画像を表示する（ステップＳ３００）。ユーザが入力部２５１に対して、このプレビュー画像で示されたマスク領域を確定したか否かを判断する（ステップＳ３０１）、プレビュー画像で示されたマスク領域が確定すると（ステップＳ３０１でＹＥＳ）、処理を終了する。ユーザが入力部２５１に対して、このプレビュー画像で示されたマスク領域をキャンセルすると（ステップＳ３０１にてＮＯ）、表示切替部２５３は、表示部２５４に出力する画像を全周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップＳ２９３に戻る。

以上のように、本実施の形態では、マスク枠をビューワ２５０にて生成して、ビューワ２５０で合成画像に重畳してプレビュー画像を生成したり、全周囲画像に重畳してマスク枠が重畳された全周囲画像を生成したりしている。上述のように、マスク領域を指定する際には、始点を指定した後に、始点とポインタの現在位置とを対角の２頂点とする矩形の枠を生成して全周囲画像に重畳する。このとき、始点とポインタの位置の情報をカメラ１５０に送信して、矩形の枠をカメラ１５０側で生成して全周囲画像に重畳した上で、ビューワ２５０に送ると、通信状況がよくない場合には、ポインタの動きに追随して全周囲画像上に矩形の枠を表示することが困難になる場合がある。これに対して、本実施の形態では、マスク枠は、ポインタの位置を指定するための入力部２５１とそのマスク枠が重畳された全周囲画像を表示するための表示部２５６とを備えたビューワ２５０側で生成されて、全周囲画像に重畳される。よって、カメラ１５０とビューワ２５０との間の通信状況に関わらず、遅延無くマスク枠を全周囲画像に重畳して表示することができる。

また、本実施の形態では、切出し範囲決定部１５３が、マスク領域の指定情報に基づいて、切出し範囲を決定するので、マスク領域を含む切出し補正画像を全周囲画像とともに確認することができる。なお、マスク領域の指定情報に基づいて切出し範囲を決定するための本実施の形態で説明した構成は、本願の他の実施の形態の撮影システムにも適用できる。

２−３．第６の実施の形態
次に、本発明の第６の実施の形態を説明する。図３０は、本発明の第６の実施の形態の画像表示システムのブロック図である。図３０に示すように、撮影システム１０６は、カメラ１６０とビューワ２６０とが接続されて構成されている。カメラ１６０が監視カメラである場合は、カメラ１６０は監視対象箇所を撮像できるように設置され、ビューワ２６０は、カメラ１６０において撮像されて、画像処理された画像をユーザが閲覧するための装置である。ビューワ２６０は、例えばパーソナルコンピュータであってよく、携帯端末であってもよい。カメラ１６０は、いわゆるネットワークカメラであり、ビューワ２６０とは有線で接続されてよく、無線で接続されてもよい。また、カメラ１６０の全周囲撮像部１６１以外の構成の一部又は全部がビューワ２６０に備えられていてもよい。

カメラ１６０は、全周囲撮像部１６１と、マスク領域受付部１６２と、マスク枠生成部１６３と、マスク枠重畳部１６４と、マスク領域歪補正部１６５と、切出しマスク実行部１６６と、切出し補正部１６７と、合成部１６８とを備えている。ビューワ２６０は、入力部２６１と、マスク領域決定部２６２と、表示切替部２６３と、表示部２６４とを備えている。

以下、第４の実施の形態と同様の構成については、説明を省略する。本実施の形態では、マスク領域にマスク処理がされた切出し歪補正画像を生成するために、全周囲画像に対して切出し歪補正をして切出し歪補正画像を生成するとともに、マスク領域に対しても全周囲画像に対する切出し歪補正と同じ補正パラメータ（変換行列）を用いて切出し歪補正をして切出し歪補正マスク領域を生成する。そして、切出し歪補正画像における切出し歪補正マスク領域についてマスク処理をすることによって、マスク領域にマスク処理がされた切出し歪補正画像を生成する。以下、具体的に説明する。

入力部２６１が全周囲画像上で指定された始点及び終点の座標を入力すると、マスク領域決定部２６２は、マスク領域を求めて、マスク領域の指定情報をカメラ１６０に送信する。カメラ１６０のマスク領域受付部１６２は、マスク領域の指定情報を受け付けて、マスク領域歪補正部１６５及びマスク枠生成部１６３に出力する。

マスク枠生成部１６３は、マスク領域受付部１６２から得たマスク領域の指示情報に基づいてマスク枠を生成し、マスク枠重畳部１６４に出力する。マスク枠重畳部１６４は、全周囲撮像部１６１から全周囲画像を得て、それにマスク枠を重畳して、マスク枠が重畳された全周囲画像を生成し、合成部１６８に出力する。

一方、マスク領域歪補正部１６５は、マスク領域受付部１６２より得たマスク領域の指定情報に基づいて、そのマスク領域に対して切出し歪補正を行うことで、切出し歪補正マスク領域を生成し、切出しマスク実行部１６６に出力する。また、切出し歪補正部１６７は、全周囲撮像部１６１から得た全周囲画像に対して、切出し歪補正を行うことで切出し歪補正画像を生成して、切出しマスク実行部１６６に出力する。

切出しマスク実行部１６６は、切出し歪補正画像における、切出し歪補正マスク領域について、マスク処理を行うことで、マスク領域にマスク処理が施された切出し歪補正画像を生成し、これを合成部１６８に出力する。合成部１６８は、マスク枠重畳部１６４からマスク枠が重畳された全周囲画像を取得し、切出しマスク実行部１６６からはマスク領域においてマスク処理がされた切出し歪補正画像を取得して、それらを用いて図１９に示すようなプレビュー画像を生成する。ビューワ２６０における表示切替部２６３及び表示部２６４は、第４の実施の形態のビューワ２４０における表示切替部２４３及び表示部２４４と同じであるので説明を省略する。

図３１は、本発明の第６の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。図３１を参照して、本実施の形態においてプレビュー画像を生成する手順を説明する。まず、全周囲撮像部１６１にて全周囲画像Ｄ３１が撮像される。次に、この全周囲画像Ｄ３上でマスク領域Ｄ３２が指定される。そして、マスク枠生成部１６３が、マスク枠を生成して、マスク枠重畳部２６４が、このマスク枠を全周囲画像Ｄ３１に重畳して、マスク枠が重畳された全周囲画像Ｄ３４を生成する。

一方、切出し歪補正部１６７は、全周囲画像Ｄ３１から切出し範囲を切出して、歪補正を行うことで、切出し歪補正画像Ｄ３５を生成する。また、マスク領域歪補正部１６５は、マスク領域Ｄ３２に対して、切出し歪補正部１６７と同じ切出し歪補正を行うことで、切出し歪補正マスク領域Ｄ３６を生成する。そして、切出しマスク実行部１６６は、切出し歪補正画像Ｄ３５における切出し歪補正マスク領域Ｄ３６にマスク処理を行うことで、マスク領域にてマスク処理がされた切出し歪補正画像Ｄ３７を生成する。最後に、合成部１６８は、マスク領域にマスク枠が重畳された全周囲画像Ｄ３４に対して、マスク領域においてマスク処理がされた切出し歪補正画像Ｄ３７をその中に含む吹き出しを重畳して、プレビュー画像Ｄ３８を生成する。

図３２は、本発明の第６の実施の形態の撮影システムの動作フロー図である。図３２のフローは、マスク領域指定モードにおける撮影システム１０６の動作を示している。図３２を参照して、第６の実施の形態の画像表示方法を説明する。

まず、全周囲撮像部１６１が全周囲画像を撮像して、表示部２６４がこれを表示する（ステップＳ３２１）。次に、入力部２６１によって、マスク領域の指定が開始されたか否かを判断する（ステップＳ３２２）。具体的には、入力部２６１の操作によってマスク領域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領域の指定が開始されていない場合は（ステップＳ３２２にてＮＯ）、マスク領域の指定が開始されるまで、全周囲画像を表示して待つ。

マスク領域の指定が開始されたとき、即ち、全周囲画像上でマスク領域の始点となる点がクリックされたときは（ステップＳ３２２にてＹＥＳ）、マウスの操作によるポインタの移動に応じてマスク領域決定部２６２がマスク領域を求めてその指定情報をカメラ１６０に送信する。カメラ１６０のマスク領域受付部１６２がこのマスク領域の指定情報を取得すると（ステップＳ３２３）、マスク枠生成部１６３がマスク領域の指定情報に基づいて、マスク枠を生成して（ステップＳ３２４）、マスク重畳部１６４が、全周囲画像にマスク枠を重畳して（ステップＳ３２５）、表示部２６４は、これを表示する。このマスク枠の生成及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している間、そのポインタの位置に応じて行われる。

次に、マスク領域の終点がクリックされると、マスク領域が仮確定し、マスク重畳部１６４は、マスク枠が重畳された全周囲画像を合成部１６８に出力する。そして、切出し歪補正部１６７は、全周囲画像に対して切出し歪補正を行うことで、切出し歪補正画像を生成する（ステップＳ３２６）。また、マスク領域歪補正部１６５は、マスク領域に対して、ステップＳ３２６における切出し歪補正と同じ補正を行って、切出し歪補正マスク領域を生成する（ステップＳ３２７）。次に、切出しマスク実行部１６６は、ステップＳ３２６で生成されたマスク処理がされた切出し歪補正画像における、ステップＳ３２７で生成された切出し歪補正マスク領域に対してマスク処理を行う（ステップＳ３２８）。

合成部１６８は、マスク枠重畳部１６４からマスク枠が重畳された全周囲画像を取得し、切出しマスク実行部１６６からマスク領域についてマスク処理がされた切出し補正画像を取得すると、それらを合成して、図１９に示すようなプレビュー画像を生成し（ステップＳ３２９）、表示切替部２６３に出力する。そして、表示部２６４はこのプレビュー画像を表示する（ステップＳ３３０）。ユーザが入力部２６１に対して、このプレビュー画像で示されたマスク領域を確定したか否かを判断する（ステップＳ３３１）、プレビュー画像で示されたマスク領域が確定すると（ステップＳ３３１でＹＥＳ）、処理を終了する。ユーザが入力部２６１に対して、このプレビュー画像で示されたマスク領域をキャンセルすると（ステップＳ３３１にてＮＯ）、表示切替部２６３は、表示部２６４に出力する画像を全周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップＳ３２３に戻る。

以上のように、本実施の形態では、マスク領域と全周囲画像に対して、それぞれ同一の補正パラメータを用いて切出し歪補正を行い、補正によって得られたマスク領域で切出し歪補正画像をマスク処理する。本実施の形態によれば、マスク処理は歪補正された後に実行されるので、プレビューにおいてもマスクされた画像ではなく、枠だけを描画するなどの表示方法が可能となる。なお、第２の実施の形態で説明した、マスク領域の指定情報に基づいて切出し範囲を決定する構成を本実施の形態に適用してもよいことは、上述したとおりである。この場合には、マスク領域の指定情報によって決定された切出し範囲の情報は、切出し歪補正部１６７及びマスク領域歪補正部１６５において共有される。

以上、第４ないし第６の実施の形態を説明した。上記の実施の形態には種々の変形が可能である。以下、各種の変形例を説明する。

２−４．変形例
図３３Ａ〜図３３Ｄは、本発明のプレビュー画像表示の指示操作の変形例を示す図である。図３３Ａ〜図３３Ｄは、表示部としての液晶パネルと入力部としてのタッチセンサとで構成されるタッチパネルを用いた場合のマスク領域の指定からプレビュー画像の表示の指示を行うまでの表示を示している。図３３Ａは、全周囲画像上でマスク領域が指定された例を示す図である。ユーザは、まず全周囲画像が表示されたタッチパネルにピンチイン操作を行うことで、マスク領域を指定する。ここでは、上記の実施の形態と同様に、ピンチイン操作により指定された２点を頂点とする、垂直方向及び水平方向の辺からなる矩形の領域がマスク領域となる。

図３３Ｂは、全周囲画像上で切出し範囲が指定された例を示す図である。ユーザは、マスク領域が重畳された全周囲画像に対して、ピンチアウト操作を行うことで、切出し範囲を指定する。ここでは、切出し方向を半径方向としたときに、ピンチアウト操作により指定された２点が切出し補正画像において対角の２頂点となる形状が切出し範囲となる。図３３Ｃは、全周囲画像上でプレビュー画像の表示が指示された例を示す図である。ユーザが、このマスク領域又は切出し領域に対してフリック操作をすると、全周囲画像に対してマスク領域にてマスク処理が施された切出し補正画像が表示される。図３３Ｄは、プレビュー画像の表示例を示す図である。この変形例のプレビュー画像では、切出し歪補正画像を含む吹き出しはなく、切出し歪補正画像がそのまま全周囲画像に重畳されて表示される。また、プレビュー画像では、フリック操作によってはじかれた先の位置に切出し歪補正画像が配置される。

この変形例のように、プレビュー画像は、全周囲画像と切出し歪み画像とを同時に表示するものであれば、上記の実施の形態の例に限られない。例えば、全周囲画像と切出し歪補正画像とが並列に並べられてもよい。

また、上記の実施の形態では、全周囲画像に対しては、マスク領域を示すために、マスク枠を重畳し、切出し歪補正画像では、マスク領域を示すために、実際にマスク領域においてマスク処理をしたが、本発明はこれに限られない。全周囲画像上のマスク領域を示すために、全周囲画像のマスク領域がマスク処理されてよく、切出し歪補正画像におけるマスク領域を示すために、切出し歪補正画像にマスク枠が重畳されてもよい。

また、上記の実施の形態では、ユーザにマスク領域を指定させるために全周囲画像上で始点と終点の２点を指定させて、全周囲画像上でその２点を対角の頂点とする垂直方向及び水平方向の辺からなる矩形をマスク領域としたが、本発明はこれに限られない。例えば、全周囲画像上で２点を指定することにより、切出し歪補正画像においてその２点を２つの頂点とする垂直方向及び水平方向の辺からなる矩形となる領域を求めて、それに対して切出し歪補正の逆変換補正を行って、全周囲画像上でのマスク領域を求めて、それを全周囲画像上に重畳するようにしてよい。この場合には、ユーザは、全周囲画像上で２点を指定するが、全周囲画像上では、指定した処理領域として、その２点を対角の頂点とする矩形は表示されず、歪な領域（切出し歪補正後に矩形となる）が重畳されることになる。また、指定するマスク領域が矩形に限られないのはいうまでもない。

さらに、上記の実施の形態では、全周囲画像の２点を指定することでマスク領域の指定が行われたが、本発明はこれに限られない。マスク領域の大きさ及び形状は予め決められていてもよく、この場合には、ユーザはマスク領域の指定として、その所定の大きさ及び形のマスク領域の全周囲画像上での位置を指定するための１点の指定のみでよい。

また、上記の実施の形態では、全周囲画像上でマスク領域の指定を行うと、そのマスク領域でマスク処理がされた切出し歪補正が全周囲画像と合成されて、プレビュー画像が生成されたが、本発明はこれに限られない。例えば、先に、切出し歪補正画像が表示されていて、その切出し歪補正画像上で、マスク領域を指定することにより、切出し歪補正画像においてその指定されたマスク領域が示されるとともに、そのマスク領域を示すマスク枠でマスク処理がされた全周囲画像と切出し歪補正画像とが合成されて、表示されてもよい。

また、上記の実施の形態では、切出し範囲が予め決められている例、及び切出し範囲がマスク領域の指定に基づいて決定される例を説明したが、切出し範囲は、別の方法で決定されてもよい。例えば、マスク領域の指定とは独立したユーザによる切出し範囲の指定を受けて、切出し範囲を決定してよい。また、切出し範囲の位置は固定されていても、移動するものであってもよい。また、プレビュー画像を表示してそれを「キャンセル」してマスク領域の指定をし直すごとに、異なる切出し範囲が設定されてもよい。

また、上記の実施の形態では、プレビュー画像には、全周囲画像上で指定されたマスク領域についてマスク処理が施された１つの切出し歪補正画像が全周囲画像と合成されたが、プレビュー画像において、マスク領域にマスク処理が施された切出し歪補正画像が複数表示されてもよい。即ち、全周囲画像上で１つのマスク領域が指定された場合にも、切出し範囲が異なる場合には、それぞれの切出し範囲の切出し歪補正画像上で、マスク領域は異なる形状になるので、切出し範囲が複数種類ある場合には、プレビュー画像は、それらの複数の切出し範囲に対応する複数の、マスク領域にてマスク処理がされた切出し歪み画像を全周囲画像とともに表示するものであってよい。また、全周囲画像において、複数のマスク領域が指定された場合に、それぞれのマスク領域について、上記と同様の処理を行って、複数の切出し歪補正画像を含むプレビュー画像を生成してよい。

また、上記の実施の形態では、マスク処理は、プライバシー保護のための処理であり、処理範囲を黒く塗りつぶす処理であったが、これに限られず、例えばマスク領域の解像度を低くする（例えばモザイク処理）等、他の情報量を減らす処理によってプライバシーを保護してもよい。また、マスク処理として、重要な範囲を処理範囲として指定して、この処理範囲について優先的に符号量を割り当てて、低速の通信網でも当該処理範囲について優先的に画質を確保するＲＯＩ（Region Of Interest）処理を行ってもよい。

また、上記の実施の形態では、全周囲撮像部が、有歪み画像として、魚眼レンズを用いて全周囲画像を撮像し、画像表示システムはこの全周囲画像を取得したが、有歪み画像は、補正可能な歪みを有する画像であれば、全周囲画像に限られない。

３．第７の実施の形態
次に、本発明の第７の実施の形態の撮影システムを説明する。図３５は、本発明の実施の形態の撮影システムを示すブロック図である。図３５に示すように、撮影システム１０７は、カメラ１７０と、ビューワ２７０と、画像処理装置３７０とを備えている。画像処理装置３７０には、カメラ１７０及びビューワ２７０が接続されている。

カメラ１７０は、画像処理装置３７０において画像処理の対象となり、ビューワ２７０で表示の対象となる画像を撮影する。カメラ１７０は、撮影対象を撮影するように所定の箇所に固定される。

ビューワ２７０は、カメラ１７０において撮影されて、画像処理装置３７０にて画像処理された画像をユーザが閲覧するための装置である。ビューワ２７０は、例えばパーソナルコンピュータであってよく、携帯端末であってもよい。カメラ１７０が監視カメラである場合は、カメラ１７０は監視対象箇所を撮影できるように設置され、ビューワ２７０は画像を監視する者によって利用される。

撮影システム１０７は、カメラ１７０とビューワ２７０との間に配置され、カメラ１７０及びビューワ２７０のそれぞれと接続される。画像処理装置３７０は、カメラ１７０及びビューワ２７０と有線で接続されてよく、無線で接続されてもよい。また、画像処理装置３７０は、その一部又は全部の構成がカメラ１７０又はビューワ２７０に備えられていてもよい。

カメラ１７０は、全周囲撮像部１７１を備えている。全周囲撮像部１７１は、広角レンズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部１７１によって、円形の全周囲画像が撮影される。この全周囲画像は、例えば立体射影、等距離射影、等立体角射影、正射影などの射影方式を持つ魚眼レンズによって撮像された有歪み画像である。全周囲撮像部１７１は、撮影された画像を画像処理装置３７０に出力する。なお、全周囲撮像部１７１が撮影して出力する画像は、静止画像であっても動画像であってもよい。

ビューワ２７０は、入力部２７２及び画像表示部２７１を備えている。入力部２７２は、マウス、タッチパネル等の入力装置を用いて、各種の入力を行う。本実施の形態では、特に、カメラ１７０で撮影された全周囲画像上で位置指定の入力を行い、また、範囲確定の入力を行う。

画像表示部２７１は、画像処理装置３７０から出力される画像を表示する。画像表示部２７１は、例えば液晶表示パネルであってよい。画像表示部２７１は、後述する範囲指定モード時にはユーザが処理範囲を指定するためのプレビュー画像を表示し、後述する通常モード時には処理範囲に処理が施された通常画像を表示する。

画像処理装置３７０は、表示切替部３７１、範囲処理部３７２、範囲記憶部３７３、範囲重畳部３７４、確定判断部３７５、歪補正部３７６、画像出力部３７７、範囲計算部３７８、及び範囲指定部３７９を備えている。画像処理装置３７０は、通常モードと範囲指定モードのいずれかで動作する。通常モードは、カメラ１７０で撮影された画像をビューワ２７０で表示するためのモードであり、範囲指定モードは、処理範囲を決定するためのモードである。

表示切替部３７１は、カメラ１７０の全周囲撮像部１７１にて撮影された全周囲画像の入力を受けて、この全周囲画像の出力先を決定する。表示切替部３７１は、通常モード時には入力画像を範囲処理部３７２に出力し、範囲指定モード時には入力画像を範囲重畳部３７４に出力する。また、表示切替部３７１は、入力画像をいずれの出力先に決定したかを示す情報を画像出力部３７７に出力する。

通常モードには、さらに、パノラマ画像を表示するモード、複数の切出し歪補正画像を表示するモード、１つの切出し歪補正画像を表示するモード等、複数の表示モードがあり、表示切替部３７１は、入力画像とともにこの表示モードの情報も範囲処理部３７２に出力する。

範囲処理部３７２は、表示切替部３７１から全周囲画像を取得し、範囲記憶部３７３に記憶された処理範囲の情報を用いて、全周囲画像中の当該処理範囲に画像処理を施す。本実施の形態では、範囲処理部３７２は、画像処理として、処理範囲を黒一色で塗りつぶすマスキング処理を行う。よって、処理範囲はマスク領域に相当する。

範囲処理部３７２は、範囲記憶部３７３に記憶された処理範囲のうち、表示モードに対応した処理範囲を採用する。また、範囲記憶部３７３に、複数の表示モードにそれぞれ対応する複数の処理範囲が記憶されている場合において、全周囲画像をそのまま表示するときは、範囲処理部３７２は、それらの複数の処理範囲の合算（ＡＮＤ処理）で得られる範囲を処理範囲とする。

範囲記憶部３７３は、範囲処理部３７２にて画像処理の対象となる処理範囲の情報を記憶している。通常モードに上述のような複数の表示モードがある場合には、範囲記憶部３７３は、表示モードごとに処理範囲を記憶していている。この処理範囲の情報は、確定判断部３７５より取得する。

範囲記憶部３７３は、全周囲画像上での処理範囲の外周（枠）の位置の座標の集合として処理範囲を記憶していてもよく、また、処理範囲の外周（枠）の曲線を示す関数の集合として処理範囲を記憶していてもよい。

図３６Ａ及び図３６Ｂは、範囲記憶部３７３に記憶される処理範囲を示す図である。図３６Ａは、座標の集合として処理範囲を記憶する場合を示しており、図３６Ｂは、関数の集合として処理範囲を記憶する場合を示している。図３６Ａの場合には、範囲記憶部３７３は、処理範囲の外周を構成する全ての点（画素）の座標（ｘ０，ｙ０），（ｘ１，ｙ１），・・・を記憶している。図３６Ｂの場合は、範囲記憶部３７３は、処理範囲の外周の曲線を示す４つの関数ｆ（ｘ）、ｇ（ｘ）、ｈ（ｘ）、ｋ（ｘ）を記憶している。

範囲重畳部３７４、確定判断部３７５、範囲計算部３７８、範囲指定部３７９は、範囲指定モードにおいて用いられる。なお、範囲指定モードであるか通常モードであるかは、ユーザがビューワ２７０の入力部２７２にて指定して、その情報が画像処理装置３７０に与えられる。

範囲重畳部３７４は、範囲指定モードにおいて、表示切替部３７１から全周囲画像を取得して、これに、確定判断部３７５から出力された未確定の処理範囲を示す画像情報を重畳して、画像出力部３７７に出力する。なお、本実施の形態では、処理範囲を示す画像情報は、処理範囲を囲う線分であるが、これに限らず、処理範囲を塗りつぶしたもの等、他の画像情報であってもよい。

範囲指定部３７９は、範囲指定モードにおいて、ビューワ２７０の画像表示部２７１において全周囲画像がプレビュー画像として示されている場合において、ユーザが入力部２７２によってその全周囲画像上で指定した座標を取得し、範囲計算部３７８に出力する。

図３７Ａ及び図３７Ｂは、ユーザによる範囲の指定を説明する図である。図３７Ａは、範囲指定の開始を説明する図であり、図３７Ｂは、範囲指定の途中もしくは確定を説明する図である。ユーザは、画像表示部２７１に、範囲指定用のプレビュー画像としての全周囲画像が表示されている場合に、その全周囲画像上で処理範囲を指定する。本実施の形態では、入力部２７２がマウスでポインタを移動させる装置であり、このような入力部２７２を用いて始点及び終点を指定する。

ユーザは、歪補正後に矩形となる範囲における対角の２つの頂点を指定する。具体的には、ユーザは、入力部２７２を用いて、図３７Ａに示すように、始点としたいと箇所にポインタを合わせてクリックし、そのまま図３７Ｂに示すように、終点としたい箇所にドラッグする。終点としたい箇所でドラッグを終了すると、そのときのポインタの位置が終点となり、この操作によって始点と終点が確定される。ドラッグの最中には、図３７Ｂに示すように、始点とドラッグされているポインタの位置である終点とから求められる処理範囲がプレビュー画像に重畳表示される。範囲指定部３７９は、ユーザがポインタをドラッグ中は始点及びドラッグされているポインタの位置である終点の座標を、ドラッグを終了した時は始点及び確定された終点の座標を範囲計算部３７８に出力する。

範囲計算部３７８は、範囲指定部３７９から取得した始点及び終点の座標を用いて、歪補正後に矩形となる全周囲画像上での範囲を算出する。範囲指定部３７９にて指定された２点を対角の頂点とする歪補正後に矩形となる形状の全周囲画像における形状は、歪補正のパラメータ、即ち歪補正の方法（パノラマ補正、切出し歪補正、など）や切出し歪補正の場合は歪補正の対象となる位置（切出しの中心）及び画角（ズーム倍率）に応じて異なってくる。

従って、指定された２点を対角の頂点とする矩形の全周囲画像における形状を算出するためには、全周囲画像の歪補正のパラメータ（以下、「歪補正パラメータ」という。）の情報が必要となる。歪補正パラメータは、例えば、歪補正の方法（パノラマ補正、切出し歪補正、など）や切出し歪補正の場合は歪補正の対象となる位置（切出しの中心）及び画角（ズーム倍率）である。

範囲計算部３７８は、歪補正方法が切出し歪補正であり、その切出し位置が予め固定されたものであれば、その切出し位置の情報を予め有していてもよい。予め固定された切出し位置が複数ある場合には、範囲計算部３７８は、それぞれの表示範囲についてその情報を有していてよい。このような固定的な切出し位置は扉に出入りする人を監視するような場合に扉に対応する位置で常に切出し歪補正を行う場合などに使われる。歪補正パラメータをユーザが指定する場合には、歪補正パラメータについての入力部２７２に対するユーザの入力を範囲指定部３７９を介して取得して、それに基づいて歪補正パラメータを決定してもよい。なお、これらの歪補正パラメータは、歪補正部３７６でも共有されており、通常モードでは、歪補正部３７６は、これらの歪補正パラメータにもとづいて歪補正を行う。

処理範囲の計算を行う際に用いる歪補正パラメータは、ユーザによって指定された処理範囲の指定に基づいて決定してもよい。図３８Ａ及び図３８Ｂは、処理範囲の指定に基づいて表示範囲を決定する処理を示す図である。図３８Ａは、全周囲画像上で指定された処理範囲の始点及び終点を示す図であり、図３８Ｂは、図３８Ａに示す処理範囲を切出し歪補正後の画像上で示す図である。

図３８Ａに示すように、上述した方法で、歪補正後に矩形となる処理範囲の対角の２つの頂点を指定されると、範囲計算部３７８は、この２点の中間点を中心とするように歪補正パラメータの切出し位置を決定する。切出し画角（ズーム倍率）は、固定であってよいし、始点と終点との間の距離に応じて決定されてもよい。例えば、始点と終点とを結ぶ線が切出し領域の対角線の一定割合となるようにしてよい。図３８Ａ及び図３８Ｂの例では、始点と終点とを結ぶ線が切出し領域の対角線の７０％となり、かつ、始点と終点との中点が切出し領域の中心となるように、歪補正パラメータが決定されている。なお、始点と終点とを切出し領域の対向する２つの頂点（角）とする場合は、処理範囲と切出し領域とが一致することになり、この場合には、切出し領域全体に対して範囲処理部３７２による画像処理が行われることになる。

範囲計算部３７８は、上記のようにして歪補正パラメータが決定された上で、範囲指定部３７９から始点及び終点の座標を取得すると、この歪補正パラメータと処理範囲の始点及び終点の情報を用いて、全周囲画像における処理範囲を計算する。この処理範囲は、歪補正パラメータにもとづいて歪補正がされて表示された場合に矩形となる範囲である。

範囲計算部３７８は、表示モードが複数ある場合には、それぞれの表示モードでの歪補正パラメータについて、歪補正後に矩形となる範囲を算出する。図３９は、プレビュー画像に重畳表示された処理範囲を示す図である。以下では、歪補正パラメータとして、第１の歪補正パラメータ（例えば、任意の一部範囲の切出し歪補正画像）と第２の歪補正パラメータ（例えば、パノラマ画像）があるとする。

範囲計算部３７８は、始点及び終点の情報を得ると、第１及び第２の歪補正パラメータの各々に基づいた補正を行った後に矩形となるような処理範囲を計算する。

範囲計算部３７８は、第１の歪補正パラメータによる座標変換された始点及び終点を対角の頂点とする第１の矩形を求める。範囲計算部３７８は、この第１の矩形に対して、先に行われた第１の歪補正パラメータによる座標変換の逆変換を行う。この場合に、範囲計算部３７８は、第１の歪補正パラメータが示す座標変換方法の変換関数の逆関数を用いて、座標変換を行う。これにより、第１の矩形は歪んだ形状になる。この歪んだ形状が、図３９に示す全周囲画像における第１の処理範囲ＣＡ１となる。

範囲計算部３７８は、第２の補正パラメータによる座標変換された始点及び終点を対角の頂点とする第２の矩形を求める。範囲計算部３７８は、この第２の矩形に対して、先に行われた第２の歪補正パラメータによる座標変換の逆変換を行う。これにより、第２の矩形は歪んだ形状になる。この歪んだ形状が、図３９に示す全周囲画像における第２の処理範囲ＣＡ２となる。

確定判断部３７９は、ユーザが終点を確定していない場合（マウスをドラッグ中など）は、範囲計算部３７８で算出された処理範囲を範囲重畳部３７４に出力し、ユーザが入力部２７２に対して行った確定アクション（マウスのドラッグを終了するなど）を受け取ると、その時点で範囲計算部３７８が算出している処理範囲を範囲記憶部３７３に記憶させる。

範囲重畳部３７４は、範囲指定モード時に、表示切替部３７１から入力画像（全周囲画像）を受け取り、これに、確定判断部３７５より出力された処理範囲を重畳して画像出力部３７７に出力する。上記のように、範囲計算部３７８にて複数の表示範囲に対応する複数の処理範囲が計算されている場合には、範囲重畳部３７４は、これらの複数の処理範囲をすべて全周囲画像に重畳する。

歪補正部３７６は、通常モードにおいて用いられる。通常モードでは、表示切替部３７１に入力された全周囲画像が範囲処理部３７２に出力され、範囲処理部３７２にて範囲記憶部３７３に記憶された処理範囲について画像処理が行われ、そのような部分的に画像処理が施された全周囲画像が歪補正部３７６に入力される。

歪補正部３７６は、入力された全周囲画像（処理範囲について画像処理がされている）に対して、歪補正を行い、歪補正画像を生成する。表示モード即ち歪補正方法が複数通りあり、範囲記憶部３７３に複数の表示モードに対応した複数通りの処理範囲が記憶されている場合には、範囲処理部３７２は、表示モードに応じた処理範囲を読み出して、その処理範囲について画像処理を施す。また、切出し歪補正を行う場合は、切り出し中心が処理範囲を求めた際と異なる場合があるが、その場合には処理範囲は切出し領域の中心から外れた場所に位置し、わずかに歪んだ矩形となる。また、処理範囲を計算する際に複数の切出し中心に基づいた処理範囲を求めている場合には、歪補正部３７６が用いている切出し中心に最も近い切出し中心で計算された処理範囲について画像処理を施すとよい。

そして、歪補正部３７６においても、この表示モードに対応した表示範囲での切出し及び歪補正を行う。表示モードがパノラマ画像を表示するモードである場合は、この切出し歪補正画像はパノラマ画像であり、表示モードが任意の一部範囲を切出して表示するモードである場合は、この切出し歪補正画像は、当該一部範囲を切り出して歪補正をした画像である。歪補正部３７６で生成された切出し歪補正画像は、画像出力部３７７に出力される。

画像出力部３７７は、範囲指定モードでは、範囲重畳部３７４から出力された画像をビューワ２７０の画像表示部２７１に出力し、通常モードでは、歪補正部３７６から出力された画像をビューワ２７０の画像表示部２７１に出力する。画像出力部３７７は、範囲重畳部３７４から出力された画像及び歪補正部３７６から出力された画像のいずれを出力するか、即ち、範囲指定モードであるか通常モードであるかの情報を表示切替部３７１より取得する。

画像表示部２７１は、範囲指定モード時には、画像出力部３７７から出力された画像をプレビュー画像として表示し、通常モード時には、画像出力部３７７から出力された画像を一部範囲に画像処理が施された通常画像として表示する。

図４０Ａ及び図４０Ｂは、通常モードにおける画像表示部２７１の表示例を示す図である。図４０Ａは、全周囲画像の任意の一部範囲を切出して補正した切出し歪補正画像を表示する例を示し、図４０Ｂは、全周囲画像の右半分をパノラマ展開したパノラマ画像を表示する例を示している。

図４０Ａに示すように、図３９において全周囲画像に重畳された第１の処理範囲ＣＡ１は、切出し歪補正画像において矩形となっており、この矩形の処理範囲にマスキング処理が施されている。また、図４０Ｂに示すように、図３９において全周囲画像に重畳された第２の処理範囲ＣＡ２は、パノラマ画像において矩形となっており、この矩形の処理範囲にマスキング処理が施されている。

次に、画像処理装置３７０の動作について説明する。図３４は、画像処理装置３７０の動作を示すフロー図である。まず、表示切替部３７１は、全周囲撮像部１７１から全周囲画像を入力すると（ステップＳ３４１）、範囲指定モードであるか通常モードであるかを判断する（ステップＳ３４２）。

範囲指定モードである場合は（ステップＳ３４２にて「範囲指定モード」）、表示切替部３７１は、範囲重畳部３７４に全周囲画像（入力画像）を出力して、この全周囲画像が範囲重畳部３７４から画像出力部３７７を介して画像表示部２７１にてプレビュー画像として表示されるとともに、このプレビュー画像を用いて入力部２７２によって指定された処理範囲を指定するための始点及び終点の情報が、範囲指定部３７９に入力される（ステップＳ３４３）。

範囲計算部３７８は、範囲指定部３７９に入力された始点及び終点の情報及び表示範囲の情報を用いて、始点及び終点の座標変換を行い、座標変換された始点及び終点を対角の頂点とする矩形を求め、この矩形に対して元の座標変換の逆変換を行うことで、処理範囲を計算する（ステップＳ３４４）。

範囲確定部３７５は、範囲が確定されたか否かを判断し（ステップＳ３４５）、確定されていない場合には（ステップＳ３４５にてＮＯ）、範囲計算部３７８にて算出された処理範囲の外周を示す線分を範囲重畳部３７４に出力し、範囲重畳部３７４は、この線分を表示切替部３７１から入力された全周囲画像に重畳（合成）する（ステップＳ３４６）。この処理範囲を示す線分が重畳された全周囲画像は、画像出力部３７７を介して画像表示部２７１に出力されて、画像出力部３７７に表示される（ステップＳ３４７）。この表示画像の例が図３７である。

ユーザは、処理範囲を示す線分が重畳されたプレビュー画像を確認しながら、その処理範囲でよいか否かを判断して、入力部２７２を用いて、その処理範囲を確定するアクション（マウスのドラッグを終了する）及び範囲指定を継続するアクション（そのままマウスのドラッグを継続する）のいずれかを行う。処理範囲が確定しておらず、ステップＳ３４５からステップＳ３４６を経てステップＳ３４７の処理が終了した後には、ステップＳ３４３に戻って、ユーザに新たな終点を指定させる。

範囲確定部３７５は、処理範囲が確定すると（ステップＳ３４５にてＹＥＳ）、この処理範囲の情報を範囲記憶部３７３に出力して、範囲記憶部３７３にこの処理範囲を記憶させる（ステップＳ３４８）。ステップＳ３４８の後は通常モードとなる。ステップＳ３４８を経て通常モードとなった場合、及びステップＳ３４２にて通常モードと判断された場合は、範囲処理部３７２は、範囲記憶部３７３から入力された処理範囲を、表示切替部３７１から入力された全周囲画像に適用して、その処理範囲について画像処理を行う（ステップＳ３４９）。

歪補正部３７６は、範囲処理部３７２にて処理領域について画像処理が施された全周囲画像を取得して、その全周囲画像から表示範囲を切出して歪補正を行い、切出し歪補正画像を生成する（ステップＳ３５０）。画像出力部３７７は、歪補正部３７６にて生成された切出し歪補正画像を画像表示部３１に出力し、画像表示部２７１はこれを表示する（ステップＳ３５１）。この表示画像の例が、図４０Ａや図４０Ｂである。

以上のように、本実施の形態の撮影システムによれば、ユーザが、全周囲画像上で処理範囲とすべき範囲の対角の２頂点を指定すると、全周囲画像を歪補正部３７６で歪補正した場合に当該指定された２点を対角の２頂点とする矩形範囲となる範囲を、全周囲画像上に表示するので、ユーザは、全周囲画像に歪補正がされた場合に矩形となる処理範囲を、全周囲画像上で処理範囲を確認できる。また、ドラッグ中のマウスのポインタの位置における処理範囲が表示されるため、現在の位置を終点として確定した場合にユーザの望む画像上の位置が処理範囲内に入っているかどうかを確認することができる。また、複数の歪補正の方法がある場合（即ち、複数の表示モードに対応した複数の表示範囲がある場合）には、それぞれの表示モードに対応した歪補正によって矩形となるそれぞれの処理範囲を全周囲画像上で同時に確認できる。これによってどのような表示モードにした場合でもユーザの望む画像上の位置が処理範囲に入っているかどうかを確認することができる。

以上、本発明の第７の実施の形態を説明したが、上記の実施の形態は、本発明の範囲内で種々の変形が可能である。例えば、上記の実施の形態では、処理範囲の内側に対して画像処理を施したが、処理範囲の外側に画像処理を施してもよい。例えば、画像を得たい範囲を処理範囲として指定して、この処理範囲については画像処理をせずに、その周囲にマスキング処理を施してもよい。また、重要な範囲を処理範囲として指定して、この処理範囲について優先的に符号量を割り当てて、低速の通信網でも当該処理範囲について優先的に画質を確保するＲＯＩ（Region Of Interest）処理を行ってもよい。

さらに、歪補正部３７６において切出す範囲を範囲指定部３７９にて指定された範囲に基づいて決定してよく、その場合に、指定された範囲全体を処理範囲としてよいことを上述したが、この場合に、この処理範囲を歪補正部３７６において切出し処理を行う範囲としてよい。この場合には、範囲処理部３７２は画像処理として、処理範囲の切り出しを行い、歪補正部３７６は、範囲記憶部３７３から取得した切り出された範囲の画像に対して歪補正を行う。

また、上記の実施の形態では、範囲計算部３７８は、歪補正後に矩形となる処理範囲を算出したが、歪補正後の処理範囲は、円、楕円等の他の種類の形状であってもよい。また、歪補正後の処理範囲が矩形以外の種類の形状である場合に、ユーザは３点以上の点を、処理範囲を計算するための点として指定してよい。さらに、処理範囲の形状及び大きさを固定とした場合には、ユーザは、その位置のみを指定してもよい（例えば中心を示す１点のみを指定してよい）。

また、ユーザによる範囲指定が確定し範囲記憶部３７３に処理範囲の情報が保存された後に、ユーザが入力部２７２を使用してこの保存された処理範囲に対する操作を行って、プレビュー画像上で処理範囲を変形させることで、処理範囲の指定を変更するようにしてよい。なお、この場合にも、変形される処理範囲は、常に歪補正後に矩形等の所定の種類の形状となる形状に変形される。

また、上記の実施の形態では、全周囲撮像部１７１が、有歪み画像として、魚眼レンズを用いて全周囲画像を撮影し、画像処理装置３７０はこの全周囲画像を取得したが、有歪み画像は、補正可能な歪みを有する画像であれば、全周囲画像に限られない。

４．第８の実施の形態
次に、本発明の第８の実施の形態を説明する。上述のように、全周囲画像はパノラマ画像に変形することができる。また、全周囲画像の一部を切出して補正して表示することもできる。この場合、切出し位置をリアルタイムに変化させることで、ＰＴＺカメラとして機能することができる。このように、全周囲画像については複数の表示方法を持つことができる。また、ビデオカメラでは、任意の範囲を指定し、その範囲に画像処理を行うことがある。例えば、プライバシー保護のためのマスク処理などがこれに当たる。

しかしながら、例えば特許文献２に記載の技術のように、歪を有する画像に対してこのような任意の範囲を指定する方法で範囲指定を行うと、歪補正の有無や表示方法の違い、また画像の切出し位置によって範囲の形状が変化することになる。この状態ではユーザからは範囲指定の方法が難しく、指定された範囲の位置も判り難い表示になる。さらに、特許文献２に記載の技術では、歪補正前後で多量の座標を投影する必要があり、情報の処理量が増大するという問題がある。

そこで、本実施の形態では、ユーザの範囲指定の容易さの向上と、歪補正前後における範囲共有の情報処理量を低減できる撮影システムを説明する。

図４２は、本発明の第８の実施の形態の撮影システム１０８の構成を示すブロック図である。図４２に示すように、画像処理装置３８０には、カメラ１８０及びビューワ２８０が接続されており、撮影システム１０８を構成している。

カメラ１８０は、画像処理装置３８０において画像処理の対象となり、ビューワ２８０で表示の対象となる画像を撮影する。カメラ１８０は、撮影対象を撮影するように所定の箇所に固定される。

ビューワ２８０は、カメラ１８０において撮影されて、画像処理装置３８０にて画像処理された画像をユーザが閲覧するための装置である。ビューワ２８０は、例えばパーソナルコンピュータであってよく、携帯端末であってもよい。カメラ１８０が監視カメラである場合は、カメラ１８０は監視対象箇所を撮影できるように設置され、ビューワ２８０は画像を監視する者によって利用される。

画像処理装置３８０は、カメラ１８０とビューワ２８０との間に配置され、カメラ１８０及びビューワ２８０のそれぞれと接続される。画像処理装置３８０は、カメラ１８０及びビューワ２８０と有線で接続されてよく、無線で接続されてもよい。また、画像処理装置３８０は、その一部または全部の構成がカメラ１８０またはビューワ２８０に備えられていてもよい。

カメラ１８０は、全周囲撮像部１８１を備えている。全周囲撮像部１８１は、広角レンズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部１８１によって、円形の全周囲画像が撮影される。この全周囲画像は、例えば立体射影、等距離射影、等立体角射影、正射影などの射影方式を持つ魚眼レンズによって撮像された有歪み画像である。全周囲撮像部１８１は、撮影された画像を画像処理装置３８０に出力する。なお、全周囲撮像部１８１が撮影して出力する画像は、静止画像であっても動画像であってもよい。

ビューワ２８０は、入力部２８２及び画像表示部２８１を備えている。入力部２８２は、マウス、タッチパネル等の入力装置を用いて、各種の入力を行う。本実施の形態では、特に、カメラ１８０で撮影された全周囲画像上で位置指定の入力を行う。

画像表示部２８１は、画像処理装置３８０から出力される画像を表示する。画像表示部２８１は、例えば液晶表示パネルであってよい。画像表示部２８１は、後述する範囲指定時にはユーザが処理範囲を指定するための画像を表示し、後述する画像表示時には処理範囲に処理が施された画像を表示する。

画像処理装置３８０は、画像取得部３８１、歪補正部３８２、範囲適用部３８３、画像処理部３８４、表示設定部３８５、範囲生成部３８６、位置指定部３８７、位置記憶部３８８、座標投影部３８９を備えている。画像処理装置３８０はカメラ１８０で撮影された画像からビューワ２８０で表示するための画像を作成する機能と、処理範囲の指定を行う機能との、２つの機能を備えている。

画像取得部３８１は、カメラ１８０の全周囲撮像部１８１にて撮影された全周囲画像を取得する。

歪補正部３８２は、画像取得部３８１にて取得した全周囲画像に歪補正を行う。歪補正には複数の補正処理が想定され、歪補正パラメータによって補正方法が決まる。図４９Ａは、従来の全周囲画像の例を示す図であり、図４９Ｂは、従来の全周囲画像のパノラマ画像を表示する例を示す図であり、図４９Ｃは、従来の全周囲画像とともに複数の切出し範囲の切出し画像を並べて表示する例を示す図である。例えば、図４９Ａの全周囲画像に対して、図４９Ｂに示すような全周囲画像から複数の範囲を切出して補正を行う方法（以下、切出し歪補正と呼ぶ）や、図４９Ｃに示すように、全周囲画像のうち１８０度分を使用したパノラマ画像を生成し並べて表示する方法（以下、パノラマ補正またはパノラマ展開と呼ぶ）などがある。なお、歪補正を行わず全周囲画像のまま出力してもよい。本実施の形態では、歪補正部１２は切出し歪補正またはパノラマ補正で処理を行い、画像を出力する。なお、歪補正パラメータとしては、歪補正の方法とその方法において必要なパラメータ（例えば切出し歪補正では切出し位置と大きさ）などである。

表示設定部３８５は、歪補正部３８２で行う歪補正の歪補正パラメータの設定を行う。また、歪補正を行わない場合には歪補正パラメータを設定しない。表示設定部３８５で設定された歪補正パラメータは歪補正部３８２、範囲生成部３８６、座標投影部３８９に受け渡される。

範囲適用部３８３は、歪補正部３８２から歪補正が行われた画像を取得し、その画像に範囲生成部３８６が生成した範囲情報を付加して出力する。この付加された範囲情報は任意の画像処理の処理範囲として使用される。なお、範囲生成部３８６が範囲情報を生成していない場合、入力画像をそのまま出力する。

画像処理部３８４は、範囲適用部３８３から範囲情報が付加された画像を取得し、前記範囲情報の範囲に任意の画像処理を行う。画像処理は、範囲情報の逆の範囲に適用してもよい。本実施の形態では、画像処理部３８４は、画像処理として、処理範囲を黒一色で塗りつぶすプライバシーマスク処理を行う。よって、処理範囲はマスク領域に相当する。

位置指定部３８７は、入力部２８２での入力にもとづいて表示画像上の座標情報を送信する。本実施の形態では、位置情報は画像表示部２８１で表示される画像上の一点の座標値となる。

座標投影部３８９は、位置指定部３８７から入力された表示画像上の座標情報を、表示設定部３８５の歪補正パラメータにもとづいて、全周囲画像上の座標情報に変換する。

位置記憶部３８８は、座標投影部３８９から入力された全周囲画像上の座標情報（以下、「位置情報」と呼ぶ）を記憶する。本実施の形態では位置記憶部３８８は全周囲画像上での直行座標系における一点の位置座標を記憶する。前記位置情報は極座標系などの、他の座標系を用いてもよく、各表示設定で共有できる位置情報のテーブルとして保持してもよい。

範囲生成部３８６は、位置記憶部３８８に記憶された位置情報と表示設定部３８５の歪補正パラメータに基づいて、特定の位置に予め定められた形状の範囲情報を生成する。本実施の形態では、位置記憶部３８８に記憶された全周囲画像上の位置座標を歪補正パラメータに基づいて歪補正された画像上の座標系に変換し、その位置座標を中心とする固定された半径の円を範囲情報として生成する。

次に、画像処理装置３８０の動作について説明する。画像処理装置３８０の動作は、画像表示と範囲設定の２つの動作がある。はじめに画像表示の動作について説明する。図４３は、本発明の第８の実施の形態の画像表示装置の処理を示すフロー図である。画像取得部３８１がカメラ１８０から入力された全周囲画像を歪補正部３８２に出力すると（ステップＳ４３１）、歪補正部３８２は表示設定部３８５から受信する歪補正パラメータの有無を判断する（ステップＳ４３２）。

歪補正パラメータが有りの場合、歪補正部３８２は歪補正パラメータにもとづいて歪補正処理を行う（ステップＳ４３３）。歪補正パラメータが無い場合、ステップＳ４３３は省略され、次のステップＳ４３４に移行する。

次に、位置記憶部３８８の位置情報の有無を判断する（ステップＳ４３４）。位置記憶部３８８の位置情報は後述する範囲設定動作を行った場合に生成されるものである。すでに範囲設定が行われ位置情報がある場合は、範囲生成部３８６が前記位置情報に応じた範囲情報を出力し、範囲適用部３８３にて範囲情報が歪補正部３８２から出力された映像に付加される（ステップＳ４３５）。範囲設定が行われていない、もしくは設定がリセットされたなど位置情報が無い場合は、範囲情報の付加は行われない。

ここで、範囲情報生成の詳細について説明する。図４４は、本実施の形態の範囲生成部の処理を示すフロー図である。はじめに、範囲生成部３８６が位置記憶部から位置情報を取得する（ステップＳ４４１）。本実施の形態では、この位置情報は全周囲画像上の一点の座標である。次に、範囲生成部３８６は表示設定部３８５から歪補正パラメータの有無を判断する（ステップＳ４４２）。

歪補正が有りと判断された場合は、範囲生成部３８６は表示設定部３８５から取得した歪補正パラメータに基づいて、位置情報を変換する。本実施の形態では、全周囲画像上の座標を歪補正された画像での座標へと変換を行う（ステップＳ４４３）。歪補正が無しと判断された場合は、ステップＳ４４３は経由せずにステップＳ４４４に進む。続いて範囲生成部３８６は最終的に得られた位置情報を基点とし、予め定めたれた形状の範囲情報を生成する（ステップＳ４４４）。本実施の形態では、最終的に得られた歪補正後の座標を中心とした予め定められた半径の円を範囲情報として形成する。ここで、歪補正パラメータが無い場合における最終的に得られた位置情報とは全周囲画像上の座標（位置記憶部３８８が保持していた位置情報のまま）を意味する。

再び画像処理装置３８０のフロー図の説明に戻る。範囲適用部３８３から出力された画像は画像処理部３８４に入力され、画像に付加された範囲情報が示す処理範囲に任意の画像処理を適用する（ステップＳ４３６）。画像処理が適用された画像は画像表示部２８１へ出力され、ユーザに表示される（ステップＳ４３７）。

続いて、画像処理装置３８０における範囲設定の動作について説明する。図４５は、本実施の形態における位置情報を生成する処理を示すフロー図である。入力部２８２からのユーザの入力情報に応じて、位置指定部３８７は画像表示部２８１に表示されている画像上の位置情報を出力する（ステップＳ４５１）。座標投影部３８９は表示設定部３８５の設定情報を受け取り、歪補正パラメータの有無を判断する（ステップＳ４５２）。

前記設定情報が、歪補正パラメータが有りの場合、座標投影部３８９は歪補正パラメータを元に、位置情報を歪補正前の全周囲画像上の座標に変換する（ステップＳ４５３）。Ｓ４５２で歪補正パラメータが無しと判断された場合は、位置情報の必要はないので、ステップＳ４５３は実行せずにステップＳ４５４に進む。最後に、全周囲画像上の座標を位置情報として位置記憶部に保持する（ステップＳ４５４）。

図４６は、本実施の形態の画像処理の例を示す図である。図４６を用いて、画像に対して範囲指定を行い、画像処理が行われた画像を表示する例について説明する。歪補正画像５１０は、歪補正部３８２が全周囲画像５２０の複数個所について切出し歪補正を行った画像である。この歪補正画像５１０に対してユーザが入力部２８２を通じ範囲指定のための位置５１１を指定する。

次に座標投影部３８９は、全周囲画像５２０から切出し歪補正画像５１０を作成するための歪補正パラメータを用いて、指定された位置５１１を全周囲画像上５２０の座標５２１に変換する。続いて、位置記憶部３８８は変換された座標５２１を記憶する。

続いてユーザが歪補正パラメータとしてパノラマ展開を選択したとする。表示設定部１５は歪補正パラメータを切出し歪補正からパノラマ展開に変更する。歪補正部３８２はパノラマ展開を行ったパノラマ展開画像５３０を作成する。また、範囲生成部３８６は位置記憶部３８８から読み出した座標５２１と歪補正パラメータとを用いて、パノラマ展開画像上での座標５３１を求める。続いて、予め定められた形状である円を座標５３１が中心になるように範囲５３２を生成する。

続いて、範囲適用部３８３は生成された範囲５３２をパノラマ展開画像５３０に適用する。さらに画像処理部３８４が範囲５３２に対してプライバシー処理を施す。最後に画像表示部２８１が、プライバシー処理が施された画像を表示する。なお、位置５１１を指定する際に、予め定められた形状である円を座標５１１が中心になるように表示してもよい。

以上のように、本実施の形態の画像処理装置３８０によれば、ユーザが歪補正された画像上の１点を指定するだけで画像中の任意の範囲に対して画像処理を行うことができる。その際に、画像処理される範囲は歪補正の有無やパラメータによらず同じ形状となりユーザにとって分かりやすい画像表示を実現することができる。

以上、本発明の第８の実施の形態を説明したが、上記の実施の形態は、本発明の範囲内で種々の変形が可能である。例えば、範囲として円形以外の形状を用いてもよい。図４７Ａ及び図４７Ｂは、本発明の第８の実施の形態の範囲情報の例を示す図である。図４７Ａに範囲の形状として円、正方形、正三角形、正六角形を用いる場合を示す。図４７Ｂに範囲の形状として楕円、長方形、ひし形を用いる場合を示す。

なお、円以外の形状を範囲として用いる場合は、形状の方向を決定する必要がある。方向を決定する方法としては、例えばユーザが位置指定を行う際に位置に加えて方向も指定する方法が考えられる。図４８は、本発明の第８の実施の形態の形状の方向を指定する例を示す図である。７１０は歪補正部３８２によって歪補正が行われ表示されている画像であり、その画像上でユーザは範囲指定の位置７１１と方向７１２を指定する。指定する方法としては、タッチパネルで位置７１１をタップし、そこから方向７１２に沿って指を滑らせる方法などが好適である。図４７Ａの楕円などにおいては、ユーザに縦横比を決定させてもよい。また滑らせた指をどこで離すかなどの方法で形状の大きさを設定可能にしてもよい。

また、方向を決定する方法として、画像中の決められた方向をデフォルトの方向としてそれに合わせて範囲を設定する方法が考えられる。具体的には、図４７Ａ中の矢印が、画像の鉛直方向と一致するように形状の方向を決定すればよい。

さらに、上記の実施の形態では位置情報として全周囲画像上の座標を用いたが、全周囲画像上の１点と対応付けられる情報であれば何でもよい。例えば、歪補正有の場合には歪補正パラメータと歪補正された画像上の座標の両方を位置情報としてもよい。この場合には、歪補正パラメータを用いて、歪補正された画像上の座標を全周囲画像上の座標に対応付けることができる。また、絶対空間での座標に変換してそれを位置情報としてもよい。

さらに、歪補正パラメータのズーム倍率に応じて形状の大きさを変更してもよい。ズーム率が大きい場合（画像中の物体を拡大して表示する場合）は、形状の大きさは小さくし、ズーム率が小さい場合は形状の大きさを大きくする。これにより、ズーム倍率が変わっても画像上の同じ対象について画像処理できるようになる。

また、上記の実施の形態では、全周囲撮像部１８１が、魚眼レンズを用いて全周囲画像を撮影し、画像処理装置３８０はこの全周囲画像を取得したが、撮像する画像は補正可能な歪みを有する画像であれば、全周囲画像に限られない。

以上に現時点で考えられる本発明の好適な実施の形態として第１〜第８の実施の形態を説明したが、上記の実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

また、上記において、ある実施の形態、及びある実施の形態について説明された変形例又は他の可能性は、実現可能である限り、他の実施の形態において、追加的に、又は代替して適用され得る。

以上のように、本発明は、有歪み画像の歪みが補正された歪補正画像において、マスクされる領域の見栄えがよくなる等の効果を有し、歪みを有する画像に対して歪補正をするとともに、その一部領域にマスク処理を施す画像処理装置等として有用である。

１００ カメラ
１１ 筐体
１２ ドームカバー
１３ 基台
１４ 光学ユニット
１５ 主基板
１６ 魚眼レンズ
１７ 開閉カバー
１８ 取り付け金具
１９ レンズホルダ
２０ パッキン材
２１ センサ基板
２２ 貫通孔
２３ 固定ネジ
２４ ＭＯＳホルダ
２５ ＭＯＳブランケット
２６ 固定ネジ
２８ 支持柱
２９ 嵌合ボス
２７ コイルバネ
１０１〜１０３ 撮影システム
１１０、１２０、１３０ カメラ
１１１ 全周囲撮像部
１１２ マスクデータ保持部
１１３ マスク実行部
１１４ 切出しパラメータ設定部
１１５ 切出し歪補正部
１２６ マスク領域整形部
１２６１ 補正後マスク領域生成部
１２６２ 補正後マスク領域整形部
１２６３ 逆変換補正部
１３７ マスク領域歪補正部
１３８ マスク領域整形部
２１０、２２０、２３０ ビューワ
２１１ マスク領域検出部
２１２ マスク領域整形部
２１３ 出力部
１０４〜１０６ 撮影システム
１４０、１５０、１６０ カメラ
１４１、１５１、１６１ 全周囲撮像部
１４２、１５２、１６２ マスク領域受付部
１４３、２５３、１６３ マスク枠生成部
１４４、２５４、１６４ マスク枠重畳部
１４５、１５４ マスク実行部
１４６、１５５、１６７ 切出し歪補正部
１４７、１５６、１６８ 合成部
１５５ 切出し範囲決定部
１６５ マスク領域歪み補正部
１６６ 切出しマスク実行部
２４０、２５０、２６０ ビューワ
２４１、２５１、２６１ 入力部
２４２、２５２、２６２ マスク領域決定部
２４３、２５５、２６３ 表示切替部
２４４、２５６、２６４ 表示部
１０７ 撮影システム
１７０ カメラ
１７１ 全周囲撮像部
２７０ ビューワ
２７１ 画像表示部
２７２ 入力部
３７０ 画像処理装置
３７１ 表示切替部
３７２ 範囲処理部
３７３ 範囲記憶部
３７４ 範囲重畳部
３７５ 確定判断部
３７６ 歪補正部
３７７ 画像出力部
３７８ 範囲計算部
３７９ 範囲指定部
１０８ 撮影システム
１８０ カメラ
１８１ 全周囲撮像部
２８０ ビューワ
２８１ 画像表示部
２８２ 入力部
３８０ 画像処理装置
３８１ 画像取得部
３８２ 歪補正部
３８３ 範囲適用部
３８４ 画像処理部
３８５ 表示設定部
３８６ 範囲生成部
３８７ 位置指定部
３８８ 位置記憶部
３８９ 座標投影部

Claims (14)

1. 有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、
   前記マスク領域保持部のマスク領域を用いて前記有歪み画像にマスク処理を行うマスク処理部と、
   前記有歪み画像の歪みを補正する補正パラメータを用いて、前記マスク処理された有歪み画像を補正する歪補正部と、
   前記補正後の画像のマスク領域を所定の形状に整形するマスク領域整形部と、
   を備えたことを特徴とする画像処理装置。
2. 前記歪補正部で補正された画像のマスク領域を検出するマスク領域検出部を備え、前記マスク領域整形部は前記マスク領域検出部で検出されたマスク領域を所定の形状に整形することを特徴とする請求項１記載の画像処理装置。
3. 前記マスク領域整形部は、画像に対して垂直及び平行な線によって囲まれる矩形となるように、前記マスク領域を整形することを特徴とする請求項１記載の画像処理装置。
4. 前記マスク領域整形部は、前記歪補正部による歪補正によって曲線となる線が直線になるように、前記マスク領域を整形することを特徴とする請求項１記載の画像処理装置。
5. 前記有歪み画像は、全周囲画像から切り出した画像であり、前記マスク領域整形部は、前記有歪み画像の前記全周囲画像からの切出し方向に応じて前記マスク領域を整形することを特徴とする請求項１記載の画像処理装置。
6. 前記歪補正部は、複数の画素からなるスクエアごとに変換元の座標を線形補間して対応する座標の画素を埋めることで、前記補正を行ない、
   前記マスク領域整形部は、前記補正が行なわれたマスク領域を含む前記スクエアを、整形後のマスク領域とすることを特徴とする請求項１記載の画像処理装置。
7. 前記マスク領域整形部は、前記補正が行なわれたマスク領域を含む前記スクエアを含み全体として矩形に構成される複数の前記スクエアを、整形後のマスク領域とすることを特徴とする請求項６に記載の画像処理装置。
8. 有歪み画像を入力する撮像部を備えたことを特徴とする請求項１記載の画像処理装置。
9. 前記撮像部は魚眼レンズを含むことを特徴とする請求項８記載の画像処理装置。
10. 前記マスク領域保持部にて保持するマスク領域を、前記有歪み画像上でユーザが指定するための指定部と、
    前記指定部より指定されたマスク領域を、前記補正パラメータにより補正するマスク領域補正部と、を備え、
    ユーザが前記マスク領域を指定する際に、前記補正されたマスク領域を同時に表示することを特徴とする請求項１に記載の画像処理装置。
11. 前記マスク領域保持部にて保持するマスク領域を、前記有歪み画像上でユーザが指定するための指定部と、
    前記指定部より指定されたマスク領域を、前記補正パラメータにより補正するマスク領域補正部と、を備え、
    ユーザが前記マスク領域を指定する際に、前記補正されたマスク領域を前記有歪み画像上に重畳表示することを特徴とする請求項１に記載の画像処理装置。
12. 有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、
    前記有歪み画像の歪みを補正する補正パラメータを用いて、前記マスク領域保持部のマスク領域を補正するマスク領域補正部と、
    前記マスク領域補正部で補正されたマスク領域を所定の形状に整形するマスク領域整形部と、
    前記マスク領域整形部で整形されたマスク領域に前記補正パラメータを用いた逆変換を行う逆変換補正部と、
    前記逆変換補正部で逆変換されたマスク領域を用いて前記有歪み画像にマスク処理を行うマスク処理部と、
    前記補正パラメータを用いて、前記マスク処理された有歪み画像を補正する歪補正部と、
    を備えたことを特徴とする画像処理装置。
13. 有歪み画像に対して設定されたマスク領域を保持するマスク領域保持部と、
    前記有歪み画像の歪みを補正する補正パラメータを用いて、前記有歪み画像を補正する歪補正部と、
    前記補正パラメータを用いて、前記マスク領域保持部のマスク領域を補正するマスク領域補正部と、
    前記マスク領域補正部で補正されたマスク領域を所定の形状に整形するマスク領域整形部と、
    前記歪補正部で補正された画像に対して、前記マスク領域整形部で整形されたマスク領域のマスク処理をするマスク処理部と、
    を備えたことを特徴とする画像処理装置。
14. 有歪み画像を取得するステップと、
    前記有歪み画像に対して設定されたマスク領域を保持するステップと、
    前記マスク領域を用いて前記有歪み画像にマスク処理を行うステップと、
    前記有歪み画像の歪みを補正する補正パラメータを用いて、前記マスク処理された有歪み画像を補正するステップと、
    前記補正後の画像のマスク領域を所定の形状に整形するステップと、
    を有することを特徴とする画像処理方法。

Images