JP6587113B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

関連する出願

本出願では、２０１２年１月３１日に日本国に出願された特許出願番号２０１２−０１
７５７６、２０１２年２月１０日に日本国に出願された特許出願番号２０１２−０２７１
６０、２０１２年３月２日に日本国に出願された特許出願番号２０１２−０４７１６６、
及び２０１２年３月２９日に日本国に出願された特許出願番号２０１２−０７５７４１の
利益を主張し、これらの出願の内容は引用することによりここに組み込まれているものと
する。

本発明は、歪みを有する画像（有歪み画像）に対して歪補正をするとともに、その一部
領域にマスク処理を施す画像処理装置及び画像処理方法に関する。

従来より、監視カメラは、街頭など公共の場所に設置されることがある。監視カメラに
よる撮影によって得られる画像には監視の用途には不要な領域が含まれることがある。ま
た、プライバシー保護の観点から、そのような一部領域の画像又は映像を取得して保存し
ておくことが望ましくないこともある。そこで、監視カメラで監視対象範囲を撮影すると
ともに、監視カメラによって得られた画像に対して、プライバシー保護のために一部領域
にマスク処理を施す撮影システムが知られている（例えば、特許文献１及び特許文献２）
。

一方、監視カメラには、魚眼レンズを用いることで、全周囲画像の撮影が可能な全周囲
カメラが用いられることがある。このような全周囲カメラにおいて、水平方向の画角は約
３６０度となり、円形又はドーナツ形の全周囲画像が得られる。この全周囲画像には、場
所に応じて不均一に歪みが生じている。この円形又はドーナツ形の全周囲画像を矩形のビ
ューワ画面にて見やすくするために、全周囲画像に対して歪補正が行なわれる。具体的に
は、例えば、全周囲画像の一部領域を切り出した上で歪補正を行ったり、全周囲画像に対
して歪補正を行なってパノラマ画像に展開したりする処理が行われる。

図４１Ａは、全周囲画像の例を示し、図４１Ｂは、この全周囲画像のパノラマ画像を表
示する例を示し、図４１Ｃは、全周囲画像とともに複数の切り出し範囲の切り出し歪補正
画像を並べて表示する例を示している。図４１Ａ〜図４１Ｃに示すように、全周囲画像を
取得した場合には、その全周囲画像について複数とおりの歪補正を行うことができる。

このように、従来の監視カメラでは、全周囲画像中の切出し範囲、即ち切出し画角及び
切出し位置を任意に指定して切出し歪補正画像を得ることができる。また、動画像を撮影
するとともに、切出し範囲をリアルタイムに変更することもできる。例えば、画像中の動
体を検出してその動体を追尾するように切出し範囲を変化させつつその切出し範囲の切出
し歪補正画像を生成することもできる。

特許第３９９６８０５号公報 米国特許第７３６６３５９号公報

しかしながら、全周囲画像上で一部領域にマスク処理を施すと、歪補正が行なわれるこ
とによって、マスクされていない領域については歪が解消する一方で、マスク領域は歪補
正画像において歪な形になってしまい、見栄えがよくない。

特許文献１の監視カメラシステムでは、マスク領域を矩形にして表示する。図１８は、
特許文献１における処理を説明する図である。図中、Ｐ１〜Ｐ４は、マスク領域の頂点で
あり、ＭＬＵ、ＭＲＵ、ＭＬＤ、ＭＲＤは、Ｐ１〜Ｐ４で囲まれる図形に外接する水平×
垂直の矩形の頂点である。特許文献１の監視カメラシステムでは、信号発生部の構成上、
水平×垂直の矩形でしかマスクができない場合において、Ｐ１〜Ｐ４で囲まれるマスク領
域が歪んでいるときは、そのマスク領域に外接するＭＬＵ、ＭＲＵ、ＭＬＤ、ＭＲＤで囲
まれる領域をマスクしている。

特許文献１の監視カメラシステムは、信号発生部の要請によってマスク領域Ｐ１〜Ｐ４
に外接する水平×垂直の矩形をマスクしているのみであって、見栄えをよくするという観
点からマスク領域の形状を変形しているものではない。即ち、常にマスク領域Ｐ１〜Ｐ４
に外接する水平×垂直の矩形をマスクすることが見やすい補正とは限らない。

また、ユーザは、有歪み画像上でマスク領域を指定した場合に、そのマスク領域が歪補
正画像においてどのような形状になるかを想像することは困難である。特に、歪補正の際
の補正パラメータは、切出し範囲によって異なるので、有歪み画像上で同一位置かつ同一
の形状のマスク領域が指定されたとしても、異なる切出し範囲が複数ある場合には、その
ようなマスク領域が各切出し範囲の歪補正によってどのように変形するかを予想すること
は極めて困難である。

特許文献２に記載された技術では、歪補正後の画像において処理範囲を指定して、その
指定された処理範囲を歪補正前の有歪み画像に座標投影している。しかしながら、特許文
献２に記載のような有歪み画像に対して任意の範囲を指定する方法で範囲指定を行うと、
歪補正の有無や表示方法の違い、また画像の切出し位置によって範囲の形状が変化するこ
とになる。この状態ではユーザからは範囲指定の方法が難しく、指定された範囲の位置も
判り難い表示になる。また、特許文献２に記載の技術では、歪補正前後で多量の座標を投
影する必要があり、情報の処理量が増大するという問題がある。

本発明の一の目的は、見栄えのよい形状のマスク領域を含む歪補正画像を提供できる画
像処理装置及び画像処理方法を提供することである。

本発明の他の目的は、歪補正後のマスク領域を確認しながら、有歪み画像上にてマスク
領域を指定するのに便利な画像処理装置及び画像処理方法を提供することである。

本発明のさらに他の目的は、有歪み画像に歪補正がされた場合に所定の種類の形状とな
る処理範囲を、有歪み画像上で指定して、有歪み画像上で確認できる画像処理装置及び画
像処理方法を提供することである。

本発明のさらに他の目的は、ユーザの範囲指定の容易さを向上し、歪補正前後における
範囲共有の情報処理量を低減できる画像処理装置及び画像処理方法を提供することである
。

画像処理装置は、有歪み画像に対して設定されたマスク領域を保持するマスク領域保持
部と、前記マスク領域保持部のマスク領域を用いて前記有歪み画像にマスク処理を行うマ
スク処理部と、前記有歪み画像の歪みを補正する補正パラメータを用いて、前記マスク処
理された有歪み画像を補正する歪補正部と、前記補正後の画像のマスク領域を所定の形状
に整形するマスク領域整形部とを備えている。

以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示
は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限す
ることは意図していない。

図１は、本発明の第１の実施の形態におけるカメラの外観図である。 図２は、本発明の第１の実施の形態におけるカメラの部切り欠き斜視図である。 図３は、本発明の第１の実施の形態における光学ユニットの分解斜視図である。 図４は、本発明の第１の実施の形態における撮影システムの構成を示すブロック図である。 図５は、本発明の第１の実施の形態におけるマスク領域の整形を説明するための図である。 図６は、本発明の第１の実施の形態における撮影システムにおける処理の流れを説明する図である。 図７は、本発明の第１の実施の形態における変形例のカメラ及びビューワでの処理及びそれらの間のデータのやり取りを示す図である。 図８は、本発明の第１の実施の形態における別の変形例のカメラ及びビューワでの処理及びそれらの間のデータのやり取りを示す図である。 図９は、本発明の第２の実施の形態における撮影システムの構成を示すブロック図である。 図１０は、本発明の第２の実施の形態における撮影システムにおける処理の流れを説明する図である。 図１１は、本発明の第３の実施の形態における撮影システムの構成を示すブロック図である。 図１２は、本発明の第３の実施の形態における撮影システムにおける処理の流れを説明する図である。 図１３Ａは、本発明の実施の形態におけるマスク領域の整形の第１の変形例の切出し方向（半径方向）を説明する図である。 図１３Ｂは、本発明の実施の形態におけるマスク領域の整形の第１の変形例の切出し方向（非半径方向）を説明する図である。 図１４は、本発明の実施の形態におけるマスク領域の整形の第１の変形例のマスク領域の整形を説明する図である。 図１５は、本発明の実施の形態におけるマスク領域の整形の第２の変形例を説明するための図である。 図１６は、本発明の実施の形態におけるマスク領域の整形の第２の変形例を説明するための図である。 図１７は、本発明の実施の形態におけるマスク領域の整形の第２の変形例を説明するための図である。 図１８は、従来のマスク領域に対する処理を説明する図である。 図１９は、本発明の第４の実施の形態のプレビュー画像の例を示す図である。 図２０は、本発明の第４の実施の形態の撮影システムのブロック図である。 図２１は、本発明の第４の実施の形態の全周囲画像の例を示す図である。 図２２は、本発明の第４の実施の形態のマスク領域指定の例を示す図である。 図２３は、本発明の第４の実施の形態のマスク領域指定の例を示す図である。 図２４は、本発明の第４の実施の形態の切出し歪補正画像の例を示す図である。 図２５は、本発明の第４の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。 図２６は、本発明の第４の実施の形態の撮影システムの動作フロー図である。 図２７は、本発明の第５の実施の形態の撮影システムのブロック図である。 図２８は、本発明の第５の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。 図２９は、本発明の第５の実施の形態の撮影システムの動作フロー図である。 図３０は、本発明の第６の実施の形態の撮影システムのブロック図である。 図３１は、本発明の第６の実施の形態においてプレビュー画像を生成する手順を説明するフロー図である。 図３２は、本発明の第６の実施の形態の撮影システムの動作フロー図である。 図３３Ａは、本発明の変形例における全周囲画像上でマスク領域が指定された例を示す図である。 図３３Ｂは、本発明の変形例における全周囲画像上で切出し範囲が指定された例を示す図である。 図３３Ｃは、本発明の変形例における全周囲画像上でプレビュー画像の表示が指示された例を示す図である。 図３３Ｄは、本発明の変形例におけるプレビュー画像の表示例を示す図である。 図３４は、本発明の第７の実施の形態の撮影システムの動作を示すフロー図である。 図３５は、本発明の第７の実施の形態の撮影システムを示すブロック図である。 図３６Ａは、本発明の第７の実施の形態の範囲記憶部に記憶される処理範囲（座標の集合として記憶する場合）を示す図である。 図３６Ｂは、本発明の第７の実施の形態の範囲記憶部に記憶される処理範囲（関数の集合として記憶する場合）を示す図である。 図３７Ａは、本発明の第７の実施の形態のユーザによる処理範囲の始点の指定を説明する図である。 図３７Ｂは、本発明の第７の実施の形態のユーザによる処理範囲の終点の指定を説明する図である。 図３８Ａは、本発明の第７の実施の形態の全周囲画像上で指定された処理範囲の始点及び終点を示す図である。 図３８Ｂは、本発明の第７の実施の形態の処理範囲の指定に応じて決定される表示範囲を示す図である。 図３９は、本発明の第７の実施の形態のプレビュー画像に重畳表示された処理範囲を示す図である。 図４０Ａは、本発明の第７の実施の形態の通常モードにおける切出し歪補正画像の表示例を示す図である。 図４０Ｂは、本発明の第７の実施の形態の通常モードにおけるパノラマ画像の表示例を示す図である。 図４１Ａは、従来の全周囲画像の例を示す図である。 図４１Ｂは、従来の全周囲画像とともに複数の切り出し範囲の切り出し画像を並べて表示する例を示す図である。 図４１Ｃは、従来の全周囲画像のパノラマ画像を表示する例を示す図である。 図４２は、本発明の第８の実施の形態の撮影システムの構成を示すブロック図である。 図４３は、本発明の第８の実施の形態の撮影システムの処理を示すフロー図である。 図４４は、本発明の第８の実施の形態の範囲生成部の処理を示すフロー図である。 図４５は、本発明の第８の実施の形態における位置情報を生成する処理を示すフロー図である。 図４６は、本発明の第８の実施の形態の画像処理の例を示す図である。 図４７Ａは、本発明の第８の実施の形態の範囲情報の例を示す図である。 図４７Ｂは、本発明の第８の実施の形態の範囲情報の例を示す図である。 図４８は、本発明の第８の実施の形態の形状の方向を指定する例を示す図である。 図４９Ａは、従来の全周囲画像の例を示す図である。 図４９Ｂは、従来の全周囲画像のパノラマ画像を表示する例を示す図である。 図４９Ｃは、従来の全周囲画像とともに複数の切出し範囲の切出し画像を並べて表示する例を示す図である。

以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例
であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構
成および機能は、特許請求の範囲を限定するものではない。

本発明の実施の形態の画像処理装置は、有歪み画像に対して設定されたマスク領域を保
持するマスク領域保持部と、マスク領域保持部のマスク領域を用いて有歪み画像にマスク
処理を行うマスク処理部と、有歪み画像の歪みを補正する補正パラメータを用いて、マス
ク処理された有歪み画像を補正する歪補正部と、補正後の画像のマスク領域を所定の形状
に整形するマスク領域整形部とを備えた構成を有する。

この構成によれば、有歪み画像の歪みが補正された歪補正画像において、マスクされる
領域の見栄えがよくなる。

上記の画像処理装置は、歪補正部で補正された画像のマスク領域を検出するマスク領域
検出部を備えていてよく、マスク領域整形部はマスク領域検出部で検出されたマスク領域
を所定の形状に整形してよい。

この構成によれば、マスク領域検出部にて歪補正画像からマスク領域が検出されるので
、この検出されたマスク領域を整形できる。

上記の画像処理装置において、マスク領域整形部は、画像に対して垂直及び平行な線に
よって囲まれる矩形となるように、マスク領域を整形してよい。

この構成によれば、好適にマスク領域を見栄えのよい形状に整形できる。

上記の画像処理装置において、マスク領域整形部は、歪補正部による歪補正によって曲
線となる線が直線になるように、マスク領域を整形してよい。

この構成によれば、マスク領域を自然で見栄えのよい形状に整形できる。

上記の画像処理装置において、有歪み画像は、全周囲画像から切り出した画像であって
よく、マスク領域整形部は、有歪み画像の全周囲画像からの切出し方向に応じてマスク領
域を整形してよい。

この構成によれば、全周囲画像から切り出した画像において、被写体の正立方向とマス
ク領域の正立方向がそろうように、マスク領域を整形できる。

上記の画像処理装置において、歪補正部は、複数の画素からなるスクエアごとに変換元
の座標を線形補間して対応する座標の画素を埋めることで、補正を行なってよく、マスク
領域整形部は、補正が行なわれたマスク領域を含むスクエアを、整形後のマスク領域とし
てよい。

この構成によれば、マスク領域を斜めの辺や湾曲した辺を含む領域ではなく、スクエア
の境界に沿った形状とすることができるので、好適にマスク領域の見栄えをよくすること
ができる。

上記の画像処理装置において、マスク領域整形部は、補正が行なわれたマスク領域を含
むスクエアを含み全体として矩形に構成される複数のスクエアを、整形後のマスク領域と
してよい。

この構成によれば、歪補正の際に用いるスクエアを利用してマスク領域を整形できるの
で、好適にマスク領域の見栄えをよくすることができる。

上記の画像処理装置は、有歪み画像を入力する撮像部を備えていてよい。

この構成によれば、撮影部から入力された有歪み画像について、歪補正画像におけるマ
スク領域の見栄えがよくなる。

上記の画像処理装置において、撮像部は魚眼レンズを含んでいてよい。

この構成によれば、撮影部にて広角の有歪み画像が得られ、そのような有歪み画像につ
いて、歪補正画像におけるマスク領域の見栄えがよくなる。

上記の画像処理装置は、マスク領域保持部にて保持するマスク領域を、有歪み画像上で
ユーザが指定するための指定部と、指定部より指定されたマスク領域を、補正パラメータ
により補正するマスク領域補正部とを備えていてよく、ユーザがマスク領域を指定する際
に、補正されたマスク領域を同時に表示してよい。

この構成によれば、マスク領域を指定する際に、指定されたマスク領域が有歪み画像に
おいてどのように適用されるかを確認することができる。

上記の画像処理装置は、マスク領域保持部にて保持するマスク領域を、有歪み画像上で
ユーザが指定するための指定部と、指定部より指定されたマスク領域を、補正パラメータ
により補正するマスク領域補正部とを備えていてよく、ユーザがマスク領域を指定する際
に、補正されたマスク領域を有歪み画像上に重畳表示してよい。

この構成によれば、指定されたマスク領域を有歪み画像上で確認できる。

本発明の他の実施の形態の画像処理装置は、有歪み画像に対して設定されたマスク領域
を保持するマスク領域保持部と、有歪み画像の歪みを補正する補正パラメータを用いて、
マスク領域保持部のマスク領域を補正するマスク領域補正部と、マスク領域補正部で補正
されたマスク領域を所定の形状に整形するマスク領域整形部と、マスク領域整形部で整形
されたマスク領域に補正パラメータを用いた逆変換を行う逆変換補正部と、逆変換補正部
で逆変換されたマスク領域を用いて有歪み画像にマスク処理を行うマスク処理部と、補正
パラメータを用いて、マスク処理された有歪み画像を補正する歪補正部とを備えた構成を
有している。

この構成によれば、補正が行なわれるマスク領域を、そのマスク領域でのマスク処理が
施された有歪み画像に対する歪補正の後に見やすい形状となるように整形できる。

本発明のさらに他の実施の形態の画像処理装置は、有歪み画像に対して設定されたマス
ク領域を保持するマスク領域保持部と、有歪み画像の歪みを補正する補正パラメータを用
いて、有歪み画像を補正する歪補正部と、補正パラメータを用いて、マスク領域保持部の
マスク領域を補正するマスク領域補正部と、マスク領域補正部で補正されたマスク領域を
所定の形状に整形するマスク領域整形部と、歪補正部で補正された画像に対して、マスク
領域整形部で整形されたマスク領域のマスク処理をするマスク処理部とを備えた構成を有
している。

この構成によれば、有歪み画像とマスク領域とがそれぞれ補正されて、マスク領域につ
いてはさらに見栄えがよくなるように整形された上で、歪補正画像に適用される。

本発明の実施の形態の画像処理方法は、有歪み画像を取得するステップと、有歪み画像
に対して設定されたマスク領域を保持するステップと、マスク領域を用いて有歪み画像に
マスク処理を行うステップと、有歪み画像の歪みを補正する補正パラメータを用いて、マ
スク処理された有歪み画像を補正するステップと、補正後の画像のマスク領域を所定の形
状に整形するステップとを有する。

この構成によっても、有歪み画像の歪みが補正された歪補正画像において、マスクされ
る領域の見栄えがよくなる。

以下、本発明の実施の形態の撮影システムについて、図面を用いて説明する。なお、以
下に説明する撮影システムは、撮影された画像を処理するものであり、その全部又は一部
の構成を画像処理装置として捉えることができる。

１．第１〜第３の実施の形態
１−１．第１の実施の形態
まず、本実施の形態のカメラの構造について説明する。図１は、本実施の形態における
カメラの外観図である。図２は、本実施の形態におけるカメラの部切り欠き斜視図である
。図１に示すように、カメラ１００は、筐体１１、ドームカバー１２、基台１３を備えて
いる。カメラ１００は、例えば、施設の監視用途に用いられ、施設の壁や天井に設置され
る。カメラ１００は、合成樹脂等によって円環状に形成された筐体１１によって外周を覆
われ、中央には透明なプラスチック製のドームカバー１２が配置される。基台１３の外面
側が取り付け金具１８等によって壁や天井等に取り付けられる。その場合、ドームカバー
１２が下向きとなる。

図２に示すように、基台１３の光学ユニット１４の周囲には部品収容スペースが形成さ
れ、画像処理や電源供給のための主基板１５が設けられている。主基板１５にはＣＰＵや
記憶部を備えた制御部（図示せず）が実装されている。光学ユニット１４はレンズホルダ
１９に支持された魚眼レンズ１６や開閉カバー１７を備える。

図３は、本実施の形態における光学ユニットの分解斜視図である。図３において、レン
ズホルダ１９にはパッキン材２０を介して魚眼レンズ１６が装着される。主基板１５に接
続されるセンサ基板２１にはＭＯＳホルダ２４が固定ネジ２３によって固定される。ＭＯ
Ｓホルダ２４が固定されたセンサ基板２１はＭＯＳブランケット２５と固定ネジ２６によ
りレンズホルダ１９の下面側に固定される。

レンズホルダ１９の外周には貫通孔２２が四箇所設けられている。基台１３には四つの
嵌合ボス２９が設けられており、支持柱２８をそれぞれ固定する。それぞれの支持柱２８
はレンズホルダ１９の貫通孔２２を貫通し、固定ネジ２１で固定される。基台１３とレン
ズホルダ１９の貫通孔２２との間にはコイルバネ２７が外挿され、コイルバネ２７はレン
ズホルダ１９を基台１３から浮上させる方向に付勢する。

図４は、本実施の形態の撮影システムの構成を示すブロック図である。図４に示すよう
に、第１の実施の形態の撮影システム１０１は、カメラ１１０とビューワ２１０を含んで
構成される。カメラ１１０は、監視対象箇所に設置される監視カメラである。ビューワ２
１０は、カメラ１１０と有線又は無線で通信可能に接続される。ビューワ２１０は、例え
ば監視室に備えられたコンピュータとモニタ、又は監視要員が持ち歩く携帯端末である。

カメラ１１０は、全周囲撮像部１１１、マスクデータ保持部１１２、マスク実行部１１
３、切出しパラメータ設定部１１４、及び切出し歪補正部１１５を備えている。全周囲撮
像部１１１は、魚眼レンズ、魚眼レンズを介して入射した被写体（監視対象）からの光が
結像される撮像素子、撮像素子にて得られた画像信号に対して処理を行い、画像データを
生成する処理部等を含む公知の全周囲カメラである。全周囲撮像部１１１は、撮影により
生成した全周囲画像をマスク実行部１１３に出力する。

ここで、全周囲画像は、魚眼レンズによって水平画角約３６０度で撮影された画像であ
り、円形又はドーナツ形の画像である。この全周囲画像には歪みが生じており、その度合
いは、画像中の外周に近いほど大きくなる。このような全周囲画像をそのままビューワ２
１０で表示することも可能であるが、後述するように、ビューワ２１０では、歪みが除去
された画像を表示することも可能である。

マスクデータ保持部１１２には、全周囲画像上のマスク領域を表すデータ（以下、「マ
スクデータ」あるいは「マスク領域」ともいう。）が保持されている。即ち、マスクデー
タ保持部１１２に保持されるマスクデータは、マスク領域の形状と、その向きと、その全
周囲画像上の位置を示すデータである。ユーザは、全周囲画像中の任意の領域をマスク領
域として設定できる。即ち、ユーザは、全周囲画像中の任意の位置に、任意の形状（例え
ば、矩形、楕円、円等）のマスク領域を設定して、マスクデータ保持部１２に保存できる
。なお、全周囲画像中の複数箇所にマスク領域が設定されてよい。

マスク実行部１１３は、全周囲撮像部１１１から取得した全周囲画像のうちの、マスク
データ保持部１１２に設定されたマスク領域に対してマスク処理を行なう。ここで、マス
ク処理とは、画像から得られる情報量を減じる処理であって、所定の色で塗り潰す処理の
ように当該領域の情報量をゼロにする処理のほか、当該領域の解像度が低くなるように変
換する処理（モザイク処理）やすりガラス越しに見たような画像に変換する処理等を含む
ものである。本実施の形態では、一色に塗り潰す処理を採用している。

切出しパラメータ設定部１１４は、全周囲画像中の切出し範囲を示す切出しパラメータ
を設定する。切出しパラメータは、例えば切出し範囲の中心座標、ズーム率（全周囲画像
上の切出し範囲の大きさ）、切出し方向のパラメータを含む。切出し歪補正部１１５は、
マスク実行部１１３によってマスク領域にマスク処理が施された全周囲画像から、切出し
パラメータ設定部１１４にて設定された切出しパラメータによって特定される切出し範囲
を切り出して、歪みがなくなるように補正して、歪補正画像を生成する。

切出しパラメータ設定部１１４にて切出し範囲が特定されると、当該切出し範囲につい
て、歪みがなくなるように補正するためのパラメータは一義に求まるため、切出しパラメ
ータ設定部１１４に設定された切出しパラメータは、即ち切出し歪補正部１１５の処理で
用いられる補正パラメータとなる。切出しパラメータ設定部１１４に設定される切出しパ
ラメータは、ユーザが指定することで設定されてもよいし、カメラ１１０自身が全周囲画
像に対して画像認識処理を行うことで、所定の被写体が認識された領域を含むように設定
されてもよい。

切出し歪補正部１１５は、マスク処理が施された全周囲画像の切出し範囲を切り出して
、歪補正を行なうことで、歪補正画像を生成する。この切出し歪補正部１１５は、全周囲
画像の切出し範囲について歪補正を行なうことで、全周囲画像に適用されたマスク領域を
補正するものである。切出し歪補正部１１５にて歪補正画像が生成されると、当該歪補正
画像は、図示しない通信インタフェースを介して、ビューワ２１０に送信される。ビュー
ワ２１０では、この歪補正画像を受信する。

ビューワ２１０は、マスク領域検出部２１１、マスク領域整形部２１２、及び出力部２
１３を備えている。マスク領域検出部２１１は、カメラ１１０から送信されてきた歪補正
画像を取得して、この歪補正画像からマスク領域を検出する。本実施の形態では、マスク
領域が一色で塗りつぶされているので、当該色の領域をマスク領域として検出する。検出
されたマスク領域は、歪補正画像とともにマスク領域整形部２１２に出力される。

マスク領域整形部２１２は、マスク領域検出部２１１で検出したマスク領域の形状を後
述する方法で見やすい形状に整形して、整形後の形状で、歪補正画像に対して再度マスク
処理を施す。出力部２１３は、マスク領域整形部２１２にて再度のマスク処理が施された
歪補正画像を表示する表示装置である。

ここで、マスク領域整形部２１２におけるマスク領域の整形について説明する。図５は
、マスク領域整形部２１２におけるマスク領域の整形を説明するための図である。図５の
例では、元画像である全周囲画像上で、水平及び垂直の辺からなる矩形のマスク領域ｍｏ
１がマスクデータ保持部１１２において設定されている。

このマスク領域ｍｏ１がマスク実行部１１３において全周囲画像に適用され、そのよう
な全周囲画像の切出し範囲が切出し歪補正部１１５にて補正されると、もとのマスク領域
ｍｏ１は、例えば図５のマスク領域ｍｍ１のように補正される。即ち、歪補正前の全周囲
画像に適用したマスク領域は水平及び垂直の辺からなる矩形であって、整った形状であっ
たが、切出し歪補正部１１５による歪補正によって、歪な形状の四角形になってしまって
いる。なお、この図に示す歪補正後のマスク領域は例であり、実際にはレンズの歪などか
ら決定される歪補正パラメータで決定される形状であり、四角形に限らず曲線を含む形状
である場合もある。

マスク領域整形部２１２は、このような歪な四角形のマスク領域を、そのマスク領域の
全て又は一部を含む水平及び垂直の辺からなる矩形に整形する。図５において、整形後の
マスク領域ｍｓ１１は、歪補正によって歪になった四角形を完全に含む、それより大きい
水平及び垂直の辺からなる矩形であり、整形後のマスク領域ｍｓ１２は、歪補正によって
歪になった四角形の一部を含む水平及び垂直の辺からなる矩形である。マスク領域整形部
２２は、これらの矩形ｍｓ１１又はｍｓ１２の領域について、再度マスク処理を施す。

図５において歪補正後のマスク領域ｍｍ２は、歪補正によって４つの辺が凹んだ曲線と
なっている形状を有している。マスク領域整形部２２は、このような形状のマスク領域ｍ
ｍ２における凹んだ曲線部分を直線になるように整形する。また、図５において、歪補正
後のマスク領域ｍｍ３は、対向する２つの辺が凹んだ曲線になっており、かつ他の対向す
る２つの辺が凸の曲線になっている形状を有している。マスク領域整形部２１２は、この
ような形状のマスク領域ｍｍ３における凹んだ曲線部分が直線になり、かつ、凸の曲線部
分も直線になるように整形する。

以上のように構成された撮影システム１０１における処理の流れを画像及びマスク領域
とともに説明する。図６は、撮影システム１０１における処理の流れを説明する図である
。まず、全周囲撮像部１１１が監視対象箇所を撮影することで全周囲画像ＩＭ１１を取得
する（ステップＳ６１）。全周囲画像ＩＭ１１は、図６に示すように円形であり、外周に
向かうにつれて度合いを増して歪んだ画像である。この全周囲画像ＩＭ１１に対して、マ
スク実行部１３はマスクデータ保持部１２から読み出したマスク領域ＭＡ１１について、
マスク処理を行う（ステップＳ６２）。これにより、全周囲画像ＩＭ１１は、マスク領域
ＭＡ１１にマスク処理が施された画像ＩＭ１２となる。

このように部分的にマスク処理が施された画像ＩＭ１２に対して、切出しパラメータ設
定部１１２にて設定された切出しパラメータ（即ち、補正パラメータ）を用いて、切出し
範囲が切り出されて歪補正が行われる（ステップＳ６３）。これにより、マスク処理が施
された全周囲画像ＩＭ１２から切出し範囲が歪補正された状態で切り出されて、歪補正画
像ＩＭ１３が得られる。この歪補正画像ＩＭ１３には、マスク領域ＭＡ１２が含まれてい
るが、マスク領域ＭＡ１２は切出し歪補正部１５による切出し及び歪補正によって、もと
のマスク領域ＭＡ１１が補正され、歪な形状になっている。

このようにして生成された歪補正画像ＩＭ１３は、カメラ１１０からビューワ２１０に
送信されて、ビューワ２１０のマスク領域検出部２１１に与えられる。マスク領域検出部
２１１は、歪補正画像ＩＭ１３からマスク領域を検出する（ステップＳ６４）。マスク領
域ＭＡ１２が検出されると、マスク領域整形部２１２は、このマスク領域を整形して、整
形後のマスク領域ＭＡ１３を得る（ステップＳ６５）。図６の例では、整形後のマスク領
域ＭＡ１３は、もとの歪んだマスク領域ＭＡ１２を囲う水平及び垂直な辺からなる矩形と
される。

マスク領域整形部２１２は、整形後のマスク領域ＭＡ１３について、歪補正画像ＩＭ１
３に対してマスク処理を施す（ステップＳ６６）。このようにして、マスク領域整形部２
１２にて、水平及び垂直な辺からなる矩形のマスク領域ＭＡ１３にマスク処理が施された
歪補正画像ＩＭ１４が得られる。

以上のように、本発明の第１の実施の形態によれば、歪みを有する全周囲画像に対して
、所望の領域をマスク領域としてマスク処理を施した上で、そのような画像に対して歪補
正を行う。この歪補正によって、マスク領域以外の画像の歪みは解消するが、マスク領域
が歪な形状になる。そこで、マスク領域検出部２１１にて、歪補正画像からマスク領域を
検出して、マスク領域整形部２１２にてマスク領域を見栄えのよい形状に整形して、再度
マスク処理を行う。よって、最終的に得られる歪補正画像では、マスク処理された領域が
見栄えのよい形状となる。

なお、上記の第１の実施の形態では、マスクデータ保持部１１２、マスク実行部１１３
、切出しパラメータ設定部１１４、切出し歪補正部１１５がカメラ１１０に備えられ、マ
スク領域検出部２１１及びマスク領域整形部２１２がビューワ２１０に備えられていたが
、これらの構成要素は、カメラ１１０及びビューワ２１０のいずれに備えられていてもよ
い。

例えば、カメラ１１０には、全周囲撮像部１１１のみが設けられ、他の構成はすべてビ
ューワ２１０に設けられていてもよい。図７は、この場合のカメラ１１０及びビューワ２
１０での処理及びそれらの間のデータのやり取りを示す図である。この場合には、カメラ
１１０の全周囲撮像部１１１にて撮像が行われると（ステップＳ７１）、全周囲画像が得
られ、この全周囲画像は、ビューワ２１０に送信される（ステップＳ７２）。ビューワ２
１０では、切出し補正部１１５が全周囲画像の切出し範囲を切出して歪補正を行う切出し
補正を行い（ステップＳ７３）、出力部２１３が歪補正画像を表示する（ステップＳ７４
）。なお、図７の説明では、マスク処理に関する説明を省略している。

図８は、図４に示す構成の撮影システム１０１に対して、切出しパラメータ設定部１１
４がビューワ２１０に備えられるよう変形された場合のカメラ１１０及びビューワ２１０
での処理及びそれらの間のデータのやり取りを示す図である。この場合には、カメラ１１
０の全周囲撮像部１１１にて撮像が行われ（ステップＳ８１）、ビューワ２１０の切出し
パラメータ設定部１１４にて切出し範囲が指定されると（ステップＳ８２）、この切出し
範囲を特定する切出しパラメータがビューワ２１０からカメラ１１０に送信される（ステ
ップＳ８３）。

カメラ１１０の切出し歪補正部１１５は、この切出しパラメータを補正パラメータとし
て用いて、全周囲画像に対して歪補正を行い（ステップＳ８４）、歪補正画像を得る。こ
の歪補正画像は、カメラ１１０からビューワ２１０に送信され（ステップＳ８５）、出力
部２１３にて表示される（ステップＳ８６）。

１−２．第２の実施の形態
次に、本発明の第２の実施の形態を説明する。図９は、第２の実施の形態の撮影システ
ムの構成を示すブロック図である。図９に示すように、第２の実施の形態の撮影システム
１０２は、カメラ１２０とビューワ２２０を含んで構成される。カメラ１２０及びビュー
ワ２２０の各構成要素において、第１の実施の形態と同じものについては、同一の符号を
付して、詳細な説明は省略する。

カメラ１２０は、全周囲撮像部１１１、マスクデータ保持部１１２、マスク実行部１１
３、切出し歪補正部１１５、及びマスク領域整形部１２６を含んでいる。本実施の形態で
は、マスク領域整形部１２６において、切出し歪補正部１１５における歪補正を受けるこ
とで見栄えのよい形状となるように、マスクデータ保持部１１２から読み出したマスク領
域を整形した上で、マスク実行部１１３に提供し、マスク実行部１１３がそのような予め
整形された形状のマスク領域について、全周囲画像に対してマスク処理を行い、切出し歪
補正部１１５は、マスク領域についてマスク処理が施された全周囲画像について、切出し
歪補正を行う。

このために、カメラ１２０は、マスク保持部１１２とマスク実行部１１３との間にマス
ク領域整形部１２６を有している。マスク領域整形部１２６は、補正後マスク領域生成部
１２６１、補正後マスク領域整形部１２６２、及び逆変換補正部１２６３を備えている。
ビューワ２２０の切出しパラメータ設定部１１４で設定された切出しパラメータは、ビュ
ーワ２２０からカメラ１２０に送信され、カメラ１２０の補正後マスク領域生成部１６１
、逆変換補正部１６３、及び切出し歪補正部１１５に与えられる。

補正後マスク領域生成部１２６１は、マスクデータ保持部１１２からマスク領域を読み
出して、切出しパラメータを補正パラメータとして用いて、このマスク領域を補正し、補
正後マスク領域を生成する。このマスク領域の補正は、同一の切出しパラメータを用いて
切出し歪補正部１１５にて行われる歪補正と同一の方法により行われる。上述のように、
マスクデータ補正部１１２には、水平及び垂直な辺からなる矩形のマスク領域が保持され
ているが、補正後マスク領域生成部１２６１における、切出しパラメータを用いた上述の
補正によって、補正後マスク領域は歪な形状になる。この補正後マスク領域は、補正後マ
スク領域整形部１２６２に与えられる。

補正後マスク領域整形部１２６２は、見栄えがよくなるように、補正後マスク領域を整
形する。整形の具体的方法は、すでに述べたとおりである。整形されたマスク領域は、逆
変換補正部１２６３に与えられる。逆変換補正部１２６３は、切出しパラメータを用いて
、補正後マスク領域生成部１２６１及び切出し歪補正部１１５にて行われる補正とは逆の
補正を行う。これにより、補正後マスク領域整形部１２６２で整形された見栄えのよい形
状のマスク領域は、再び歪な形状になる。この歪な形状は、切出しパラメータを用いて歪
補正を行うことで、補正後マスク領域整形部１２６２における整形によって得られた見栄
えのよい形状に戻る形状である。

逆変換補正部１２６３にて逆変換が行われたマスク領域は、マスク実行部１１３に与え
られ、マスク実行部１１３は、全周囲画像に対して、このマスク領域においてマスク処理
を施す。切出し歪補正部１１５は、そのようにして得られた、マスク領域にマスク処理が
施された全周囲画像に対して、切出しパラメータを用いた切出し、及び歪補正を行う。図
９から明らかなように、この切出し歪補正部１１５で補正パラメータとして用いられる切
出しパラメータは、補正後マスク領域生成部１２６１にてマスク領域を補正するのに用い
た切出しパラメータ及び逆変換補正部１２６３における逆変換に用いられた切出しパラメ
ータと同一のパラメータである。

この切出し歪補正部１１５による切出し及び歪補正によって、マスク領域は見栄えのよ
い形状になるとともに、マスク領域以外の歪みも解消する。このようにして得られたマス
ク処理済みの歪補正画像をカメラ１２０からビューワ２２０に送信すると、ビューワ２２
０では、出力部２１３にてこの歪補正画像が表示される。

以上のように構成された撮影システム１０２における処理の流れを画像及びマスク領域
とともに説明する。図１０は、撮影システム１０２における処理の流れを説明する図であ
る。補正後マスク領域生成部１２６１は、マスクデータ保持部１１２からマスク領域ＭＡ
２１を取得し、かつ、切出しパラメータ設定部１４から切出しパラメータを取得して、こ
の切出しパラメータを補正パラメータとして用いてマスク領域ＭＡ２１に対して歪補正を
行い、補正後マスク領域ＭＡ２２を生成する（ステップＳ１０１）。

補正後マスク領域整形部１２６２は、補正後マスク領域ＭＡ２２を補正後マスク領域Ｍ
Ａ２３に整形する（ステップＳ１０２）。次に、逆変換補正部１２６３が、切出しパラメ
ータ設定部１４から切出しパラメータを取得して、この切出しパラメータの逆数を補正パ
ラメータとして、補正後マスク領域ＭＡ２３に対して、ステップＳ１０２における補正と
は逆方向の変換を行い（ステップＳ１０３）、逆変換補正マスク領域ＭＡ２４を得る。全
周囲撮像部１１１が監視対象箇所を撮影することで全周囲画像ＩＭ２１を取得すると（ス
テップＳ１０４）、マスク実行部１１３は、補正逆変化部１２６３にて得られた逆変換補
正マスク領域ＮＡを用いて、全周囲画像ＩＭ２１に対してマスク処理を行い（ステップＳ
１０５）、マスク処理が施された画像ＩＭ２２が得られる。

切出し歪補正部１１５は、このマスク処理が施された画像ＩＭ２２に対して、切出しパ
ラメータ設定部１１４にて設定された切出しパラメータを用いて、切出し範囲の切出し及
び歪補正を行い（ステップＳ１０６）、歪補正画像ＩＭ２３を得る。上述のように、この
歪補正画像ＩＭ２３では、補正後マスク領域整形部１２６２にて整形された見栄えのよい
マスク領域にてマスク処理が行われている。

以上のように、本発明の第２の実施の形態によれば、マスク領域に対して、全周囲画像
対する切出し歪補正で用いられるのと同じ補正パラメータを用いた補正が行われて、マス
ク領域が歪な形状とされる。そして、その歪な形状のマスク領域が整形された見栄えのよ
いマスク領域とされ、そのようなマスク領域がいったん上記の補正パラメータによって逆
変換されて、そのような領域をマスク領域として、歪みを有する全周囲画像にマスク処理
が行われる。そして、切出し歪補正部１１５にて、再び上記と同じ補正パラメータを用い
て歪補正が行われる。これにより、このようにして得られた歪補正画像において、マスク
領域は、補正後マスク領域整形部１２６２にて整形された見栄えのよい形状となる。

なお、第２の実施の形態では、図９に示すように、ビューワ２２０は、本発明に関連す
る構成としては、切出しパラメータ設定部１１４及び出力部２１３のみを備えていればよ
く、それらの処理負荷も大きくないので、ビューワ２２０は処理能力の限られた装置にお
いても実現できる。例えば、ビューワ２２０を携帯端末とする場合に、本実施の形態が有
効である。

１−３．第３の実施の形態
次に、第３の実施の形態を説明する。図１１は、第３の実施の形態の撮影システムの構
成を示すブロック図である。図１１に示すように、第３の実施の形態の撮影システム１０
３は、カメラ１３０とビューワ２３０を含んで構成される。カメラ１３０及びビューワ２
３０の各構成要素において、第１の実施の形態と同じものについては、同一の符号を付し
て、詳細な説明は省略する。

カメラ１３０は、全周囲撮像部１１１、マスクデータ保持部１１２、マスク実行部１１
３、切出しパラメータ設定部１１４、切出し歪補正部１１５、マスク領域歪補正部１３７
、及びマスク領域整形部１３８を備えている。

マスク領域歪補正部１３７は、マスクデータ保持部１１２に保持されたマスク領域に対
して、切出しパラメータ設定部１１４から取得した切出しパラメータを補正パラメータと
して用いて、切出し範囲の切出し及び歪補正を行い、全周囲画像上の歪補正マスク領域を
生成する。この歪補正マスク領域は、切出し範囲上のマスク領域であり、かつ、歪な形状
をしている。この歪補正マスク領域はマスク領域整形部１３８に出力される。

マスク領域整形部１３８は、マスク領域歪補正部１３７にて生成された切出し範囲上の
歪補正マスク領域を見栄えがよい形状に整形する。具体的な整形の方法は、上述したとお
りである。

切出し歪補正部１１５は、全周囲撮像部１１１にて取得された全周囲画像に対して、切
出しパラメータ設定部１１４から読み出した切出しパラメータを補正パラメータとして、
切出し領域の切出し、及び歪補正を行い、歪補正画像を生成する。マスク実行部１１３に
は、切出し歪補正部１１５にて生成された歪補正画像と、マスク領域整形部１３８で整形
されたマスク領域を入力して、歪補正画像に対して、整形されたマスク領域のマスク処理
を行う。

マスク実行部１１３でマスク処理された歪補正画像は、カメラ１３０からビューワ２３
０に送信される。ビューワ２３０の出力部２１３は、カメラ１３０から送信されてきた歪
補正画像を表示する。

以上のように構成された撮影システム１０３における処理の流れを画像及びマスク領域
とともに説明する。図１２は、撮影システム１０３における処理の流れを説明する図であ
る。まず、マスク領域歪補正部１３７が切出しパラメータ設定部１１４から切出しパラメ
ータを読み出し、それを補正パラメータとして、マスクデータ保持部１１２から読み出し
たマスク領域ＭＡ３１を補正して（ステップＳ１２１）、補正後のマスク領域ＭＡ３２を
生成する。ここで、マスク領域歪補正部１３７は、全周囲画像上のマスク領域ＭＡ３１に
対して、切出しパラメータを用いて切出し範囲を切り出した上で歪補正をする。その後、
マスク領域整形部１３８は、マスク領域歪補正部１３７にて補正されたマスク領域を見栄
えのよい形状に整形して（ステップＳ１２２）、整形後のマスク領域ＭＡ３３を生成する
。

全周囲撮像部１１１が監視対象を撮影して、全周囲画像ＩＭ３１を取得すると（ステッ
プＳ１２３）、切出し歪補正部１１５は、切出しパラメータ設定部１１４で設定された切
出しパラメータを用いてこの全周囲画像ＩＭ３１から切出し範囲を切り出して、歪補正を
行ない（ステップＳ１２４）、歪補正画像ＩＭ３２を生成する。マスク実行部１１３には
、この歪補正画像ＩＭ３２とマスク領域整形部１３８で生成された整形後のマスク領域Ｍ
Ａ３３が入力される。マスク実行部１１３は、歪補正画像ＩＭ３２に対して、整形後のマ
スク領域ＭＡ３３についてマスク処理を行い（ステップＳ１２５）、マスク領域ＭＡ３３
がマスク処理された歪補正画像ＩＭ３３を生成する。

以上のように、本発明の第３の実施の形態によれば、マスク領域及び全周囲画像に対し
て、それぞれ同一の切出しパラメータを用いて、切出し歪補正が行なわれ、マスク領域に
ついては、そのようにして補正されたマスク領域が整形されて、切出し歪補正された全周
囲画像（歪補正画像）に適用される。

また、第３の実施の形態の撮影システム１０３では、ビューワ２３０は本件発明に関す
る構成としては出力部２１３を備えるのみであるので、ビューワ２３０は、処理能力の少
ない装置においても実現できる。

なお、第２及び第３の実施の形態においても、カメラ１２０、１３０が少なくとも全周
囲撮像部１１１を備え、ビューワ２２０、２３０が少なくとも出力部２１３を備えていれ
ば、他の構成要素については、カメラ１２０、１３０に備えられても、ビューワ２２０、
２３０に備えられてもよい。例えば、第３の実施の形態の撮影システム１０３において、
第２の実施の形態の撮影システム１０２と同様に、切出しパラメータ設定部１１４がビュ
ーワ２３０に備えられて、ビューワ２３０側で切出し範囲を指定できるようにしてよい。

また、第１〜第３の実施の形態の撮影システムにおける全周囲撮像部１１１及び出力部
以外の構成一部又は全部の構成が、カメラ及びビューワとは別体であってカメラとビュー
ワとの間に設けられた装置に備えられていてもよい。

以下、第１〜第３の実施の形態におけるマスク領域の整形の変形例を説明する。

１−４．マスク領域の整形の変形例
１−４−１．第１の変形例
図１３は、第１ないし第３の実施の形態で説明した切出し歪補正部１１５による、切出
し方向を説明する図である。図１３Ａは、円形状の全周囲画像の半径方向に切り出す場合
を示しており、図１３Ｂは、全周囲画像の半径方向とは異なる方向（図１３Ａの切出し方
向と角度αをなす方向）に切り出す場合を示している。なお、切出し歪補正においてある
方向に切り出すとは、切出し範囲を切り出して歪補正をした後の矩形の画像において、当
該ある方向が上になるように切り出すことを意味する。

図１３Ａの場合には、半径方向に切り出して歪補正画像を生成した結果、その切出し範
囲ＣＡ１１に映っている人物Ｍを含む被写体の正立方向は、歪補正画像ＩＭ４２における
垂直方向と一致する。一方、図１３Ｂの場合は、半径方向と角度αをなす方向に切り出し
て歪補正画像を生成した結果、その切出し範囲ＣＡ１２に映っている人物Ｍを含む被写体
の正立方向は、歪補正画像ＩＭ４３における垂直方向から角度αだけ傾いている。

図１４は、図１３Ａ及び図１３Ｂの場合のマスク領域の整形を説明する図である。切出
し範囲ＣＡ１１を半径方向に切り出して、歪補正画像ＩＭ４２において被写体の正立方向
が歪補正画像ＩＭ４２の垂直方向に一致している場合には、歪補正によって歪な形状にな
ったマスク領域ＭＡ４１を正立した矩形で囲うようなマスク領域ＭＡ４２に整形すること
で、ユーザにとって見やすいマスク形状とすることができる。

しかしながら、切出し範囲ＣＡ１２を半径方向から傾いた方向に切り出して、歪補正画
像ＩＭ４３において被写体の正立方向が歪補正画像ＩＭ４３の垂直方向から傾いている場
合において、歪補正によって歪な形状になったマスク領域ＭＡ４３を正立した矩形で囲う
ようなマスク領域ＭＡ４４とすると、被写体は傾いているのに対してマスク領域ＭＡ４４
は正立しているので、違和感が生じる。

そこで、本変形例では、切出し方向の傾きによって歪補正画像ＩＭ４３において被写体
の正立方向が歪補正画像ＩＭ４３の垂直方向から傾いている場合には、その傾きを考慮し
て、歪補正によって歪な形状となったマスク領域ＭＡ４３を整形する。具体的には、マス
ク領域ＭＡ４３を、切出し方向の半径方向に対する傾き角度と同じ角度だけ傾いた方向を
成立方向とするマスク領域ＭＡ４５に整形する。

本変形例によれば、マスク領域にマスク処理が施された歪補正画像において、被写体の
正立方向と整形後のマスク領域の成立方向とが一致するので、違和感のない自然なマスク
処理が施された歪補正画像が得られる。

１−４−２．第２の変形例
図１５ないし図１７は、マスク領域の整形の第２の変形例を説明するための図である。
まず、図１５を参照して、全周囲画像に対して切出し範囲を切り出して歪補正を行ない、
歪補正画像を生成する処理を説明する。本変形例では、切出し範囲ＣＡ２１を切出し範囲
として切出し歪補正が行なわれる場合には、全周囲画像ＩＭ５１における切出し範囲ＣＡ
２１内の画素がそれぞれ座標変換されて歪補正画像に投影される。例えば、全周囲画像Ｉ
Ｍ５１における画素Ｐ１１、Ｐ１２、Ｐ１３は、それぞれ、歪補正画像上のＰ２１、Ｐ２
２、Ｐ２３となる。歪補正画像において不足する画素は、例えば１６画素四方のスクエア
ごとに、変換元の座標を線形補間することで埋められて、最終的に歪補正画像ＩＭ５２が
生成される。

本変形例では、このスクエアを利用して、マスク領域の整形を行なう。即ち、マスク領
域の整形はスクエア単位で行う。図１６は、本変形例の第１の方法を示す図である。この
例では、全周囲画像ＩＭ５１上の切出し範囲ＣＡ２１に対して切出し歪補正が行なわれて
歪補正画像ＩＭ５３が生成されると、そこに設定されていたマスク領域ＭＡ５１は、歪な
形状のマスク領域ＭＡ５２となる。このマスク領域ＭＡ５２を整形する場合には、このマ
スク領域ＭＡ５２を囲い、かつ、全体が矩形となる複数のスクエアを整形後のマスク領域
ＭＡ５３とする。

具体的には、歪補正によって歪な形状となったマスク領域ＭＡ５２の最上点を含むスク
エアＳＱ１を含む行のスクエアを整形後のマスク領域の最上行のスクエアとし、マスク領
域ＭＡ５２の最右点を含むスクエアＳＱ２を含む列のスクエアを整形後のマスク領域の最
右列のスクエアとし、マスク領域ＭＡ５２の最下点を含むスクエアＳＱ３を含む行のスク
エアを整形後のマスク領域の最下行のスクエアとし、マスク領域ＭＡ５２の最左点を含む
スクエアＳＱ４を含む列のスクエアを整形後のマスク領域の最左列のスクエアとして、そ
れらの最上行、最右列、最下行、及び最左列によって囲まれる矩形の領域を整形後のマス
ク領域ＭＡ５３とする。

図１７は、本変形例の第２の方法を示す図である。第２の方法では、歪補正によって歪
な形状となったマスク領域ＭＡ５２を含むスクエア（のみ）を整形後のマスク領域ＭＡ５
４とする。整形後のマスク領域ＭＡ５４は、水平及び垂直な線分のみからなる領域となり
、整形前のマスク領域ＭＡ５２のように斜めの線分がないので、見栄えがよくなる。

なお、上記では、全周囲画像上の切出し範囲を切り出して歪補正を行なう場合を例に本
発明の第１〜第３の実施の形態を説明したが、本発明は、全周囲画像に対して歪補正を行
なうことでパノラマ画像を生成し、その際に当該パノラマ画像の一部領域に対してマスク
処理をする場合にも適用できる。さらに、上記では、歪みを有する画像として、全周囲画
像を撮影する例を説明したが、歪みを有する画像は全周囲画像（水平画角約３６０度）に
限られない。歪みを有する画像に対して、マスク領域を設定するとともに、歪補正を行な
う撮影システムであれば、本発明が有効に適用される。

２．第４〜第６の実施の形態
以下、本発明の第４〜第６の実施の形態の撮影システムを説明する。以下の説明におい
て、第４ないし第６の実施の形態のいずれも、カメラが魚眼レンズを用いて、有歪み画像
として全周囲画像を撮像する撮影システムを例に説明する。但し、本発明の有歪み画像は
、全周囲画像には限られず、広角レンズを用いた撮像によって歪みが生じている画像であ
ればよい。

２−１．第４の実施の形態
図２０は、本発明の実施の形態の画像表示システムを示すブロック図である。図２０に
示すように、撮影システム１０４は、カメラ１４０とビューワ２４０とが接続されて構成
されている。カメラ１４０が監視カメラである場合は、カメラ１４０は監視対象箇所を撮
像できるように設置され、ビューワ２４０は、カメラ１４０において撮像されて、画像処
理された画像をユーザが閲覧するための装置である。ビューワ２４０は、例えばパーソナ
ルコンピュータであってよく、携帯端末であってもよい。カメラ１４０は、いわゆるネッ
トワークカメラであり、ビューワ２４０とは有線で接続されてよく、無線で接続されても
よい。また、カメラ１４０の全周囲撮像部１４１以外の構成の一部又は全部がビューワ２
４０に備えられていてもよい。

カメラ１４０は、全周囲撮像部１４１と、マスク領域受付部１４２と、マスク枠生成部
１４３と、マスク枠重畳部１４４と、マスク実行部１４５と、切出し歪補正部１４６と、
合成部１４７とを備えている。ビューワ２４０は、入力部２４１と、マスク領域決定部２
４２と、表示切替部２４３と、表示部２４４とを備えている。

カメラ１４０の全周囲撮像部１４１は、広角レンズの一種である魚眼レンズを有する撮
像系である。この全周囲撮像部１４１によって、円形の全周囲画像が撮像される。この全
周囲画像は、外周に向かうほど歪みが強くなる有歪み画像である。全周囲撮像部１４１は
、撮像によって取得した全周囲画像をマスク枠重畳部１４４及びマスク実行部１４５に出
力し、また、ビューワ２４０に送信する。なお、全周囲撮像部１４１が撮像して出力する
画像は、静止画像であっても動画像であってもよい。動画である場合は、フレームごとに
以下に説明する処理が行われる。

ビューワ２４０の入力部２４１は、ユーザによる各種の指示を入力する。これらの指示
には、表示の切り替えの指示、マスク領域の指定、マスク領域のキャンセル／決定の指示
等が含まれる。これらのうち、表示の切り替えの指示は表示切替部２４３に入力され、マ
スク領域の指定及びマスク領域のキャンセル／決定の指示は、マスク領域決定部２４２に
入力される。入力部２４１は、例えばマウス及びキーボード、又は表示部２４４と一体と
なったタッチセンサである。

マスク領域決定部２４２は、入力部２４１で入力された入力内容からマスク領域を求め
る。具体的には、マウスでクリックされた全周囲画像上の点を１つの頂点として、現在の
ポインタの位置をその頂点の対角にある頂点とする、垂直方向及び水平方向の辺からなる
矩形（長方形）を求める。この全周囲画像上の矩形の位置及び形状（垂直方向の高さ及び
水平方向の幅）の情報は、マスク領域の指示情報として、カメラ１４０に送信される。

マスク領域受付部１４２は、マスク領域決定部２４２で決定されたマスク領域の指示情
報を受け付けて、マスク枠生成部１４３及びマスク実行部１４５に出力する。マスク枠生
成部１４３は、マスク領域受付部１４２から得たマスク領域の指示情報に基づいて、当該
マスク領域の外延を示すマスク枠を生成する。このマスク枠には、全周囲画像におけるマ
スク枠の位置を示す情報も含まれる。

マスク枠重畳部１４４は、全周囲撮像部１４１から全周囲画像を取得するとともに、マ
スク枠生成部１４３からマスク枠を取得し、全周囲画像にマスク枠の形状を重畳する。マ
スク枠重畳部１４４は、マスク枠が重畳された全周囲画像を合成部１４７及び表示切替部
２４３に出力する。

マスク実行部１４５は、全周囲撮像部１４１から全周囲画像を取得するとともに、マス
ク領域受付部１４２からマスク領域の指定情報を取得し、全周囲画像中のその指定情報に
対応するマスク領域に対して、マスク処理を行う。ここで、本実施の形態のマスク実行部
１４５によるマスク処理は、マスク領域を黒く塗りつぶす処理である。但し、マスク処理
はこれに限られず、モザイク処理など、マスク領域の画像の情報量を減少させる処理であ
れば他のマスク処理であってもよい。マスク実行部１４５は、マスク領域においてマスク
処理が施された全周囲画像を切出し歪補正部１４６に出力する。

切出し歪補正部１４６は、マスク領域においてマスク処理が施された全周囲画像の切出
し範囲を切出して、歪補正を行い、切出し歪補正画像を生成する。本実施の形態では、切
出し範囲は予め決められている。なお、この切出し範囲を示す枠が全周囲画像に重畳され
て表示されてもよい。切出し歪補正部１４６は、この切出し歪補正画像を合成部１４７に
出力し、また、ビューワ２４０に送信する。

合成部１４７は、マスク領域枠重畳部１４４から得た、マスク枠が重畳された全周囲画
像と、切出し歪補正部１４６から得た、マスク領域においてすでにマスク処理が施された
切出し歪補正画像を合成して、両画像を同時に表示するプレビュー画像を生成する。合成
部１４７は、生成したプレビュー画像をビューワ２４０に送信する。

表示切替部２４３は、全周囲撮像部１４１から全周囲画像を受信し、マスク枠重畳部１
４４からマスク枠が重畳された全周囲画像を受信し、切出し補正部１４６からマスク領域
についてマスク処理が施された切出し歪補正画像を受信し、合成部１４７からプレビュー
画像を受信する。

ここで、撮影システム１０４の表示モードについて説明する。撮影システム１０４には
、マスク領域を決定するためのマスク領域指定モードと、マスク領域についてマスク処理
がされた切出し歪補正画像を表示する通常モードとが設けられている。これらの表示モー
ドは、入力部２４１から入力に基づいて切り替えられる。表示切替部２４３は、入力部２
４１からモードの切り替えの情報を取得して表示モードの切り替えを行う。

表示切替部２４３は、マスク領域指定モードでは、まず、全周囲撮像部１４１から得た
全周囲画像を表示部２４４に出力する。マスク領域指定モードにて、マスク枠重畳部１４
４からマスク枠が重畳された全周囲画像を得たときには、表示切替部２４３は、そのマス
ク枠が重畳された全周囲画像を表示部２４４に出力し、合成部１４７からプレビュー画像
を得たときには、そのプレビュー画像を表示部２４４に出力する。また、表示切替部２４
３は、通常モードでは、全周囲撮像部１４１から得た全周囲画像又は切出し歪補正部１４
６から得たマスク領域についてマスク処理が施された切出し歪補正画像のいずれかを表示
部２４４に出力する。全周囲画像及びマスク処理が施された切出し歪補正画像のいずれを
出力するかは入力部２４１から指示に従う。

表示部２４４は、表示切替部２４３から得た画像を表示する。表示部２４４は、例えば
液晶表示パネルを備えた液晶表示装置であり、入力部２４１タッチセンサである場合は、
それと一体となったタッチパネルである。

図１９及び図２１〜図２４は、表示部２４４における表示例である。図２１は、本実施
の形態の全周囲画像の例を示す図である。全周囲撮像部１４１の水平視野角は３６０度で
あり、図２１に示すように、全周囲画像は円形となる。この円形の全周囲画像には歪み画
生じており、その度合いは、画像全域において均一ではなく、円形の縁に近づくほど歪み
が大きくなる。図２１に示す全周囲画像は、通常モードにおいて全周囲画像の表示が選択
された場合、及びマスク領域指定モードにてマスク領域を指定する際に表示される。

図２２は、本発明の実施の形態のマスク領域指定の例を示す図である。本実施の形態で
は、全周囲画像上でマスク領域を指定する。図２２に示すように、全周囲画像上には入力
部２４１としてのマウスの操作に応じて移動するポインタが表示され、マウスをクリック
することでマスク領域の始点が指定される。始点が指定されてポインタが移動すると、マ
スク領域決定部２４２によって、始点とポインタの位置を対角の頂点とする、画面の垂直
方向に平行な辺及び画面の水平方向に平行な辺からなる矩形が求められる。この矩形の情
報（マスク領域の指定情報）を用いてマスク枠重畳部１４４にてマスク枠が重畳された全
周囲画像が生成されると、それが表示部２４４にて表示される。

図２３は、本発明の実施の形態のマスク領域指定の例を示す図である。全周囲画像上に
は、求められた矩形を示す枠が重畳表示されている。ポインタを移動させて所望のマスク
領域を示す枠ができたら、その位置で、再度マウスをクリックすると、そのときのマスク
領域の指定情報を用いて、プレビュー画像が生成され、表示部２４４で表示される。

図１９は、本発明の実施の形態のプレビュー画像の例を示す図である。プレビュー画像
では、マスク枠が重畳された全周囲画像に、マスク領域にマスク処理が施された切出し歪
補正画像が重畳されて表示される。このとき、切出し歪補正画像は、全周囲画像に重畳さ
れたマスク枠から吹き出す吹き出しの中に配置される。

このプレビュー画像とともに、「キャンセル」ボタン及び「決定」ボタンが表示される
。ユーザは、吹き出し内の切出し歪補正画像を確認して、そのマスク領域が不満である場
合は、「キャンセル」ボタンをクリックすることで、このマスク領域をキャンセルできる
。キャンセルすると、表示切替部２４３は、図２２に示すマスク領域指定のための表示に
切り替える。ユーザは、吹き出し内の切出し歪補正画像を確認して、そのマスク領域でよ
い場合は、「決定」ボタンをクリックすることで、このマスク領域を確定することができ
る。

図２４は、本発明の実施の形態の切出し歪補正画像の例を示す図である。この切出し歪
補正画像は、通常モードにて切出し歪補正画像の表示が選択された場合に表示される。こ
の切出し歪補正画像では、確定されたマスク領域についてマスク処理が施されている。但
し、このマスク領域は、全周囲画像上で矩形の領域として指定されて確定されたものであ
るので、切出し歪補正画像においては、それを全周囲画像から生成する際の歪補正によっ
て、矩形で指定されたマスク領域は歪な形状になっている。

図２５は、本発明の第４の実施の形態においてプレビュー画像を生成する手順を説明す
るフロー図である。図２５を参照して、本実施の形態においてプレビュー画像を生成する
手順を説明する。まず、全周囲撮像部１４１にて全周囲画像Ｄ７１が撮像される。次に、
この全周囲画像上でマスク領域Ｄ７２が指定される。マスク枠重畳部１４４は、マスク領
域Ｄ７２を用いて、生成されたマスク枠が全周囲画像Ｄ７１に重畳されて、マスク枠が重
畳された全周囲画像Ｄ７３を生成する。また、マスク実行部１４５は、全周囲画像Ｄ７１
に対して、マスク領域Ｄ７２におけるマスク処理が行われて、マスク領域についてマスク
処理が施された全周囲画像Ｄ７４を生成する。

そして、切出し歪補正部１４６は、このマスク領域についてマスク処理がされた全周囲
画像Ｄ７４に対して、切出し範囲の切出し及び歪補正を行って、マスク領域においてマス
ク処理がされた切出し歪補正画像Ｄ７５を生成する。最後に、合成部１４７は、マスク領
域にマスク枠が重畳された全周囲画像Ｄ７３に対して、マスク領域においてマスク処理が
された切出し歪補正画像Ｄ７５をその中に含む吹き出しを重畳して、プレビュー画像Ｄ７
６を生成する。

図２６は、本発明の第４の実施の形態の撮影システムの動作フロー図である。図２６の
フローは、マスク領域指定モードにおける撮影システム１０４の動作を示している。図２
６を参照して、第４の実施の形態の撮影システム１０４の動作を説明する。

まず、全周囲撮像部１４１が全周囲画像を撮像して、表示部２４４がこれを表示する（
ステップＳ２６１）。次に、入力部２４１によって、マスク領域の指定が開始されたか否
かを判断する（ステップＳ２６２）。具体的には、入力部２４１の操作によってマスク領
域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領
域の指定が開始されていない場合は（ステップＳ２６２にてＮＯ）、マスク領域の指定が
開始されるまで、全周囲画像を表示して待つ。

マスク領域の指定が開始されたとき、即ち、全周囲画像上でマスク領域の始点となる点
がクリックされたときは（ステップＳ２６２にてＹＥＳ）、マウスの操作によるポインタ
の移動に応じてマスク領域決定部２４２がマスク領域を求めてその指定情報をカメラ１４
０に送信し、マスク領域受付部１４２がこのマスク領域の指定情報を取得する（ステップ
Ｓ２６３）。次に、マスク枠生成部１４３がマスク領域の指定情報に基づいて、マスク枠
を生成し（ステップＳ２６４）、マスク枠重畳部１４４が全周囲画像にマスク枠を重畳す
る（ステップＳ２６５）。このマスク枠の生成及び全周囲画像への重畳は、始点がクリッ
クされた後にポインタが移動している間、そのポインタの位置に応じて行われる。

次に、マスク領域の終点がクリックされると、マスク領域が仮確定し、マスク実行部１
４５は、全周囲画像に対して、その仮確定したマスク領域（以下単に「マスク領域」とい
う。）をマスクするマスク処理を行う（ステップＳ２６６）。そして、切出し歪補正部１
４６は、マスク領域についてマスク処理がされた全周囲画像から、切出し範囲の切出し及
び歪補正を行って、切出し歪補正画像を生成する（ステップＳ２６７）。この切出し歪補
正画像においては、マスク領域にマスク処理が施されている。合成部１４７は、マスク枠
が重畳された全周囲画像とマスク領域についてマスク処理が施された切出し歪補正画像と
を合成して、プレビュー画像を生成し（ステップＳ２６８）、ビューワ２４０に送信する
。

ビューワ２４０の表示切替部２４３は、プレビュー画像を受信すると、このプレビュー
画像を表示部２４４に出力し、表示部２４４は、このプレビュー画像を表示する（ステッ
プＳ２６９）。ユーザが入力部２４１に対して、このプレビュー画像で示されたマスク領
域を確定したか否かを判断する（ステップＳ２７０）、プレビュー画像で示されたマスク
領域が確定すると（ステップＳ２７０でＹＥＳ）、処理を終了する。ユーザが入力部２４
１に対して、このプレビュー画像で示されたマスク領域をキャンセルすると（ステップＳ
２７０にてＮＯ）、表示切替部２４３は、表示部２４４に出力する画像を全周囲画像に切
り替えて、再びマスク領域の指定情報を取得するステップＳ２６３に戻る。

以上のように、本実施の形態の撮影システム１０４及びそれによって実行される画像表
示方法によれば、全周囲画像上でマスク領域の指定が行われて、プレビュー画像では、指
定されたマスク領域が全周囲画像上で認識可能に示されるとともに、このマスク領域も含
めて歪補正がされ、マスク領域を認識可能な切出し歪補正画像も同時に表示されるので、
全周囲画像上で指定したマスク領域が切出し歪補正画像においてどのような位置及び形状
の領域になるのかを確認できる。そして、確認の結果そのマスク領域でよい場合には、プ
レビュー画像に対して「決定」を指示することで、そのマスク領域を確定できる。

２−２．第５の実施の形態
次に、本発明の第５の実施の形態を説明する。図２７は、本発明の第５の実施の形態の
撮影システムのブロック図である。図２７に示すように、撮影システム１０５は、カメラ
１５０とビューワ２５０とが接続されて構成されている。カメラ１５０が監視カメラであ
る場合は、カメラ１５０は監視対象箇所を撮像できるように設置され、ビューワ２５０は
、カメラ１５０において撮像されて、画像処理された画像をユーザが閲覧するための装置
である。ビューワ２５０は、例えばパーソナルコンピュータであってよく、携帯端末であ
ってもよい。カメラ１５０は、いわゆるネットワークカメラであり、ビューワ２５０とは
有線で接続されてよく、無線で接続されてもよい。また、カメラ１５０の全周囲撮像部１
２１以外の構成の一部又は全部がビューワ２５０に備えられていてもよい。

カメラ１５０は、全周囲撮像部１５１と、マスク領域受付部１５２と、切出し範囲決定
部１５３と、マスク実行部１５４と、切出し歪補正部１５５と、合成部１５６とを備えて
いる。ビューワ２５０は、入力部２５１と、マスク領域決定部２５２と、マスク枠生成部
２５３と、マスク枠重畳部２５４と、表示切替部２５５と、表示部２５６とを備えている
。

以下、第４の実施の形態と同様の構成については、説明を省略する。本実施の形態では
、第４の実施の形態と比較して、主に以下の２点で相違する。第１の相違点は、プレビュ
ー画像を生成する手順及びそのための構成のカメラ１５０とビューワ２５０との間の分配
の相違である。即ち、第４の実施の形態では、カメラ１４０において、マスク実行部１４
５で全周囲画像に対してマスク処理を行なった後に切出し歪補正部１４６でマスク領域で
のマスク処理がされた切出し歪補正画像を生成し、一方で、マスク枠重畳部１４４では、
全周囲画像に対してマスク領域の枠を重畳してマスク枠が重畳された全周囲画像を生成し
、合成部１４７で、マスク領域でマスク処理がされた切出し歪補正画像とマスク枠が重畳
された全周囲画像とを合成して、図１９に示すプレビュー画像を生成した。これに対して
、本実施の形態では、カメラ１５０において、同様に、全周囲画像に対してマスク処理を
行なった後に切出し歪補正画像補正を行なって切出し歪補正画像を生成するが、この切出
し歪補正画像をまず全周囲画像と合成して、ビューワ２５０に送信する。ビューワ２５０
では、この合成画像にマスク枠を重畳することで、図１９に示すようなプレビュー画像を
生成する。

第２の相違点は、第４の実施の形態では、切出し歪補正部１４６における切出し範囲は
固定とされていたが、本実施の形態では、マスク領域の指定情報に基づいて、切出し範囲
が決定される点である。以下、具体的に説明する。

マスク領域決定部２５２は、入力部２５１から入力内容を受けると、マスク領域を求め
て、そのマスク領域を示す指示情報をマスク枠生成部２５３に出力するとともに、カメラ
１５０に送信する。マスク領域受付部１５２は、マスク領域の指定情報を得て、それを切
出し範囲決定部１５３及びマスク実行部１５４に出力する。切出し範囲決定部１５３は、
マスク領域受付部１５２から得たマスク領域の指定情報に基づいて、切出し範囲を決定す
る。切出し範囲決定部１５３には指定情報によって示されるマスク領域と切出し範囲との
関係が記憶されており、マスク領域の指定情報が与えられるとそれに対応する切出し範囲
を求める。

指定情報によって示されるマスク領域と切出し範囲との関係は種々の関係が考えられる
が、本実施の形態では、切出し範囲決定部１５３は、マスク領域と中心及び向きが同一で
、マスク領域の１０／７の大きさを持つ矩形の領域を切出し範囲として決定する。

マスク実行部１５４は、全周囲撮像部１５１から得た全周囲画像に対して、マスク領域
受付部１５２から得たマスク領域にマスク処理を行なう。切出し歪補正部１５５は、マス
ク領域にマスク処理が施された全周囲画像に対して、切出し範囲決定部１５３にて決定さ
れた切出し範囲の切出し及び歪補正を行ない、マスク領域にマスク処理がされた切出し歪
補正画像を生成する。生成された切出し歪補正画像は合成部１５６に出力される。

本実施の形態では、全周囲撮像部１５１で撮像された全周囲画像は、そのまま合成部１
５６に出力され、ビューワ２５０に送信される。合成部１５６では、この全周囲画像と切
出し歪補正部１５５で生成された切出し歪補正画像とを合成して、合成画像を生成する。
この合成画像では、図１９に示すように、全周囲画像に対して、切出し歪補正画像を含む
吹き出しが重畳されている。但し、この合成画像では、全周囲画像に、ユーザが指定した
マスク領域を示すマスク枠は重畳されていない。合成部１５６は、生成した合成画像をビ
ューワ２５０に送信する。

ビューワ２５０のマスク枠重畳部２５４は、合成画像を受信する。一方、マスク枠生成
部２５３は、マスク領域決定部２５２から得たマスク領域の指示情報に基づいて、マスク
枠を生成し、マスク枠重畳部２５４に出力する。マスク枠重畳部２５４は、マスク枠生成
部２５３から得たマスク枠をカメラ１５０から得た合成画像に重畳して、図１９に示すよ
うなプレビュー画像を生成し、表示切替部２５５に出力する。

マスク枠重畳部２５４は、全周囲撮像部１５１から直接全周囲画像を受けた場合には、
その全周囲画像にマスク枠生成部２５３にて生成されたマスク枠を重畳して、表示切替部
２５５に出力する。マスク枠重畳部２５４は、全周囲画像でマスク領域の視点が指定され
てから、終点が決定されるまでの間に、ポインタの位置に応じて、ポインタの位置を終点
とする矩形のマスク枠を全周囲画像に重畳するときに、上記のように全周囲撮像部１５１
から得た全周囲画像にマスク枠を重畳する。マスク領域が仮確定されて、それに伴って切
出し歪補正部１５５がその仮確定されたマスク領域をマスク処理した切出し歪補正画像を
生成し、合成部１５６がその切出し歪補正画像を吹き出し内に含む合成画像を生成してビ
ューワ２５０に送信し、マスク枠重畳部２５４がこれを受けた後には、マスク枠重畳部２
５４は、全周囲撮像部１５１から得た全周囲画像ではなく、この合成画像に対してマスク
枠を重畳して、プレビュー画像を生成し、表示切替部２５５に出力する。

表示切替部２５５は、全周囲撮像部１５１から全周囲画像を取得し、マスク枠重畳部２
５４からプレビュー画像又はマスク枠が重畳された全周囲画像を取得し、切出し歪補正部
１５５からマスク領域にてマスク処理が施された切出し歪補正画像を取得する。表示切替
部２５５は、入力部２５１から表示モードの切り替えの情報を取得して表示モードの切替
えを行なう。

表示切替部２５５は、マスク領域指定モードでは、まず、全周囲撮像部１５１から得た
全周囲画像を表示部２５６に出力する。マスク領域指定モードにて、マスク枠重畳部２５
４からマスク枠が重畳された全周囲画像を得たときには、表示切替部２５５は、そのマス
ク枠が重畳された全周囲画像を表示部２５６に出力し、マスク枠重畳部２５４からプレビ
ュー画像を得たときには、そのプレビュー画像を表示部２５６に出力する。また、表示切
替部２５５は、通常モードでは、全周囲撮像部１５１から得た全周囲画像又は切出し歪補
正部１５５から得たマスク領域についてマスク処理が施された切出し歪補正画像のいずれ
かを表示部２５６に出力する。全周囲画像及びマスク処理が施された切出し歪補正画像の
いずれを出力するかは入力部２５１から指示に従う。

図２８は、本発明の第５の実施の形態においてプレビュー画像を生成する手順を説明す
るフロー図である。図２８を参照して、本実施の形態においてプレビュー画像を生成する
手順を説明する。まず、全周囲撮像部１５１にて全周囲画像Ｄ１１が撮像される。次に、
この全周囲画像上でマスク領域Ｄ１２が指定される。マスク実行部１５４は、全周囲画像
Ｄ１１に対して、マスク領域Ｄ１２におけるマスク処理を行い、マスク領域についてマス
ク処理が施された全周囲画像Ｄ１３を生成する。切出し範囲決定部１５３は、マスク領域
Ｄ１２に基づいて切出し範囲を決定する。切出し歪補正部１５５は、マスク領域について
マスク処理がされた全周囲画像Ｄ１３から、切出し範囲を切り出して、歪補正を行なって
、切出し歪補正画像Ｄ１４を生成する。合成部１５６は、全周囲画像Ｄ１１に対して、マ
スク領域においてマスク処理がされた切出し歪補正画像Ｄ１４をその中に含む吹き出しを
重畳して、合成画像Ｄ１５を生成する。

ビューワ２５０では、マスク枠生成部２５３がマスク枠Ｄ１６を生成する。マスク枠重
畳部２５４は、このマスク枠Ｄ１６を合成画像Ｄ１５に重畳して、プレビュー画像Ｄ１７
を生成する。

図２９は、本発明の第５の実施の形態の撮影システムの動作フロー図である。図２９の
フローは、マスク領域指定モードにおける撮影システム１０５の動作を示している。図２
９を参照して、第５の実施の形態の画像表示方法を説明する。

まず、全周囲撮像部１５１が全周囲画像を撮像して、表示部２５６がこれを表示する（
ステップＳ２９１）。次に、入力部２５１によって、マスク領域の指定が開始されたか否
かを判断する（ステップＳ２９２）。具体的には、入力部２５１の操作によってマスク領
域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領
域の指定が開始されていない場合は（ステップＳ２９２にてＮＯ）、マスク領域の指定が
開始されるまで、全周囲画像を表示して待つ。

マスク領域の指定が開始されたとき、即ち、全周囲画像上でマスク領域の始点となる点
がクリックされたときは（ステップＳ２９２にてＹＥＳ）、マウスの操作によるポインタ
の移動に応じてマスク領域決定部２５２がマスク領域を求めてその指定情報をカメラ１５
０に送信するとともに、マスク枠生成部２５３に出力する。カメラ１５０のマスク領域受
付部１５２がこのマスク領域の指定情報を取得する（ステップＳ２９３）。また、ビュー
ワ２５０のマスク枠生成部２５３がマスク領域の指定情報に基づいて、マスク枠を生成し
て（ステップＳ２９４）、マスク枠重畳部２５４に出力する。マスク重畳部２５４は、全
周囲画像にマスク枠を重畳して、表示部２５６は、これを表示する。このマスク枠の生成
及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している間、その
ポインタの位置に応じて行われる。

次に、マスク領域の終点がクリックされると、マスク領域が仮確定し、マスク実行部１
２４は、全周囲画像に対して、全周囲画像におけるその仮確定したマスク領域についてマ
スク処理を行い（ステップＳ２９５）、切出し範囲決定部１５３は、仮確定したマスク領
域に基づいて切出し範囲を決定する（ステップＳ２９６）。そして、切出し歪補正部１５
５は、マスク領域についてマスク処理がされた全周囲画像から、切出し範囲の切出し及び
歪補正を行って、切出し歪補正画像を生成する（ステップＳ２９７）。この切出し歪補正
画像においては、マスク領域にマスク処理が施されている。合成部１５６は、全周囲撮像
部１５１から取得した全周囲画像とマスク領域についてマスク処理が施された切出し歪補
正画像とを合成して、合成画像を生成し（ステップＳ２９８）、ビューワ２５０に送信す
る。

ビューワ２５０のマスク枠重畳部２５４は、合成画像を受信すると、この合成画像に、
マスク枠生成部２５３で生成されたマスク枠を重畳して、プレビュー画像を生成し、表示
切替部２５５に出力し（ステップＳ２９９）、表示部２５６はこのプレビュー画像を表示
する（ステップＳ３００）。ユーザが入力部２５１に対して、このプレビュー画像で示さ
れたマスク領域を確定したか否かを判断する（ステップＳ３０１）、プレビュー画像で示
されたマスク領域が確定すると（ステップＳ３０１でＹＥＳ）、処理を終了する。ユーザ
が入力部２５１に対して、このプレビュー画像で示されたマスク領域をキャンセルすると
（ステップＳ３０１にてＮＯ）、表示切替部２５３は、表示部２５４に出力する画像を全
周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップＳ２９３に戻る。

以上のように、本実施の形態では、マスク枠をビューワ２５０にて生成して、ビューワ
２５０で合成画像に重畳してプレビュー画像を生成したり、全周囲画像に重畳してマスク
枠が重畳された全周囲画像を生成したりしている。上述のように、マスク領域を指定する
際には、始点を指定した後に、始点とポインタの現在位置とを対角の２頂点とする矩形の
枠を生成して全周囲画像に重畳する。このとき、始点とポインタの位置の情報をカメラ１
５０に送信して、矩形の枠をカメラ１５０側で生成して全周囲画像に重畳した上で、ビュ
ーワ２５０に送ると、通信状況がよくない場合には、ポインタの動きに追随して全周囲画
像上に矩形の枠を表示することが困難になる場合がある。これに対して、本実施の形態で
は、マスク枠は、ポインタの位置を指定するための入力部２５１とそのマスク枠が重畳さ
れた全周囲画像を表示するための表示部２５６とを備えたビューワ２５０側で生成されて
、全周囲画像に重畳される。よって、カメラ１５０とビューワ２５０との間の通信状況に
関わらず、遅延無くマスク枠を全周囲画像に重畳して表示することができる。

また、本実施の形態では、切出し範囲決定部１５３が、マスク領域の指定情報に基づい
て、切出し範囲を決定するので、マスク領域を含む切出し補正画像を全周囲画像とともに
確認することができる。なお、マスク領域の指定情報に基づいて切出し範囲を決定するた
めの本実施の形態で説明した構成は、本願の他の実施の形態の撮影システムにも適用でき
る。

２−３．第６の実施の形態
次に、本発明の第６の実施の形態を説明する。図３０は、本発明の第６の実施の形態の
画像表示システムのブロック図である。図３０に示すように、撮影システム１０６は、カ
メラ１６０とビューワ２６０とが接続されて構成されている。カメラ１６０が監視カメラ
である場合は、カメラ１６０は監視対象箇所を撮像できるように設置され、ビューワ２６
０は、カメラ１６０において撮像されて、画像処理された画像をユーザが閲覧するための
装置である。ビューワ２６０は、例えばパーソナルコンピュータであってよく、携帯端末
であってもよい。カメラ１６０は、いわゆるネットワークカメラであり、ビューワ２６０
とは有線で接続されてよく、無線で接続されてもよい。また、カメラ１６０の全周囲撮像
部１６１以外の構成の一部又は全部がビューワ２６０に備えられていてもよい。

カメラ１６０は、全周囲撮像部１６１と、マスク領域受付部１６２と、マスク枠生成部
１６３と、マスク枠重畳部１６４と、マスク領域歪補正部１６５と、切出しマスク実行部
１６６と、切出し補正部１６７と、合成部１６８とを備えている。ビューワ２６０は、入
力部２６１と、マスク領域決定部２６２と、表示切替部２６３と、表示部２６４とを備え
ている。

以下、第４の実施の形態と同様の構成については、説明を省略する。本実施の形態では
、マスク領域にマスク処理がされた切出し歪補正画像を生成するために、全周囲画像に対
して切出し歪補正をして切出し歪補正画像を生成するとともに、マスク領域に対しても全
周囲画像に対する切出し歪補正と同じ補正パラメータ（変換行列）を用いて切出し歪補正
をして切出し歪補正マスク領域を生成する。そして、切出し歪補正画像における切出し歪
補正マスク領域についてマスク処理をすることによって、マスク領域にマスク処理がされ
た切出し歪補正画像を生成する。以下、具体的に説明する。

入力部２６１が全周囲画像上で指定された始点及び終点の座標を入力すると、マスク領
域決定部２６２は、マスク領域を求めて、マスク領域の指定情報をカメラ１６０に送信す
る。カメラ１６０のマスク領域受付部１６２は、マスク領域の指定情報を受け付けて、マ
スク領域歪補正部１６５及びマスク枠生成部１６３に出力する。

マスク枠生成部１６３は、マスク領域受付部１６２から得たマスク領域の指示情報に基
づいてマスク枠を生成し、マスク枠重畳部１６４に出力する。マスク枠重畳部１６４は、
全周囲撮像部１６１から全周囲画像を得て、それにマスク枠を重畳して、マスク枠が重畳
された全周囲画像を生成し、合成部１６８に出力する。

一方、マスク領域歪補正部１６５は、マスク領域受付部１６２より得たマスク領域の指
定情報に基づいて、そのマスク領域に対して切出し歪補正を行うことで、切出し歪補正マ
スク領域を生成し、切出しマスク実行部１６６に出力する。また、切出し歪補正部１６７
は、全周囲撮像部１６１から得た全周囲画像に対して、切出し歪補正を行うことで切出し
歪補正画像を生成して、切出しマスク実行部１６６に出力する。

切出しマスク実行部１６６は、切出し歪補正画像における、切出し歪補正マスク領域に
ついて、マスク処理を行うことで、マスク領域にマスク処理が施された切出し歪補正画像
を生成し、これを合成部１６８に出力する。合成部１６８は、マスク枠重畳部１６４から
マスク枠が重畳された全周囲画像を取得し、切出しマスク実行部１６６からはマスク領域
においてマスク処理がされた切出し歪補正画像を取得して、それらを用いて図１９に示す
ようなプレビュー画像を生成する。ビューワ２６０における表示切替部２６３及び表示部
２６４は、第４の実施の形態のビューワ２４０における表示切替部２４３及び表示部２４
４と同じであるので説明を省略する。

図３１は、本発明の第６の実施の形態においてプレビュー画像を生成する手順を説明す
るフロー図である。図３１を参照して、本実施の形態においてプレビュー画像を生成する
手順を説明する。まず、全周囲撮像部１６１にて全周囲画像Ｄ３１が撮像される。次に、
この全周囲画像Ｄ３上でマスク領域Ｄ３２が指定される。そして、マスク枠生成部１６３
が、マスク枠を生成して、マスク枠重畳部２６４が、このマスク枠を全周囲画像Ｄ３１に
重畳して、マスク枠が重畳された全周囲画像Ｄ３４を生成する。

一方、切出し歪補正部１６７は、全周囲画像Ｄ３１から切出し範囲を切出して、歪補正
を行うことで、切出し歪補正画像Ｄ３５を生成する。また、マスク領域歪補正部１６５は
、マスク領域Ｄ３２に対して、切出し歪補正部１６７と同じ切出し歪補正を行うことで、
切出し歪補正マスク領域Ｄ３６を生成する。そして、切出しマスク実行部１６６は、切出
し歪補正画像Ｄ３５における切出し歪補正マスク領域Ｄ３６にマスク処理を行うことで、
マスク領域にてマスク処理がされた切出し歪補正画像Ｄ３７を生成する。最後に、合成部
１６８は、マスク領域にマスク枠が重畳された全周囲画像Ｄ３４に対して、マスク領域に
おいてマスク処理がされた切出し歪補正画像Ｄ３７をその中に含む吹き出しを重畳して、
プレビュー画像Ｄ３８を生成する。

図３２は、本発明の第６の実施の形態の撮影システムの動作フロー図である。図３２の
フローは、マスク領域指定モードにおける撮影システム１０６の動作を示している。図３
２を参照して、第６の実施の形態の画像表示方法を説明する。

まず、全周囲撮像部１６１が全周囲画像を撮像して、表示部２６４がこれを表示する（
ステップＳ３２１）。次に、入力部２６１によって、マスク領域の指定が開始されたか否
かを判断する（ステップＳ３２２）。具体的には、入力部２６１の操作によってマスク領
域の始点がクリックされた場合に、マスク領域の指定が開始されたと判断する。マスク領
域の指定が開始されていない場合は（ステップＳ３２２にてＮＯ）、マスク領域の指定が
開始されるまで、全周囲画像を表示して待つ。

マスク領域の指定が開始されたとき、即ち、全周囲画像上でマスク領域の始点となる点
がクリックされたときは（ステップＳ３２２にてＹＥＳ）、マウスの操作によるポインタ
の移動に応じてマスク領域決定部２６２がマスク領域を求めてその指定情報をカメラ１６
０に送信する。カメラ１６０のマスク領域受付部１６２がこのマスク領域の指定情報を取
得すると（ステップＳ３２３）、マスク枠生成部１６３がマスク領域の指定情報に基づい
て、マスク枠を生成して（ステップＳ３２４）、マスク重畳部１６４が、全周囲画像にマ
スク枠を重畳して（ステップＳ３２５）、表示部２６４は、これを表示する。このマスク
枠の生成及び全周囲画像への重畳は、始点がクリックされた後にポインタが移動している
間、そのポインタの位置に応じて行われる。

次に、マスク領域の終点がクリックされると、マスク領域が仮確定し、マスク重畳部１
６４は、マスク枠が重畳された全周囲画像を合成部１６８に出力する。そして、切出し歪
補正部１６７は、全周囲画像に対して切出し歪補正を行うことで、切出し歪補正画像を生
成する（ステップＳ３２６）。また、マスク領域歪補正部１６５は、マスク領域に対して
、ステップＳ３２６における切出し歪補正と同じ補正を行って、切出し歪補正マスク領域
を生成する（ステップＳ３２７）。次に、切出しマスク実行部１６６は、ステップＳ３２
６で生成されたマスク処理がされた切出し歪補正画像における、ステップＳ３２７で生成
された切出し歪補正マスク領域に対してマスク処理を行う（ステップＳ３２８）。

合成部１６８は、マスク枠重畳部１６４からマスク枠が重畳された全周囲画像を取得し
、切出しマスク実行部１６６からマスク領域についてマスク処理がされた切出し補正画像
を取得すると、それらを合成して、図１９に示すようなプレビュー画像を生成し（ステッ
プＳ３２９）、表示切替部２６３に出力する。そして、表示部２６４はこのプレビュー画
像を表示する（ステップＳ３３０）。ユーザが入力部２６１に対して、このプレビュー画
像で示されたマスク領域を確定したか否かを判断する（ステップＳ３３１）、プレビュー
画像で示されたマスク領域が確定すると（ステップＳ３３１でＹＥＳ）、処理を終了する
。ユーザが入力部２６１に対して、このプレビュー画像で示されたマスク領域をキャンセ
ルすると（ステップＳ３３１にてＮＯ）、表示切替部２６３は、表示部２６４に出力する
画像を全周囲画像に切り替えて、再びマスク領域の指定情報を取得するステップＳ３２３
に戻る。

以上のように、本実施の形態では、マスク領域と全周囲画像に対して、それぞれ同一の
補正パラメータを用いて切出し歪補正を行い、補正によって得られたマスク領域で切出し
歪補正画像をマスク処理する。本実施の形態によれば、マスク処理は歪補正された後に実
行されるので、プレビューにおいてもマスクされた画像ではなく、枠だけを描画するなど
の表示方法が可能となる。なお、第２の実施の形態で説明した、マスク領域の指定情報に
基づいて切出し範囲を決定する構成を本実施の形態に適用してもよいことは、上述したと
おりである。この場合には、マスク領域の指定情報によって決定された切出し範囲の情報
は、切出し歪補正部１６７及びマスク領域歪補正部１６５において共有される。

以上、第４ないし第６の実施の形態を説明した。上記の実施の形態には種々の変形が可
能である。以下、各種の変形例を説明する。

２−４．変形例
図３３Ａ〜図３３Ｄは、本発明のプレビュー画像表示の指示操作の変形例を示す図であ
る。図３３Ａ〜図３３Ｄは、表示部としての液晶パネルと入力部としてのタッチセンサと
で構成されるタッチパネルを用いた場合のマスク領域の指定からプレビュー画像の表示の
指示を行うまでの表示を示している。図３３Ａは、全周囲画像上でマスク領域が指定され
た例を示す図である。ユーザは、まず全周囲画像が表示されたタッチパネルにピンチイン
操作を行うことで、マスク領域を指定する。ここでは、上記の実施の形態と同様に、ピン
チイン操作により指定された２点を頂点とする、垂直方向及び水平方向の辺からなる矩形
の領域がマスク領域となる。

図３３Ｂは、全周囲画像上で切出し範囲が指定された例を示す図である。ユーザは、マ
スク領域が重畳された全周囲画像に対して、ピンチアウト操作を行うことで、切出し範囲
を指定する。ここでは、切出し方向を半径方向としたときに、ピンチアウト操作により指
定された２点が切出し補正画像において対角の２頂点となる形状が切出し範囲となる。図
３３Ｃは、全周囲画像上でプレビュー画像の表示が指示された例を示す図である。ユーザ
が、このマスク領域又は切出し領域に対してフリック操作をすると、全周囲画像に対して
マスク領域にてマスク処理が施された切出し補正画像が表示される。図３３Ｄは、プレビ
ュー画像の表示例を示す図である。この変形例のプレビュー画像では、切出し歪補正画像
を含む吹き出しはなく、切出し歪補正画像がそのまま全周囲画像に重畳されて表示される
。また、プレビュー画像では、フリック操作によってはじかれた先の位置に切出し歪補正
画像が配置される。

この変形例のように、プレビュー画像は、全周囲画像と切出し歪み画像とを同時に表示
するものであれば、上記の実施の形態の例に限られない。例えば、全周囲画像と切出し歪
補正画像とが並列に並べられてもよい。

また、上記の実施の形態では、全周囲画像に対しては、マスク領域を示すために、マス
ク枠を重畳し、切出し歪補正画像では、マスク領域を示すために、実際にマスク領域にお
いてマスク処理をしたが、本発明はこれに限られない。全周囲画像上のマスク領域を示す
ために、全周囲画像のマスク領域がマスク処理されてよく、切出し歪補正画像におけるマ
スク領域を示すために、切出し歪補正画像にマスク枠が重畳されてもよい。

また、上記の実施の形態では、ユーザにマスク領域を指定させるために全周囲画像上で
始点と終点の２点を指定させて、全周囲画像上でその２点を対角の頂点とする垂直方向及
び水平方向の辺からなる矩形をマスク領域としたが、本発明はこれに限られない。例えば
、全周囲画像上で２点を指定することにより、切出し歪補正画像においてその２点を２つ
の頂点とする垂直方向及び水平方向の辺からなる矩形となる領域を求めて、それに対して
切出し歪補正の逆変換補正を行って、全周囲画像上でのマスク領域を求めて、それを全周
囲画像上に重畳するようにしてよい。この場合には、ユーザは、全周囲画像上で２点を指
定するが、全周囲画像上では、指定した処理領域として、その２点を対角の頂点とする矩
形は表示されず、歪な領域（切出し歪補正後に矩形となる）が重畳されることになる。ま
た、指定するマスク領域が矩形に限られないのはいうまでもない。

さらに、上記の実施の形態では、全周囲画像の２点を指定することでマスク領域の指定
が行われたが、本発明はこれに限られない。マスク領域の大きさ及び形状は予め決められ
ていてもよく、この場合には、ユーザはマスク領域の指定として、その所定の大きさ及び
形のマスク領域の全周囲画像上での位置を指定するための１点の指定のみでよい。

また、上記の実施の形態では、全周囲画像上でマスク領域の指定を行うと、そのマスク
領域でマスク処理がされた切出し歪補正が全周囲画像と合成されて、プレビュー画像が生
成されたが、本発明はこれに限られない。例えば、先に、切出し歪補正画像が表示されて
いて、その切出し歪補正画像上で、マスク領域を指定することにより、切出し歪補正画像
においてその指定されたマスク領域が示されるとともに、そのマスク領域を示すマスク枠
でマスク処理がされた全周囲画像と切出し歪補正画像とが合成されて、表示されてもよい
。

また、上記の実施の形態では、切出し範囲が予め決められている例、及び切出し範囲が
マスク領域の指定に基づいて決定される例を説明したが、切出し範囲は、別の方法で決定
されてもよい。例えば、マスク領域の指定とは独立したユーザによる切出し範囲の指定を
受けて、切出し範囲を決定してよい。また、切出し範囲の位置は固定されていても、移動
するものであってもよい。また、プレビュー画像を表示してそれを「キャンセル」してマ
スク領域の指定をし直すごとに、異なる切出し範囲が設定されてもよい。

また、上記の実施の形態では、プレビュー画像には、全周囲画像上で指定されたマスク
領域についてマスク処理が施された１つの切出し歪補正画像が全周囲画像と合成されたが
、プレビュー画像において、マスク領域にマスク処理が施された切出し歪補正画像が複数
表示されてもよい。即ち、全周囲画像上で１つのマスク領域が指定された場合にも、切出
し範囲が異なる場合には、それぞれの切出し範囲の切出し歪補正画像上で、マスク領域は
異なる形状になるので、切出し範囲が複数種類ある場合には、プレビュー画像は、それら
の複数の切出し範囲に対応する複数の、マスク領域にてマスク処理がされた切出し歪み画
像を全周囲画像とともに表示するものであってよい。また、全周囲画像において、複数の
マスク領域が指定された場合に、それぞれのマスク領域について、上記と同様の処理を行
って、複数の切出し歪補正画像を含むプレビュー画像を生成してよい。

また、上記の実施の形態では、マスク処理は、プライバシー保護のための処理であり、
処理範囲を黒く塗りつぶす処理であったが、これに限られず、例えばマスク領域の解像度
を低くする（例えばモザイク処理）等、他の情報量を減らす処理によってプライバシーを
保護してもよい。また、マスク処理として、重要な範囲を処理範囲として指定して、この
処理範囲について優先的に符号量を割り当てて、低速の通信網でも当該処理範囲について
優先的に画質を確保するＲＯＩ（Region Of Interest）処理を行ってもよい。

また、上記の実施の形態では、全周囲撮像部が、有歪み画像として、魚眼レンズを用い
て全周囲画像を撮像し、画像表示システムはこの全周囲画像を取得したが、有歪み画像は
、補正可能な歪みを有する画像であれば、全周囲画像に限られない。

３．第７の実施の形態
次に、本発明の第７の実施の形態の撮影システムを説明する。図３５は、本発明の実施
の形態の撮影システムを示すブロック図である。図３５に示すように、撮影システム１０
７は、カメラ１７０と、ビューワ２７０と、画像処理装置３７０とを備えている。画像処
理装置３７０には、カメラ１７０及びビューワ２７０が接続されている。

カメラ１７０は、画像処理装置３７０において画像処理の対象となり、ビューワ２７０
で表示の対象となる画像を撮影する。カメラ１７０は、撮影対象を撮影するように所定の
箇所に固定される。

ビューワ２７０は、カメラ１７０において撮影されて、画像処理装置３７０にて画像処
理された画像をユーザが閲覧するための装置である。ビューワ２７０は、例えばパーソナ
ルコンピュータであってよく、携帯端末であってもよい。カメラ１７０が監視カメラであ
る場合は、カメラ１７０は監視対象箇所を撮影できるように設置され、ビューワ２７０は
画像を監視する者によって利用される。

撮影システム１０７は、カメラ１７０とビューワ２７０との間に配置され、カメラ１７
０及びビューワ２７０のそれぞれと接続される。画像処理装置３７０は、カメラ１７０及
びビューワ２７０と有線で接続されてよく、無線で接続されてもよい。また、画像処理装
置３７０は、その一部又は全部の構成がカメラ１７０又はビューワ２７０に備えられてい
てもよい。

カメラ１７０は、全周囲撮像部１７１を備えている。全周囲撮像部１７１は、広角レン
ズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部１７１によって、円
形の全周囲画像が撮影される。この全周囲画像は、例えば立体射影、等距離射影、等立体
角射影、正射影などの射影方式を持つ魚眼レンズによって撮像された有歪み画像である。
全周囲撮像部１７１は、撮影された画像を画像処理装置３７０に出力する。なお、全周囲
撮像部１７１が撮影して出力する画像は、静止画像であっても動画像であってもよい。

ビューワ２７０は、入力部２７２及び画像表示部２７１を備えている。入力部２７２は
、マウス、タッチパネル等の入力装置を用いて、各種の入力を行う。本実施の形態では、
特に、カメラ１７０で撮影された全周囲画像上で位置指定の入力を行い、また、範囲確定
の入力を行う。

画像表示部２７１は、画像処理装置３７０から出力される画像を表示する。画像表示部
２７１は、例えば液晶表示パネルであってよい。画像表示部２７１は、後述する範囲指定
モード時にはユーザが処理範囲を指定するためのプレビュー画像を表示し、後述する通常
モード時には処理範囲に処理が施された通常画像を表示する。

画像処理装置３７０は、表示切替部３７１、範囲処理部３７２、範囲記憶部３７３、範
囲重畳部３７４、確定判断部３７５、歪補正部３７６、画像出力部３７７、範囲計算部３
７８、及び範囲指定部３７９を備えている。画像処理装置３７０は、通常モードと範囲指
定モードのいずれかで動作する。通常モードは、カメラ１７０で撮影された画像をビュー
ワ２７０で表示するためのモードであり、範囲指定モードは、処理範囲を決定するための
モードである。

表示切替部３７１は、カメラ１７０の全周囲撮像部１７１にて撮影された全周囲画像の
入力を受けて、この全周囲画像の出力先を決定する。表示切替部３７１は、通常モード時
には入力画像を範囲処理部３７２に出力し、範囲指定モード時には入力画像を範囲重畳部
３７４に出力する。また、表示切替部３７１は、入力画像をいずれの出力先に決定したか
を示す情報を画像出力部３７７に出力する。

通常モードには、さらに、パノラマ画像を表示するモード、複数の切出し歪補正画像を
表示するモード、１つの切出し歪補正画像を表示するモード等、複数の表示モードがあり
、表示切替部３７１は、入力画像とともにこの表示モードの情報も範囲処理部３７２に出
力する。

範囲処理部３７２は、表示切替部３７１から全周囲画像を取得し、範囲記憶部３７３に
記憶された処理範囲の情報を用いて、全周囲画像中の当該処理範囲に画像処理を施す。本
実施の形態では、範囲処理部３７２は、画像処理として、処理範囲を黒一色で塗りつぶす
マスキング処理を行う。よって、処理範囲はマスク領域に相当する。

範囲処理部３７２は、範囲記憶部３７３に記憶された処理範囲のうち、表示モードに対
応した処理範囲を採用する。また、範囲記憶部３７３に、複数の表示モードにそれぞれ対
応する複数の処理範囲が記憶されている場合において、全周囲画像をそのまま表示すると
きは、範囲処理部３７２は、それらの複数の処理範囲の合算（ＡＮＤ処理）で得られる範
囲を処理範囲とする。

範囲記憶部３７３は、範囲処理部３７２にて画像処理の対象となる処理範囲の情報を記
憶している。通常モードに上述のような複数の表示モードがある場合には、範囲記憶部３
７３は、表示モードごとに処理範囲を記憶していている。この処理範囲の情報は、確定判
断部３７５より取得する。

範囲記憶部３７３は、全周囲画像上での処理範囲の外周（枠）の位置の座標の集合とし
て処理範囲を記憶していてもよく、また、処理範囲の外周（枠）の曲線を示す関数の集合
として処理範囲を記憶していてもよい。

図３６Ａ及び図３６Ｂは、範囲記憶部３７３に記憶される処理範囲を示す図である。図
３６Ａは、座標の集合として処理範囲を記憶する場合を示しており、図３６Ｂは、関数の
集合として処理範囲を記憶する場合を示している。図３６Ａの場合には、範囲記憶部３７
３は、処理範囲の外周を構成する全ての点（画素）の座標（ｘ０，ｙ０），（ｘ１，ｙ１
），・・・を記憶している。図３６Ｂの場合は、範囲記憶部３７３は、処理範囲の外周の
曲線を示す４つの関数ｆ（ｘ）、ｇ（ｘ）、ｈ（ｘ）、ｋ（ｘ）を記憶している。

範囲重畳部３７４、確定判断部３７５、範囲計算部３７８、範囲指定部３７９は、範囲
指定モードにおいて用いられる。なお、範囲指定モードであるか通常モードであるかは、
ユーザがビューワ２７０の入力部２７２にて指定して、その情報が画像処理装置３７０に
与えられる。

範囲重畳部３７４は、範囲指定モードにおいて、表示切替部３７１から全周囲画像を取
得して、これに、確定判断部３７５から出力された未確定の処理範囲を示す画像情報を重
畳して、画像出力部３７７に出力する。なお、本実施の形態では、処理範囲を示す画像情
報は、処理範囲を囲う線分であるが、これに限らず、処理範囲を塗りつぶしたもの等、他
の画像情報であってもよい。

範囲指定部３７９は、範囲指定モードにおいて、ビューワ２７０の画像表示部２７１に
おいて全周囲画像がプレビュー画像として示されている場合において、ユーザが入力部２
７２によってその全周囲画像上で指定した座標を取得し、範囲計算部３７８に出力する。

図３７Ａ及び図３７Ｂは、ユーザによる範囲の指定を説明する図である。図３７Ａは、
範囲指定の開始を説明する図であり、図３７Ｂは、範囲指定の途中もしくは確定を説明す
る図である。ユーザは、画像表示部２７１に、範囲指定用のプレビュー画像としての全周
囲画像が表示されている場合に、その全周囲画像上で処理範囲を指定する。本実施の形態
では、入力部２７２がマウスでポインタを移動させる装置であり、このような入力部２７
２を用いて始点及び終点を指定する。

ユーザは、歪補正後に矩形となる範囲における対角の２つの頂点を指定する。具体的に
は、ユーザは、入力部２７２を用いて、図３７Ａに示すように、始点としたいと箇所にポ
インタを合わせてクリックし、そのまま図３７Ｂに示すように、終点としたい箇所にドラ
ッグする。終点としたい箇所でドラッグを終了すると、そのときのポインタの位置が終点
となり、この操作によって始点と終点が確定される。ドラッグの最中には、図３７Ｂに示
すように、始点とドラッグされているポインタの位置である終点とから求められる処理範
囲がプレビュー画像に重畳表示される。範囲指定部３７９は、ユーザがポインタをドラッ
グ中は始点及びドラッグされているポインタの位置である終点の座標を、ドラッグを終了
した時は始点及び確定された終点の座標を範囲計算部３７８に出力する。

範囲計算部３７８は、範囲指定部３７９から取得した始点及び終点の座標を用いて、歪
補正後に矩形となる全周囲画像上での範囲を算出する。範囲指定部３７９にて指定された
２点を対角の頂点とする歪補正後に矩形となる形状の全周囲画像における形状は、歪補正
のパラメータ、即ち歪補正の方法（パノラマ補正、切出し歪補正、など）や切出し歪補正
の場合は歪補正の対象となる位置（切出しの中心）及び画角（ズーム倍率）に応じて異な
ってくる。

従って、指定された２点を対角の頂点とする矩形の全周囲画像における形状を算出する
ためには、全周囲画像の歪補正のパラメータ（以下、「歪補正パラメータ」という。）の
情報が必要となる。歪補正パラメータは、例えば、歪補正の方法（パノラマ補正、切出し
歪補正、など）や切出し歪補正の場合は歪補正の対象となる位置（切出しの中心）及び画
角（ズーム倍率）である。

範囲計算部３７８は、歪補正方法が切出し歪補正であり、その切出し位置が予め固定さ
れたものであれば、その切出し位置の情報を予め有していてもよい。予め固定された切出
し位置が複数ある場合には、範囲計算部３７８は、それぞれの表示範囲についてその情報
を有していてよい。このような固定的な切出し位置は扉に出入りする人を監視するような
場合に扉に対応する位置で常に切出し歪補正を行う場合などに使われる。歪補正パラメー
タをユーザが指定する場合には、歪補正パラメータについての入力部２７２に対するユー
ザの入力を範囲指定部３７９を介して取得して、それに基づいて歪補正パラメータを決定
してもよい。なお、これらの歪補正パラメータは、歪補正部３７６でも共有されており、
通常モードでは、歪補正部３７６は、これらの歪補正パラメータにもとづいて歪補正を行
う。

処理範囲の計算を行う際に用いる歪補正パラメータは、ユーザによって指定された処理
範囲の指定に基づいて決定してもよい。図３８Ａ及び図３８Ｂは、処理範囲の指定に基づ
いて表示範囲を決定する処理を示す図である。図３８Ａは、全周囲画像上で指定された処
理範囲の始点及び終点を示す図であり、図３８Ｂは、図３８Ａに示す処理範囲を切出し歪
補正後の画像上で示す図である。

図３８Ａに示すように、上述した方法で、歪補正後に矩形となる処理範囲の対角の２つ
の頂点を指定されると、範囲計算部３７８は、この２点の中間点を中心とするように歪補
正パラメータの切出し位置を決定する。切出し画角（ズーム倍率）は、固定であってよい
し、始点と終点との間の距離に応じて決定されてもよい。例えば、始点と終点とを結ぶ線
が切出し領域の対角線の一定割合となるようにしてよい。図３８Ａ及び図３８Ｂの例では
、始点と終点とを結ぶ線が切出し領域の対角線の７０％となり、かつ、始点と終点との中
点が切出し領域の中心となるように、歪補正パラメータが決定されている。なお、始点と
終点とを切出し領域の対向する２つの頂点（角）とする場合は、処理範囲と切出し領域と
が一致することになり、この場合には、切出し領域全体に対して範囲処理部３７２による
画像処理が行われることになる。

範囲計算部３７８は、上記のようにして歪補正パラメータが決定された上で、範囲指定
部３７９から始点及び終点の座標を取得すると、この歪補正パラメータと処理範囲の始点
及び終点の情報を用いて、全周囲画像における処理範囲を計算する。この処理範囲は、歪
補正パラメータにもとづいて歪補正がされて表示された場合に矩形となる範囲である。

範囲計算部３７８は、表示モードが複数ある場合には、それぞれの表示モードでの歪補
正パラメータについて、歪補正後に矩形となる範囲を算出する。図３９は、プレビュー画
像に重畳表示された処理範囲を示す図である。以下では、歪補正パラメータとして、第１
の歪補正パラメータ（例えば、任意の一部範囲の切出し歪補正画像）と第２の歪補正パラ
メータ（例えば、パノラマ画像）があるとする。

範囲計算部３７８は、始点及び終点の情報を得ると、第１及び第２の歪補正パラメータ
の各々に基づいた補正を行った後に矩形となるような処理範囲を計算する。

範囲計算部３７８は、第１の歪補正パラメータによる座標変換された始点及び終点を対
角の頂点とする第１の矩形を求める。範囲計算部３７８は、この第１の矩形に対して、先
に行われた第１の歪補正パラメータによる座標変換の逆変換を行う。この場合に、範囲計
算部３７８は、第１の歪補正パラメータが示す座標変換方法の変換関数の逆関数を用いて
、座標変換を行う。これにより、第１の矩形は歪んだ形状になる。この歪んだ形状が、図
３９に示す全周囲画像における第１の処理範囲ＣＡ１となる。

範囲計算部３７８は、第２の補正パラメータによる座標変換された始点及び終点を対角
の頂点とする第２の矩形を求める。範囲計算部３７８は、この第２の矩形に対して、先に
行われた第２の歪補正パラメータによる座標変換の逆変換を行う。これにより、第２の矩
形は歪んだ形状になる。この歪んだ形状が、図３９に示す全周囲画像における第２の処理
範囲ＣＡ２となる。

確定判断部３７９は、ユーザが終点を確定していない場合（マウスをドラッグ中など）
は、範囲計算部３７８で算出された処理範囲を範囲重畳部３７４に出力し、ユーザが入力
部２７２に対して行った確定アクション（マウスのドラッグを終了するなど）を受け取る
と、その時点で範囲計算部３７８が算出している処理範囲を範囲記憶部３７３に記憶させ
る。

範囲重畳部３７４は、範囲指定モード時に、表示切替部３７１から入力画像（全周囲画
像）を受け取り、これに、確定判断部３７５より出力された処理範囲を重畳して画像出力
部３７７に出力する。上記のように、範囲計算部３７８にて複数の表示範囲に対応する複
数の処理範囲が計算されている場合には、範囲重畳部３７４は、これらの複数の処理範囲
をすべて全周囲画像に重畳する。

歪補正部３７６は、通常モードにおいて用いられる。通常モードでは、表示切替部３７
１に入力された全周囲画像が範囲処理部３７２に出力され、範囲処理部３７２にて範囲記
憶部３７３に記憶された処理範囲について画像処理が行われ、そのような部分的に画像処
理が施された全周囲画像が歪補正部３７６に入力される。

歪補正部３７６は、入力された全周囲画像（処理範囲について画像処理がされている）
に対して、歪補正を行い、歪補正画像を生成する。表示モード即ち歪補正方法が複数通り
あり、範囲記憶部３７３に複数の表示モードに対応した複数通りの処理範囲が記憶されて
いる場合には、範囲処理部３７２は、表示モードに応じた処理範囲を読み出して、その処
理範囲について画像処理を施す。また、切出し歪補正を行う場合は、切り出し中心が処理
範囲を求めた際と異なる場合があるが、その場合には処理範囲は切出し領域の中心から外
れた場所に位置し、わずかに歪んだ矩形となる。また、処理範囲を計算する際に複数の切
出し中心に基づいた処理範囲を求めている場合には、歪補正部３７６が用いている切出し
中心に最も近い切出し中心で計算された処理範囲について画像処理を施すとよい。

そして、歪補正部３７６においても、この表示モードに対応した表示範囲での切出し及
び歪補正を行う。表示モードがパノラマ画像を表示するモードである場合は、この切出し
歪補正画像はパノラマ画像であり、表示モードが任意の一部範囲を切出して表示するモー
ドである場合は、この切出し歪補正画像は、当該一部範囲を切り出して歪補正をした画像
である。歪補正部３７６で生成された切出し歪補正画像は、画像出力部３７７に出力され
る。

画像出力部３７７は、範囲指定モードでは、範囲重畳部３７４から出力された画像をビ
ューワ２７０の画像表示部２７１に出力し、通常モードでは、歪補正部３７６から出力さ
れた画像をビューワ２７０の画像表示部２７１に出力する。画像出力部３７７は、範囲重
畳部３７４から出力された画像及び歪補正部３７６から出力された画像のいずれを出力す
るか、即ち、範囲指定モードであるか通常モードであるかの情報を表示切替部３７１より
取得する。

画像表示部２７１は、範囲指定モード時には、画像出力部３７７から出力された画像を
プレビュー画像として表示し、通常モード時には、画像出力部３７７から出力された画像
を一部範囲に画像処理が施された通常画像として表示する。

図４０Ａ及び図４０Ｂは、通常モードにおける画像表示部２７１の表示例を示す図であ
る。図４０Ａは、全周囲画像の任意の一部範囲を切出して補正した切出し歪補正画像を表
示する例を示し、図４０Ｂは、全周囲画像の右半分をパノラマ展開したパノラマ画像を表
示する例を示している。

図４０Ａに示すように、図３９において全周囲画像に重畳された第１の処理範囲ＣＡ１
は、切出し歪補正画像において矩形となっており、この矩形の処理範囲にマスキング処理
が施されている。また、図４０Ｂに示すように、図３９において全周囲画像に重畳された
第２の処理範囲ＣＡ２は、パノラマ画像において矩形となっており、この矩形の処理範囲
にマスキング処理が施されている。

次に、画像処理装置３７０の動作について説明する。図３４は、画像処理装置３７０の
動作を示すフロー図である。まず、表示切替部３７１は、全周囲撮像部１７１から全周囲
画像を入力すると（ステップＳ３４１）、範囲指定モードであるか通常モードであるかを
判断する（ステップＳ３４２）。

範囲指定モードである場合は（ステップＳ３４２にて「範囲指定モード」）、表示切替
部３７１は、範囲重畳部３７４に全周囲画像（入力画像）を出力して、この全周囲画像が
範囲重畳部３７４から画像出力部３７７を介して画像表示部２７１にてプレビュー画像と
して表示されるとともに、このプレビュー画像を用いて入力部２７２によって指定された
処理範囲を指定するための始点及び終点の情報が、範囲指定部３７９に入力される（ステ
ップＳ３４３）。

範囲計算部３７８は、範囲指定部３７９に入力された始点及び終点の情報及び表示範囲
の情報を用いて、始点及び終点の座標変換を行い、座標変換された始点及び終点を対角の
頂点とする矩形を求め、この矩形に対して元の座標変換の逆変換を行うことで、処理範囲
を計算する（ステップＳ３４４）。

範囲確定部３７５は、範囲が確定されたか否かを判断し（ステップＳ３４５）、確定さ
れていない場合には（ステップＳ３４５にてＮＯ）、範囲計算部３７８にて算出された処
理範囲の外周を示す線分を範囲重畳部３７４に出力し、範囲重畳部３７４は、この線分を
表示切替部３７１から入力された全周囲画像に重畳（合成）する（ステップＳ３４６）。
この処理範囲を示す線分が重畳された全周囲画像は、画像出力部３７７を介して画像表示
部２７１に出力されて、画像出力部３７７に表示される（ステップＳ３４７）。この表示
画像の例が図３７である。

ユーザは、処理範囲を示す線分が重畳されたプレビュー画像を確認しながら、その処理
範囲でよいか否かを判断して、入力部２７２を用いて、その処理範囲を確定するアクショ
ン（マウスのドラッグを終了する）及び範囲指定を継続するアクション（そのままマウス
のドラッグを継続する）のいずれかを行う。処理範囲が確定しておらず、ステップＳ３４
５からステップＳ３４６を経てステップＳ３４７の処理が終了した後には、ステップＳ３
４３に戻って、ユーザに新たな終点を指定させる。

範囲確定部３７５は、処理範囲が確定すると（ステップＳ３４５にてＹＥＳ）、この処
理範囲の情報を範囲記憶部３７３に出力して、範囲記憶部３７３にこの処理範囲を記憶さ
せる（ステップＳ３４８）。ステップＳ３４８の後は通常モードとなる。ステップＳ３４
８を経て通常モードとなった場合、及びステップＳ３４２にて通常モードと判断された場
合は、範囲処理部３７２は、範囲記憶部３７３から入力された処理範囲を、表示切替部３
７１から入力された全周囲画像に適用して、その処理範囲について画像処理を行う（ステ
ップＳ３４９）。

歪補正部３７６は、範囲処理部３７２にて処理領域について画像処理が施された全周囲
画像を取得して、その全周囲画像から表示範囲を切出して歪補正を行い、切出し歪補正画
像を生成する（ステップＳ３５０）。画像出力部３７７は、歪補正部３７６にて生成され
た切出し歪補正画像を画像表示部３１に出力し、画像表示部２７１はこれを表示する（ス
テップＳ３５１）。この表示画像の例が、図４０Ａや図４０Ｂである。

以上のように、本実施の形態の撮影システムによれば、ユーザが、全周囲画像上で処理
範囲とすべき範囲の対角の２頂点を指定すると、全周囲画像を歪補正部３７６で歪補正し
た場合に当該指定された２点を対角の２頂点とする矩形範囲となる範囲を、全周囲画像上
に表示するので、ユーザは、全周囲画像に歪補正がされた場合に矩形となる処理範囲を、
全周囲画像上で処理範囲を確認できる。また、ドラッグ中のマウスのポインタの位置にお
ける処理範囲が表示されるため、現在の位置を終点として確定した場合にユーザの望む画
像上の位置が処理範囲内に入っているかどうかを確認することができる。また、複数の歪
補正の方法がある場合（即ち、複数の表示モードに対応した複数の表示範囲がある場合）
には、それぞれの表示モードに対応した歪補正によって矩形となるそれぞれの処理範囲を
全周囲画像上で同時に確認できる。これによってどのような表示モードにした場合でもユ
ーザの望む画像上の位置が処理範囲に入っているかどうかを確認することができる。

以上、本発明の第７の実施の形態を説明したが、上記の実施の形態は、本発明の範囲内
で種々の変形が可能である。例えば、上記の実施の形態では、処理範囲の内側に対して画
像処理を施したが、処理範囲の外側に画像処理を施してもよい。例えば、画像を得たい範
囲を処理範囲として指定して、この処理範囲については画像処理をせずに、その周囲にマ
スキング処理を施してもよい。また、重要な範囲を処理範囲として指定して、この処理範
囲について優先的に符号量を割り当てて、低速の通信網でも当該処理範囲について優先的
に画質を確保するＲＯＩ（Region Of Interest）処理を行ってもよい。

さらに、歪補正部３７６において切出す範囲を範囲指定部３７９にて指定された範囲に
基づいて決定してよく、その場合に、指定された範囲全体を処理範囲としてよいことを上
述したが、この場合に、この処理範囲を歪補正部３７６において切出し処理を行う範囲と
してよい。この場合には、範囲処理部３７２は画像処理として、処理範囲の切り出しを行
い、歪補正部３７６は、範囲記憶部３７３から取得した切り出された範囲の画像に対して
歪補正を行う。

また、上記の実施の形態では、範囲計算部３７８は、歪補正後に矩形となる処理範囲を
算出したが、歪補正後の処理範囲は、円、楕円等の他の種類の形状であってもよい。また
、歪補正後の処理範囲が矩形以外の種類の形状である場合に、ユーザは３点以上の点を、
処理範囲を計算するための点として指定してよい。さらに、処理範囲の形状及び大きさを
固定とした場合には、ユーザは、その位置のみを指定してもよい（例えば中心を示す１点
のみを指定してよい）。

また、ユーザによる範囲指定が確定し範囲記憶部３７３に処理範囲の情報が保存された
後に、ユーザが入力部２７２を使用してこの保存された処理範囲に対する操作を行って、
プレビュー画像上で処理範囲を変形させることで、処理範囲の指定を変更するようにして
よい。なお、この場合にも、変形される処理範囲は、常に歪補正後に矩形等の所定の種類
の形状となる形状に変形される。

また、上記の実施の形態では、全周囲撮像部１７１が、有歪み画像として、魚眼レンズ
を用いて全周囲画像を撮影し、画像処理装置３７０はこの全周囲画像を取得したが、有歪
み画像は、補正可能な歪みを有する画像であれば、全周囲画像に限られない。

４．第８の実施の形態
次に、本発明の第８の実施の形態を説明する。上述のように、全周囲画像はパノラマ画
像に変形することができる。また、全周囲画像の一部を切出して補正して表示することも
できる。この場合、切出し位置をリアルタイムに変化させることで、ＰＴＺカメラとして
機能することができる。このように、全周囲画像については複数の表示方法を持つことが
できる。また、ビデオカメラでは、任意の範囲を指定し、その範囲に画像処理を行うこと
がある。例えば、プライバシー保護のためのマスク処理などがこれに当たる。

しかしながら、例えば特許文献２に記載の技術のように、歪を有する画像に対してこの
ような任意の範囲を指定する方法で範囲指定を行うと、歪補正の有無や表示方法の違い、
また画像の切出し位置によって範囲の形状が変化することになる。この状態ではユーザか
らは範囲指定の方法が難しく、指定された範囲の位置も判り難い表示になる。さらに、特
許文献２に記載の技術では、歪補正前後で多量の座標を投影する必要があり、情報の処理
量が増大するという問題がある。

そこで、本実施の形態では、ユーザの範囲指定の容易さの向上と、歪補正前後における
範囲共有の情報処理量を低減できる撮影システムを説明する。

図４２は、本発明の第８の実施の形態の撮影システム１０８の構成を示すブロック図で
ある。図４２に示すように、画像処理装置３８０には、カメラ１８０及びビューワ２８０
が接続されており、撮影システム１０８を構成している。

カメラ１８０は、画像処理装置３８０において画像処理の対象となり、ビューワ２８０
で表示の対象となる画像を撮影する。カメラ１８０は、撮影対象を撮影するように所定の
箇所に固定される。

ビューワ２８０は、カメラ１８０において撮影されて、画像処理装置３８０にて画像処
理された画像をユーザが閲覧するための装置である。ビューワ２８０は、例えばパーソナ
ルコンピュータであってよく、携帯端末であってもよい。カメラ１８０が監視カメラであ
る場合は、カメラ１８０は監視対象箇所を撮影できるように設置され、ビューワ２８０は
画像を監視する者によって利用される。

画像処理装置３８０は、カメラ１８０とビューワ２８０との間に配置され、カメラ１８
０及びビューワ２８０のそれぞれと接続される。画像処理装置３８０は、カメラ１８０及
びビューワ２８０と有線で接続されてよく、無線で接続されてもよい。また、画像処理装
置３８０は、その一部または全部の構成がカメラ１８０またはビューワ２８０に備えられ
ていてもよい。

カメラ１８０は、全周囲撮像部１８１を備えている。全周囲撮像部１８１は、広角レン
ズの一種である魚眼レンズを有する撮像系である。この全周囲撮像部１８１によって、円
形の全周囲画像が撮影される。この全周囲画像は、例えば立体射影、等距離射影、等立体
角射影、正射影などの射影方式を持つ魚眼レンズによって撮像された有歪み画像である。
全周囲撮像部１８１は、撮影された画像を画像処理装置３８０に出力する。なお、全周囲
撮像部１８１が撮影して出力する画像は、静止画像であっても動画像であってもよい。

ビューワ２８０は、入力部２８２及び画像表示部２８１を備えている。入力部２８２は
、マウス、タッチパネル等の入力装置を用いて、各種の入力を行う。本実施の形態では、
特に、カメラ１８０で撮影された全周囲画像上で位置指定の入力を行う。

画像表示部２８１は、画像処理装置３８０から出力される画像を表示する。画像表示部
２８１は、例えば液晶表示パネルであってよい。画像表示部２８１は、後述する範囲指定
時にはユーザが処理範囲を指定するための画像を表示し、後述する画像表示時には処理範
囲に処理が施された画像を表示する。

画像処理装置３８０は、画像取得部３８１、歪補正部３８２、範囲適用部３８３、画像
処理部３８４、表示設定部３８５、範囲生成部３８６、位置指定部３８７、位置記憶部３
８８、座標投影部３８９を備えている。画像処理装置３８０はカメラ１８０で撮影された
画像からビューワ２８０で表示するための画像を作成する機能と、処理範囲の指定を行う
機能との、２つの機能を備えている。

画像取得部３８１は、カメラ１８０の全周囲撮像部１８１にて撮影された全周囲画像を
取得する。

歪補正部３８２は、画像取得部３８１にて取得した全周囲画像に歪補正を行う。歪補正
には複数の補正処理が想定され、歪補正パラメータによって補正方法が決まる。図４９Ａ
は、従来の全周囲画像の例を示す図であり、図４９Ｂは、従来の全周囲画像のパノラマ画
像を表示する例を示す図であり、図４９Ｃは、従来の全周囲画像とともに複数の切出し範
囲の切出し画像を並べて表示する例を示す図である。例えば、図４９Ａの全周囲画像に対
して、図４９Ｂに示すような全周囲画像から複数の範囲を切出して補正を行う方法（以下
、切出し歪補正と呼ぶ）や、図４９Ｃに示すように、全周囲画像のうち１８０度分を使用
したパノラマ画像を生成し並べて表示する方法（以下、パノラマ補正またはパノラマ展開
と呼ぶ）などがある。なお、歪補正を行わず全周囲画像のまま出力してもよい。本実施の
形態では、歪補正部１２は切出し歪補正またはパノラマ補正で処理を行い、画像を出力す
る。なお、歪補正パラメータとしては、歪補正の方法とその方法において必要なパラメー
タ（例えば切出し歪補正では切出し位置と大きさ）などである。

表示設定部３８５は、歪補正部３８２で行う歪補正の歪補正パラメータの設定を行う。
また、歪補正を行わない場合には歪補正パラメータを設定しない。表示設定部３８５で設
定された歪補正パラメータは歪補正部３８２、範囲生成部３８６、座標投影部３８９に受
け渡される。

範囲適用部３８３は、歪補正部３８２から歪補正が行われた画像を取得し、その画像に
範囲生成部３８６が生成した範囲情報を付加して出力する。この付加された範囲情報は任
意の画像処理の処理範囲として使用される。なお、範囲生成部３８６が範囲情報を生成し
ていない場合、入力画像をそのまま出力する。

画像処理部３８４は、範囲適用部３８３から範囲情報が付加された画像を取得し、前記
範囲情報の範囲に任意の画像処理を行う。画像処理は、範囲情報の逆の範囲に適用しても
よい。本実施の形態では、画像処理部３８４は、画像処理として、処理範囲を黒一色で塗
りつぶすプライバシーマスク処理を行う。よって、処理範囲はマスク領域に相当する。

位置指定部３８７は、入力部２８２での入力にもとづいて表示画像上の座標情報を送信
する。本実施の形態では、位置情報は画像表示部２８１で表示される画像上の一点の座標
値となる。

座標投影部３８９は、位置指定部３８７から入力された表示画像上の座標情報を、表示
設定部３８５の歪補正パラメータにもとづいて、全周囲画像上の座標情報に変換する。

位置記憶部３８８は、座標投影部３８９から入力された全周囲画像上の座標情報（以下
、「位置情報」と呼ぶ）を記憶する。本実施の形態では位置記憶部３８８は全周囲画像上
での直行座標系における一点の位置座標を記憶する。前記位置情報は極座標系などの、他
の座標系を用いてもよく、各表示設定で共有できる位置情報のテーブルとして保持しても
よい。

範囲生成部３８６は、位置記憶部３８８に記憶された位置情報と表示設定部３８５の歪
補正パラメータに基づいて、特定の位置に予め定められた形状の範囲情報を生成する。本
実施の形態では、位置記憶部３８８に記憶された全周囲画像上の位置座標を歪補正パラメ
ータに基づいて歪補正された画像上の座標系に変換し、その位置座標を中心とする固定さ
れた半径の円を範囲情報として生成する。

次に、画像処理装置３８０の動作について説明する。画像処理装置３８０の動作は、画
像表示と範囲設定の２つの動作がある。はじめに画像表示の動作について説明する。図４
３は、本発明の第８の実施の形態の画像表示装置の処理を示すフロー図である。画像取得
部３８１がカメラ１８０から入力された全周囲画像を歪補正部３８２に出力すると（ステ
ップＳ４３１）、歪補正部３８２は表示設定部３８５から受信する歪補正パラメータの有
無を判断する（ステップＳ４３２）。

歪補正パラメータが有りの場合、歪補正部３８２は歪補正パラメータにもとづいて歪補
正処理を行う（ステップＳ４３３）。歪補正パラメータが無い場合、ステップＳ４３３は
省略され、次のステップＳ４３４に移行する。

次に、位置記憶部３８８の位置情報の有無を判断する（ステップＳ４３４）。位置記憶
部３８８の位置情報は後述する範囲設定動作を行った場合に生成されるものである。すで
に範囲設定が行われ位置情報がある場合は、範囲生成部３８６が前記位置情報に応じた範
囲情報を出力し、範囲適用部３８３にて範囲情報が歪補正部３８２から出力された映像に
付加される（ステップＳ４３５）。範囲設定が行われていない、もしくは設定がリセット
されたなど位置情報が無い場合は、範囲情報の付加は行われない。

ここで、範囲情報生成の詳細について説明する。図４４は、本実施の形態の範囲生成部
の処理を示すフロー図である。はじめに、範囲生成部３８６が位置記憶部から位置情報を
取得する（ステップＳ４４１）。本実施の形態では、この位置情報は全周囲画像上の一点
の座標である。次に、範囲生成部３８６は表示設定部３８５から歪補正パラメータの有無
を判断する（ステップＳ４４２）。

歪補正が有りと判断された場合は、範囲生成部３８６は表示設定部３８５から取得した
歪補正パラメータに基づいて、位置情報を変換する。本実施の形態では、全周囲画像上の
座標を歪補正された画像での座標へと変換を行う（ステップＳ４４３）。歪補正が無しと
判断された場合は、ステップＳ４４３は経由せずにステップＳ４４４に進む。続いて範囲
生成部３８６は最終的に得られた位置情報を基点とし、予め定めたれた形状の範囲情報を
生成する（ステップＳ４４４）。本実施の形態では、最終的に得られた歪補正後の座標を
中心とした予め定められた半径の円を範囲情報として形成する。ここで、歪補正パラメー
タが無い場合における最終的に得られた位置情報とは全周囲画像上の座標（位置記憶部３
８８が保持していた位置情報のまま）を意味する。

再び画像処理装置３８０のフロー図の説明に戻る。範囲適用部３８３から出力された画
像は画像処理部３８４に入力され、画像に付加された範囲情報が示す処理範囲に任意の画
像処理を適用する（ステップＳ４３６）。画像処理が適用された画像は画像表示部２８１
へ出力され、ユーザに表示される（ステップＳ４３７）。

続いて、画像処理装置３８０における範囲設定の動作について説明する。図４５は、本
実施の形態における位置情報を生成する処理を示すフロー図である。入力部２８２からの
ユーザの入力情報に応じて、位置指定部３８７は画像表示部２８１に表示されている画像
上の位置情報を出力する（ステップＳ４５１）。座標投影部３８９は表示設定部３８５の
設定情報を受け取り、歪補正パラメータの有無を判断する（ステップＳ４５２）。

前記設定情報が、歪補正パラメータが有りの場合、座標投影部３８９は歪補正パラメー
タを元に、位置情報を歪補正前の全周囲画像上の座標に変換する（ステップＳ４５３）。
Ｓ４５２で歪補正パラメータが無しと判断された場合は、位置情報の必要はないので、ス
テップＳ４５３は実行せずにステップＳ４５４に進む。最後に、全周囲画像上の座標を位
置情報として位置記憶部に保持する（ステップＳ４５４）。

図４６は、本実施の形態の画像処理の例を示す図である。図４６を用いて、画像に対し
て範囲指定を行い、画像処理が行われた画像を表示する例について説明する。歪補正画像
５１０は、歪補正部３８２が全周囲画像５２０の複数個所について切出し歪補正を行った
画像である。この歪補正画像５１０に対してユーザが入力部２８２を通じ範囲指定のため
の位置５１１を指定する。

次に座標投影部３８９は、全周囲画像５２０から切出し歪補正画像５１０を作成するた
めの歪補正パラメータを用いて、指定された位置５１１を全周囲画像上５２０の座標５２
１に変換する。続いて、位置記憶部３８８は変換された座標５２１を記憶する。

続いてユーザが歪補正パラメータとしてパノラマ展開を選択したとする。表示設定部１
５は歪補正パラメータを切出し歪補正からパノラマ展開に変更する。歪補正部３８２はパ
ノラマ展開を行ったパノラマ展開画像５３０を作成する。また、範囲生成部３８６は位置
記憶部３８８から読み出した座標５２１と歪補正パラメータとを用いて、パノラマ展開画
像上での座標５３１を求める。続いて、予め定められた形状である円を座標５３１が中心
になるように範囲５３２を生成する。

続いて、範囲適用部３８３は生成された範囲５３２をパノラマ展開画像５３０に適用す
る。さらに画像処理部３８４が範囲５３２に対してプライバシー処理を施す。最後に画像
表示部２８１が、プライバシー処理が施された画像を表示する。なお、位置５１１を指定
する際に、予め定められた形状である円を座標５１１が中心になるように表示してもよい
。

以上のように、本実施の形態の画像処理装置３８０によれば、ユーザが歪補正された画
像上の１点を指定するだけで画像中の任意の範囲に対して画像処理を行うことができる。
その際に、画像処理される範囲は歪補正の有無やパラメータによらず同じ形状となりユー
ザにとって分かりやすい画像表示を実現することができる。

以上、本発明の第８の実施の形態を説明したが、上記の実施の形態は、本発明の範囲内
で種々の変形が可能である。例えば、範囲として円形以外の形状を用いてもよい。図４７
Ａ及び図４７Ｂは、本発明の第８の実施の形態の範囲情報の例を示す図である。図４７Ａ
に範囲の形状として円、正方形、正三角形、正六角形を用いる場合を示す。図４７Ｂに範
囲の形状として楕円、長方形、ひし形を用いる場合を示す。

なお、円以外の形状を範囲として用いる場合は、形状の方向を決定する必要がある。方
向を決定する方法としては、例えばユーザが位置指定を行う際に位置に加えて方向も指定
する方法が考えられる。図４８は、本発明の第８の実施の形態の形状の方向を指定する例
を示す図である。７１０は歪補正部３８２によって歪補正が行われ表示されている画像で
あり、その画像上でユーザは範囲指定の位置７１１と方向７１２を指定する。指定する方
法としては、タッチパネルで位置７１１をタップし、そこから方向７１２に沿って指を滑
らせる方法などが好適である。図４７Ａの楕円などにおいては、ユーザに縦横比を決定さ
せてもよい。また滑らせた指をどこで離すかなどの方法で形状の大きさを設定可能にして
もよい。

また、方向を決定する方法として、画像中の決められた方向をデフォルトの方向として
それに合わせて範囲を設定する方法が考えられる。具体的には、図４７Ａ中の矢印が、画
像の鉛直方向と一致するように形状の方向を決定すればよい。

さらに、上記の実施の形態では位置情報として全周囲画像上の座標を用いたが、全周囲
画像上の１点と対応付けられる情報であれば何でもよい。例えば、歪補正有の場合には歪
補正パラメータと歪補正された画像上の座標の両方を位置情報としてもよい。この場合に
は、歪補正パラメータを用いて、歪補正された画像上の座標を全周囲画像上の座標に対応
付けることができる。また、絶対空間での座標に変換してそれを位置情報としてもよい。

さらに、歪補正パラメータのズーム倍率に応じて形状の大きさを変更してもよい。ズー
ム率が大きい場合（画像中の物体を拡大して表示する場合）は、形状の大きさは小さくし
、ズーム率が小さい場合は形状の大きさを大きくする。これにより、ズーム倍率が変わっ
ても画像上の同じ対象について画像処理できるようになる。

また、上記の実施の形態では、全周囲撮像部１８１が、魚眼レンズを用いて全周囲画像
を撮影し、画像処理装置３８０はこの全周囲画像を取得したが、撮像する画像は補正可能
な歪みを有する画像であれば、全周囲画像に限られない。

以上に現時点で考えられる本発明の好適な実施の形態として第１〜第８の実施の形態を
説明したが、上記の実施の形態に対して多様な変形が可能であり、そして、本発明の真実
の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図され
ている。

また、上記において、ある実施の形態、及びある実施の形態について説明された変形例
又は他の可能性は、実現可能である限り、他の実施の形態において、追加的に、又は代替
して適用され得る。

以上のように、本発明は、有歪み画像の歪みが補正された歪補正画像において、マスク
される領域の見栄えがよくなる等の効果を有し、歪みを有する画像に対して歪補正をする
とともに、その一部領域にマスク処理を施す画像処理装置等として有用である。

１００ カメラ
１１ 筐体
１２ ドームカバー
１３ 基台
１４ 光学ユニット
１５ 主基板
１６ 魚眼レンズ
１７ 開閉カバー
１８ 取り付け金具
１９ レンズホルダ
２０ パッキン材
２１ センサ基板
２２ 貫通孔
２３ 固定ネジ
２４ ＭＯＳホルダ
２５ ＭＯＳブランケット
２６ 固定ネジ
２８ 支持柱
２９ 嵌合ボス
２７ コイルバネ
１０１〜１０３ 撮影システム
１１０、１２０、１３０ カメラ
１１１ 全周囲撮像部
１１２ マスクデータ保持部
１１３ マスク実行部
１１４ 切出しパラメータ設定部
１１５ 切出し歪補正部
１２６ マスク領域整形部
１２６１ 補正後マスク領域生成部
１２６２ 補正後マスク領域整形部
１２６３ 逆変換補正部
１３７ マスク領域歪補正部
１３８ マスク領域整形部
２１０、２２０、２３０ ビューワ
２１１ マスク領域検出部
２１２ マスク領域整形部
２１３ 出力部
１０４〜１０６ 撮影システム
１４０、１５０、１６０ カメラ
１４１、１５１、１６１ 全周囲撮像部
１４２、１５２、１６２ マスク領域受付部
１４３、２５３、１６３ マスク枠生成部
１４４、２５４、１６４ マスク枠重畳部
１４５、１５４ マスク実行部
１４６、１５５、１６７ 切出し歪補正部
１４７、１５６、１６８ 合成部
１５５ 切出し範囲決定部
１６５ マスク領域歪み補正部
１６６ 切出しマスク実行部
２４０、２５０、２６０ ビューワ
２４１、２５１、２６１ 入力部
２４２、２５２、２６２ マスク領域決定部
２４３、２５５、２６３ 表示切替部
２４４、２５６、２６４ 表示部
１０７ 撮影システム
１７０ カメラ
１７１ 全周囲撮像部
２７０ ビューワ
２７１ 画像表示部
２７２ 入力部
３７０ 画像処理装置
３７１ 表示切替部
３７２ 範囲処理部
３７３ 範囲記憶部
３７４ 範囲重畳部
３７５ 確定判断部
３７６ 歪補正部
３７７ 画像出力部
３７８ 範囲計算部
３７９ 範囲指定部
１０８ 撮影システム
１８０ カメラ
１８１ 全周囲撮像部
２８０ ビューワ
２８１ 画像表示部
２８２ 入力部
３８０ 画像処理装置
３８１ 画像取得部
３８２ 歪補正部
３８３ 範囲適用部
３８４ 画像処理部
３８５ 表示設定部
３８６ 範囲生成部
３８７ 位置指定部
３８８ 位置記憶部
３８９ 座標投影部

Claims (13)

1. 有歪み画像を取得する画像取得部と、
   前記有歪み画像上の範囲指定に関する入力を取得する範囲指定部と、
   取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第１の形状を計算する範囲計算部と、
   前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳する範囲重畳部と、
   前記第１の処理範囲を前記有歪み画像に重畳した画像を表示する表示切替部と、を備え、
   前記範囲指定部は前記有歪み画像上で指定された複数点を前記範囲指定に関する入力として取得する、
   画像表示装置。
2. 前記所定種類の形状は矩形である、
   請求項１に記載の画像表示装置。
3. 前記第１の形状の歪み補正後に相当する前記矩形の二つの頂点は前記有歪み画像上で指定された前記複数点に相当する、
   請求項２に記載の画像表示装置。
4. 前記有歪み画像上で指定された前記複数点は、前記第１の形状の外周上の点に相当する、
   請求項１に記載の画像表示装置。
5. 前記第１の形状は、曲線を含む、
   請求項１に記載の画像表示装置。
6. 前記範囲計算部は、前記第１の形状が歪み補正処理される場合、前記第１の形状を構成する前記曲線が直線となるように前記第１の形状を計算する、
   請求項５に記載の画像表示装置。
7. 有歪み画像を取得する画像取得部と、
   前記有歪み画像上の範囲指定に関する入力を取得する範囲指定部と、
   取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第１の形状を計算する範囲計算部と、
   前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳する範囲重畳部と、
   前記第１の処理範囲を前記有歪み画像に重畳した画像を表示する表示切替部と、
   前記有歪み画像の前記第１の処理範囲に対して画像処理を実施する画像処理部と、
   少なくとも前記第１の処理範囲を含む前記有歪み画像の少なくとも一部の歪みを補正して切出し歪み補正画像を生成する歪み補正部と、を備え、
   前記表示切替部は、前記所定種類の形状に前記画像処理が実施された範囲を含む切出し歪み補正画像を表示する、
   画像表示装置。
8. 前記画像処理はＲＯＩ処理を含む、
   請求項７に記載の画像表示装置。
9. 有歪み画像を取得する画像取得部と、
   前記有歪み画像上の範囲指定に関する入力を取得する範囲指定部と、
   取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第１の形状を計算する範囲計算部と、
   前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳する範囲重畳部と、
   前記第１の処理範囲を前記有歪み画像に重畳した画像を表示する表示切替部と、を備え、
   前記範囲計算部は、取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第２の形状を計算し、
   前記範囲重畳部は、前記第１の形状を有する前記第１の処理範囲と前記第１の形状とは異なる前記第２の形状を有する第２の処理範囲とを前記有歪み画像に重畳し、
   前記表示切替部は、前記第１の処理範囲及び前記第２の処理範囲を前記有歪み画像に重畳した画像を表示する、
   画像表示装置。
10. 前記第１の処理範囲の少なくとも一部は、前記第２の処理範囲と重なる、
    請求項９に記載の画像表示装置。
11. 有歪み画像を取得するステップと、
    前記有歪み画像上の範囲指定に関する入力を取得するステップと、
    取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第１の形状を計算するステップと、
    前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳するステップと、
    前記第１の処理範囲を前記有歪み画像に重畳した画像を表示するステップと、を備え、
    前記範囲指定に関する入力は前記有歪み画像上で指定された複数点を前記範囲指定に関する入力として取得する、
    画像表示方法。
12. 有歪み画像を取得する画像取得ステップと、
    前記有歪み画像上の範囲指定に関する入力を取得する範囲指定ステップと、
    取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第１の形状を計算するステップと、
    前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳するステップと、
    前記第１の処理範囲を前記有歪み画像に重畳した画像を表示するステップと、
    前記有歪み画像の前記第１の処理範囲に対して画像処理を実施するステップと、
    少なくとも前記第１の処理範囲を含む前記有歪み画像の少なくとも一部の歪みを補正して切出し歪み補正画像を生成するステップと、を備え、
    第１の処理範囲を前記有歪み画像に重畳した画像を表示するステップは、前記所定種類の形状に前記画像処理が実施された範囲を含む切出し歪み補正画像を表示する、
    画像表示方法。
13. 有歪み画像を取得する画像取得ステップと、
    前記有歪み画像上の範囲指定に関する入力を取得する範囲指定ステップと、
    取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第１の形状を計算するステップと、
    前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳するステップと、
    前記第１の処理範囲を前記有歪み画像に重畳した画像を表示するステップと、
    前記第１の形状を計算するステップは、取得した前記範囲指定に関する入力に基づき、歪み補正処理後に所定種類の形状となる第２の形状を計算し、
    前記第１の形状を有する第１の処理範囲を前記有歪み画像に重畳するステップは、前記第１の形状を有する前記第１の処理範囲と前記第１の形状とは異なる前記第２の形状を有する第２の処理範囲とを前記有歪み画像に重畳し、
    前記第１の処理範囲を前記有歪み画像に重畳した画像を表示するステップは、前記第１の処理範囲及び前記第２の処理範囲を前記有歪み画像に重畳した画像を表示する、
    画像表示方法。