JP5985336B2 - パノラマ画像作成装置、及び、プログラム - Google Patents

Description

本発明は、魚眼レンズカメラによって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置に関し、特に、ターゲットを監視し易いパノラマ画像を作成するパノラマ画像作成装置に関する。また、本発明は、コンピュータで当該パノラマ画像作成装置を実現するプログラムに関する。

近年、魚眼レンズカメラ（以下、単に「カメラ」と称する場合がある）によって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置が、普及している（例えば、特許文献１及び特許文献２参照）。

魚眼レンズカメラは、カメラの周囲のほぼ１８０°の半球視野の空間を魚眼画像として撮影する全方位型のカメラである。魚眼レンズカメラは、通常、ドーム型の形状に形成されており、天井や壁面に設置される。魚眼レンズカメラは、広い空間の撮影に適している。そのため、魚眼レンズカメラは、例えば、パノラマ画像作成装置と組み合わされて、全方位の監視システムに用いられる。

全方位の監視システム（以下、単に「監視システム」と称する場合がある）では、魚眼レンズカメラが、カメラの周囲の空間を魚眼画像として撮影して、魚眼画像をパノラマ画像作成装置に出力する。

パノラマ画像作成装置は、魚眼レンズカメラから魚眼画像が入力されると、魚眼画像を撮影画像として格納部に格納する。そして、パノラマ画像作成装置は、格納部に格納された撮影画像（魚眼画像）に基づいて、パノラマ画像を作成して、撮影画像（魚眼画像）やパノラマ画像を表示部に表示する。これにより、表示部に表示された画像を見る監視者は、表示部に表示された画像の中に映る所望の監視したい部分（以下、「ターゲット」と称する）の動きを監視する。

ところで、監視システムは、視野の周辺部（画像の左右部分）の歪みが少ないパノラマ画像を作成するために、カメラを真下の方向又は水平方向に向けて撮影する必要があった。そのため、監視システムは、カメラが真下の方向に向くように、カメラを天井等に吊り下げ設置して、天井直下の空間を撮影する構造か、又は、カメラが水平方向に向くように、カメラを略垂直な壁の表面（壁面）等に水平設置して、水平方向の空間を撮影する構造になっていた。

その魚眼レンズカメラは、設置角度を変更できないものが多く、変更できたとしても、その角度はせいぜい１０°程度である。また、魚眼レンズカメラは、水平設置される場合で、かつ、ターゲットが人等である場合に、ターゲットがカメラの画角に入るように、なるべく低い位置に設置する必要があった。このように、魚眼レンズカメラは、設置場所の制約が多かった。

このような監視システムにおいて、パノラマ画像作成装置は、カメラが吊り下げ設置されている場合に、ターゲットを上から見下ろす構成のパノラマ画像を作成する。この構成のパノラマ画像は、ターゲットの特徴が分かり難い構成になるため、あまり好ましくない。

一方、パノラマ画像作成装置は、カメラが水平設置されている場合で、かつ、ターゲットがカメラの画角に入るときに、ターゲットを横方向から見る構成のパノラマ画像を作成する。この構成のパノラマ画像は、ターゲットの特徴が分かり易い構成になるため、好ましい。

特に、パノラマ画像作成装置は、カメラが標準的な人の目線の高さ（例えば、床面から約１５００ｍｍの高さ）の位置に水平設置されている場合に、あたかも人が首を左右に振って見たときのような自然な構成のパノラマ画像を作成する。この構成のパノラマ画像は、ターゲットの特徴が非常に分かり易い構成になるため、特に好ましい。

したがって、監視システムは、ターゲットの特徴が分かり易い構成のパノラマ画像を取得するためには、カメラを水平設置することが好ましく、特に、カメラを標準的な人の目線の高さの位置に水平設置することが好ましい。

しかしながら、監視システムは、カメラを標準的な人の目線の高さの位置に設置した場合に、カメラが人によって触られる可能性がある。そのため、仮に悪意ある人物がいる場合に、カメラは、その人物によって「バンダリズム」と称される悪戯（例えば、破壊されたり、スプレーを吹き付けられたりして、撮影不能な状態にされる悪戯）を受ける可能性がある。また、カメラは、その用途が防犯用である場合に、人に威圧感を与えたり、景観を損ねたりする可能性がある。

したがって、監視システムは、カメラを標準的な人の目線の高さの位置に水平設置することが好ましいにも関わらず、このような悪戯を防止するために、また、人に威圧感を与えたり、景観を損ねたりするのを抑制するために、カメラを、人の手が届かない高い位置に、設置する必要があった。

ただし、監視システムは、カメラを高い位置に水平設置した場合に、カメラがターゲットから外れた天井の周囲の空間ばかりを撮影してしまう。そのため、この場合に、パノラマ画像作成装置は、ターゲットが少ししか写っていない（又は、全く写っていない）パノラマ画像を作成してしまう。

したがって、監視システムは、カメラを人の手が届かない高い位置に設置する場合に、下げ振り設置する必要がある。なお、「下げ振り設置」とは、カメラが斜め下方向に向くように、カメラを下方向に傾斜させて設置することを意味している。

監視システムは、カメラを人の手が届かない高い位置に下げ振り設置した場合に、カメラに対する悪戯を防止することができるとともに、人に威圧感を与えたり、景観を損ねたりするのを抑制することができる。しかも、監視システムは、この場合に、カメラが斜め上方向からターゲットを見る構成の魚眼画像を撮影する。そのため、この場合に、パノラマ画像作成装置は、斜め上方向からターゲットを見る構成のパノラマ画像を作成することができる。以下、このパノラマ画像の作成手法を「第１の作成手法」と称する。

第１の作成手法によって作成されたパノラマ画像は、ターゲットが画像の中央付近に写り込み易い、というメリットを有している。しかしながら、その一方で、このパノラマ画像は、下げ振り設置に起因して、比較的大きな歪みが視野の周辺部（画像の左右部分）に発生する。その歪みは、画像の中央から外れるほど（画像の端部になるほど）大きくなる。そのため、このパノラマ画像は、視野の周辺部（画像の左右部分）が下がって見える構成になり、これにより、ターゲットの特徴が分かり難くなる、というデメリットを有している。換言すると、このパノラマ画像は、一番奥の壁や直線が湾曲するため、左右部分の歪みが大きい、つまり、奥行きが分かり難い画像になる、というデメリットを有している。

そこで、パノラマ画像作成装置は、例えば、以下の手法によって、歪みが目立たないパノラマ画像を作成する構成になっている場合もある。
すなわち、パノラマ画像作成装置は、例えば、魚眼画像のレンズ中心から水平方向に切り出された写像に基づいてパノラマ画像を作成する。以下、このパノラマ画像の作成手法を「第２の作成手法」と称する。なお、「第２の作成手法」の詳細については、「発明を実施するための形態」の章の中で、比較例２（図７Ａ（ｂ）参照）として説明する。

第２の作成手法によって作成されたパノラマ画像は、視野の周辺部（画像の左右部分）の歪みが解消される、というメリットを有している。しかしながら、その一方で、このパノラマ画像は、以下に説明するように、画像の中央付近に、ターゲットの特徴部分（具体的には、魚眼画像の、有効解像度が高い中央部分）の画像をあまり含まない画像になるため、ターゲットの特徴が分かり難くなる、というデメリットを有している。

すなわち、魚眼画像は、歪みが、画像の中央に近いほど小さく、画像の中央から外れるほど大きくなる。そのため、魚眼画像は、有効解像度が、画像の中央に近いほど高く、画像の中央から外れるほど低くなる、という特性がある。

第２の作成手法によって作成されたパノラマ画像は、このような魚眼画像の特性があるにも関わらず、魚眼画像の中央部分から外れた構成になる。したがって、このパノラマ画像は、ターゲットの特徴部分（具体的には、魚眼画像の、有効解像度が高い中央部分）の画像をあまり含まない画像になるため、ターゲットの特徴が分かり難くなる。

特開２００９−１７６２７３号公報 特許第４０４８５１１号公報

従来のパノラマ画像装置は、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合に、通常、前記した第１の作成手法又は第２の作成手法によってパノラマ画像を作成する。

しかしながら、前記した第１の作成手法によって作成されたパノラマ画像は、視野の周辺部（画像の左右部分）が下がって見える構成になり、これにより、ターゲットの特徴が分かり難くなる、という課題があった。

また、前記した第２の作成手法によって作成されたパノラマ画像は、画像の中央付近に、ターゲットの特徴部分（具体的には、魚眼画像の、有効解像度が高い中央部分）の画像をあまり含まない画像になるため、ターゲットの特徴が分かり難くなる、という課題があった。

本発明は、前記した課題を解決するためになされたものであり、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像を作成するパノラマ画像作成装置、及び、コンピュータで当該パノラマ画像作成装置を実現するプログラムを提供することを主な目的とする。
特に、本発明は、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合であっても、このようなパノラマ画像を作成するパノラマ画像作成装置、及び、コンピュータで当該パノラマ画像作成装置を実現するプログラムを提供することを主な目的とする。

前記目的を達成するため、第１発明は、魚眼レンズを用いる魚眼レンズカメラによって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置であって、画像を表示する表示部と、前記魚眼レンズカメラによって撮影された前記魚眼画像を撮影画像として格納する撮影画像格納部と、前記撮影画像格納部に格納された前記撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成部と、前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部とを有し、前記パノラマ画像作成部は、（ａ）前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、（ｂ）前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、（ｃ）前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、（ｄ）前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、（ｅ）前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する構成とする。

このパノラマ画像作成装置は、撮影画像格納部に撮影画像として格納された魚眼画像に基づいてパノラマ画像を作成する。その際に、このパノラマ画像作成装置は、（ａ）魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、（ｂ）撮影水平面を、パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、（ｃ）撮影水平面上に配置され、かつ、魚眼画像である撮影画像に対応する半球面画像の天頂に接する接線を、切出平面の仮想上の回転軸とし、（ｄ）回転軸を中心にして、切出平面（具体的には、切出平面のカメラ側）を任意の回転角度分だけ上方向又は下方向に回転させ、（ｅ）切出平面と半球面画像とが交わる曲線を切出線とし、切出線に沿って半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する。

このパノラマ画像作成装置は、天頂に接する接線を回転軸とし、回転軸を中心にして切出平面を上方向又は下方向に回転させる。そして、このパノラマ画像作成装置は、切出平面と半球面画像とが交わる切出線に沿って撮影画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する。

このパノラマ画像は、半球面画像の天頂が常に画像の中央付近に配置された構成になる。そして、カメラは、ターゲットが存在する方向（ターゲットが写り込み易い方向）に向けて設置されている。そのため、このパノラマ画像は、画像の中央付近に、ターゲットの特徴を多く含む構成となる。したがって、このパノラマ画像作成装置は、画像の中央付近に、ターゲットの特徴を多く含む、ターゲットを監視し易いパノラマ画像を作成することができる。

しかも、このパノラマ画像作成装置は、切出平面の回転角度を変更することにより、切出線を変動させることができる。切出線は、切出平面の回転軸が天頂に接する接線であるため、常に天頂を通過する。そのため、切出線は、画像の中央に近いほど（天頂に近いほど）、変動量が小さくなり、一方、画像の中央から外れるほど（天頂から外れるほど）、変動量が大きくなる。したがって、このパノラマ画像作成装置は、切出線を変動させることにより、パノラマ画像内の左右方向に水平に延伸する仮想上の直線の位置を上方向又は下方向に移動させることができる。その結果、このパノラマ画像作成装置は、切出平面の回転角度を変更して、切出線を変動させることにより、視野の周辺部の歪みが少ないパノラマ画像を作成することができる。よって、このパノラマ画像作成装置は、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合であっても、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像を作成することができる。

また、第２発明は、画像を表示する表示部と、魚眼レンズを用いる魚眼レンズカメラによって撮影された魚眼画像を撮影画像として格納する撮影画像格納部とを有するコンピュータを、当該撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成装置として機能させるプログラムであって、前記コンピュータを、（ａ）前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、（ｂ）前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、（ｃ）前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、（ｄ）前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、（ｅ）前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成するパノラマ画像作成部と、前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部として機能させる構成とする。
このプログラムは、コンピュータで、第１発明に係るパノラマ画像作成装置を実現することができる。

本発明によれば、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像を作成することができる。
特に、本発明によれば、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合であっても、このようなパノラマ画像を作成することができる。

実施形態に係るパノラマ画像作成装置を用いる監視システムの構成図である。 実施形態に係るパノラマ画像作成装置の構成図である。 実施形態に係るパノラマ画像の作成原理の説明図（１）である。 実施形態に係るパノラマ画像の作成原理の説明図（２）である。 実施形態で用いる切出線の説明図である。 実施形態に係るパノラマ画像の補正処理の概要説明図である。 実施形態に係るパノラマ画像の補正処理の原理説明図（１）である。 実施形態に係るパノラマ画像の補正処理の原理説明図（２）である。 実施形態に係るパノラマ画像の補正処理の原理説明図（３）である。 実施形態に係る水平補正操作の説明図（１）である。 実施形態に係る水平補正操作の説明図（２）である。 実施形態に係る水平補正操作の変形例の説明図（１）である。 実施形態に係る水平補正操作の変形例の説明図（２）である。 実施形態に係るパノラマ画像作成装置の特性説明図（１）である。 実施形態に係るパノラマ画像作成装置の特性説明図（２）である。 実施形態に係るパノラマ画像の作成に用いるパラメータの説明図（１）である。 実施形態に係るパノラマ画像の作成に用いるパラメータの説明図（２）である。 実施形態に係るパノラマ画像の作成に用いるパラメータの説明図（３）である。 実施形態で用いる半径の説明図である。 実施形態に係るパノラマ画像の表示の一例を示す図である。

以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

［実施形態］
＜パノラマ画像作成装置の構成＞
以下、図１Ａ及び図１Ｂを参照して、本実施形態に係るパノラマ画像作成装置３の構成につき説明する。図１Ａは、実施形態に係るパノラマ画像作成装置３を用いる監視システム１の構成図である。また、図１Ｂは、実施形態に係るパノラマ画像作成装置３の構成図である。

本実施形態に係るパノラマ画像作成装置３（以下、単に「作成装置３」と称する場合がある）は、魚眼レンズカメラ２によって撮影された魚眼画像ｉＦ（図５Ａ（ｂ）参照）に基づいてパノラマ画像ｉＰ（図５Ｂ（ｂ）参照）を作成する装置である。

ここでは、図１Ａに示すように、作成装置３が、魚眼レンズカメラ２と組み合わされて、全方位の監視システム（以下、単に「監視システム」と称する）１に用いられる場合を想定して説明する。図１Ａに示すように、監視システム１は、魚眼レンズカメラ２、作成装置３、及び、表示部５を有している。ここでは、表示部５がＬＣＤ等のディスプレイであるものとして説明する。

魚眼レンズカメラ（以下、単に「カメラ」と称する場合がある）２は、カメラ２の周囲のほぼ１８０°の半球視野の空間を魚眼画像ｉＦ（図５Ａ（ｂ）参照）として撮影する全方位型のカメラである。なお、図１Ａに示す例では、カメラ２は、壁面に水平設置された構成になっている。しかしながら、実際の運用では、カメラ２は、図２Ｂ（ａ）に示すように、人の手が届かない高い位置に、傾斜角度ρＡで下げ振り設置される。カメラ２は、撮影した魚眼画像ｉＦを作成装置３に出力する。

作成装置３は、カメラ２から魚眼画像ｉＦが入力されると、魚眼画像ｉＦを撮影画像として撮影画像格納部３２ｄ（図１Ｂ参照）に格納する。そして、作成装置３は、撮影画像格納部３２ｄに格納された撮影画像（魚眼画像ｉＦ）に基づいて、パノラマ画像ｉＰ（図５Ｂ（ｂ）参照）を作成してパノラマ画像格納部３２ｅ（図１Ｂ参照）に格納する。

この後、作成装置３は、撮影画像格納部３２ｄに格納された撮影画像（魚眼画像ｉＦ）及びパノラマ画像格納部３２ｅに格納されたパノラマ画像ｉＰのいずれか一方又は双方を表示部５に表示する。これにより、監視者は、表示部５に表示された画像の中に映る所望の監視したい部分（以下、「ターゲット」と称する）の動きを監視することができる。

本実施形態では、図１Ｂに示すように、作成装置３がパーソナルコンピュータ（ＰＣ）によって構成されている場合を想定して説明する。ただし、作成装置３は、パノラマ画像ｉＰを作成するための専用の装置として構成することができる。また、作成装置３は、カメラ２によって撮影された撮影画像（魚眼画像ｉＦ）を外部の記録装置に保存する録画装置として構成することもできる。この場合に、外部の記録装置が後記する撮影画像格納部３２ｄとして使用される。

図１Ｂに示すように、作成装置３は、カメラ２、入力部４、及び、表示部５と接続されている。なお、入力部４は、テンキーやキーボード（ＫＢ）等のキー入力部４１と、マウスやタッチパネル（ＴＰ）等の座標入力部４２とを備えている。ここでは、キー入力部４１がテンキーとキーボードの双方によって構成されており、一方、座標入力部４２がマウスによって構成されている場合を想定して説明する。

また、作成装置３は、内部に、制御部３１と記憶部３２とを有している。制御部３１は、ＣＰＵによって構成されている。一方、記憶部３２は、ＲＡＭや、ＲＯＭ、ＨＤＤ等によって構成されている。

制御部３１を構成するＣＰＵは、入力検知部３１ａ、入力判定部３１ｂ、設定部３１ｃ、撮影画像取得部３１ｄ、パノラマ画像作成部３１ｅ、及び、表示制御部３１ｆとして機能する。制御部３１を構成するＣＰＵは、記憶部３２を構成するＲＯＭに予め格納された制御プログラムを実行することにより、これらの各機能を実現する。一方、記憶部３２は、プログラム格納部３２ａ、画面情報格納部３２ｂ、設定情報格納部３２ｃ、撮影画像格納部３２ｄ、及び、パノラマ画像格納部３２ｅを有している。

入力検知部３１ａは、何らかの情報が入力部４から入力情報として入力された場合に、その入力を検知する機能手段である。入力検知部３１ａは、入力を検知した場合に、入力情報を入力判定部３１ｂに出力する。

入力判定部３１ｂは、入力情報の内容を判定する機能手段である。入力判定部３１ｂは、入力検知部３１ａから入力情報が入力された場合に、画面情報格納部３２ｂに予め格納されている画面情報や設定情報格納部３２ｃに格納されている設定情報等に基づいて、入力情報の内容を判定する。

ここで、「画面情報」とは、表示部５に表示させる画面の構成を規定する情報を意味している。また、「設定情報」とは、パノラマ画像ｉＰを作成する際に必要となる各種の設定に関する情報を意味している。

入力判定部３１ｂは、入力情報が各種の設定情報である場合に、設定情報を設定部３１ｃ及び表示制御部３１ｆに出力する。また、入力判定部３１ｂは、入力情報が表示部５に表示されている画像に対する任意の処理の実行を指示する指示情報である場合に、指示情報をパノラマ画像作成部３１ｅ及び表示制御部３１ｆに出力する。なお、「表示されている画像に対する任意の処理」としては、例えば、魚眼画像ｉＦが表示されている場合の、魚眼画像ｉＦに対応するパノラマ画像ｉＰの作成や、パノラマ画像ｉＰが表示されている場合の、後記する水平基準線ｈｓ（図５Ｂ（ｂ）参照）の移動補正等がある。

設定部３１ｃは、入力判定部３１ｂから設定情報が入力された場合に、設定情報を設定情報格納部３２ｃに格納する機能手段である。作成装置３は、運用開始時において、設定情報の初期値が設定情報格納部３２ｃに予め格納されている。設定情報は、監視者が、キー入力部４１としてのテンキーやキーボードを操作したり、座標入力部４２としてのマウスを操作したりすることにより、最新の値に更新される。

撮影画像取得部３１ｄは、カメラ２から撮影画像（魚眼画像ｉＦ）を取得する機能手段である。撮影画像取得部３１ｄは、撮影画像（魚眼画像ｉＦ）を取得すると、撮影画像格納部３２ｄに格納する。

パノラマ画像作成部３１ｅは、撮影画像格納部３２ｄに格納された撮影画像（魚眼画像ｉＦ）に基づいてパノラマ画像ｉＰを作成する機能手段である。パノラマ画像作成部３１ｅは、パノラマ画像ｉＰを作成すると、パノラマ画像格納部３２ｅに格納する。なお、パノラマ画像ｉＰを作成する原理については、後記する「パノラマ画像の作成原理」の章で説明する。

表示制御部３１ｆは、画像を表示部５に表示させる機能手段である。表示制御部３１ｆは、例えば、画面情報格納部３２ｂから画面情報を読み出し、画面情報によって規定される画面を作成して表示部５に表示させる。また、表示制御部３１ｆは、例えば、撮影画像格納部３２ｄから撮影画像（魚眼画像ｉＦ）を読み出したり、又は、パノラマ画像格納部３２ｅからパノラマ画像ｉＰを読み出したりして、撮影画像（魚眼画像ｉＦ）及びパノラマ画像ｉＰのいずれか一方又は双方を表示部５に表示させる。

プログラム格納部３２ａは、各種のプログラムを格納する領域である。プログラム格納部３２ａは、例えば、ＰＣを作成装置３として機能させる制御プログラムを予め格納している。

画面情報格納部３２ｂは、前記した「画面情報」を格納する領域である。「画面情報」としては、撮影画像（魚眼画像ｉＦ）やパノラマ画像ｉＰを表示する画面の構成を規定する情報や、設定情報を入力する画面の構成を規定する情報等がある。

設定情報格納部３２ｃは、前記した「設定情報」を格納する領域である。「設定情報」としては、後記する「パノラマ画像の作成に用いるパラメータ及び計算手法」の章で説明するパラメータがある。

撮影画像格納部３２ｄは、カメラ２によって撮影された撮影画像（魚眼画像ｉＦ）を格納する領域である。
パノラマ画像格納部３２ｅは、パノラマ画像作成部３１ｅによって作成されたパノラマ画像ｉＰを格納する領域である。

＜パノラマ画像の作成原理＞
以下、図１Ａ、並びに、図２Ａ及び図２Ｂを参照して、パノラマ画像ｉＰの作成原理につき説明する。図２Ａ及び図２Ｂは、それぞれ、実施形態に係るパノラマ画像ｉＰの作成原理の説明図である。ここでは、説明の都合上、カメラ２が壁面の標準的な人の目線の高さ（例えば、床面から約１５００ｍｍの高さ）の位置に水平設置されている場合を想定して説明する。

作成装置３の動作は、記憶部３２のプログラム格納部３２ａに読み出し自在に予め格納された制御プログラムによって規定されており、制御部３１によって実行される。作成装置３のパノラマ画像作成部３１ｅは、撮影画像格納部３２ｄに格納された撮影画像（魚眼画像ｉＦ）に基づいてパノラマ画像ｉＰを作成する。その際に、パノラマ画像作成部３１ｅは、撮影画像（魚眼画像ｉＦ）に対応する半球面画像ｉＳ（図１Ａ参照）を用いる。

「半球面画像ｉＳ」は、魚眼画像ｉＦを仮想球面モデルＭＤの上に投影した画像である。「仮想球面モデルＭＤ」は、カメラ２のレンズ中心Ｏを中心にして半球面状に展開された仮想上のモデルである。

ここでは、レンズ中心Ｏの位置とカメラ２の図示せぬイメージセンサの撮像面の位置とがほぼ同じ位置であるものとして説明する。以下、レンズ中心Ｏを「原点Ｏ」と称する場合がある。また、ここでは、仮想球面モデルＭＤ（半球面画像ｉＳ）の半径を規定するパラメータが、予め、監視者によって、キー入力部４１から入力されて設定情報として設定情報格納部３２ｃに格納されているものとして説明する。

半球面画像ｉＳは、カメラ２の光軸ｌａと仮想球面モデルＭＤとが交差する点を天頂ｔｐとし、天頂ｔｐを中心にして、魚眼画像ｉＦが仮想球面モデルＭＤの上に投影された構成になっている。図２Ａは、半球面画像ｉＳの構成を示している。

ここでは、図２Ａに示すように、カメラ２の光軸ｌａの方向と一致する水平方向をＸ軸方向とし、光軸ｌａに直交する水平方向をＹ軸方向とし、光軸ｌａに直交する垂直方向（上下方向）をＺ軸方向として説明する。

また、ここでは、（１）カメラ２の光軸ｌａを中心にしてその左右方向に展開する平面を撮影水平面ＸＹとし、（２）その撮影水平面ＸＹを、パノラマ画像ｉＰの初期作成時の写像ｍａの切り出しに用いる切出平面ｃｐとし、（３）撮影水平面ＸＹ上に配置され、かつ、半球面画像ｉＳの天頂ｔｐに接する接線を、切出平面ｃｐの仮想上の回転軸ｒａとし、（４）切出平面ｃｐと半球面画像ｉＳとが交わる曲線を切出線ｃｌとして説明する。

なお、「写像ｍａ」は、仮想球面モデルＭＤの半球面上の任意の点で接する平面をスクリーンに見立てて、魚眼画像ｉＦをこのスクリーンに投影させた画像である。写像ｍａは、魚眼画像ｉＦを３次元座標系に回転変換することによって、スクリーン上で平面正像化された画像として取得される。写像ｍａは、半球面画像ｉＳ（厳密には、半球面画像ｉＳに対応する魚眼画像ｉＦ）から連続して切り出される。このとき、写像ｍａは、切り出しに際して、パノラマ画像ｉＰに適した構成の画像に変換される。そして、写像ｍａは、展開画像として平面上に並べられることにより、１枚のパノラマ画像ｉＰを構成する。

パノラマ画像作成部３１ｅは、図２Ｂ（ａ）に示すように、パノラマ画像ｉＰの作成に際して、切出平面ｃｐが水平方向に展開する水平面になるように、回転軸ｒａを中心にして、切出平面ｃｐ（具体的には、切出平面ｃｐのカメラ２側）を任意の回転角度ρ分だけ上方向又は下方向に回転させる。

例えば、図２Ｂ（ａ）に示す例では、カメラ２は、人の手が届かない高い位置に、傾斜角度ρＡで下げ振り設置されている。この場合に、パノラマ画像作成部３１ｅは、カメラ２の傾斜角度ρＡを切出平面ｃｐの回転角度ρとし、回転軸ｒａを中心にして、切出平面ｃｐを傾斜角度ρＡ分だけ下方向に回転させる。これにより、パノラマ画像作成部３１ｅは、あたかも人が首を左右に振って見たときのような自然な構成のパノラマ画像ｉＰを作成することができる。

ただし、ここでは、前記した通り、カメラ２が壁面の標準的な人の目線の高さ（例えば、床面から約１５００ｍｍの高さ）の位置に水平設置されている場合を想定して説明する。したがって、ここでは、回転角度ρを０°とし、切出平面ｃｐを回転させないものとして説明する。

次に、パノラマ画像作成部３１ｅは、図２Ａに示すように、切出線ｃｌに沿って半球面画像ｉＳ（厳密には、半球面画像ｉＳに対応する魚眼画像ｉＦ）から所定枚数分の写像ｍａを連続して切り出す。このとき、パノラマ画像作成部３１ｅは、各写像ｍａの中心点（後記する注視点Ｐ）を切出線ｃｌ上に配置し、その中心点（注視点Ｐ）を中心にして切出線ｃｌに対して垂直に交差する方向に所定の寸法の写像ｍａを切り出して、パノラマ画像ｉＰに適した構成の画像に変換する。図２Ｂ（ｂ）は、魚眼画像ｉＦ上の、このとき切り出される写像ｍａの位置を示している。

ここでは、切り出される写像ｍａの寸法は、縦幅がｈピクセルであり、かつ、横幅が１ピクセルであるものとして説明する。また、切り出される写像ｍａの枚数は、パノラマ画像ｉＰの横幅のピクセル数と同じであるものとして説明する。写像ｍａの寸法や写像ｍａの枚数（パノラマ画像ｉＰの横幅のピクセル数）等のパラメータは、予め、監視者によって、キー入力部４１から入力されて設定情報として設定情報格納部３２ｃに格納されている。

パノラマ画像作成部３１ｅは、写像ｍａを切り出すと、切り出された写像ｍａ（厳密には、パノラマ画像ｉＰに適した構成に変換された画像）を平面上に並べる。これによって、パノラマ画像作成部３１ｅは、パノラマ画像ｉＰを作成する。図２Ｂ（ｃ）は、パノラマ画像ｉＰの構成を示している。

ところで、写像ｍａを切り出す基準となる切出線ｃｌは、図３に示すように、切出平面ｃｐの回転角度ρの値によって変動する。図３は、実施形態で用いる切出線ｃｌの説明図である。ここでは、切出平面ｃｐの回転角度ρは、切出平面ｃｐが水平面になるように、カメラ２の傾斜角度ρＡと同じ角度に予め設定されているものとして説明する。

図３（ａ）は、カメラ２の傾斜角度ρＡを０°とし、カメラ２を水平設置した場合の切出線ｃｌの形状を示している。この場合に、切出平面ｃｐの回転角度ρは、０°となる。そして、切出線ｃｌの形状は、レンズ中心Ｏを中心とし、天頂ｔｐを通る半径ｒの半円となる。

図３（ｂ）は、カメラ２の傾斜角度ρＡを−４５°（すなわち、−（π／４））とし、カメラ２を下げ振り設置した場合の切出線ｃｌの形状を示している。この場合に、切出平面ｃｐの回転角度ρは、−４５°（すなわち、下方向に４５°）となる。そして、切出線ｃｌの形状は、レンズ端点ｅｐと天頂ｔｐとの中間点を中心とし、レンズ端点ｅｐと天頂ｔｐとを通る半径（ｒｃｏｓ（−４５°））の真円となる。

図３（ｃ）は、カメラ２の傾斜角度ρＡを＋４５°（すなわち、＋（π／４））とし、カメラ２を上げ振り設置した場合の切出線ｃｌの形状を示している。この場合に、切出平面ｃｐの回転角度ρは、＋４５°（すなわち、上方向に４５°）となる。そして、切出線ｃｌの形状は、レンズ端点ｅｐと天頂ｔｐとの中間点を中心とし、レンズ端点ｅｐと天頂ｔｐとを通る半径（ｒｃｏｓ（＋４５°））の真円となる。

そのため、切出線ｃｌに沿って切り出される写像ｍａは、切出平面ｃｐの回転角度ρが−４５°以上でかつ＋４５°以下の範囲内の角度である場合に、ターゲットの特徴部分が写り込む画素（以下、「有効画素」と称する）を多く含む構成になる。

したがって、作成装置３は、切出平面ｃｐの回転角度ρが−４５°以上でかつ＋４５°以下の範囲内の角度である場合に、好適なパノラマ画像ｉＰを作成することができる。以下、−４５°以上でかつ＋４５°以下の範囲内の角度を「適正角度」と称する。

一方、切出線ｃｌに沿って切り出される写像ｍａは、切出平面ｃｐの回転角度ρが前記した適正角度から外れる場合（すなわち、−４５°未満の角度である場合又は＋４５°よりも大きい角度である場合）に、有効画素が少ししか含まれない構成になる。そのため、切出平面ｃｐの回転角度ρは、前記した適正角度から外れる場合に、パノラマ画像ｉＰの作成に不適な値となる。

＜パノラマ画像の補正処理＞
（パノラマ画像の補正処理の概要）
本実施形態では、監視者は、表示部５に表示されたパノラマ画像ｉＰの視野の周辺部（画像の左右部分）が歪んで見える場合に、座標入力部４２としてのマウスを操作することによって、歪みがなくなるように、パノラマ画像ｉＰを補正することができる。

以下、図１Ｂ、及び、図４を参照して、本実施形態に係るパノラマ画像ｉＰの補正処理の概要につき説明する。図４は、実施形態に係るパノラマ画像ｉＰの補正処理の概要説明図である。

カメラ２は、カメラ２の周囲の空間を魚眼画像ｉＦとして撮影して、作成装置３に出力する。作成装置３の撮影画像取得部３１ｄは、カメラ２から魚眼画像ｉＦを取得すると、魚眼画像ｉＦを撮影画像として撮影画像格納部３２ｄに格納する。

ここで、例えば、監視者が、入力部４を操作して、撮影画像（魚眼画像ｉＦ）の表示を作成装置３に指示したとする。この場合に、作成装置３の表示制御部３１ｆは、撮影画像格納部３２ｄから撮影画像（魚眼画像ｉＦ）を読み出して、表示部５に表示させる。図４（ａ）は、魚眼画像ｉＦの一例を示している。

次に、監視者が、入力部４を操作して、パノラマ画像ｉＰの表示を作成装置３に指示したとする。この場合に、作成装置３のパノラマ画像作成部３１ｅは、設定情報格納部３２ｂから設定情報の初期値を読み出すとともに、撮影画像格納部３２ｄから撮影画像（魚眼画像ｉＦ）を読み出す。

そして、パノラマ画像作成部３１ｅは、設定情報の初期値を用いて、撮影画像（魚眼画像ｉＦ）に基づいてパノラマ画像ｉＰ（図４（ｂ）参照）を作成する。図４（ｂ）は、パノラマ画像ｉＰの一例を示している。

以下、設定情報の初期値を用いてパノラマ画像ｉＰを作成する動作を「初期作成」と称する。なお、パノラマ画像ｉＰの作成は、前記した「パノラマ画像の作成原理」の章で説明した原理に基づいて行われる。

パノラマ画像作成部３１ｅは、パノラマ画像ｉＰを作成すると、パノラマ画像格納部３２ｅに格納する。この後、作成装置３の表示制御部３１ｆは、パノラマ画像格納部３２ｅからパノラマ画像ｉＰを読み出して、表示部５に表示させる。

初期作成時のパノラマ画像ｉＰは、ターゲットを監視する際の視線の基準となる線（以下、「視線の基準線ｓｌ」と称する）の左右部分が画像の中央から外れるほど大きく歪んで見える場合がある。すなわち、初期作成時のパノラマ画像ｉＰは、視野の周辺部（画像の左右部分）が歪んで見える場合がある。そのため、初期作成時のパノラマ画像ｉＰは、ターゲットの特徴が分かり難くなる場合が多い。

図４（ｂ）に示す例では、パノラマ画像ｉＰは、視野の周辺部（画像の左右部分）が下がって見える構成になっている。そこで、監視者は、視線の基準線ｓｌが水平方向に直線状に延伸する状態になるように、例えば、座標入力部４２としてのマウスを使用して、任意の箇所を指定箇所として指定して、指定箇所を任意の方向に移動させるドラッグ操作を行うことによって、パノラマ画像ｉＰを補正する。

以下、このパノラマ画像ｉＰの補正を「水平補正」と称する。また、水平補正するために行う操作を「水平補正操作」と称する。なお、ここでは、指定箇所を移動させる方向（マウスを移動させる方向）が上方向又は下方向であるものとして説明する。

作成装置３の設定部３１ｃは、水平補正操作でドラッグ操作される度に、切出平面ｃｐの回転角度ρの値を更新する。そして、作成装置３のパノラマ画像作成部３１ｅは、回転角度ρの更新値を用いて、撮影画像（魚眼画像ｉＦ）に基づいて補正後のパノラマ画像ｉＰ（図４（ｃ）参照）を作成する。図４（ｃ）は、補正後のパノラマ画像ｉＰの一例を示している。

パノラマ画像作成部３１ｅは、補正後のパノラマ画像ｉＰを作成すると、パノラマ画像格納部３２ｅに格納する。この後、作成装置３の表示制御部３１ｆは、パノラマ画像格納部３２ｅから補正後のパノラマ画像ｉＰを読み出して、表示部５に表示させる。

作成装置３は、水平補正操作において、マウスでドラッグ操作される度に、このような処理を繰り返す。そして、作成装置３は、最終的に、視線の基準線ｓｌが水平方向に直線状に延伸して見える状態になったパノラマ画像ｉＰを作成する。以下、図４（ｂ）に示すパノラマ画像ｉＰを「補正前のパノラマ画像ｉＰ１」と称し、図４（ｃ）に示すパノラマ画像ｉＰを「補正後のパノラマ画像ｉＰ２」と称する。

パノラマ画像ｉＰの補正処理は、パノラマ画像ｉＰの中の水平方向に延伸する仮想上の直線（以下、「水平基準線ｈｓ」と称する）の位置を前回作成時よりも上方向又は下方向に移動させることによって、行われる。その水平基準線ｈｓの移動は、切出平面ｃｐの回転角度ρ（図２Ｂ（ａ）参照）を変更することによって行われる。

図４（ｂ）に示す例では、補正前のパノラマ画像ｉＰ１は、水平基準線ｈｓが天頂ｔｐに対応する箇所（以下、単に「天頂ｔｐ」と称する）の上に存在し、また、視線の基準線ｓｌの中央部分が水平基準線ｈｓの中央部分よりも上方向に存在する構成になっている。この補正前のパノラマ画像ｉＰ１は、視野の周辺部（画像の左右部分）が下がって見える構成になっている。そのため、補正前のパノラマ画像ｉＰ１は、ターゲットの特徴が分かり難くなっている。

これに対して、図４（ｃ）に示す例では、補正後のパノラマ画像ｉＰ２は、水平基準線ｈｓが補正前の位置よりも上方向に移動しており、その水平基準線ｈｓの移動に伴って、視線の基準線ｓｌの左右部分が画像の中央から外れるほど大きく上昇するとともに、視線の基準線ｓｌの中央部分が若干下降している。これにより、補正後のパノラマ画像ｉＰ２は、左右部分が画像の中央から外れるほど大きく上昇し、中央付近が若干下降した構成になる。

補正後のパノラマ画像ｉＰ２は、切出平面ｃｐの延伸方向が水平補正したいターゲットに一致した状態になったときに、視線の基準線ｓｌが水平方向に直線状に延伸する状態になり、視線の基準線ｓｌが水平基準線ｈｓと重なった状態になる。そのため、補正後のパノラマ画像ｉＰ２は、ターゲットの特徴が分かり易くなる。

（パノラマ画像の補正処理の原理）
以下、図５Ａ〜図５Ｃを参照して、本実施形態に係るパノラマ画像ｉＰの補正処理の原理につき説明する。図５Ａ〜図５Ｃは、それぞれ、実施形態に係るパノラマ画像ｉＰの補正処理の原理説明図である。

図５Ａは、カメラ２で３本の棒Ａ，Ｂ，Ｃを撮影したときに得られるパノラマ画像ｉＰ（補正前のパノラマ画像ｉＰ１）の一例を示している。また、図５Ｂ及び図５Ｃは、それぞれ、補正前のパノラマ画像ｉＰ１を補正処理することによって得られる補正後のパノラマ画像ｉＰ２の一例を示している。

図５Ａ（ａ）は、３本の棒Ａ，Ｂ，Ｃとカメラ２との配置関係を示している。図５Ａ（ａ）に示すように、３本の棒Ａ，Ｂ，Ｃは、上下方向に、平行で、かつ、等間隔に、上から順に配置されている。カメラ２は、上段の棒Ａと同じ高さの位置に配置されており、光軸ｌａが中段の棒Ｂに向けられた状態になっている。

例えば、カメラ２が、図５Ａ（ａ）に示す状態で、光軸ｌａを中段の棒Ｂに向けて撮影したとする。この場合に、カメラ２は、画像の中央付近で、中段の棒Ｂが水平方向に直線状に写っている魚眼画像ｉＦを撮影する（図５Ａ（ｂ）参照）。

図５Ａ（ｂ）は、このカメラ２によって撮影された魚眼画像ｉＦの一例を示している。図５Ａ（ｂ）に示す例では、魚眼画像ｉＦは、上段の棒Ａが上向きに湾曲（すなわち、上段の棒Ａの中央部分が上方向に湾曲）し、中段の棒Ｂが水平方向に直線状に延伸し、下段の棒Ｃが下向きに湾曲（すなわち、下段の棒Ｃの中央部分が下方向に湾曲）した構成になっている。

次に、作成装置３は、図５Ａ（ｂ）に示す魚眼画像ｉＦに基づいて、パノラマ画像ｉＰ（補正前のパノラマ画像ｉＰ１）を作成する。このとき作成されるパノラマ画像ｉＰ（補正前のパノラマ画像ｉＰ１）は、画像の中央付近で、中段の棒Ｂが水平方向に直線状に写っており、また、水平基準線ｈｓが棒Ｂに一致する構成になっている（図５Ａ（ｃ）参照）。

図５Ａ（ｃ）は、図５Ａ（ｂ）に示す魚眼画像ｉＦに基づいて作成されるパノラマ画像ｉＰ（補正前のパノラマ画像ｉＰ１）の一例を示している。図５Ａ（ｃ）に示す例では、パノラマ画像ｉＰ（補正前のパノラマ画像ｉＰ１）は、水平基準線ｈｓが中段の棒Ｂ上の位置に存在しており、上段の棒Ａが上向きに湾曲し、中段の棒Ｂが水平方向に直線状に延伸し、下段の棒Ｃが下向きに湾曲した構成になっている。

図５Ｂは、上段の棒Ａをターゲットにする場合のパノラマ画像ｉＰの補正処理の原理を示している。この場合に、図５Ｂ（ａ）に示すように、作成装置３のパノラマ画像作成部３１ｅは、カメラ２の傾斜角度ρＡを切出平面ｃｐの回転角度ρとし、切出平面ｃｐの回転角度ρＡ分だけ下方向に回転させた状態で、補正後のパノラマ画像ｉＰ２を作成する。なお、カメラ２の傾斜角度ρＡは、設定情報の初期値として設定情報格納部３２ｃに予め格納される。

図５Ｂ（ｂ）は、補正前のパノラマ画像ｉＰ１の一例を示している。図５Ｂ（ｂ）に示す補正前のパノラマ画像ｉＰ１は、図５Ａ（ｃ）に示す補正前のパノラマ画像ｉＰ１と同じものである。

一方、図５Ｂ（ｃ）は、補正後のパノラマ画像ｉＰ２の一例を示している。図５Ｂ（ｃ）に示す例では、補正後のパノラマ画像ｉＰ２は、補正前のパノラマ画像ｉＰ１（図５Ｂ（ｂ）参照）と比較すると、水平基準線ｈｓが、中段の棒Ｂ上の位置から上段の棒Ａ上の位置に移動している。また、補正後のパノラマ画像ｉＰ２は、上段の棒Ａが水平方向に直線状に延伸し、中段の棒Ｂが下向きに湾曲（すなわち、中段の棒Ｂの中央部分が下方向に湾曲）し、下段の棒Ｃが下向きにさらに大きく湾曲（すなわち、下段の棒Ｃの中央部分が下方向にさらに大きく湾曲）した構成になっている。

図５Ｃは、下段の棒Ｃをターゲットにする場合のパノラマ画像ｉＰの補正処理の原理を示している。この場合に、図５Ｃ（ａ）に示すように、作成装置３のパノラマ画像作成部３１ｅは、切出平面ｃｐの回転角度ρ分だけ上方向に回転させた状態で、補正後のパノラマ画像ｉＰ２を作成する。

図５Ｃ（ｂ）は、補正前のパノラマ画像ｉＰ１の一例を示している。図５Ｃ（ｂ）に示す補正前のパノラマ画像ｉＰ１は、図５Ａ（ｃ）に示す補正前のパノラマ画像ｉＰ１と同じものである。

一方、図５Ｃ（ｃ）は、補正後のパノラマ画像ｉＰ２の一例を示している。図５Ｃ（ｃ）に示す例では、補正後のパノラマ画像ｉＰ２は、補正前のパノラマ画像ｉＰ１（図５Ｃ（ｂ）参照）と比較すると、水平基準線ｈｓが、中段の棒Ｂ上の位置から下段の棒Ｃ上の位置に移動している。また、補正後のパノラマ画像ｉＰ２は、上段の棒Ａが上向きにさらに大きく湾曲（すなわち、上段の棒Ａの中央部分が上方向にさらに大きく湾曲）し、中段の棒Ｂが上向きに湾曲（すなわち、中段の棒Ｂの中央部分が上方向に湾曲）し、下段の棒Ｃが水平方向に直線状に延伸した構成になっている。

ところで、監視者は、任意のタイミングで、水平補正操作を行うことができる。図６Ａ及び図６Ｂは、それぞれ、実施形態に係る水平補正操作の説明図である。図６Ａは、水平基準線ｈｓを上方向に移動させる場合の水平補正操作例を示しており、また、図６Ｂは、水平基準線ｈｓを下方向に移動させる場合の水平補正操作例を示している。

ここでは、カメラ２が、図５Ａ（ａ）に示すように、下げ振り設置されており、また、作成装置３が、図５Ｂ（ｂ）に示す補正前のパノラマ画像ｉＰ１を作成した場合を想定して説明する。また、ここでは、マウスを移動させる方向と水平基準線ｈｓを移動させる方向とが一致しているものとして説明する。そのため、ここでは、マウスで指定する指定箇所は、補正前のパノラマ画像ｉＰ１の中のどの箇所であってもよいものとして説明する。

水平補正操作では、監視者は、マウスでドラッグ操作を行うことによって、水平基準線ｈｓを上方向又は下方向に移動させるための相対的な移動量（ただし、移動量の上方向又は下方向の成分量のみ）Ｍｏを入力する。以下、この移動量Ｍｏを「マウス移動量Ｍｏ」と称する。

例えば、監視者は、図５Ｂ（ｂ）に示す補正前のパノラマ画像ｉＰ１の中で、上向きに湾曲した状態で写っている上段の棒Ａを水平補正したいターゲットとする場合に、図５Ｂ（ｃ）に示すように、棒Ａが水平方向に直線状に延伸した状態になるまで、マウスを使用して、補正前のパノラマ画像ｉＰ１の中の任意の箇所を指定箇所として指定して、指定箇所を上方向に移動させるドラッグ操作を行う（図６Ａ（ａ）参照）。これにより、監視者は、マウス移動量Ｍｏを作成装置３に入力する。

このとき、作成装置３の入力判定部３１ｂは、監視者によるドラッグ操作を水平補正操作として識別する。そして、入力判定部３１ｂは、ドラッグ操作によるマウス移動量Ｍｏを特定する。作成装置３の設定部３１ｃは、入力判定部３１ｂがマウス移動量Ｍｏを特定すると、マウス移動量Ｍｏに対応する角度を算出する。

「マウス移動量Ｍｏに対応する角度」は、前回作成時のパノラマ画像ｉＰ（ここでは、補正前のパノラマ画像ｉＰ１）の作成に用いられた回転角度ρを補正する「補正角度Δρ（図６Ａ（ｂ）参照）」として用いられる。設定部３１ｃは、予め定められた「変換係数κ（°／ｍｍ）」をマウス移動量Ｍｏに掛け合わせることによって、「補正角度Δρ」を算出する。

「変換係数κ」は、マウス移動量Ｍｏを角度値に変換するために予め定められた係数である。「変換係数κ」は、マウス移動量Ｍｏに対応する補正角度Δρが監視者の操作感覚と一致するように、実験等によって得られた値に予め設定されている。「変換係数κ」は、運用に応じて、値を変更することが可能である。「変換係数κ」は、値を大きくすれば、マウス移動量Ｍｏに対応する補正角度Δρが大きくなり、値を小さくすれば、マウス移動量Ｍｏに対応する補正角度Δρが小さくなる。

設定部３１ｃは、補正角度Δρを算出すると、設定情報として設定情報格納部３２ｂに格納する。作成装置３のパノラマ画像作成部３１ｅは、設定情報格納部３２ｂから補正角度Δρを読み出し、補正角度Δρをパノラマ画像ｉＰ（ここでは、補正前のパノラマ画像ｉＰ１）の前回作成時の回転角度（以下、「回転角度ρ１」と称する）に加算して、補正後の回転角度ρを算出する。すなわち、パノラマ画像作成部３１ｅは、「ρ１＋Δρ」を補正後の回転角度ρとして算出する（図６Ａ（ｂ）参照）。

そして、パノラマ画像作成部３１ｅは、図６Ａ（ｂ）に示すように、回転軸ｒａを中心にして、切出平面ｃｐを、パノラマ画像ｉＰの前回作成時の回転角度ρ１から補正角度Δρ分だけ下方向に回転させた状態（すなわち、カメラ２の光軸ｌａの方向から補正後の回転角度ρ分だけ下方向に回転させた状態）で、補正後のパノラマ画像ｉＰ２（図６Ａ（ｃ）参照）を作成する。

図６Ａ（ｃ）に示す例では、補正後のパノラマ画像ｉＰ２は、補正前のパノラマ画像ｉＰ１（図６Ａ（ａ）参照）と比較すると、水平基準線ｈｓが補正前の位置よりも上方向に移動している。そして、その水平基準線ｈｓの移動に伴って、視線の基準線ｓｌが、水平方向に直線状に延伸する状態になり、水平基準線ｈｓと重なった状態になっている。

なお、例えば、監視者は、図５Ｃ（ｂ）に示す補正前のパノラマ画像ｉＰ１の中で、下向きに湾曲した状態で写っている下段の棒Ｃを水平補正したいターゲットとする場合に、図５Ｃ（ｃ）に示すように、棒Ｃが水平方向に直線状に延伸した状態になるまで、マウスを使用して、補正前のパノラマ画像ｉＰ１の中の任意の箇所を指定箇所として指定して、指定箇所を下方向に移動させるドラッグ操作を行う（図６Ｂ（ａ）参照）。これによって、監視者は、マウス移動量Ｍｏを作成装置３に入力する。

このとき、作成装置３の入力判定部３１ｂがマウス移動量Ｍｏを特定し、作成装置３の設定部３１ｃがマウス移動量Ｍｏに対応する角度（補正角度Δρ（図６Ｂ（ｂ）参照））を算出する。

設定部３１ｃは、補正角度Δρを算出すると、設定情報として設定情報格納部３２ｂに格納する。作成装置３のパノラマ画像作成部３１ｅは、設定情報格納部３２ｂから補正角度Δρを読み出し、パノラマ画像ｉＰ（ここでは、補正前のパノラマ画像ｉＰ１）の前回作成時の回転角度ρ１から補正角度Δρを減算して、補正後の回転角度ρを算出する。すなわち、パノラマ画像作成部３１ｅは、「ρ１−Δρ」を補正後の回転角度ρとして算出する（図６Ｂ（ｂ）参照）。

そして、パノラマ画像作成部３１ｅは、図６Ｂ（ｂ）に示すように、回転軸ｒａを中心にして、切出平面ｃｐを、パノラマ画像ｉＰの前回作成時の回転角度ρ１から補正角度Δρ分だけ上方向に回転させた状態（すなわち、カメラ２の光軸ｌａの方向から補正後の回転角度ρ分だけ上方向に回転させた状態）で、補正後のパノラマ画像ｉＰ２（図６Ｂ（ｃ）参照）を作成する。

図６Ｂ（ｃ）に示す例では、補正後のパノラマ画像ｉＰ２は、補正前のパノラマ画像ｉＰ１（図６Ｂ（ａ）参照）と比較すると、水平基準線ｈｓが補正前の位置よりも下方向に移動している。そして、その水平基準線ｈｓの移動に伴って、視線の基準線ｓｌが、水平方向に直線状に延伸する状態になり、水平基準線ｈｓと重なった状態になっている。

このように、作成装置３は、監視者がマウスを操作してマウス移動量Ｍｏを入力することにより、切出平面ｃｐの延伸方向が水平補正したいターゲットに一致するように、切出平面ｃｐを、パノラマ画像ｉＰの前回作成時の回転角度ρ１から補正角度Δρ分だけ上方向又は下方向に回転させる。これにより、作成装置３は、水平基準線ｈｓの位置を上方向又は下方向に移動させる。

なお、図６Ａ及び図６Ｂに示す例では、作成装置３は、マウスを移動させる方向と水平基準線ｈｓを移動させる方向とが一致する構成になっている。そのため、監視者は、水平基準線ｈｓを上方向に移動させる場合に、補正前のパノラマ画像ｉＰ１の中の任意の箇所を指定箇所として指定して、マウスを上方向に移動させ、一方、水平基準線ｈｓを下方向に移動させる場合に、補正前のパノラマ画像ｉＰ１の中の任意の箇所を指定箇所として指定して、マウスを下方向に移動させている。

しかしながら、作成装置３は、運用次第で、例えば、図６Ｃ及び図６Ｄに示すように、図６Ａ及び図６Ｂに示す例とは異なる水平補正操作を適用することができる。図６Ｃ及び図６Ｄは、それぞれ、実施形態に係る水平補正操作の変形例の説明図である。図６Ｃは、水平基準線ｈｓを上方向に移動させる場合の水平補正操作例を示しており、また、図６Ｄは、水平基準線ｈｓを下方向に移動させる場合の水平補正操作例を示している。

図６Ｃ及び図６Ｄに示す例では、作成装置３は、補正前のパノラマ画像ｉＰ１を中央付近の領域と端部付近の領域とに分け、中央付近の領域と端部付近の領域とで異なる水平補正操作を受け付ける構成になっている。

例えば、図６Ｃ及び図６Ｄに示す例では、作成装置３は、図６Ｃ（ａ）に示すように、監視者が、補正前のパノラマ画像ｉＰ１の中の中央付近の箇所を指定箇所として指定して、マウスを下方向に移動させた場合に、水平基準線ｈｓを上方向に移動させ、一方、図６Ｃ（ｂ）に示すように、監視者が、補正前のパノラマ画像ｉＰ１の中の中央付近の箇所を指定箇所として指定して、マウスを上方向に移動させた場合に、水平基準線ｈｓを下方向に移動させる構成になっている。

また、例えば、作成装置３は、図６Ｄ（ａ）に示すように、監視者が、補正前のパノラマ画像ｉＰ１の中の端部付近の箇所を指定箇所として指定して、マウスを上方向に移動させた場合に、水平基準線ｈｓを上方向に移動させ、一方、図６Ｄ（ｂ）に示すように、監視者が、補正前のパノラマ画像ｉＰ１の中の端部付近の箇所を指定箇所として指定して、マウスを下方向に移動させた場合に、水平基準線ｈｓを下方向に移動させる構成になっている。

＜実施形態に係るパノラマ画像作成装置の特性＞
ここで、図７Ａ及び図７Ｂを参照して、作成装置３の特性につき説明する。図７Ａ及び図７Ｂは、それぞれ、実施形態に係る作成装置３の特性の説明図である。ここでは、比較例１及び比較例２と対比して、作成装置３の特性を説明する。

図７Ａ（ａ）〜図７Ａ（ｃ）は、それぞれ、比較例１、比較例２、及び、本実施形態おけるカメラ２の設置構造と、パノラマ画像ｉＰの作成に用いる写像ｍａの切出位置を示している。比較例１は、従来技術の、カメラを標準的な人の目線の高さの位置に水平設置する場合の構成に相当する。また、比較例２は、従来技術の、カメラを高い位置に下げ振り設置してパノラマ画像を第２の作成手法で作成する場合の構成に相当する。

図７Ａ（ａ）〜図７Ａ（ｃ）の左図は、それぞれ、カメラ２の設置構造を示している。また、図７Ａ（ａ）〜図７Ａ（ｃ）の右図は、それぞれ、パノラマ画像ｉＰの作成に用いる、魚眼画像ｉ１Ｆ，ｉ２Ｆ，ｉＦ上の写像ｍａの切出位置を示している。また、図７Ｂは、比較例１、比較例２、及び、本実施形態のメリットとデメリットとを示している。

（比較例１のメリットとデメリット）
図７Ａ（ａ）に示す比較例１は、カメラ２を、標準的な人の目線の高さ（例えば、床面から約１５００ｍｍの高さ）の位置に水平設置している。比較例１は、図示せぬ作成装置が、レンズ中心Ｏを通る水平面を切出平面ｃｐとし、切出平面ｃｐと半球面画像ｉ１Ｓとが交わる曲線を切出線ｃｌとし、切出線ｃｌに沿って半球面画像ｉ１Ｓ（厳密には、半球面画像ｉ１Ｓに対応する魚眼画像ｉ１Ｆ）から写像ｍａを連続して切り出す。

このとき、切出線ｃｌは、図７Ａ（ａ）の右図に示すように、魚眼画像ｉ１Ｆの中央を通る水平な直線状の形状になる。図示せぬ作成装置は、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。

このような比較例１は、図７Ｂに示すメリットとデメリットとがある。
すなわち、比較例１は、中央付近の歪みがないパノラマ画像ｉＰを作成することができる。そのため、比較例１は、ターゲットを監視し易い、というメリットがある。

しかしながら、その一方で、比較例１は、カメラ２が低い位置に設置されており、カメラ２が人によって触られる可能性がある。そのため、比較例１は、カメラ２が悪戯され易い、というデメリットがある。また、比較例１は、カメラ２の用途が防犯用である場合に、人に威圧感を与えたり、景観を損ねたりする可能性がある、というデメリットがある。

（比較例２のメリットとデメリット）
図７Ａ（ｂ）に示す比較例２は、カメラ２を、人の手が届かない高い位置に、傾斜角度ρＡで下げ振り設置している。比較例２は、図示せぬ作成装置が、レンズ中心Ｏを通る水平面を切出平面ｃｐとし、切出平面ｃｐと半球面画像ｉ２Ｓとが交わる曲線を切出線ｃｌとし、切出線ｃｌに沿って半球面画像ｉ２Ｓ（厳密には、半球面画像ｉ２Ｓに対応する魚眼画像ｉ２Ｆ）から写像ｍａを連続して切り出す。

このとき、切出線ｃｌは、図７Ａ（ｂ）の右図に示すように、魚眼画像ｉ２Ｆの中央から上方向に外れるように上向きに湾曲した形状になる。図示せぬ作成装置は、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。

このような比較例２は、図７Ｂに示すメリットとデメリットとがある。
すなわち、比較例２は、カメラ２が高い位置に設置されている。そのため、比較例２は、カメラ２が悪戯され難い、というメリットがある。また、比較例２は、カメラ２の用途が防犯用であっても、人に威圧感を与えたり、景観を損ねたりしない、というメリットがある。

しかしながら、その一方で、比較例２は、以下のデメリットがある。
（１）比較例２は、以下に説明するように、スイートスポットを余り含まず、中央付近の歪みが大きいパノラマ画像ｉＰしか作成することができない、というデメリットがある。

一般に、ターゲットは、魚眼画像ｉＦ（比較例２では、魚眼画像ｉ２Ｆ）の中央付近の領域に写り込み易く、中央から外れた領域にはあまり写らない。そのため、魚眼画像ｉＦは、画像の中央付近の領域がターゲットの特徴部分を多く含む構成になる。また、魚眼画像ｉＦは、歪みが、画像の中央に近いほど小さく、画像の中央から外れるほど大きくなるため、有効解像度が、画像の中央に近いほど高く、画像の中央から外れるほど低くなる、という特性がある。したがって、魚眼画像ｉＦは、画像の中央付近の領域が、ターゲットの特徴部分を多く含み、かつ、有効解像度の高い領域となっている。そのため、魚眼画像ｉＦは、画像の中央付近の領域が、ターゲットの特徴が分かり易い領域（以下、「スイートスポット」と称する）となっている。

それにも関わらず、比較例２は、切出線ｃｌが魚眼画像ｉ２Ｆの中央から上方向に外れるように上向きに湾曲した形状になっており、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。そのため、比較例２は、スイートスポットを余り含まないパノラマ画像ｉＰしか作成することができない。また、比較例２では、パノラマ画像ｉＰの中央付近の領域は、魚眼画像ｉ２Ｆの中央から外れた領域に対応する。そのため、比較例２は、中央付近の歪みが大きいパノラマ画像ｉＰしか作成することができない。

（２）比較例２は、ターゲットが中央に配置されない構成のパノラマ画像ｉＰを作成する、というデメリットがある。すなわち、ターゲットは、魚眼画像ｉ２Ｆの中央付近に写り込み易い。しかしながら、比較例２は、前記した通り、切出線ｃｌが魚眼画像ｉ２Ｆの中央から上方向に外れるように上向きに湾曲した形状になっており、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。そのため、比較例２は、ターゲットが中央に配置されない構成のパノラマ画像ｉＰを作成する。このような構成のパノラマ画像ｉＰは、ターゲットが中央に配置されない構成になっているため、ターゲットを監視し難い。

（３）比較例２は、解像度の高い、高価なカメラが必要になる、というデメリットがある。すなわち、比較例２は、魚眼画像ｉ２Ｆの中央から外れた領域から切り出された写像ｍａを用いてパノラマ画像ｉＰを作成する。その領域は、有効解像度の低い領域である。そのため、比較例２は、解像度の高い、高価なカメラが必要になる。

（４）比較例２は、解像度の高いカメラで撮影する必要がある。そのため、比較例２は、撮影画像（魚眼画像ｉ２Ｆ）の１枚当たりの画像容量が大きくなり、これにより、録画時間が短くなる、というデメリットがある。

（本実施形態のメリット）
図７Ａ（ｃ）に示す本実施形態は、カメラ２を、人の手が届かない高い位置に、傾斜角度ρＡで下げ振り設置している。本実施形態は、作成装置３が、半球面画像ｉＳの天頂ｔｐを通る水平面を切出平面ｃｐとし、切出平面ｃｐと半球面画像ｉＳとが交わる曲線を切出線ｃｌとし、切出線ｃｌに沿って半球面画像ｉＳ（厳密には、半球面画像ｉ２Ｓに対応する魚眼画像ｉ２Ｆ）から写像ｍａを連続して切り出す。

このとき、切出線ｃｌは、図７Ａ（ｃ）の右図に示すように、魚眼画像ｉＦの中央を通るように上向きに湾曲した形状になる。本実施形態の作成装置３は、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。

このような本実施形態は、図７Ｂに示すメリットがある。
（１）すなわち、本実施形態は、カメラ２が高い位置に設置されている。そのため、本実施形態は、カメラ２が悪戯され難い、というメリットがある。また、本実施形態は、カメラ２の用途が防犯用であっても、人に威圧感を与えたり、景観を損ねたりしない、というメリットがある。

（２）本実施形態は、以下に説明するように、スイートスポットを多く含む、中央付近の歪みが小さいパノラマ画像ｉＰを作成することができる、というメリットがある。
すなわち、本実施形態は、切出線ｃｌが魚眼画像ｉＦの中央を通る円弧状の曲線状の形状になっており、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。そのため、本実施形態は、スイートスポットを多く含むパノラマ画像ｉＰを作成することができる。また、本実施形態では、パノラマ画像ｉＰの中央付近の領域は、魚眼画像ｉＦの中央付近の領域に対応する。そのため、本実施形態は、中央付近の歪みが小さいパノラマ画像ｉＰを作成することができる。

（３）本実施形態は、ターゲットが常に中央に配置される構成のパノラマ画像ｉＰを作成することができる、というメリットがある。すなわち、ターゲットは、魚眼画像ｉ２Ｆの中央付近に写り込み易い。本実施形態は、前記した通り、切出線ｃｌが魚眼画像ｉＦの中央を通る円弧状の曲線状の形状になっており、その切出線ｃｌ上の位置から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。そのため、本実施形態は、ターゲットが常に中央に配置される構成のパノラマ画像ｉＰを作成することができる。このような構成のパノラマ画像ｉＰは、ターゲットが常に中央に配置される構成になっているため、ターゲットを監視し易い。

（４）本実施形態は、解像度の低い、安価な汎用のカメラを使用することができる、というメリットがある。すなわち、本実施形態は、魚眼画像ｉＦの中央を通る領域から切り出された写像ｍａを用いてパノラマ画像ｉＰを作成する。その領域は、有効解像度の高い領域が多く含まれている。そのため、本実施形態は、解像度の低い、安価な汎用のカメラを使用することができる。

（５）本実施形態は、解像度の低い汎用のカメラで撮影することができる。そのため、本実施形態は、撮影画像（魚眼画像ｉＦ）の１枚当たりの画像容量が小さくなり、これにより、録画時間が長くなる、というメリットがある。
本実施形態は、デメリットを生じさせることなく、これらのメリットを得ることができる。

＜パノラマ画像の作成に用いるパラメータ及び計算手法＞
（パノラマ画像の作成に用いる主なパラメータ）
以下、図８Ａ〜図８Ｃを参照して、パノラマ画像ｉＰの作成に用いるパラメータ及び計算手法につき説明する。図８Ａ〜図８Ｃは、それぞれ、実施形態に係るパノラマ画像ｉＰの作成に用いるパラメータの説明図である。

ここでは、図８Ａに示すように、カメラ２の光軸方向をｚ軸方向とし、光軸ｌａの左右方向をｘ軸方向とし、光軸ｌａの上下方向をｙ軸方向とする、局地座標系を想定し、その局地座標系に基づいて説明する。なお、図２Ａに示すように、カメラ２の光軸方向をＸ軸方向とし、光軸ｌａの左右方向をＹ軸方向とし、光軸ｌａの上下方向をＺ軸方向とする、全体座標系で表す場合に、局地座標系のパラメータｘ，ｙ，ｚは、それぞれ、全体座標のパラメータＹ，Ｚ，Ｘに読み替えられる。

図８Ａは、ｘ軸方向を右斜め下方向とし、ｙ軸方向を右斜め上方向とし、ｚ軸方向を上方向として見た場合の、半球面画像ｉＳ（仮想球面モデルＭＤ）の構成を示している。図８Ａは、パノラマ画像ｉＰの作成に用いる写像ｍａが、切出平面ｃｐと半球面画像ｉＳとが交わる切出線ｃｌ上に存在する特定の点Ｐを中心にして、切り出されることを示している。以下、写像ｍａの中心となる点Ｐを「注視点Ｐ」と称する。

写像ｍａは、注視点Ｐを中心にして、切出線ｃｌに対して垂直方向に、所定の寸法で切り出される。ここでは、写像ｍａの寸法は、縦幅がｈピクセルであり、かつ、横幅が１ピクセルであるものとして説明する。

図８Ｂ（ａ）は、底面回転角θを示している。「底面回転角θ」は、原点Ｏ（レンズ中心Ｏ）と注視点Ｐとを結ぶ直線を「線Ｏ−Ｐ」とする場合の、ｘｙ平面におけるｘ軸に対する線Ｏ−Ｐの回転角度を意味している。

図８Ｂ（ｂ）は、傾斜角度φを示している。「傾斜角度φ」は、ｘｚ平面におけるｚ軸に対する線Ｏ−Ｐの回転角度（仰角又は俯角）を意味している。

図８Ｂ（ｃ）は、写像回転角ωを示している。「写像回転角ω」は、写像ｍａの回転角度を意味している。

図８Ｂ（ｄ）は、写像拡大率ｍａｇｎｉｆｙ−ｐｏｗｅｒ（以下、単に「写像拡大率」と称する場合がある）を示している。「写像拡大率ｍａｇｎｉｆｙ−ｐｏｗｅｒ」は、写像ｍａを拡大させる比率を意味している。写像拡大率は、原点Ｏから注視点Ｐまでの距離に比例する。写像拡大率は、（１）写像ｍａを仮想球面モデルＭＤの半球面よりも内側の位置から切り出す場合に、「０」よりも大きくかつ「１」未満の値に設定され、（２）写像ｍａを仮想球面モデルＭＤの半球面上の位置から切り出す場合に、値が「１」に設定され、（３）写像ｍａを仮想球面モデルＭＤの半球面よりも外側の位置から切り出す場合に、「１」よりも大きな値に設定される。

図８Ｃは、切出平面ｃｐが、半球面画像ｉＳの天頂ｔｐに接する回転軸ｒａを中心にして、光軸ｌａ（すなわち、撮影水平面ＸＹ（図２Ａ参照））から回転角度ρ分だけ回転された状態を示している。

図８Ｃ（ａ）は、ｘ軸方向を左斜め下方向とし、ｙ軸方向を右斜め下方向とし、ｚ軸方向を上方向として見た場合の、半球面画像ｉＳ（仮想球面モデルＭＤ）の構成を示している。

図８Ｃ（ｂ）は、ｘ軸方向を右方向とし、ｙ軸方向を上方向とし、ｚ軸方向から見た場合の、半球面画像ｉＳ（仮想球面モデルＭＤ）の構成を示している。

図８Ｃ（ｃ）は、ｘ軸方向を右方向とし、ｚ軸方向を上方向とし、ｙ軸方向から見た場合の、半球面画像ｉＳ（仮想球面モデルＭＤ）の構成を示している。

図８Ｃ（ｄ）は、ｙ軸方向を右方向とし、ｚ軸方向を上方向とし、ｘ軸方向から見た場合の、半球面画像ｉＳ（仮想球面モデルＭＤ）の構成を示している。

作成装置３は、カメラ２で撮影された撮影画像（魚眼画像ｉＦ）を仮想球面モデルＭＤの半球面上に投影させた半球面画像ｉＳ（図８Ａ参照）を用いて、パノラマ画像ｉＰを作成する。

その際に、作成装置３は、「仮想球面モデルＭＤ（半球面画像ｉＳ）の半径」、「注視点Ｐの位置を表す角度情報」、「写像拡大率」、及び、「画像の解像度」が指定されることによって、注視点Ｐを中心とした写像ｍａを展開画像として取得する。

したがって、仮想球面モデルＭＤ（半球面画像ｉＳ）の半径と注視点Ｐの位置を表す角度情報と写像拡大率と画像の解像度とが、パノラマ画像ｉＰを作成する際に必要な主なパラメータとなる。パノラマ画像ｉＰを作成する際に必要な主なパラメータは、以下の通りである。

「仮想球面モデルＭＤ（半球面画像ｉＳ）の半径」
・半径：ｒ
「注視点Ｐの位置を表す角度情報」
・底面回転角：θ（図８Ｂ（ａ）参照）
・傾斜角度：φ（図８Ｂ（ｂ）参照）
・写像回転角：ω（図８Ｂ（ｃ）参照）
「写像拡大率」
・写像拡大率：ｍａｇｎｉｆｙ−ｐｏｗｅｒ（図８Ｂ（ｄ）参照）
「画像の解像度」
・撮影画像の解像度：（ｗｉｄｔｈ_ｓｒｃ，ｈｅｉｇｈｔ_ｓｒｃ）
・パノラマ画像の解像度：（ｗｉｄｔｈ_ｄｓｔ，ｈｅｉｇｈｔ_ｄｓｔ）

ここで、「撮影画像の解像度」とは、撮影画像（魚眼画像ｉＦ又は魚眼画像ｉＦに対応する半球面画像ｉＳ）の解像度（画素密度）を意味している。「撮影画像の解像度」は、カメラ２の解像度に応じて決まる。また、「パノラマ画像の解像度」とは、作成するパノラマ画像ｉＰの解像度（画素密度）を意味している。

（設定パラメータ）
監視者は、事前に、作成装置３にパノラマ画像ｉＰを作成させるための設定情報として、以下のパラメータを作成装置３に入力する。

・仮想球面モデルＭＤの半径：ｒ
・傾斜角度：ρＡ
・撮影画像の解像度：（ｗｉｄｔｈ_ｓｒｃ，ｈｅｉｇｈｔ_ｓｒｃ）
・パノラマ画像の解像度：（ｗｉｄｔｈ_ｄｓｔ，ｈｅｉｇｈｔ_ｄｓｔ）

これに応じて、作成装置３は、傾斜角度ρＡを切出平面ｃｐの回転角度ρとして、パノラマ画像ｉＰを作成する。ただし、作成装置３は、傾斜角度ρＡが前記した適正角度から外れる場合（すなわち、−４５°未満の角度である場合又は＋４５°よりも大きい角度である場合）に、−４５°を下限値とし、＋４５°を上限値として、回転角度ρを自動的に設定する。

（パノラマ画像ｉＰの作成手法（作成モデル））
作成装置３は、パノラマ画像ｉＰの作成に際して、半球面画像ｉＳの天頂ｔｐに接する回転軸ｒａを中心にして、光軸ｌａ（すなわち、撮影水平面ＸＹ（図２Ａ参照））から回転角度ρ分だけ回転された切出平面ｃｐと半球面画像ｉＳとが交わる曲線を切出曲線ｃｐとし、切出曲線ｃｐ上に注視点Ｐを分布させる。なお、「撮影画像の解像度（ｗｉｄｔｈ_ｓｒｃ，ｈｅｉｇｈｔ_ｓｒｃ）」の「ｗｉｄｔｈ_ｓｒｃ」の値が、注視点Ｐの数（分布量）となる。

次に、作成装置３は、切出曲線ｃｐに沿って半球面画像ｉＳ（厳密には、半球面画像ｉＳに対応する魚眼画像ｉＦ）から写像ｍａを連続して切り出す。このとき、作成装置３は、切出曲線ｃｐに沿って分布された注視点Ｐの位置から写像ｍａを切り出す。そして、切り出した写像ｍａを平面上に並べる。これによって、作成装置３は、パノラマ画像ｉＰを作成する。以下、本実施形態に係るパノラマ画像ｉＰの作成手法を「本実施形態の作成モデル」と称する。

作成装置３は、本実施形態の作成モデルを用いることにより、ターゲットに対するカメラ２の画角を維持しながら、歪みの少ないパノラマ画像ｉＰを作成することができる。

なお、パノラマ画像ｉＰの作成に用いる写像ｍａは、切出平面ｃｐの回転角度ρが前記した適正角度である場合（すなわち、−４５°以上でかつ＋４５°以下の範囲内の角度である場合）に、有効画素（ターゲットの特徴部分が写り込む画素）を多く含む構成になる。

したがって、作成装置３は、切出平面ｃｐの回転角度ρが前記した適正角度である場合（すなわち、−４５°以上でかつ＋４５°以下の範囲内の角度である場合）に、好適なパノラマ画像ｉＰを作成することができる。一方、作成装置３は、切出平面ｃｐの回転角度ρが前記した適正角度から外れる場合（すなわち、−４５°未満の角度である場合又は＋４５°よりも大きい角度である場合）に、好適なパノラマ画像ｉＰを作成することができない。

そこで、本実施形態では、作成装置３は、切出平面ｃｐの回転角度ρが前記した適正角度から外れる場合（すなわち、−４５°未満の角度である場合又は＋４５°よりも大きい角度である場合）に、切出平面ｃｐの回転角度ρを一律に−４５°又は＋４５°に設定して、パノラマ画像ｉＰを作成する。すなわち、作成装置３は、−４５°を切出平面ｃｐの回転角度ρの下限値とし、＋４５°を切出平面ｃｐの回転角度ρの上限値として、パノラマ画像ｉＰを作成する。

そのため、本実施形態では、作成装置３は、例えば、カメラ２が上げ振り設置又は下げ振り設置される場合で、かつ、カメラ２の傾斜角度ρＡ（図５Ａ（ａ）参照）が前記した適正角度から外れる場合（すなわち、−４５°未満の角度である場合又は＋４５°よりも大きい角度である場合）に、切出平面ｃｐの回転角度ρを一律に−４５°又は＋４５°に設定して、パノラマ画像ｉＰを作成する。

作成装置３は、切出平面ｃｐの回転角度ρをこのような値に設定することにより、スイートスポットを多く含む良好なパノラマ画像ｉＰを作成することができる。

ところで、本実施形態の作成モデルは、図６Ａ及び図６Ｂに示すように、切出平面ｃｐの回転角度ρを変更することにより、パノラマ画像ｉＰの水平基準線ｈｓの位置を上方向又は下方向に移動させることができる。

これにより、本実施形態の作成モデルは、視線の基準線ｓｌが水平方向に直線状に延伸する状態になるように、パノラマ画像ｉＰ（補正前のパノラマ画像ｉＰ１）を水平補正することができる。その結果、本実施形態の作成モデルは、ターゲットの特徴が分かり易い、補正後のパノラマ画像ｉＰ２を作成することができる。

したがって、例えば、作成されたパノラマ画像ｉＰの中の視線の基準線ｓｌが湾曲して見える場合に、監視者は、マウスを使用して、パノラマ画像ｉＰに対して、前記した水平補正操作を行う。これにより、監視者は、マウス移動量Ｍｏを作成装置３に入力する。このとき、作成装置３は、マウスの移動ベクトルの上下方向の成分のみをマウス移動量Ｍｏとして検出する。

作成装置３は、マウス移動量Ｍｏが入力されると、変換係数κをマウス移動量Ｍｏに掛け合わせて、マウス移動量Ｍｏに対応する補正角度Δρとして、（κ×Ｍｏ）を算出する。なお、本実施形態に係る作成モデルでは、補正角度Δρ以外のパラメータは、固定パラメータとなる。

作成装置３は、補正角度Δρを算出すると、補正角度Δρを、パノラマ画像ｉＰ（ここでは、補正前のパノラマ画像ｉＰ１）の前回作成時の回転角度ρ１に加算又は減算して、合計角度（ρ１±Δρ）を算出する。

この後、作成装置３は、合計角度（ρ１±Δρ）を補正後の回転角度ρに設定する。ただし、作成装置３は、合計角度（ρ１±Δρ）が前記した適正角度から外れる場合（すなわち、−４５°未満の角度である場合又は＋４５°よりも大きい角度である場合）に、補正後の回転角度ρを一律に−４５°又は＋４５°に設定する。

そして、作成装置３は、切出平面ｃｐを補正後の回転角度ρ分だけ上方向又は下方向（水平補正操作で指定された方向）に回転させ、切出平面ｃｐと半球面画像ｉＳとが交わる切出線ｃｌに沿って半球面画像ｉＳ（厳密には、半球面画像ｉＳに対応する魚眼画像ｉＦ）から写像ｍａを連続して切り出して、平面上に並べる。これによって、作成装置３は、補正後のパノラマ画像ｉＰ２を作成する。

なお、作成装置３は、好ましくは、マウスの操作感覚とパノラマ画像ｉＰの水平補正の動作感覚とが直感的に対応するように（すなわち、監視者によって、前記した水平補正操作によるマウス移動量Ｍｏとパノラマ画像ｉＰの水平補正の補正量とが一致している、と知覚されるように）、変換係数κの値が設定されているとよい。

（計算手法）
以下、パノラマ画像ｉＰの作成に用いる計算手法を説明する。ここでは、図９（ａ）に示すように、作成装置３が、作成予定のパノラマ画像ｉＰの横幅Ｗをカメラ２の撮影範囲に対応させて、パノラマ画像ｉＰを作成する場合を想定して説明する。

なお、図９は、実施形態で用いる半径ｒの説明図である。図９は、白抜きの領域（作成予定のパノラマ画像ｉＰの領域とカメラ２の撮影範囲とが重なる領域）がパノラマ画像ｉＰの作成に有効な有効撮影範囲であり、この領域を利用領域として用いてパノラマ画像ｉＰを作成することを示している。

図９（ａ）に示す例では、パノラマ画像ｉＰの横幅Ｗがカメラ２の撮影範囲の半径に対応する構成になっている。この場合に、撮影範囲の半径が仮想球面モデルＭＤの半径ｒとなる。したがって、仮想球面モデルＭＤの半径ｒは、（Ｗ／２）となる。

この場合に、作成装置３は、半球面画像ｉＳから、横幅×縦幅の寸法が１×ｈｅｉｇｈｔ_ｄｓｔとなっている写像ｍａを切り出し、パノラマ画像ｉＰに適した構成の画像に変換して、パノラマ画像ｉＰを作成する。

一方、図９（ｂ）に示す例では、パノラマ画像ｉＰの縦幅ｈがカメラ２の撮影範囲の半径に対応する構成になっている。この場合に、撮影範囲の半径が仮想球面モデルＭＤの半径ｒとなる。したがって、仮想球面モデルＭＤの半径ｒは、（ｈ／２）となる。

この場合に、作成装置３は、半球面画像ｉＳから、横幅×縦幅の寸法がｗｉｄｔｈ_ｄｓｔ×１となっている写像ｍａを切り出して、パノラマ画像ｉＰを作成する。

１．仮想球面モデルＭＤの半球面上の任意の注視点Ｐ（ｘ，ｙ，ｚ）のパラメータ（φｐ，θｐ）は、以下の関係が成り立つ。

２．切出線ｃｌを正面から見た曲線（楕円又は真円）の軌跡のパラメータをＣ_１とし、切出線ｃｌを上から見た曲線（楕円又は真円）の軌跡のパラメータをＣ_２とすると、切出線ｃｌの軌跡Ｃ_１，Ｃ_２は、以下の関係が成り立つ。

３．切出線ｃｌの原点Ｏ（レンズ中心Ｏ）からの軌跡Ｃ_１上の任意の角（かく）をαとすると、パラメータｘ，ｚは、以下の関係が成り立つ。

よって、角αのとり得る範囲は、以下のようになる。

４．注視点Ｐを切出線ｃｌの軌跡Ｃ１上に一様に分布した場合に、注視点Ｐの数（分布量）は、ｗｉｄｔｈ_ｄｓｔ本となる。その中のｎ番目（ただし、０≦ｎ≦（ｗｉｄｔｈ_ｄｓｔ−１）の整数）の注視点Ｐ_ｎにおける角α_ｎは、以下のようになる。

５．ここで、式（５），（６）の関係から、ｎ番目の角α_ｎのパラメータｘ_ｎ，ｚ_ｎは、以下の関係が成り立つ。

６．また、切出線ｃｌの原点Ｏ（レンズ中心Ｏ）からの軌跡Ｃ_２上の任意の角（かく）をβとすると、パラメータｘ，ｙは、以下の関係が成り立つ。

７．ここで、切出線ｃｌの軌跡Ｃ_１上の角α_ｎに対応する切出線ｃｌの軌跡Ｃ_２上の角をβ_ｎとすると、式（９），（１１）の関係から、以下の関係が成り立つ。

８．切出線ｃｌの軌跡Ｃ_１上の角α_ｎと切出線ｃｌの軌跡Ｃ_２上の角β_ｎとは、互いに逆方向に変化するので、以下の関係が成り立つ。

９．また、式（１２），（１４）の関係から、以下の関係が成り立つ。

１０．ここで、横幅×縦幅の寸法が１×ｈｅｉｇｈｔ_ｄｓｔとなっている写像ｍａは、仮想球面モデルＭＤ（半球面画像ｉＳ）の天頂ｔｐに対して、常に、垂直方向になるように配置されている。そのため、写像回転角度ωは、「＋（π／２）」及び「−（π／２）」のいずれか一方になる。

したがって、式（９），（１０），（１５）の関係から、ｎ番目の注視点Ｐ_ｎにおける角α_ｎは、以下の関係が成り立つ。

作成装置３は、式（１６）〜（１９）の関係となる注視点Ｐ_ｎにおける角α_ｎの情報に基づいて、半球面画像ｉＳ（厳密には、半球面画像ｉＳに対応する魚眼画像ｉＦ）から、横幅×縦幅の寸法が１×ｈｅｉｇｈｔ_ｄｓｔとなっている写像ｍａを連続して切り出し、パノラマ画像ｉＰに適した構成の画像に変換して平面上に並べる。これによって、作成装置３は、１枚分のパノラマ画像ｉＰを作成する。

係る構成において、作成装置３は、半球面画像ｉＳの天頂ｔｐ付近の領域を中心にして半球面画像ｉＳ（厳密には、半球面画像ｉＳに対応する魚眼画像ｉＦ）から写像ｍａを切り出して、パノラマ画像ｉＰを作成する。その天頂ｔｐ付近の領域は、魚眼画像ｉＦの中央付近の領域に対応する。

魚眼画像ｉＦの中央付近の領域は、カメラ２がターゲットに向けて設置されているため、ターゲットが特に映り込み易い領域になっている。しかも、その領域は、画像の中央付近であるため、有効解像度が高い（すなわち、歪みが少ない）領域になっている。

作成装置３は、その領域の写像ｍａを用いるため、魚眼画像ｉＦのスイートスポット（すなわち、魚眼画像ｉＦの、ターゲットの特徴部分を多く含み、かつ、有効解像度が高い（歪みが少ない）中央付近の領域）を有効に活用して、パノラマ画像ｉＰを作成することができる。その結果、作成装置３は、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像ｉＰを作成することができる。

また、作成装置３は、カメラ２を斜めに傾斜させて設置することができる。そのため、作成装置３は、撮影方向を比較的容易に変更することができる。このような、作成装置３は、仮にカメラ２を人の手が届かない高い位置に下げ振り設置して撮影した場合であっても、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像ｉＰを作成することができる。そのため、監視者は、ターゲットを容易に監視することができる。

また、作成装置３は、監視者がマウス等の座標入力部４２を使用して前記した水平補正操作を行うことによって、パノラマ画像ｉＰの中の監視したい部分（ターゲットの特徴部分を多く含む部分）の歪みを容易に水平補正することができる。しかも、水平補正された補正後のパノラマ画像ｉＰ２は、視野の周辺部（画像の左右部分）の歪みが少ない画像となる。そのため、監視者は、簡単な操作で、ターゲットを監視し易い補正後のパノラマ画像ｉＰ２（具体的には、画像の中央付近に、ターゲットの特徴部分を多く含み、かつ、視野の周辺部の歪みが少ない補正後のパノラマ画像ｉＰ２）を取得することができる。これにより、監視者は、さらに、ターゲットを容易に監視することができる。

また、作成装置３は、図７Ｂに示すメリットを有する。図７Ｂに示すメリットについては、前記した「本実施形態のメリット」の章で説明した通りである。

なお、作成装置３は、例えば、図１０に示すように、魚眼画像ｉＦ又はパノラマ画像ｉＰと、他の図示せぬカメラで撮影された画像と組み合わせた画面を、表示部５に表示させる構成にすることができる。図１０は、実施形態に係るパノラマ画像ｉＦの表示の一例を示す図である。図１０（ａ）〜図１０（ｃ）は、それぞれ、カメラ２で撮影された魚眼画像ｉＦと他の図示せぬカメラで撮影された画像ｉＡ１，ｉＡ２と組み合わせた画面、補正前のパノラマ画像ｉＰ１と画像ｉＡ１，ｉＡ２と組み合わせた画面、及び、補正後のパノラマ画像ｉＰ２と画像ｉＡ１，ｉＡ２と組み合わせた画面の一例を示している。

以上の通り、本実施形態に係るパノラマ画像作成装置３によれば、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像ｉＰを作成することができる。
特に、作成装置３によれば、仮にカメラ２を斜めに傾斜させて設置して撮影した場合であっても、このようなパノラマ画像ｉＰを作成することができる。

本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

例えば、作成装置３は、座標入力部４２としてマウスを用いる構成になっている。しかしながら、作成装置３は、座標入力部４２としてタッチパネルやその他の座標入力手段を用いる構成で合ってもよい。

また、例えば、魚眼レンズカメラ２は、車に搭載して、運転時の画像を撮影する車載カメラとして用いることができる。この場合に、パノラマ画像作成装置３は、車載カメラによって撮影された画像を再生する再生装置として用いることが可能である。

また、例えば、前記した計算手法は、一例に過ぎない。作成装置３は、前記した計算手法以外の手法を採用することができる。

１ 監視システム
２ 魚眼レンズカメラ
３ パノラマ画像作成装置
４ 入力部
５ 表示部（ディスプレイ）
ｃｌ 切出線
ｃｐ 切出平面
ｈｓ 水平基準線
ｉＦ 魚眼画像
ｉＳ 半球面画像
ｉＰ パノラマ画像
ｉＰ１ 補正前のパノラマ画像
ｉＰ２ 補正後のパノラマ画像
ｌａ 光軸
ＭＤ 仮想球面モデル
Ｍｏ マウス移動量
ｍａ 写像
Ｏ レンズ中心（原点）
ｒａ 回転軸
ｓｌ 視線の基準線
ｔｐ 天頂
ＸＹ 撮影水平面
Δρ 補正角度
κ 変換係数
ρ 回転角度
ρ１ 前回作成時の回転角度
ρＡ 傾斜角度

Claims (6)

1. 魚眼レンズを用いる魚眼レンズカメラによって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置であって、
   画像を表示する表示部と、
   前記魚眼レンズカメラによって撮影された前記魚眼画像を撮影画像として格納する撮影画像格納部と、
   前記撮影画像格納部に格納された前記撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成部と、
   前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部とを有し、
   前記パノラマ画像作成部は、
   （ａ）前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、
   （ｂ）前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、
   （ｃ）前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、
   （ｄ）前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、
   （ｅ）前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する
   ことを特徴とするパノラマ画像作成装置。
2. 請求項１に記載のパノラマ画像作成装置において、
   さらに、前記パノラマ画像内の左右方向に水平に延伸する仮想上の直線を水平基準線とし、前記表示部に表示された前記パノラマ画像に対して、任意の箇所を指定箇所として指定して、当該指定箇所を上方向又は下方向に移動させることにより、当該パノラマ画像内の前記水平基準線の位置を上方向又は下方向に移動させるための相対的な移動量を入力する入力部を有し、
   前記パノラマ画像作成部は、前記移動量が入力された場合に、前記移動量を角度値に変換して補正角度を取得し、前記切出平面を前記パノラマ画像の前回作成時の回転角度から当該補正角度分だけ上方向又は下方向に回転させた状態で、補正後の前記パノラマ画像を作成する
   ことを特徴とするパノラマ画像作成装置。
3. 請求項２に記載のパノラマ画像作成装置において、
   前記パノラマ画像作成部は、
   前記指定箇所の位置に関わらず、前記指定箇所の移動方向が上方向であるときに、前記切出平面を下方向に回転させることによって、前記水平基準線の位置を前回作成時よりも上方向に移動させた画像を、補正後の前記パノラマ画像として作成し、
   一方、前記指定箇所の移動方向が下方向であるときに、前記切出平面を上方向に回転させることによって、前記水平基準線の位置を前回作成時よりも下方向に移動させた画像を、補正後の前記パノラマ画像として作成する
   ことを特徴とするパノラマ画像作成装置。
4. 画像を表示する表示部と、魚眼レンズを用いる魚眼レンズカメラによって撮影された魚眼画像を撮影画像として格納する撮影画像格納部とを有するコンピュータを、当該撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成装置として機能させるプログラムであって、
   前記コンピュータを、
   （ａ）前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、（ｂ）前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、（ｃ）前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、（ｄ）前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、（ｅ）前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成するパノラマ画像作成部と、
   前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部として機能させる
   ことを特徴とするプログラム。
5. 請求項４に記載のプログラムにおいて、
   前記コンピュータは、さらに、前記パノラマ画像内の左右方向に水平に延伸する仮想上の直線を水平基準線とし、前記表示部に表示された前記パノラマ画像に対して、任意の箇所を指定箇所として指定して、当該指定箇所を上方向又は下方向に移動させることにより、当該パノラマ画像内の前記水平基準線の位置を上方向又は下方向に移動させるための相対的な移動量を入力する入力部を有しており、
   前記入力部から前記移動量が入力された場合に、前記パノラマ画像作成部に、前記移動量を角度値に変換させて補正角度を取得させ、前記切出平面を前記パノラマ画像の前回作成時の回転角度から当該補正角度分だけ上方向又は下方向に回転させた状態で、補正後の前記パノラマ画像を作成させる
   ことを特徴とするプログラム。
6. 請求項５に記載のプログラムにおいて、
   前記指定箇所の位置に関わらず、前記指定箇所の移動方向が上方向であるときに、前記パノラマ画像作成部に、前記切出平面を下方向に回転させることによって、前記水平基準線の位置を前回作成時よりも上方向に移動させた画像を、補正後の前記パノラマ画像として作成させ、
   一方、前記指定箇所の移動方向が下方向であるときに、前記パノラマ画像作成部に、前記切出平面を上方向に回転させることによって、前記水平基準線の位置を前回作成時よりも下方向に移動させた画像を、補正後の前記パノラマ画像として作成させる
   ことを特徴とするプログラム。

Images