JPWO2011114610A1 - 全方位画像処理装置および全方位画像処理方法 - Google Patents

Abstract

全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができる全方位画像処理装置。全方位画像処理装置（４００）は、全方位画像に対して画像処理を行う装置であって、全方位画像に撮影されている監視対象を指定する監視対象指定部（４０５）と、指定された監視対象の位置が上側中央となるように、全方位画像を回転させる画像回転部（４０６）と、画像回転部（４０６）によって回転された全方位画像の中心位置を、ワーピング処理によって下方向に移動させる中心位置移動部（４０７）とを有する。

Description

本発明は、全方位画像に対して画像処理を行う全方位画像処理装置および全方位画像処理方法に関する。

全方位カメラは、通常のカメラに魚眼レンズや球面ミラー等の特殊な光学系を組み合わせたカメラを用いることにより、一度の撮影で全方位の画像（以下「全方位画像」という）が得られるようにしたカメラである（例えば非特許文献１参照）。全方位カメラは、監視システム等、広い分野で活用されている。ところが、全方位画像では、人物や物体など個々の被写体（以下「監視対象」という）の画像の歪みが大きいため、個々の監視対象の様子を把握し難い。

そこで、従来、全方位画像に対して画像処理を行う技術が提案されている（例えば、特許文献１および特許文献２参照）。特許文献１に記載の技術は、全方位画像を、環状の画像、具体的には、中心位置が異なる大小２つの楕円に挟まれた領域内に表示される画像に変換する。この技術により、個々の監視対象の位置関係を容易に把握させることが可能である。また、特許文献２に記載の技術は、全方位画像をパノラマ状の横長画像に座標変換し、指定された監視対象の画像を切り出して歪み補正を行う。この技術により、全方位画像から、個々の監視対象の画像の歪みが少ない画像を生成することが可能である。

特開２００３−１３２３４８号公報 特開２００８−４８４４３号公報 特開平１１−３３１６５４号公報

山澤一誠、八木康史、谷内田正彦、「移動ロボットのナビゲーションのための全方位視覚センサ」、電子情報通信学会誌Ｄ−ＩＩ、社団法人電子情報通信学会、１９９６年５月２５日、Ｖｏｌ.Ｊ７９−Ｄ−ＩＩ、ｐ.６９８−７０７

しかしながら、特許文献１および特許文献２に記載の技術では、広い範囲における監視対象の詳細な状況の把握や、監視対象の周辺の状況についての直感的な把握が、難しい場合がある。

特許文献１に記載の技術では、中心位置が異なる大小２つの楕円に挟まれた領域のうち、狭い方に監視対象が存在する場合には、監視対象と監視対象周辺の画像が縮小されてしまうからである。また、特許文献２に記載の技術では、指定された監視対象の画像部分のみが切り出されて表示され、全方位画像の連続性が失われるからである。

本発明の目的は、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させる全方位画像処理装置およびその方法を提供することである。

本発明の全方位画像処理装置は、全方位画像に対して画像処理を行う全方位画像処理装置であって、前記全方位画像に撮影されている監視対象を指定する監視対象指定部と、前記指定された監視対象の位置が上側中央となるように、前記全方位画像を回転させる画像回転部と、前記画像回転部によって回転された前記全方位画像の中心位置を、ワーピング処理によって下方向に移動させる中心位置移動部とを有する。

本発明の全方位画像処理方法は、全方位画像に対して画像処理を行う全方位画像処理方法であって、前記全方位画像に撮影されている監視対象を指定するステップと、前記指定された監視対象の位置が上側中央となるように、前記全方位画像を回転させるステップと、回転された前記全方位画像の中心位置を、ワーピング処理によって下方向に移動させるステップとを有する。

本発明によれば、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができる。

本発明の一実施の形態に係る全方位画像処理装置を含む監視システムの設置例を示すシステム構成図 本実施の形態における全方位画像の一例を示す図 本実施の形態に係る全方位画像処理装置の構成を示すブロック図 本実施の形態におけるフレーム時刻対応表の一例を示す図 本実施の形態における監視対象位置情報の一例を示す図 本実施の形態における監視対象位置管理情報の一例を示す図 本実施の形態における画像処理動作を示すフローチャート 本実施の形態における監視対象指定画面の第１の例を示す図 本実施の形態における監視対象指定画面の第２の例を示す図 本実施の形態における監視対象指定画面の第３の例を示す図 本実施の形態における画像回転処理の一例を示すフローチャート 本実施の形態における初期状態の全方位画像の一例を示す図 本実施の形態における指定監視対象領域の定義の一例を示す図 本実施の形態における監視対象領域情報の一例を示す図 本実施の形態における回転量の算出手法の一例を説明するための図 本実施の形態における回転後画像の一例を示す図 本実施の形態における中心位置移動処理の一例を示すフローチャート 本実施の形態における移動前画像の領域の分割の一例を示す図 本実施の形態における移動後画像の領域の分割の一例を示す図 本実施の形態における楕円化後画像における各位置の状態の一例を示す図 本実施の形態における歪み補正処理の一例を示すフローチャート 本実施の形態における歪み補正前画像の領域分割の一例を示す図 本実施の形態における歪み補正後画像の領域分割の一例を示す図 本実施の形態における指定監視対象領域の定義の他の例を示す図 本実施の形態における初期状態の全方位画像の他の例を示す図 本実施の形態における回転後画像の他の例を示す図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る全方位画像処理装置を含む監視システムの設置例である。本実施の形態は、本発明を、工場において作業員を監視するための監視システムに適用した例である。

図１に示すように、監視システム１００は、工場内部の監視エリア２００の天井等に床面に向けて備え付けられた全方位カメラ３００と、全方位カメラ３００と通信可能に接続された全方位画像処理装置４００とを有する。

全方位カメラ３００は、全方位の画像を撮影できるカメラであり、ここでは、非特許文献に記載されているような特殊なミラーを用いたカメラを例にして説明する。全方位カメラ３００は、工場が稼動している間、作業員２１０が作業している監視エリア２００を撮影し、撮影した全方位画像の時系列データである動画像データを、全方位画像処理装置４００へ送信する。

図２は、全方位カメラ３００が撮影する全方位画像の一例を示す図である。

図２に示すように、全方位カメラ３００が全方位画像処理装置４００へ送信する動画像データの画像５０１の形状は、矩形であるのに対し、監視エリア２００が撮影されている全方位画像５０２の形状は、正円である。これは、本実施の形態で使用しているミラーの光軸に対する最大断面が正円であるからである。したがって、動画像データの画像５０１には、四隅に撮影されない部分５０３が生ずる。また、本実施の形態における全方位カメラ３００は入射光軸上に小さな反射鏡が設置されるため、全方位画像５０２の中心部には、正円の死角領域５０４が生ずる場合がある。死角が生じる理由については、例えば、非特許文献１および特許文献３に記載されているため、ここでの説明を省略する。

ここでは、全方位カメラ３００が撮影する全方位画像は、見下ろし画像、つまり、全方位カメラの真下を中心とする画像となる。したがって、監視エリア２００の床面に立っている作業員の画像５０５は、その頭部が全方位画像５０２の外周側に向き、その下半身が全方位画像５０２の中心側に向く。形状が矩形である動画像データの画像５０１が１フレームに相当するが、以降、死角領域５０４を含み、形状が正円である全方位画像５０２を画像処理の対象として説明する。

図１の全方位画像処理装置４００は、例えばパーソナルコンピュータである。全方位画像処理装置４００は、全方位カメラ３００から受信した全方位画像に対して、画像処理を行い、工場内の作業員の作業効率向上を目的とした動線解析等に用いられる画像に変換する。具体的には、全方位画像処理装置４００は、全方位画像を回転させる処理と、全方位画像の中心位置を移動させるワーピング処理等を行う。そして、全方位画像処理装置４００は、これらの処理が行われた後の全方位画像を表示する。

画像回転処理は、指定された監視対象が全方位画像の上側中央に位置するよう、全方位画像を回転させる処理である。

また、ワーピング処理とは、画像を分割した各分割領域間の隣接関係を崩さないよう、それぞれの分割領域に非線形の幾何学変換を施すことにより、画像を変形させることを指すものとする。ここでのワーピング処理は、例えば、全方位画像の中心位置を移動させる処理である。

本発明の全方位画像処理装置４００は、監視エリア２００全体の様子を把握することができるような全方位画像を、表示することができる。すなわち、全方位画像処理装置４００は、全方位画像を、その画像の連続性を維持した状態で、指定された監視対象の画像領域の歪みが少ない画像に変換して、表示することができる。また、全方位画像処理装置４００は、監視対象を含む画像領域を拡大表示することも可能である。これにより、システム管理者等のユーザは、変換された画像を見ることで、指定された監視対象（ここでは作業員２１０）の詳細な状況とその周辺の状況を認識することができる。

次に、全方位画像処理装置４００の構成について説明する。

図３は、全方位画像処理装置４００の構成を示すブロック図である。

図３において、全方位画像処理装置４００は、動画像入力部４０１、動画像蓄積部４０２、監視対象位置情報入力部４０３、監視対象位置情報蓄積部４０４、監視対象指定部４０５、画像回転部４０６、中心位置移動部４０７、楕円化部４０８、歪み補正部４０９、出力画像蓄積部４１０、および画像出力部４１１を有する。

動画像入力部４０１は、動画像データを入力する。ここでは、動画像入力部４０１は、全方位カメラ３００から、監視エリア２００を撮影した全方位画像の動画像データを受信し、受信した動画像データをエンコードする。動画像入力部４０１は、エンコードを行う際、各動画像データに対して、１ずつ増加する値であるフレームＩＤを付与すると共に、エンコードした時刻をタイムスタンプとして付与する。動画像入力部４０１は、エンコードした動画像データを動画像蓄積部４０２へ出力する。

動画像蓄積部４０２は、動画像入力部４０１から入力された動画像データを、Ｈ.２６４フォーマット等、複数のフレームにより構成される動画像フォーマットで蓄積する。そして、動画像蓄積部４０２は、監視対象指定部４０５からの指示を受けて、監視対象指定部４０５が指定したフレームＩＤのフレーム（全方位画像）を、画像回転部４０６に出力する。また、動画像蓄積部４０２は、監視対象位置情報蓄積部４０４から参照可能な状態で、フレーム時刻対応表を保持する。フレーム時刻対応表は、フレームＩＤと該当するフレームが撮影された時刻（動画像入力部４０１から入力された時刻）との対応関係を示す情報である。

監視対象位置情報入力部４０３は、所定の周期（例えば０.５秒毎）で、各監視対象の監視対象位置情報を入力し、入力した監視対象位置情報を、監視対象位置情報蓄積部４０４へ出力する。監視対象位置情報は、時刻と、その時刻に監視エリア２００内に存在する監視対象の代表点の全方位画像上の二次元位置座標（以下「画面内位置」という）とを、対応付けて示す情報である。なお、監視対象の代表点は、例えば、無線タグを用いて取得される場合は無線タグの位置であり、全方位画像に対する画像認識によって取得される場合には、監視対象の画像領域の中心点である。

監視対象位置情報蓄積部４０４は、動画像蓄積部４０２から入力されたフレーム時刻対応表と、監視対象位置情報入力部４０３から入力された監視対象位置情報とに基づいて、監視対象位置管理情報を生成し、蓄積する。なお、監視対象位置情報蓄積部４０４は、監視対象指定部４０５から参照可能な状態で蓄積するものである。

監視対象指定部４０５は、動画像蓄積部４０２が蓄積する動画像データの中から表示すべき全方位画像（フレーム）を指定する。また、監視対象指定部４０５は、全方位画像に撮影されている監視対象の中から、特に見易く表示すべき監視対象を指定する。フレームと監視対象の具体的な指定方法については、後述する。監視対象指定部４０５は、動画像蓄積部４０２に対し、指定したフレーム（以下「指定フレーム」という）の全方位画像を、画像回転部４０６へ出力させる。

また、監視対象指定部４０５は、指定フレームにおいて、指定した監視対象（以下「指定監視対象」という）の画面内位置を検出する。そして、監視対象指定部４０５は、検出した指定監視対象の画面内位置（以下「指定監視対象位置」という）を取得し、画像回転部４０６へ出力する。監視対象指定部４０５は、ここでは、液晶ディスプレイ等の表示装置およびキーボードやマウス等の入力装置（いずれも図示せず）を用いて、指定フレームおよび指定監視対象の選択を、ユーザから受け付けるものとする。

画像回転部４０６は、指定監視対象位置に基づいて、動画像蓄積部４０２から入力された指定フレームの全方位画像に対して、上述の画像回転処理を行う。また、画像回転部４０６は、全方位画面内で指定監視対象が占める画像領域（以下「指定監視対象領域」という）を抽出する。そして、画像回転部４０６は、画像回転処理を行った後の全方位画像と、指定監視対象位置および指定監視対象領域（以下、２つを併せた情報を「監視対象位置情報」という）とを、中心位置移動部４０７へ出力する。

以下、適宜、画像回転処理を行う直前の全方位画像を「回転前画像」といい、画像回転処理を行った直後の全方位画像を「回転後画像」という。

中心位置移動部４０７は、画像回転部４０６から入力された回転後画像に対して、回転後画像の中心位置を下方に移動させるワーピング処理（以下「中心位置移動処理」という）を行う。そして、中心位置移動部４０７は、中心位置移動処理を行った後の回転後画像および監視対象位置情報を、楕円化部４０８へ出力する。

以下、適宜、中心位置移動処理を行う直前の全方位画像を「移動前画像」といい、中心位置移動処理を行った直後の全方位画像を「移動後画像」という。

楕円化部４０８は、中心位置移動部４０７から入力された移動後画像に対して、線形の射影変換により、その形状を正円から楕円形に変形させる処理（以下「楕円化処理」という）を行う。そして、楕円化部４０８は、楕円化処理を行った後の移動後画像および監視対象位置情報を、歪み補正部４０９へ出力する。

以下、適宜、楕円化処理を行う直前の全方位画像を「楕円化前画像」といい、楕円化処理を行った直後の全方位画像を「楕円化後画像」という。

歪み補正部４０９は、楕円化部４０８から入力された楕円化後画像の指定監視対象領域について、全方位画像特有の歪みを補正する処理（以下「歪み補正処理」という）を行う。そして、歪み補正部４０９は、歪み補正処理を行った後の楕円化後画像および監視対象位置情報を、出力画像蓄積部４１０へ出力する。

以下、適宜、歪み補正処理を行う直前の全方位画像を「歪み補正前画像」といい、歪み補正処理を行った直後の全方位画像を「歪み補正後画像」という。

出力画像蓄積部４１０は、歪み補正部４０９から入力された歪み補正後画像を蓄積する。

画像出力部４１１は、出力画像蓄積部４１０が蓄積する歪み補正後画像を、最終的な全方位画像として読み出し、液晶ディスプレイ等の表示装置へ出力する。

このような全方位画像処理装置４００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体等により実現することができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する全方位画像処理装置４００は、全方位画像の連続性を維持しつつ、その全方位画像において、実空間において指定監視対象を真横から見たときの見え方により近い状態で、指定監視対象の画像を表示することができる。また、全方位画像処理装置４００は、監視対象を含む画像領域を拡大表示することができる。すなわち、全方位画像処理装置４００は、全方位画像の連続性を維持しつつ、その全方位画像におけるユーザが注目したい監視対象の視認性を向上させることができる。

以下、全方位画像処理装置４００の全体動作について説明する。

ここでは、全方位画像処理装置４００は、情報蓄積動作を行った後に、蓄積された動画像データおよび監視対象位置管理情報に基づいて全方位画像を処理する画像処理動作を行うものとする。ここで、情報蓄積動作とは、動画像データおよび監視対象位置管理情報を蓄積する動作をいうものとする。まず、情報蓄積動作について説明する。

全方位画像処理装置４００は、まず、全方位カメラ３００が撮影した動画像データを、動画像入力部４０１において入力し、動画像蓄積部４０２に蓄積する。動画像蓄積部４０２は、蓄積する動画像データについてフレーム時刻対応表を生成する。

図４は、フレーム時刻対応表の一例を示す図である。

図４に示すように、フレーム時刻対応表６１０は、全方位画像の撮影時刻６１１と、その全方位画像のフレームＩＤ６１２とを対応付けて記述する。撮影周期は一定であり、１つの撮影時刻に１つのフレームが対応する。

ここでは、全方位画像が撮影されてから対応するフレームが動画像蓄積部４０２に入力されるまでに要する時間は、非常に短いものとする。したがって、動画像蓄積部４０２は、入力時刻をそのまま撮影時刻６１１として採用する。なお、全方位画像が撮影されてから対応するフレームが動画像蓄積部４０２に入力されるまでに要する時間を考慮する場合には、動画像蓄積部４０２は、入力時刻から当該時間だけ遡った時刻を撮影時刻６１１とすれば良い。

監視対象位置情報入力部４０３は、監視エリア２００内に存在する監視対象、即ち全方位カメラ３００が撮影した全方位画像に対して、撮影されている監視対象の監視対象位置情報を入力する。なお、監視対象位置情報は、時刻および各監視対象の全方位画像上の位置を含む。監視対象位置情報入力部４０３は、入力した監視対象位置情報を、監視対象位置情報蓄積部４０４に出力する。

図５は、監視対象位置情報の一例を示す図である。

図５に示すように、監視対象位置情報６２０は、監視対象の位置の検出が行われた検出時刻６２１と、監視対象ＩＤ６２２と、検出された監視対象の画面内位置６２３とを対応付けて記述する。画面内位置６２３は、動画像データにおける位置を示し、例えば、後述のように、動画像データの左下隅を原点とするｘｙ座標系を定義したときの座標値で表現される。

なお、監視対象位置情報は、無線タグを用いた測位や、全方位画像に対する画像認識等によって得ることができる。

無線タグを用いた測位の場合には、例えば、監視対象位置情報入力部４０３は、実空間（監視エリア２００）における三次元位置と、全方位カメラ３００により撮影される全方位画像における二次元位置との対応関係を、予め記憶しておく。そして、監視対象位置情報入力部４０３は、所定の周期（例えば０.５秒）で、各監視対象に取り付けた無線タグから、各監視対象のＩＤ情報（以下「監視対象ＩＤ」という）と、各監視対象の代表点の実空間における三次元位置とを取得する。次に、監視対象位置情報入力部４０３は、取得した三次元位置を全方位画像上の二次元位置に変換する。このとき、監視対象位置情報入力部４０３は、各無線タグのＩＤをそのまま監視対象ＩＤとして採用してもよい。

また、画像認識を用いる場合には、例えば、監視対象位置情報入力部４０３は、各監視対象の、顔特徴量および帽子の色等の画像特徴と監視対象ＩＤとを予め記憶しておく。監視対象位置情報入力部４０３は、動画像蓄積部４０２に蓄積された各フレームのうち、所定の周期に対応するフレーム毎に、全方位画像内で各監視対象が占める画像領域を抽出する。そして、監視対象位置情報入力部４０３は、顔認識および帽子の色の認識等を行って、各画像領域の監視対象ＩＤを取得すると共に、各画像領域の全方位画像上の代表位置を、その監視対象の二次元位置として取得する。

監視対象位置情報蓄積部４０４は、監視対象位置情報入力部４０３から入力された監視対象位置情報に基づいて、監視対象位置管理情報を生成し、生成した監視対象位置管理情報を蓄積する。

図６は、監視対象位置管理情報の一例を示す図である。

図６に示すように、監視対象位置管理情報６３０には、フレームＩＤ６３１に対応付けて、そのフレームの全方位画像に撮影されている可能性のある監視対象の監視対象ＩＤ６３２と、その画面内位置６３３との組が、記述されている。

監視対象位置情報蓄積部４０４は、例えば、以下のようにして監視対象位置管理情報６３０を生成する。監視対象位置情報蓄積部４０４は、動画像蓄積部４０２に格納されたフレーム時刻対応表６１０（図４参照）を参照する。そして、監視対象位置情報蓄積部４０４は、フレーム時刻対応表６１０に記述された撮影時刻６１１の区間のうち、監視対象位置情報６２０（図５参照）の検出時刻６２１を包含する区間を検索する。なお、撮影時刻６１１の区間とは、そのフレームの撮影時刻から次のフレームの撮影時刻までをいう。そして、監視対象位置情報蓄積部４０４は、監視対象位置管理情報６３０に示す該当する区間に対応するフレームＩＤ６１２と、図５に示す監視対象位置情報６２０の監視対象ＩＤ６２２および画面内位置６２３とを、対応付ける。

例えば、図５に示すように、「２０１０／１／１３ ９：３４：５５ ０２」という検出時刻６２１に対して、監視対象ＩＤ６２２が「５」、画面内位置６２３が「（７８０，５５０）」と対応付けられた監視対象位置情報６２０が入力される。また、図４に示すように、「２０１０／１／１３ ９：３４：５５ ０２」を包含する区間に対して、フレームＩＤ６１２「１０」を対応付けたフレーム時刻対応表６１０が蓄積されていたとする。

この場合、生成される監視対象位置管理情報６３０は、図６に示すように、フレームＩＤ６３１「１０」に、監視対象ＩＤ６３２「５」および画面内位置６３３「（７８０，５５０）」を対応付けた内容となる。

以上の情報蓄積動作により、動画像データおよび監視対象位置管理情報は、動画像蓄積部４０２および監視対象位置情報蓄積部４０４にそれぞれ蓄積された状態となる。この状態において、全方位画像処理装置４００は、画像処理動作が可能となる。全方位画像処理装置４００は、例えば、監視エリア２００の一日分の動画像データおよび監視対象位置管理情報の蓄積が完了すると、次の日に、これらを用いて画像処理動作を行う。

次に、画像処理動作について説明する。

図７は、全方位画像処理装置４００の画像処理動作を示すフローチャートである。

まず、ステップＳ１０００において、監視対象指定部４０５は、監視対象位置情報蓄積部４０４に格納された監視対象位置管理情報（図６参照）に基づいて、指定監視対象および指定フレームを決定する。指定監視対象および指定フレームは、ユーザにより任意に決定可能としても良いし、所定のルールに基づいて自動で決定されても良い。所定のルールは、例えば、特定の作業員を指定監視対象とし、その作業員が出勤している時間帯のフレームを指定フレームとする内容である。また、所定のルールは、例えば、異常な動きをする監視対象が出現している時間帯のフレームを指定フレームとする内容である。監視対象の動きが異常か否かは、例えば、動画像データに撮影されている監視対象の動作を解析することによって判断すること可能である。

ここでは、監視対象指定部４０５は、監視対象位置情報蓄積部４０４に格納された監視対象位置管理情報に基づいて、監視対象指定画面を生成し、液晶ディスプレイに表示する。ここで、監視対象指定画面とは、ユーザが指定監視対象および指定フレームを選択するための画面である。

図８は、監視対象指定画面の第１の例を示す図である。

図８に示すように、監視対象指定部４０５は、動画像蓄積部４０２に蓄積された代表的な全方位画像６４１に重畳して、各監視対象６４２の監視対象ＩＤ６４３を、監視対象指定画面６４０に表示する。なお、各監視対象６４２の監視対象ＩＤ６４３は、その監視対象６４２の画面内位置に対応付けて、監視対象指定画面６４０に表示される。また、監視対象指定部４０５は、ユーザに対して、いずれかの監視対象６４２に対する選択を促すメッセージ６４４を、監視対象指定画面６４０に表示する。

なお、監視対象指定部４０５は、監視対象ＩＤに対応付けられた監視対象の名称（作業員氏名）等の他の識別情報を、監視対象ＩＤ６４３と共に、または監視対象ＩＤ６４３に代えて、監視対象指定画面６４０に表示しても良い。

監視対象指定部４０５は、監視対象指定画面６４０に表示したいずれかの監視対象６４２が選択されたとき、その監視対象６４２の監視対象ＩＤ６４３を、指定監視対象の監視対象ＩＤとして取得する。そして、監視対象指定部４０５は指定監視対象が撮影されている区間のフレームを、監視対象位置管理情報に基づいて特定し、特定したフレームを、指定フレームとして取得する。

このような監視対象指定画面６４０により、ユーザは、全方位画像６４１における各監視対象６４２の画像および監視対象ＩＤ６４３等を確認して、指定監視対象を任意に選択する。つまり、ユーザは、選択した指定監視対象が撮影されている区間の各フレームを、指定フレームとして選択することができる。

図９は、監視対象指定画面の第２の例を示す図である。

図９に示すように、監視対象指定部４０５は、監視エリア２００の全方位画像６５１に重畳して、各監視対象の情報を、監視対象指定画面６５０に表示する。なお、監視対象の情報は、監視対象位置管理情報に基づいて作成される各監視対象の動線６５２と、各動線６５２に対応付けた監視対象ＩＤ６５３とを含む。動線６５２は、例えば、監視対象が監視エリア２００に進入した位置を丸状の端部によって示し、監視対象が監視エリア２００から退出した位置を矢印状の端部によって示す。また、監視対象指定部４０５は、ユーザに対して、いずれかの動線６５２に対する選択を促すメッセージ６５４を、監視対象指定画面６５０に表示する。

監視対象指定部４０５は、監視対象指定画面６５０に表示したいずれかの動線６５２が選択されたとき、その動線６５２の監視対象ＩＤ６４３を、指定監視対象の監視対象ＩＤとして取得する。そして、監視対象指定部４０５は、指定監視対象が撮影されている区間のフレームを、監視対象位置管理情報に基づいて特定し、特定したフレームを、指定フレームとして選択する。なお、指定監視対象が撮影されている区間は、指定監視対象が監視エリア２００に進入してから退出するまでの区間である。

このような監視対象指定画面６５０により、ユーザは、それぞれの監視対象が通過した場所を確認して、指定監視対象を任意に選択することができる。そして、ユーザは、選択した指定対象が撮影されている区間の各フレームを、指定フレームとして選択することができる。これにより、例えば、監視エリア２００内で事故が発生したとき等に、事故現場を通過した作業員やその作業員の行動を、事故発生後に確認することが容易となる。

図１０は、監視対象指定画面の第３の例を示す図である。

図１０に示すように、監視対象指定部４０５は、例えば、フレームＩＤ６６１と監視対象ＩＤ６６２との組を監視対象指定画面６６０に表示する。また監視対象指定部４０５は、いずれかの組に対する選択を促すメッセージ６６３を、監視対象指定画面６６０に表示する。

監視対象指定部４０５は、監視対象指定画面６６０に表示したいずれかの組が選択されたとき、その組の監視対象ＩＤ６６２およびフレームＩＤ６６１を、指定監視対象の監視対象ＩＤおよび指定フレームのフレームＩＤとして取得する。

このような監視対象指定画面６６０により、ユーザは、指定監視対象および指定フレームを、監視対象ＩＤおよびフレームＩＤによって直接的に設定することができる。そして、監視対象指定部４０５は、指定フレーム以降で指定監視対象が撮影されている区間のフレームを、監視対象位置管理情報に基づいて特定し、特定したフレームを、指定フレームとして取得する。ステップＳ１０００が完了した時点で、１つの指定監視対象と指定監視対象が撮影されている指定フレーム（１つ以上の連続したフレーム）とが選択されていることになる。

なお、新たな動画像データの入力されたときでも、ユーザが同じ監視対象を継続的に監視したいと要望する場合がある。このような場合を考慮して、監視対象指定部４０５は、ステップＳ１０００において、フレームのみの選択を受け付け可能とし、フレームのみの選択を受け付けたときには前回選択された監視対象を指定監視対象としてもよい。

また、逆に、ユーザが同じ指定フレームで監視対象のみを切り換えたいと要望する場合がある。このような場合を考慮して、監視対象指定部４０５は、ステップＳ１０００において、監視対象のみの選択を受け付け可能とし、監視対象のみの選択を受け付けたときには前回選択されたフレームを指定フレームとしてもよい。

ステップＳ２０００において、監視対象指定部４０５は、処理を行っていない指定フレームのうち、フレームＩＤの数字が最も小さいフレームを選択する。そして、監視対象指定部４０５は、動画像蓄積部４０２に対し、選択中の指定フレームのフレームＩＤ（以下「選択中のフレームＩＤ」という）を通知して、１つの指定フレームの全方位画像を画像回転部４０６へ出力させる。

また、監視対象指定部４０５は、選択中のフレームＩＤで示される全方位画面における指定監視対象の画面内位置（指定監視対象位置）を、監視対象位置情報蓄積部４０４に格納された監視対象位置管理情報（図６参照）から取得する。そして、監視対象指定部４０５は、画像回転部４０６に対し、取得した指定監視対象位置を出力する。

以降の説明では、図８に示す監視対象指定画面６４０において、監視対象ＩＤ６４３「１１」の監視対象が指定監視対象として選択されたものとする。

ステップＳ３０００において、画像回転部４０６は、動画像蓄積部４０２から入力された全方位画像に対し、監視対象指定部４０５から入力された指定監視対象位置に基づいて、画像回転処理を行う。ここでは、画像回転部４０６は、図８に示す対象指定画面６４０において右上側に斜めに撮影されている監視対象ＩＤ「１１」の監視対象が、画像上部の中心に位置するように回転させた画像を生成する。

図１１は、画像回転処理の一例を示すフローチャートである。

まず、ステップＳ３１００において、画像回転部４０６は、全方位画像内で指定監視対象（ここでは監視対象ＩＤ「１１」の監視対象）が占める画像領域を抽出する。例えば、画像回転部４０６は、指定監視対象の指定監視対象位置付近において、背景差分法により監視対象領域を抽出、監視対象（例えば、人物）の形状をテンプレートとしたテンプレートマッチングにより監視対象の画像領域を抽出する。

なお、監視対象位置情報入力部４０３が画像認識によって監視対象位置座標を取得する場合、画像回転部４０６は、その際に抽出された監視対象の画像領域を用いて、指定監視対象領域を定義しても良い。

図１２は、指定フレームの初期状態の全方位画像の一例を示す図である。

図１２に示すように、指定フレームの初期状態の全方位画像（回転前画像）６７０は、図８に示す監視対象指定画面６４０の全方位画像６４１と同様に、正円の見下ろし画像であり、実空間における全方位カメラの真下を中心とする画像である。したがって、右上側に位置する指定監視対象の画像６７２の、実空間における鉛直方向に対応する方向６７３は、斜めに傾いている。

なお、図１２において、矩形の動画像データ６７４は、左下隅をｘｙ座標系の原点（０，０）とし、右方向をｘ軸方向、上方向をｙ軸方向として、全方位画像６７０の大きさおよび全方位画像上の監視対象の位置および画像領域を定義する。

全方位画像６７０の半径をｒとすると、全方位画像の上端点、下端点、右端点、左端点の各座標は、それぞれ、（ｒ，２ｒ）、（ｒ，０）、（２ｒ，ｒ）、（０、ｒ）となる。図１２に示す各座標値は、ｒ＝５００の場合の例である。

そして、ステップＳ３２００において、画像回転部４０６は、ステップＳ３１００において抽出した画像領域を基にして、指定監視対象領域を定義し、指定監視対象位置と指定監視対象領域とを含む監視対象位置情報を生成する。

図１３は、指定監視対象領域の定義の一例を示す図である。また、図１４は、監視対象領域情報の一例を示す図である。

図１３に示すように、指定監視対象領域６８０は、例えば、指定監視対象の画像領域６８１に外接し、平行ではない対辺６８２、６８３のそれぞれが全方位画像６８４の半径方向に一致する等脚台形で囲まれた領域である。

画像回転部４０６は、図１４に示すように、等脚台形の３つの端点ぞれぞれのｘｙ座標によって、指定監視対象領域を表現することができる。監視対象領域座標（左上）７０１は、等脚台形の平行な対辺６８５、６８６のうち長い方（外周に近い方）の左端点６８７の座標である。監視対象領域座標（右上）７０２は、等脚台形の平行な対辺６８５、６８６のうち長い方の右端点６８８の座標である。監視対象領域座標（左下）７０３は、等脚台形の平行な対辺６８５、６８６のうち短い方（原点に近い方）の左端点６８９の座標である。

そして、画像回転部４０６は、取得した指定監視対象位置６９０に基づいて、回転前画像から回転後画像を生成するための変換行列を算出する。

具体的には、例えば、以下の通りである。まず、画像回転部４０６は、回転前画像について指定監視対象位置６９０を取得し、基準線６９１と監視対象線６９２とが成す角度６９３を、全方位画像６８４の回転量θとする。ここで、基準線６９１は、全方位画像６８４を見たときにその中心６９４から上向き方向（ｙ軸正方向）に伸びる線である。また、監視対象線６９２は、全方位画像６８４の中心６９４と指定監視対象位置６９０とを結ぶ線である。監視対象線６９２は、例えば、全方位画像６８４の中心６９４と、監視対象領域座標（左上）６８７と監視対象領域座標（右上）６８８との中点とを結ぶ線に一致する。

図１５は、回転量の算出手法の一例を説明するための図であり、図１４に対応するものである。図１４と同一部分には同一符合を付し、これについての説明を省略する。また、以下、中心６９４に対して反時計回りの回転方向を正として説明を行う。

図１５において、監視対象領域座標（左上）６８７と監視対象領域座標（右上）６８８との中点６９５の座標を（ｘ_ｍ，ｙ_ｍ）としたとき、中点６９５と中心６９４を通る監視対象線６９２は、以下の式（１）で表される。

ここでは、基準線６９１と全方位画像６８４の外周との交点６９７から監視対象線６９２への下ろした垂線６９８と、監視対象線６９２との交点を、交点６９９とする。このとき、回転量θは、交点６９７と交点６９９との距離をｄ_１、中心６９４と交点６９９との距離をｄ_２とすると、以下の式（２）、（３）から算出することができる。

画像回転部４０６は、回転前画像における座標を（ｘ，ｙ）とし、回転後画像における座標を（ｘ'，ｙ'）としたとき、以下の式（４）の右項に示す、回転前画像における座標（ｘ，ｙ）に対する係数部分を、変換行列として算出する。この変換行列を用いることにより、画像回転部４０６は、指定監視対象が画像上部の中心に位置する回転後画像を生成することができる。

そして、ステップＳ３４００において、画像回転部４０６は、ステップＳ３３００で算出した変換行列を用いて、回転前画像の各座標を変換し、回転後画像を生成する。そして、画像回転部４０６は、生成した回転後画像と、回転後画像における指定監視対象位置および指定監視対象領域を示す監視対象位置情報とを、中心位置移動部４０７へ出力する。

図１６は、図１１に示す回転前画像６７０に対して画像回転処理を行った後の、回転後画像の一例を示す図である。

図１６に示すように、回転後画像６７０ａでは、指定監視対象の画像６７２は、上側中央に位置し、その実空間における鉛直方向に対応する方向６７３は、下向き方向となっている。

次に、図７のステップＳ４０００において、中心位置移動部４０７は、画像回転部４０６から入力された回転後画像（移動前画像）に対し、中心位置移動処理を行う。

中心位置移動部４０７は、回転後画像の中心位置を下方に移動させるワーピング処理を行うとき、指定監視対象領域が特に拡大するようなワーピング処理を行う。

図１７は、中心位置移動処理の一例を示すフローチャートである。

まず、ステップＳ４１００において、中心位置移動部４０７は、移動前画像の領域を分割する。

図１８は、移動前画像の領域の分割の一例を示す図である。

中心位置移動部４０７は、例えば、移動前画像の領域７１１の中心７１２から外周７１３方向に放射状に延びる複数の線７１４と、移動前画像の外周７１３と同心である複数の円７１５とによって、移動前画像領域の領域７１１を分割する。図１６に示す全方位画像が入力された場合、中心７１２の座標は、（５００，５００）となる。複数の線７１４は、少なくとも中心７１２から上向き方向（ｙ軸正方向）に伸びる線７１４ａを含み、例えば、所定の本数で等間隔に配置される。また、複数の円７１５は、例えば、所定の本数で、隣接する他の円７１５との半径の差が一定となるように配置される。

そして、ステップＳ４２００において、中心位置移動部４０７は、移動前画像の中心の射影先座標を決定する。中心位置移動部４０７は、中心の射影先座標を下方の座標（より小さいｙ座標）に決定する。射影先のｙ座標は、予め定められた値としても良いし、元のｙ座標に対して予め定められた比率を掛けた値としても良い。図１６に示す全方位画像に対しては、例えば、座標（５００，２７０）が決定される。

また、中心位置移動部４０７は、中心７１２から上向き方向に伸びる線７１４ａと外周７１３および各円７１５との交点７２０〜７２４の射影先座標を決定する。中心位置移動部４０７は、例えば、線７１４ａと外周７１３との交点７２０を固定とする。ここで、図１８では、交点７２０と交点７２１との距離を半径方向間隔７２５とし、交点７２１と交点７２２との距離を半径方向間隔７２６とし、交点７２２と交点７２３との距離を半径方向間隔７２７とする。また、図１８では、交点７２３と交点７２４との距離を半径方向間隔７２８とし、交点７２４と中心７２９との距離を半径方向間隔７２９とする。このとき、中心位置移動部４０７は、射影後の半径方向間隔７２５〜７２９の互いの比率（７２５：７２６：７２７：７２８：７２９）を決定する。例えば、中心位置移動部４０７は、射影後の半径方向間隔７２５〜７２９の互いの比率、（７２５：７２６：７２７：７２８：７２９）を（１．０：１．５：０．８：０．５：０．２）と決定する。なお、射影後の半径方向間隔７２５〜７２９の互いの比率を、以下「射影後間隔比率」という。ここでは、中心位置移動部４０７は、指定監視対象領域が拡大表示されるように、指定監視対象領域に対応する半径方向間隔（ここでは半径方向間隔７２６とする）が広くなるように、射影後間隔比率を決定する。また、中心位置移動部４０７は、中心７１２と交点７２１との距離に対する比率（例えば０.３）で、指定監視対象領域に対応する半径方向間隔（ここでは半径方向間隔７２６とする）を決定してもよい。

射影による中心位置の移動距離および射影後間隔比率は、指定監視対象の詳細な状況やその周辺の状況が十分に視認されるような値であることが望ましく、例えば、実験や経験から決定される。

なお、全方位カメラ３００からより遠方（つまり全方位画像の外周７１３に近い方）に位置する監視対象は、移動前画像においてはより小さく表示される。したがって、中心位置移動部４０７は、指定監視対象領域に対応する部分の半径方向間隔を広くしつつ、他の半径方向間隔が外周側ほどより大きくなるように、射影後間隔比率を決定しても良い。

また、中心位置移動部４０７は、全方位カメラ３００と指定監視対象との距離が長いほど、指定監視対象領域に対応する部分の比率をより大きくしても良い。この場合、例えば、中心位置移動部４０７は、予め全方位画像における各位置と、その位置に撮影される監視対象までの距離（その監視対象が立っている床までの距離）との対応関係を格納している。そして、中心位置移動部４０７は、指定監視対象位置に対する距離を、全方位カメラ３００と指定監視対象との距離として取得する。そして、中心位置移動部４０７は、取得した距離に基づいて、指定監視対象領域に対応する部分の比率を決定する。

そして、ステップＳ４３００において、中心位置移動部４０７は、移動後画像の領域を分割する。具体的には、中心位置移動部４０７は、ステップＳ４２００で座標を決定した移動後座標での射影先座標の各点を結ぶ形で、移動後画像の領域を分割する各直線や曲線を決定する。これにより、移動前画像の領域を分割する各直線や曲線を、移動後画像の領域にどのように射影するのかが決定される。

図１９は、移動後画像の領域の分割の一例を示す図である。

図１９に示すように、例えば、中心位置移動部４０７は、決定した射影後の中心７３３を配置する。そして、中心位置移動部４０７は、中心７３３から上向き方向に伸びる線７３４を、決定した射影後間隔比率で分割し、分割点７３５〜７３８を配置する。また、中心位置移動部４０７は、中心７３３から下向き方向に伸びる線７３４'についても、決定した射影後間隔比率で分割し、分割点７３５'〜７３８'を配置する。

その後、図１９に示すように、中心位置移動部４０７は、移動前画像における各円（図１８の円７１５）のそれぞれに対応し、配置された分割点７３５'〜７３８'を通るような楕円７３９で、移動後画像の領域７３１を分割する。更に、中心位置移動部４０７は、移動前画像における各線（図１８の線７１４）のそれぞれに対応し、各楕円７３９の円周を等間隔で分割するような線７４０で、移動後画像の領域７３１を分割する。

そして、ステップＳ４４００において、中心位置移動部４０７は、移動前画像の各分割領域から、移動後画像の対応する分割領域へと、射影変換を行う。例えば、中心位置移動部４０７は、移動前画像における分割領域７４１の画像を、移動後画像において対応する分割領域７４２に射影変換する。

各分割領域は、曲線を辺として持つ四角形または三角形であるが、中心位置移動部４０７は、処理の簡便化のため、全ての辺を直線とみなして射影変換を行っても良い。また、移動前画像の分割領域および移動後画像の分割領域の面積が小さいほど、移動後画像は、分割領域間の継ぎ目が目立たないきれいな画像となる。

中心位置移動部４０７は、生成した移動後画像と、移動後画像における指定監視対象位置および指定監視対象領域を示す監視対象位置情報とを、楕円化部４０８へ出力する。

次に、図７のステップＳ５０００において、楕円化部４０８は、中心位置移動部４０７から入力された移動後画像（楕円化前画像）に対し、楕円化処理を行う。具体的には、楕円化部４０８は、例えば、以下の式（５）に示す２次元行列変換を、楕円化前画像に施す。ここで、（ｘ'，ｙ'）は、楕円化前画像における座標を示し、（ｘ”，ｙ”）は、楕円化後画像における座標を示す。Ｓｘは、楕円化する際のｘ軸方向の拡大率を示す。

拡大率Ｓｘは、固定値でも良いし、指定対象領域の大きさや縦横比に基づいて決定しても良い。例えば、楕円化部４０８は、指定監視対象領域の縦横比を算出し、その縦横比が、人間を真横から見たときの一般的な縦横比に近くなるような拡大率Ｓｘを採用しても良い。ここでは、拡大率が１.５であるものとする。

図２０は、移動後画像において、分割された領域の、楕円化後画像における状態の一例を示す図である。

図２０に示すように、楕円化前画像の中心７３３および中心から上向きに伸びる線７３４は、そのｘ座標値が決定された拡大率で拡大され、ｘ軸の正の方向に移動する。また、楕円化前画像の外周７３２および各楕円７３９は、決定された拡大率でｘ軸方向に引き伸ばされる。また、楕円化部４０８は、これに伴って、各楕円７３９の円周を等間隔で分割する線７４０、および分割領域７４２も、ｘ軸方向に引き伸ばされる。

楕円化部４０８は、生成した楕円化後画像と、楕円化後画像における指定監視対象位置および指定監視対象領域を示す監視対象位置情報とを、歪み補正部４０９へ出力する。

次に、図７のステップＳ６０００において、歪み補正部４０９は、楕円化部４０８から入力された楕円化後画像（歪み補正前画像）に対し、歪み補正処理を行う。具体的には、歪み補正部４０９は、全方位カメラ３００の撮影画像に特有の、直線が丸みを帯びる等の歪みであって、上述の中心移動処理および楕円化処理では解消が困難な歪みの補正を行う。

図２１は、歪み補正処理の一例を示すフローチャートである。

まず、ステップＳ６１００において、歪み補正部４０９は、楕円化後画像における指定監視対象領域を取得する。具体的には、歪み補正部４０９は、楕円化部４０８から入力された、歪み補正前画像（楕円化後画像）における指定監視対象領域を取得する。

そして、ステップＳ６２００において、歪み補正部４０９は、算出した指定監視対象領域に対して、歪み補正を施す。歪み補正の内容は、全方位カメラ３００の光学特性などに応じた内容であり、例えば、実験や経験から定められる。なお、歪み補正部４０９は、一般的な画像処理ソフトウェアにおける歪み補正機能を用いてもよい。また、歪み補正の内容によっては、指定監視対象領域の大きさも形状も変更されない場合もある

そして、ステップＳ６３００において、歪み補正部４０９は、指定監視対象領域の大きさおよび形状の少なくともいずれかに変更があるか否かを判断する。歪み補正部４０９は、指定監視対象領域の大きさおよび形状の少なくともいずれかに変更がある場合（Ｓ６３００：ＹＥＳ）、ステップＳ６４００へ進む。また、歪み補正部４０９は、指定監視対象領域の大きさおよび形状のいずれも変更がない場合（Ｓ６３００：ＮＯ）、そのまま図７の処理へ戻る。

ステップＳ６４００において、歪み補正部４０９は、指定監視対象領域の大きさおよび形状の変更に周囲の領域を合わせる形で、全方位画像の指定監視対象領域以外の領域を射影変換する。

図２２は、歪み補正前画像の領域分割の一例を示す図である。また、図２３は、図２２に示す歪み補正前画像に対する、歪み補正後画像の領域分割の一例を示す図である。

ここでは、歪み補正前画像７６１における指定監視対象領域７６２は、図２２に示すように、４つの分割領域（図中、斜線部）に対応しているものとする。必ずしも指定管理領域と分割領域の区切りが同じとは限らないが、説明を簡便にするため、ここでは指定監視対象領域が複数の分割領域から成っているものとする。また、全方位カメラ３００の光学特性が、歪み補正前画像７６１において、歪み補正前画像７６１の中心７６３により近いほど、左右方向が狭く歪むような光学特性になっているとする。

この場合、歪み補正部４０９は、指定監視対象領域７６２のうち歪み補正前画像７６１の中心７６３に近い側がより広がるように、歪み補正前画像７６１に対する補正を行う。更に、歪み補正部４０９は、歪みが解消された指定監視対象領域がより大きく表示されるように、歪み補正前画像７６１に対する補正を行う。

この結果、図２３に示す歪み補正後画像７７１の指定監視対象領域７７２は、図２２に示す歪み補正前の指定監視対象領域７６２に比べて、等脚台形の上辺と下辺との比率が変化して歪みがより解消される。また、なおかつ、歪み補正後画像７７１の指定監視対象領域７７２は、歪み補正前の指定監視対象領域７６２に比べて、より大きい面積となる。

また、歪み補正部４０９は、分割領域間の隣接関係が維持されるように、指定監視対象領域７７２に隣接する分割領域の大きさおよび形状を補正する。このとき、歪み補正部４０９は、指定監視対象領域７７２に隣接する分割領域７７４から、その更に周囲の分割領域７７５へ、段階的に、指定監視対象領域７７２の変更を吸収するように、各分割領域の大きさおよび形状を補正する。

そして、歪み補正部４０９は、全方位画像の指定監視対象領域以外の各部分を、補正後の対応する分割領域に射影変換し、歪み補正後の指定監視対象領域と他の領域とにより構成される歪み補正後画像を生成する。そして、歪み補正部４０９は、生成した歪み補正後画像を、出力画像蓄積部４１０へ出力する。

これにより、歪み補正の前後で指定監視対象領域の大きさおよび形状が変更になる場合でも、指定監視対象領域と周囲との継ぎ目が目立たないきれいな全方位画像を得ることができる。

出力画像蓄積部４１０は、歪み補正部４０９から入力された歪み補正後画像を蓄積し、画像出力部４１１に歪み補正後画像を出力する。

次に、図７のステップＳ７０００において、画像出力部４１１は、出力画像蓄積部４１０から入力された歪み補正後画像を、液晶ディスプレイ等の表示機器によって表示する。

そして、ステップＳ８０００において、監視対象指定部４０５は、ステップＳ２０００において選択していない指定フレームが存在するか否かを判断する。

監視対象指定部４０５は、指定フレームの最終フレームでなかった場合、つまり、未選択の指定フレームが存在する場合には（Ｓ８０００：ＮＯ）、ステップＳ２０００に戻る。すなわち、監視対象指定部４０５は、選択中のフレームＩＤを１インクリメントして次の指定フレームを選択し、ステップＳ２０００〜Ｓ８０００を繰り返す。

そして、監視対象指定部４０５は、指定フレームの最終フレームであった場合、つまり、未選択の指定フレームが存在しない場合には（Ｓ８０００：ＹＥＳ）、一連の処理を終了する。

このような動作により、全方位画像処理装置４００は、全方位画像の映像の中から、ユーザから注目したい監視対象の指定を受け付け、その監視対象が見易くなるように、映像に対する画像処理を行うことができる。また、この画像処理は、画像回転の後は、ワーピング処理や線形の射影変換のみであるため、全方位画像の連続性を維持することができる。

また、指定フレームが複数である場合、全方位画像処理装置４００は、ユーザが指定した監視対象の監視エリア２００内の移動に追随し、常に全方位画像の上部中央部に当該監視対象を表示し続けることができる。

以上のように、本実施の形態に係る全方位画像処理装置は、指定監視対象の実空間における鉛直方向および左右方向に対応する方向が、全方位画像を見たときの下向き方向および左右方向に近付くように、全方位画像に対して画像処理を行う。これにより、処理後の全方位画像は、指定された監視対象を実際に見たときの状態により近い状態で表示することができ、指定された監視対象の視認性を向上させることができる。すなわち、処理後の全方位画像は、指定監視対象を、その頭部が上となり、その足が下となった状態で、かつ、水平成分の歪曲がより緩和された状態で、表示することができる。また、指定監視対象の周辺が上下方向に引き伸ばされることになるので、指定監視対象およびその周辺の画像をより大きく表示し、指定監視対象およびその周辺の状況をより把握しやすい全方位画像を提示することができる。

また、本実施の形態に係る全方位画像処理装置は、上述の画像処理を、全方位画像の回転と、全方位画像の中心位置を移動させるワーピング処理とによって行うため、全方位画像の連続性を維持することができる。

また、本実施の形態に係る全方位画像処理装置は、全方位画像の中心位置を移動させる際に、指定監視対象領域がより拡大されるようなワーピング処理を行う。更に、本実施の形態に係る全方位画像処理装置は、線形の射影変換により、全方位画像を横に引き伸ばす楕円化処理を行う。これらの処理により、処理後の全方位画像は、指定監視対象およびその周辺の画像を更に大きく表示し、指定監視対象およびその周辺の状況をより把握し易くすることができる。

また、本実施の形態に係る全方位画像処理装置は、指定監視対象領域の歪みを補正し、かつ、その補正に合わせて、周囲の画像領域を補正するようなワーピング処理を行う。これにより、処理後の全方位画像は、指定監視対象の状況を更に把握し易くすることができる。

なお、本実施の形態では、画像処理動作に先立ち、一まとまりの動画像（複数の指定フレーム）についての情報蓄積動作が完了している場合について説明したが、本発明の適用は、これに限定されない。全方位画像処理装置は、例えば、フレーム毎に、情報蓄積動作および画像処理動作を行い、リアルタイムで全方位画像の画像処理および表示を行うようにしても良い。この場合、指定フレームの決定は、フレームＩＤの指定ではなく、表示中の映像の指定に基づいて、または指定監視対象の有無に基づいて、行う必要がある。

また、全方位画像処理装置は、上述の、画像回転処理、中心位置移動処理、中心位置移動処理における指定対象領域の拡大、楕円化処理、および歪み補正処理の全てを、必ずしも実施しなくても良い。例えば、指定監視対象が全方位カメラに接近しており、画質が良く歪みが少ないような場合がある。このような場合には、全方位画像処理装置は、画像回転処理および中心位置移動処理のみを実施するだけでも、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができる。

また、本実施の形態の形態では、指定監視対象領域を、人物の輪郭に外接する枠で囲まれた領域として説明したが、本発明の適用はこれに限定されない。指定監視対象領域は、指定監視対象だけでなく、当該指定監視対象の近傍に位置し当該指定対象の行動に関連する物体（例えば作業台、以下「付属対象」という）等、他の対象をも併せて含む領域であっても良い。

図２４は、指定監視対象領域の定義の他の例を示す図である。

図２４に示すように、指定監視対象７８１は、ディスプレイ機器７８２を見ながら作業をしているものとする。この場合、全方位画像処理装置は、例えば、図示しない視線検出部において、指定監視対象７８１である作業員の視線方向を、瞳孔の動きに対する追跡等の画像認識によって検出する。そして、全方位画像処理装置は、検出した視線方向から、ディスプレイ機器７８２を、付属監視対象と判断する。視線検出部は、指定監視対象７８１が作業する机の上や、壁の低い位置に設置されたカメラなどで実現可能である。そして、画像回転部４０６は、指定監視対象領域７８３を、例えば、指定監視対象７８１の輪郭および付属対象であるディスプレイ機器７８２の両方を含む輪郭に外接する、等脚台形の形状で囲まれた領域に決定する。このように、指定監視対象と付属監視対象とを含む領域を指定監視対象領域とすることにより、付属対象の状態も見易く表示することができ、指定監視対象の行動をより把握し易くすることができる。

また、指定監視対象領域は、上述の等脚台形ではなく、その全方位画像における位置を適切に定義可能な形状であれば、長方形や楕円形等、他の形状としても良い。また、本実施の形態では、図８の監視対象指定画面において、監視対象の画像領域を歪み補正して表示するようにしてもよい。

また、本実施の形態では、初期状態の全方位画像が見下ろし画像の場合について説明したが、本発明の適用は、これに限定されない。例えば、初期状態の全方位画像が見上げ画像である場合にも、本発明の適用が可能である。見上げ画像とは、例えば、監視エリア２００の床面に全方位カメラ３００を天井に向けて備え付けて得られる画像である。

上述のように、見下ろし画像においては、監視エリア２００の床面に立っている作業員の画像は、その頭部が全方位画像の外周側に向き、その下半身が全方位画像の中心側に向く。これに対し、見上げ画像においては、監視エリア２００の床面に立っている作業員の画像は、その頭部が全方位画像の中心側に向き、その下半身が全方位画像の外周側に向く。

したがって、初期状態の全方位画像が見上げ画像である場合、全方位画像処理装置は、画像回転処理において指定監視対象を下側中央に回転させ、中心位置移動処理において全方位画像の中心を上方向に移動させれば良い。

また、本実施の形態では、入射光軸上に小さな反射鏡が設置された全方位カメラを用いた場合について説明したが、本発明は、魚眼レンズを採用した全方位カメラを用いた場合にも適用が可能である。

図２５は、魚眼レンズを採用した場合における、指定フレームの初期状態の全方位画像の一例を示す図であり、図１２に対応するものである。

図２５で示すように、魚眼レンズを採用した全方位カメラを用いた場合、初期状態の全方位画像である回転前画像６７０の中心部に死角領域は生じない。したがって、回転前画像６７０の中心点上に位置する監視対象７８４が存在し得る。

このような監視対象７８４が存在する場合、全方位画像処理装置は、例えば、監視対象７８４の実空間における鉛直方向が、全方位画像を見たときの下向き方向に一致するように、画像回転処理を行う。

図２６は、図２５に示す回転前画像６７０に対して監視対象７８４を基準に画像回転処理を行った後の、回転後画像の一例を示す図であり、図１６に対応するものである。このような処理により、全方位カメラからの距離が最も近い（全方位カメラの真下の）監視対象を視認し易い回転後画像６７０ａを得ることができる。

なお、全方位画像処理装置は、画像回転処理後に、例えば、次のような処理をすることにより、監視対象の視認性を高めることが可能である。１つ目は、監視対象を全方位画像の中心点上に存在させたまま、監視対象の画像領域を拡大する処理である。２つ目は、全方位画像の中心を上方向に移動させ、その結果得られた全方位画像の中心を、下方向に移動させる処理である。２つ目の処理によれば、監視対象は全方位画像の上部に表示されるので、更に必要に応じて、歪み補正処理を行うことが望ましい。

また、本実施の形態では、工場において作業員を監視するための監視システムについて説明したが、本発明の適用はこれに限定されない。本発明は、例えば、販売店舗の店内を万引き行為の監視のために撮影するシステム等、全方位画像を扱う各種の装置およびシステムに適用することができる。

２０１０年３月１８日出願の特願２０１０−６２５６０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る全方位画像処理装置および全方位画像処理方法は、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができるので、販売店舗、工場等の広いエリアを監視する監視システムとして有用である。

１００ 監視システム
２００ 監視エリア
３００ 全方位カメラ
４００ 全方位画像処理装置
４０１ 動画像入力部
４０２ 動画像蓄積部
４０３ 監視対象位置情報入力部
４０４ 監視対象位置情報蓄積部
４０５ 監視対象指定部
４０６ 画像回転部
４０７ 中心位置移動部
４０８ 楕円化部
４０９ 歪み補正部
４１０ 出力画像蓄積部
４１１ 画像出力部

本発明は、全方位画像に対して画像処理を行う全方位画像処理装置および全方位画像処理方法に関する。

全方位カメラは、通常のカメラに魚眼レンズや球面ミラー等の特殊な光学系を組み合わせたカメラを用いることにより、一度の撮影で全方位の画像（以下「全方位画像」という）が得られるようにしたカメラである（例えば非特許文献１参照）。全方位カメラは、監視システム等、広い分野で活用されている。ところが、全方位画像では、人物や物体など個々の被写体（以下「監視対象」という）の画像の歪みが大きいため、個々の監視対象の様子を把握し難い。

そこで、従来、全方位画像に対して画像処理を行う技術が提案されている（例えば、特許文献１および特許文献２参照）。特許文献１に記載の技術は、全方位画像を、環状の画像、具体的には、中心位置が異なる大小２つの楕円に挟まれた領域内に表示される画像に変換する。この技術により、個々の監視対象の位置関係を容易に把握させることが可能である。また、特許文献２に記載の技術は、全方位画像をパノラマ状の横長画像に座標変換し、指定された監視対象の画像を切り出して歪み補正を行う。この技術により、全方位画像から、個々の監視対象の画像の歪みが少ない画像を生成することが可能である。

特開２００３−１３２３４８号公報 特開２００８−４８４４３号公報 特開平１１−３３１６５４号公報

山澤一誠、八木康史、谷内田正彦、「移動ロボットのナビゲーションのための全方位視覚センサ」、電子情報通信学会誌Ｄ−ＩＩ、社団法人電子情報通信学会、１９９６年５月２５日、Ｖｏｌ.Ｊ７９−Ｄ−ＩＩ、ｐ.６９８−７０７

しかしながら、特許文献１および特許文献２に記載の技術では、広い範囲における監視対象の詳細な状況の把握や、監視対象の周辺の状況についての直感的な把握が、難しい場合がある。

特許文献１に記載の技術では、中心位置が異なる大小２つの楕円に挟まれた領域のうち、狭い方に監視対象が存在する場合には、監視対象と監視対象周辺の画像が縮小されてしまうからである。また、特許文献２に記載の技術では、指定された監視対象の画像部分のみが切り出されて表示され、全方位画像の連続性が失われるからである。

本発明の目的は、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させる全方位画像処理装置およびその方法を提供することである。

本発明の全方位画像処理装置は、全方位画像に対して画像処理を行う全方位画像処理装置であって、前記全方位画像に撮影されている監視対象を指定する監視対象指定部と、前記指定された監視対象の位置が上側中央となるように、前記全方位画像を回転させる画像回転部と、前記画像回転部によって回転された前記全方位画像の中心位置を、ワーピング処理によって下方向に移動させる中心位置移動部とを有する。

本発明の全方位画像処理方法は、全方位画像に対して画像処理を行う全方位画像処理方法であって、前記全方位画像に撮影されている監視対象を指定するステップと、前記指定された監視対象の位置が上側中央となるように、前記全方位画像を回転させるステップと、回転された前記全方位画像の中心位置を、ワーピング処理によって下方向に移動させるステップとを有する。

本発明によれば、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができる。

本発明の一実施の形態に係る全方位画像処理装置を含む監視システムの設置例を示すシステム構成図 本実施の形態における全方位画像の一例を示す図 本実施の形態に係る全方位画像処理装置の構成を示すブロック図 本実施の形態におけるフレーム時刻対応表の一例を示す図 本実施の形態における監視対象位置情報の一例を示す図 本実施の形態における監視対象位置管理情報の一例を示す図 本実施の形態における画像処理動作を示すフローチャート 本実施の形態における監視対象指定画面の第１の例を示す図 本実施の形態における監視対象指定画面の第２の例を示す図 本実施の形態における監視対象指定画面の第３の例を示す図 本実施の形態における画像回転処理の一例を示すフローチャート 本実施の形態における初期状態の全方位画像の一例を示す図 本実施の形態における指定監視対象領域の定義の一例を示す図 本実施の形態における監視対象領域情報の一例を示す図 本実施の形態における回転量の算出手法の一例を説明するための図 本実施の形態における回転後画像の一例を示す図 本実施の形態における中心位置移動処理の一例を示すフローチャート 本実施の形態における移動前画像の領域の分割の一例を示す図 本実施の形態における移動後画像の領域の分割の一例を示す図 本実施の形態における楕円化後画像における各位置の状態の一例を示す図 本実施の形態における歪み補正処理の一例を示すフローチャート 本実施の形態における歪み補正前画像の領域分割の一例を示す図 本実施の形態における歪み補正後画像の領域分割の一例を示す図 本実施の形態における指定監視対象領域の定義の他の例を示す図 本実施の形態における初期状態の全方位画像の他の例を示す図 本実施の形態における回転後画像の他の例を示す図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る全方位画像処理装置を含む監視システムの設置例である。本実施の形態は、本発明を、工場において作業員を監視するための監視システム
に適用した例である。

図１に示すように、監視システム１００は、工場内部の監視エリア２００の天井等に床面に向けて備え付けられた全方位カメラ３００と、全方位カメラ３００と通信可能に接続された全方位画像処理装置４００とを有する。

全方位カメラ３００は、全方位の画像を撮影できるカメラであり、ここでは、非特許文献に記載されているような特殊なミラーを用いたカメラを例にして説明する。全方位カメラ３００は、工場が稼動している間、作業員２１０が作業している監視エリア２００を撮影し、撮影した全方位画像の時系列データである動画像データを、全方位画像処理装置４００へ送信する。

図２は、全方位カメラ３００が撮影する全方位画像の一例を示す図である。

図２に示すように、全方位カメラ３００が全方位画像処理装置４００へ送信する動画像データの画像５０１の形状は、矩形であるのに対し、監視エリア２００が撮影されている全方位画像５０２の形状は、正円である。これは、本実施の形態で使用しているミラーの光軸に対する最大断面が正円であるからである。したがって、動画像データの画像５０１には、四隅に撮影されない部分５０３が生ずる。また、本実施の形態における全方位カメラ３００は入射光軸上に小さな反射鏡が設置されるため、全方位画像５０２の中心部には、正円の死角領域５０４が生ずる場合がある。死角が生じる理由については、例えば、非特許文献１および特許文献３に記載されているため、ここでの説明を省略する。

ここでは、全方位カメラ３００が撮影する全方位画像は、見下ろし画像、つまり、全方位カメラの真下を中心とする画像となる。したがって、監視エリア２００の床面に立っている作業員の画像５０５は、その頭部が全方位画像５０２の外周側に向き、その下半身が全方位画像５０２の中心側に向く。形状が矩形である動画像データの画像５０１が１フレームに相当するが、以降、死角領域５０４を含み、形状が正円である全方位画像５０２を画像処理の対象として説明する。

図１の全方位画像処理装置４００は、例えばパーソナルコンピュータである。全方位画像処理装置４００は、全方位カメラ３００から受信した全方位画像に対して、画像処理を行い、工場内の作業員の作業効率向上を目的とした動線解析等に用いられる画像に変換する。具体的には、全方位画像処理装置４００は、全方位画像を回転させる処理と、全方位画像の中心位置を移動させるワーピング処理等を行う。そして、全方位画像処理装置４００は、これらの処理が行われた後の全方位画像を表示する。

画像回転処理は、指定された監視対象が全方位画像の上側中央に位置するよう、全方位画像を回転させる処理である。

また、ワーピング処理とは、画像を分割した各分割領域間の隣接関係を崩さないよう、それぞれの分割領域に非線形の幾何学変換を施すことにより、画像を変形させることを指すものとする。ここでのワーピング処理は、例えば、全方位画像の中心位置を移動させる処理である。

本発明の全方位画像処理装置４００は、監視エリア２００全体の様子を把握することができるような全方位画像を、表示することができる。すなわち、全方位画像処理装置４００は、全方位画像を、その画像の連続性を維持した状態で、指定された監視対象の画像領域の歪みが少ない画像に変換して、表示することができる。また、全方位画像処理装置４００は、監視対象を含む画像領域を拡大表示することも可能である。これにより、システ
ム管理者等のユーザは、変換された画像を見ることで、指定された監視対象（ここでは作業員２１０）の詳細な状況とその周辺の状況を認識することができる。

次に、全方位画像処理装置４００の構成について説明する。

図３は、全方位画像処理装置４００の構成を示すブロック図である。

図３において、全方位画像処理装置４００は、動画像入力部４０１、動画像蓄積部４０２、監視対象位置情報入力部４０３、監視対象位置情報蓄積部４０４、監視対象指定部４０５、画像回転部４０６、中心位置移動部４０７、楕円化部４０８、歪み補正部４０９、出力画像蓄積部４１０、および画像出力部４１１を有する。

動画像入力部４０１は、動画像データを入力する。ここでは、動画像入力部４０１は、全方位カメラ３００から、監視エリア２００を撮影した全方位画像の動画像データを受信し、受信した動画像データをエンコードする。動画像入力部４０１は、エンコードを行う際、各動画像データに対して、１ずつ増加する値であるフレームＩＤを付与すると共に、エンコードした時刻をタイムスタンプとして付与する。動画像入力部４０１は、エンコードした動画像データを動画像蓄積部４０２へ出力する。

動画像蓄積部４０２は、動画像入力部４０１から入力された動画像データを、Ｈ.２６４フォーマット等、複数のフレームにより構成される動画像フォーマットで蓄積する。そして、動画像蓄積部４０２は、監視対象指定部４０５からの指示を受けて、監視対象指定部４０５が指定したフレームＩＤのフレーム（全方位画像）を、画像回転部４０６に出力する。また、動画像蓄積部４０２は、監視対象位置情報蓄積部４０４から参照可能な状態で、フレーム時刻対応表を保持する。フレーム時刻対応表は、フレームＩＤと該当するフレームが撮影された時刻（動画像入力部４０１から入力された時刻）との対応関係を示す情報である。

監視対象位置情報入力部４０３は、所定の周期（例えば０.５秒毎）で、各監視対象の監視対象位置情報を入力し、入力した監視対象位置情報を、監視対象位置情報蓄積部４０４へ出力する。監視対象位置情報は、時刻と、その時刻に監視エリア２００内に存在する監視対象の代表点の全方位画像上の二次元位置座標（以下「画面内位置」という）とを、対応付けて示す情報である。なお、監視対象の代表点は、例えば、無線タグを用いて取得される場合は無線タグの位置であり、全方位画像に対する画像認識によって取得される場合には、監視対象の画像領域の中心点である。

監視対象位置情報蓄積部４０４は、動画像蓄積部４０２から入力されたフレーム時刻対応表と、監視対象位置情報入力部４０３から入力された監視対象位置情報とに基づいて、監視対象位置管理情報を生成し、蓄積する。なお、監視対象位置情報蓄積部４０４は、監視対象指定部４０５から参照可能な状態で蓄積するものである。

監視対象指定部４０５は、動画像蓄積部４０２が蓄積する動画像データの中から表示すべき全方位画像（フレーム）を指定する。また、監視対象指定部４０５は、全方位画像に撮影されている監視対象の中から、特に見易く表示すべき監視対象を指定する。フレームと監視対象の具体的な指定方法については、後述する。監視対象指定部４０５は、動画像蓄積部４０２に対し、指定したフレーム（以下「指定フレーム」という）の全方位画像を、画像回転部４０６へ出力させる。

また、監視対象指定部４０５は、指定フレームにおいて、指定した監視対象（以下「指定監視対象」という）の画面内位置を検出する。そして、監視対象指定部４０５は、検出
した指定監視対象の画面内位置（以下「指定監視対象位置」という）を取得し、画像回転部４０６へ出力する。監視対象指定部４０５は、ここでは、液晶ディスプレイ等の表示装置およびキーボードやマウス等の入力装置（いずれも図示せず）を用いて、指定フレームおよび指定監視対象の選択を、ユーザから受け付けるものとする。

画像回転部４０６は、指定監視対象位置に基づいて、動画像蓄積部４０２から入力された指定フレームの全方位画像に対して、上述の画像回転処理を行う。また、画像回転部４０６は、全方位画面内で指定監視対象が占める画像領域（以下「指定監視対象領域」という）を抽出する。そして、画像回転部４０６は、画像回転処理を行った後の全方位画像と、指定監視対象位置および指定監視対象領域（以下、２つを併せた情報を「監視対象位置情報」という）とを、中心位置移動部４０７へ出力する。

以下、適宜、画像回転処理を行う直前の全方位画像を「回転前画像」といい、画像回転処理を行った直後の全方位画像を「回転後画像」という。

中心位置移動部４０７は、画像回転部４０６から入力された回転後画像に対して、回転後画像の中心位置を下方に移動させるワーピング処理（以下「中心位置移動処理」という）を行う。そして、中心位置移動部４０７は、中心位置移動処理を行った後の回転後画像および監視対象位置情報を、楕円化部４０８へ出力する。

以下、適宜、中心位置移動処理を行う直前の全方位画像を「移動前画像」といい、中心位置移動処理を行った直後の全方位画像を「移動後画像」という。

楕円化部４０８は、中心位置移動部４０７から入力された移動後画像に対して、線形の射影変換により、その形状を正円から楕円形に変形させる処理（以下「楕円化処理」という）を行う。そして、楕円化部４０８は、楕円化処理を行った後の移動後画像および監視対象位置情報を、歪み補正部４０９へ出力する。

以下、適宜、楕円化処理を行う直前の全方位画像を「楕円化前画像」といい、楕円化処理を行った直後の全方位画像を「楕円化後画像」という。

歪み補正部４０９は、楕円化部４０８から入力された楕円化後画像の指定監視対象領域について、全方位画像特有の歪みを補正する処理（以下「歪み補正処理」という）を行う。そして、歪み補正部４０９は、歪み補正処理を行った後の楕円化後画像および監視対象位置情報を、出力画像蓄積部４１０へ出力する。

以下、適宜、歪み補正処理を行う直前の全方位画像を「歪み補正前画像」といい、歪み補正処理を行った直後の全方位画像を「歪み補正後画像」という。

出力画像蓄積部４１０は、歪み補正部４０９から入力された歪み補正後画像を蓄積する。

画像出力部４１１は、出力画像蓄積部４１０が蓄積する歪み補正後画像を、最終的な全方位画像として読み出し、液晶ディスプレイ等の表示装置へ出力する。

このような全方位画像処理装置４００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体等により実現することができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する全方位画像処理装置４００は、全方位画像の連続性を維持しつつ、その全方位画像において、実空間において指定監視対象を真横から見たときの見え方により近い状態で、指定監視対象の画像を表示することができる。また、全方位画像処理装置４００は、監視対象を含む画像領域を拡大表示することができる。すなわち、全方位画像処理装置４００は、全方位画像の連続性を維持しつつ、その全方位画像におけるユーザが注目したい監視対象の視認性を向上させることができる。

以下、全方位画像処理装置４００の全体動作について説明する。

ここでは、全方位画像処理装置４００は、情報蓄積動作を行った後に、蓄積された動画像データおよび監視対象位置管理情報に基づいて全方位画像を処理する画像処理動作を行うものとする。ここで、情報蓄積動作とは、動画像データおよび監視対象位置管理情報を蓄積する動作をいうものとする。まず、情報蓄積動作について説明する。

全方位画像処理装置４００は、まず、全方位カメラ３００が撮影した動画像データを、動画像入力部４０１において入力し、動画像蓄積部４０２に蓄積する。動画像蓄積部４０２は、蓄積する動画像データについてフレーム時刻対応表を生成する。

図４は、フレーム時刻対応表の一例を示す図である。

図４に示すように、フレーム時刻対応表６１０は、全方位画像の撮影時刻６１１と、その全方位画像のフレームＩＤ６１２とを対応付けて記述する。撮影周期は一定であり、１つの撮影時刻に１つのフレームが対応する。

ここでは、全方位画像が撮影されてから対応するフレームが動画像蓄積部４０２に入力されるまでに要する時間は、非常に短いものとする。したがって、動画像蓄積部４０２は、入力時刻をそのまま撮影時刻６１１として採用する。なお、全方位画像が撮影されてから対応するフレームが動画像蓄積部４０２に入力されるまでに要する時間を考慮する場合には、動画像蓄積部４０２は、入力時刻から当該時間だけ遡った時刻を撮影時刻６１１とすれば良い。

監視対象位置情報入力部４０３は、監視エリア２００内に存在する監視対象、即ち全方位カメラ３００が撮影した全方位画像に対して、撮影されている監視対象の監視対象位置情報を入力する。なお、監視対象位置情報は、時刻および各監視対象の全方位画像上の位置を含む。監視対象位置情報入力部４０３は、入力した監視対象位置情報を、監視対象位置情報蓄積部４０４に出力する。

図５は、監視対象位置情報の一例を示す図である。

図５に示すように、監視対象位置情報６２０は、監視対象の位置の検出が行われた検出時刻６２１と、監視対象ＩＤ６２２と、検出された監視対象の画面内位置６２３とを対応付けて記述する。画面内位置６２３は、動画像データにおける位置を示し、例えば、後述のように、動画像データの左下隅を原点とするｘｙ座標系を定義したときの座標値で表現される。

なお、監視対象位置情報は、無線タグを用いた測位や、全方位画像に対する画像認識等によって得ることができる。

無線タグを用いた測位の場合には、例えば、監視対象位置情報入力部４０３は、実空間
（監視エリア２００）における三次元位置と、全方位カメラ３００により撮影される全方位画像における二次元位置との対応関係を、予め記憶しておく。そして、監視対象位置情報入力部４０３は、所定の周期（例えば０.５秒）で、各監視対象に取り付けた無線タグから、各監視対象のＩＤ情報（以下「監視対象ＩＤ」という）と、各監視対象の代表点の実空間における三次元位置とを取得する。次に、監視対象位置情報入力部４０３は、取得した三次元位置を全方位画像上の二次元位置に変換する。このとき、監視対象位置情報入力部４０３は、各無線タグのＩＤをそのまま監視対象ＩＤとして採用してもよい。

また、画像認識を用いる場合には、例えば、監視対象位置情報入力部４０３は、各監視対象の、顔特徴量および帽子の色等の画像特徴と監視対象ＩＤとを予め記憶しておく。監視対象位置情報入力部４０３は、動画像蓄積部４０２に蓄積された各フレームのうち、所定の周期に対応するフレーム毎に、全方位画像内で各監視対象が占める画像領域を抽出する。そして、監視対象位置情報入力部４０３は、顔認識および帽子の色の認識等を行って、各画像領域の監視対象ＩＤを取得すると共に、各画像領域の全方位画像上の代表位置を、その監視対象の二次元位置として取得する。

監視対象位置情報蓄積部４０４は、監視対象位置情報入力部４０３から入力された監視対象位置情報に基づいて、監視対象位置管理情報を生成し、生成した監視対象位置管理情報を蓄積する。

図６は、監視対象位置管理情報の一例を示す図である。

図６に示すように、監視対象位置管理情報６３０には、フレームＩＤ６３１に対応付けて、そのフレームの全方位画像に撮影されている可能性のある監視対象の監視対象ＩＤ６３２と、その画面内位置６３３との組が、記述されている。

監視対象位置情報蓄積部４０４は、例えば、以下のようにして監視対象位置管理情報６３０を生成する。監視対象位置情報蓄積部４０４は、動画像蓄積部４０２に格納されたフレーム時刻対応表６１０（図４参照）を参照する。そして、監視対象位置情報蓄積部４０４は、フレーム時刻対応表６１０に記述された撮影時刻６１１の区間のうち、監視対象位置情報６２０（図５参照）の検出時刻６２１を包含する区間を検索する。なお、撮影時刻６１１の区間とは、そのフレームの撮影時刻から次のフレームの撮影時刻までをいう。そして、監視対象位置情報蓄積部４０４は、監視対象位置管理情報６３０に示す該当する区間に対応するフレームＩＤ６１２と、図５に示す監視対象位置情報６２０の監視対象ＩＤ６２２および画面内位置６２３とを、対応付ける。

例えば、図５に示すように、「２０１０／１／１３ ９：３４：５５ ０２」という検出時刻６２１に対して、監視対象ＩＤ６２２が「５」、画面内位置６２３が「（７８０，５５０）」と対応付けられた監視対象位置情報６２０が入力される。また、図４に示すように、「２０１０／１／１３ ９：３４：５５ ０２」を包含する区間に対して、フレームＩＤ６１２「１０」を対応付けたフレーム時刻対応表６１０が蓄積されていたとする。

この場合、生成される監視対象位置管理情報６３０は、図６に示すように、フレームＩＤ６３１「１０」に、監視対象ＩＤ６３２「５」および画面内位置６３３「（７８０，５５０）」を対応付けた内容となる。

以上の情報蓄積動作により、動画像データおよび監視対象位置管理情報は、動画像蓄積部４０２および監視対象位置情報蓄積部４０４にそれぞれ蓄積された状態となる。この状態において、全方位画像処理装置４００は、画像処理動作が可能となる。全方位画像処理装置４００は、例えば、監視エリア２００の一日分の動画像データおよび監視対象位置管
理情報の蓄積が完了すると、次の日に、これらを用いて画像処理動作を行う。

次に、画像処理動作について説明する。

図７は、全方位画像処理装置４００の画像処理動作を示すフローチャートである。

まず、ステップＳ１０００において、監視対象指定部４０５は、監視対象位置情報蓄積部４０４に格納された監視対象位置管理情報（図６参照）に基づいて、指定監視対象および指定フレームを決定する。指定監視対象および指定フレームは、ユーザにより任意に決定可能としても良いし、所定のルールに基づいて自動で決定されても良い。所定のルールは、例えば、特定の作業員を指定監視対象とし、その作業員が出勤している時間帯のフレームを指定フレームとする内容である。また、所定のルールは、例えば、異常な動きをする監視対象が出現している時間帯のフレームを指定フレームとする内容である。監視対象の動きが異常か否かは、例えば、動画像データに撮影されている監視対象の動作を解析することによって判断すること可能である。

ここでは、監視対象指定部４０５は、監視対象位置情報蓄積部４０４に格納された監視対象位置管理情報に基づいて、監視対象指定画面を生成し、液晶ディスプレイに表示する。ここで、監視対象指定画面とは、ユーザが指定監視対象および指定フレームを選択するための画面である。

図８は、監視対象指定画面の第１の例を示す図である。

図８に示すように、監視対象指定部４０５は、動画像蓄積部４０２に蓄積された代表的な全方位画像６４１に重畳して、各監視対象６４２の監視対象ＩＤ６４３を、監視対象指定画面６４０に表示する。なお、各監視対象６４２の監視対象ＩＤ６４３は、その監視対象６４２の画面内位置に対応付けて、監視対象指定画面６４０に表示される。また、監視対象指定部４０５は、ユーザに対して、いずれかの監視対象６４２に対する選択を促すメッセージ６４４を、監視対象指定画面６４０に表示する。

なお、監視対象指定部４０５は、監視対象ＩＤに対応付けられた監視対象の名称（作業員氏名）等の他の識別情報を、監視対象ＩＤ６４３と共に、または監視対象ＩＤ６４３に代えて、監視対象指定画面６４０に表示しても良い。

監視対象指定部４０５は、監視対象指定画面６４０に表示したいずれかの監視対象６４２が選択されたとき、その監視対象６４２の監視対象ＩＤ６４３を、指定監視対象の監視対象ＩＤとして取得する。そして、監視対象指定部４０５は指定監視対象が撮影されている区間のフレームを、監視対象位置管理情報に基づいて特定し、特定したフレームを、指定フレームとして取得する。

このような監視対象指定画面６４０により、ユーザは、全方位画像６４１における各監視対象６４２の画像および監視対象ＩＤ６４３等を確認して、指定監視対象を任意に選択する。つまり、ユーザは、選択した指定監視対象が撮影されている区間の各フレームを、指定フレームとして選択することができる。

図９は、監視対象指定画面の第２の例を示す図である。

図９に示すように、監視対象指定部４０５は、監視エリア２００の全方位画像６５１に重畳して、各監視対象の情報を、監視対象指定画面６５０に表示する。なお、監視対象の情報は、監視対象位置管理情報に基づいて作成される各監視対象の動線６５２と、各動線
６５２に対応付けた監視対象ＩＤ６５３とを含む。動線６５２は、例えば、監視対象が監視エリア２００に進入した位置を丸状の端部によって示し、監視対象が監視エリア２００から退出した位置を矢印状の端部によって示す。また、監視対象指定部４０５は、ユーザに対して、いずれかの動線６５２に対する選択を促すメッセージ６５４を、監視対象指定画面６５０に表示する。

監視対象指定部４０５は、監視対象指定画面６５０に表示したいずれかの動線６５２が選択されたとき、その動線６５２の監視対象ＩＤ６４３を、指定監視対象の監視対象ＩＤとして取得する。そして、監視対象指定部４０５は、指定監視対象が撮影されている区間のフレームを、監視対象位置管理情報に基づいて特定し、特定したフレームを、指定フレームとして選択する。なお、指定監視対象が撮影されている区間は、指定監視対象が監視エリア２００に進入してから退出するまでの区間である。

このような監視対象指定画面６５０により、ユーザは、それぞれの監視対象が通過した場所を確認して、指定監視対象を任意に選択することができる。そして、ユーザは、選択した指定対象が撮影されている区間の各フレームを、指定フレームとして選択することができる。これにより、例えば、監視エリア２００内で事故が発生したとき等に、事故現場を通過した作業員やその作業員の行動を、事故発生後に確認することが容易となる。

図１０は、監視対象指定画面の第３の例を示す図である。

図１０に示すように、監視対象指定部４０５は、例えば、フレームＩＤ６６１と監視対象ＩＤ６６２との組を監視対象指定画面６６０に表示する。また監視対象指定部４０５は、いずれかの組に対する選択を促すメッセージ６６３を、監視対象指定画面６６０に表示する。

監視対象指定部４０５は、監視対象指定画面６６０に表示したいずれかの組が選択されたとき、その組の監視対象ＩＤ６６２およびフレームＩＤ６６１を、指定監視対象の監視対象ＩＤおよび指定フレームのフレームＩＤとして取得する。

このような監視対象指定画面６６０により、ユーザは、指定監視対象および指定フレームを、監視対象ＩＤおよびフレームＩＤによって直接的に設定することができる。そして、監視対象指定部４０５は、指定フレーム以降で指定監視対象が撮影されている区間のフレームを、監視対象位置管理情報に基づいて特定し、特定したフレームを、指定フレームとして取得する。ステップＳ１０００が完了した時点で、１つの指定監視対象と指定監視対象が撮影されている指定フレーム（１つ以上の連続したフレーム）とが選択されていることになる。

なお、新たな動画像データの入力されたときでも、ユーザが同じ監視対象を継続的に監視したいと要望する場合がある。このような場合を考慮して、監視対象指定部４０５は、ステップＳ１０００において、フレームのみの選択を受け付け可能とし、フレームのみの選択を受け付けたときには前回選択された監視対象を指定監視対象としてもよい。

また、逆に、ユーザが同じ指定フレームで監視対象のみを切り換えたいと要望する場合がある。このような場合を考慮して、監視対象指定部４０５は、ステップＳ１０００において、監視対象のみの選択を受け付け可能とし、監視対象のみの選択を受け付けたときには前回選択されたフレームを指定フレームとしてもよい。

ステップＳ２０００において、監視対象指定部４０５は、処理を行っていない指定フレームのうち、フレームＩＤの数字が最も小さいフレームを選択する。そして、監視対象指
定部４０５は、動画像蓄積部４０２に対し、選択中の指定フレームのフレームＩＤ（以下「選択中のフレームＩＤ」という）を通知して、１つの指定フレームの全方位画像を画像回転部４０６へ出力させる。

また、監視対象指定部４０５は、選択中のフレームＩＤで示される全方位画面における指定監視対象の画面内位置（指定監視対象位置）を、監視対象位置情報蓄積部４０４に格納された監視対象位置管理情報（図６参照）から取得する。そして、監視対象指定部４０５は、画像回転部４０６に対し、取得した指定監視対象位置を出力する。

以降の説明では、図８に示す監視対象指定画面６４０において、監視対象ＩＤ６４３「１１」の監視対象が指定監視対象として選択されたものとする。

ステップＳ３０００において、画像回転部４０６は、動画像蓄積部４０２から入力された全方位画像に対し、監視対象指定部４０５から入力された指定監視対象位置に基づいて、画像回転処理を行う。ここでは、画像回転部４０６は、図８に示す対象指定画面６４０において右上側に斜めに撮影されている監視対象ＩＤ「１１」の監視対象が、画像上部の中心に位置するように回転させた画像を生成する。

図１１は、画像回転処理の一例を示すフローチャートである。

まず、ステップＳ３１００において、画像回転部４０６は、全方位画像内で指定監視対象（ここでは監視対象ＩＤ「１１」の監視対象）が占める画像領域を抽出する。例えば、画像回転部４０６は、指定監視対象の指定監視対象位置付近において、背景差分法により監視対象領域を抽出、監視対象（例えば、人物）の形状をテンプレートとしたテンプレートマッチングにより監視対象の画像領域を抽出する。

なお、監視対象位置情報入力部４０３が画像認識によって監視対象位置座標を取得する場合、画像回転部４０６は、その際に抽出された監視対象の画像領域を用いて、指定監視対象領域を定義しても良い。

図１２は、指定フレームの初期状態の全方位画像の一例を示す図である。

図１２に示すように、指定フレームの初期状態の全方位画像（回転前画像）６７０は、図８に示す監視対象指定画面６４０の全方位画像６４１と同様に、正円の見下ろし画像であり、実空間における全方位カメラの真下を中心とする画像である。したがって、右上側に位置する指定監視対象の画像６７２の、実空間における鉛直方向に対応する方向６７３は、斜めに傾いている。

なお、図１２において、矩形の動画像データ６７４は、左下隅をｘｙ座標系の原点（０，０）とし、右方向をｘ軸方向、上方向をｙ軸方向として、全方位画像６７０の大きさおよび全方位画像上の監視対象の位置および画像領域を定義する。

全方位画像６７０の半径をｒとすると、全方位画像の上端点、下端点、右端点、左端点の各座標は、それぞれ、（ｒ，２ｒ）、（ｒ，０）、（２ｒ，ｒ）、（０、ｒ）となる。図１２に示す各座標値は、ｒ＝５００の場合の例である。

そして、ステップＳ３２００において、画像回転部４０６は、ステップＳ３１００において抽出した画像領域を基にして、指定監視対象領域を定義し、指定監視対象位置と指定監視対象領域とを含む監視対象位置情報を生成する。

図１３は、指定監視対象領域の定義の一例を示す図である。また、図１４は、監視対象領域情報の一例を示す図である。

図１３に示すように、指定監視対象領域６８０は、例えば、指定監視対象の画像領域６８１に外接し、平行ではない対辺６８２、６８３のそれぞれが全方位画像６８４の半径方向に一致する等脚台形で囲まれた領域である。

画像回転部４０６は、図１４に示すように、等脚台形の３つの端点ぞれぞれのｘｙ座標によって、指定監視対象領域を表現することができる。監視対象領域座標（左上）７０１は、等脚台形の平行な対辺６８５、６８６のうち長い方（外周に近い方）の左端点６８７の座標である。監視対象領域座標（右上）７０２は、等脚台形の平行な対辺６８５、６８６のうち長い方の右端点６８８の座標である。監視対象領域座標（左下）７０３は、等脚台形の平行な対辺６８５、６８６のうち短い方（原点に近い方）の左端点６８９の座標である。

そして、画像回転部４０６は、取得した指定監視対象位置６９０に基づいて、回転前画像から回転後画像を生成するための変換行列を算出する。

具体的には、例えば、以下の通りである。まず、画像回転部４０６は、回転前画像について指定監視対象位置６９０を取得し、基準線６９１と監視対象線６９２とが成す角度６９３を、全方位画像６８４の回転量θとする。ここで、基準線６９１は、全方位画像６８４を見たときにその中心６９４から上向き方向（ｙ軸正方向）に伸びる線である。また、監視対象線６９２は、全方位画像６８４の中心６９４と指定監視対象位置６９０とを結ぶ線である。監視対象線６９２は、例えば、全方位画像６８４の中心６９４と、監視対象領域座標（左上）６８７と監視対象領域座標（右上）６８８との中点とを結ぶ線に一致する。

図１５は、回転量の算出手法の一例を説明するための図であり、図１４に対応するものである。図１４と同一部分には同一符合を付し、これについての説明を省略する。また、以下、中心６９４に対して反時計回りの回転方向を正として説明を行う。

図１５において、監視対象領域座標（左上）６８７と監視対象領域座標（右上）６８８との中点６９５の座標を（ｘ_ｍ，ｙ_ｍ）としたとき、中点６９５と中心６９４を通る監視対象線６９２は、以下の式（１）で表される。

ここでは、基準線６９１と全方位画像６８４の外周との交点６９７から監視対象線６９２への下ろした垂線６９８と、監視対象線６９２との交点を、交点６９９とする。このとき、回転量θは、交点６９７と交点６９９との距離をｄ_１、中心６９４と交点６９９との距離をｄ_２とすると、以下の式（２）、（３）から算出することができる。

画像回転部４０６は、回転前画像における座標を（ｘ，ｙ）とし、回転後画像における座標を（ｘ'，ｙ'）としたとき、以下の式（４）の右項に示す、回転前画像における座標（ｘ，ｙ）に対する係数部分を、変換行列として算出する。この変換行列を用いることにより、画像回転部４０６は、指定監視対象が画像上部の中心に位置する回転後画像を生成することができる。

そして、ステップＳ３４００において、画像回転部４０６は、ステップＳ３３００で算出した変換行列を用いて、回転前画像の各座標を変換し、回転後画像を生成する。そして、画像回転部４０６は、生成した回転後画像と、回転後画像における指定監視対象位置および指定監視対象領域を示す監視対象位置情報とを、中心位置移動部４０７へ出力する。

図１６は、図１１に示す回転前画像６７０に対して画像回転処理を行った後の、回転後画像の一例を示す図である。

図１６に示すように、回転後画像６７０ａでは、指定監視対象の画像６７２は、上側中央に位置し、その実空間における鉛直方向に対応する方向６７３は、下向き方向となっている。

次に、図７のステップＳ４０００において、中心位置移動部４０７は、画像回転部４０６から入力された回転後画像（移動前画像）に対し、中心位置移動処理を行う。

中心位置移動部４０７は、回転後画像の中心位置を下方に移動させるワーピング処理を行うとき、指定監視対象領域が特に拡大するようなワーピング処理を行う。

図１７は、中心位置移動処理の一例を示すフローチャートである。

まず、ステップＳ４１００において、中心位置移動部４０７は、移動前画像の領域を分割する。

図１８は、移動前画像の領域の分割の一例を示す図である。

中心位置移動部４０７は、例えば、移動前画像の領域７１１の中心７１２から外周７１３方向に放射状に延びる複数の線７１４と、移動前画像の外周７１３と同心である複数の円７１５とによって、移動前画像領域の領域７１１を分割する。図１６に示す全方位画像が入力された場合、中心７１２の座標は、（５００，５００）となる。複数の線７１４は、少なくとも中心７１２から上向き方向（ｙ軸正方向）に伸びる線７１４ａを含み、例えば、所定の本数で等間隔に配置される。また、複数の円７１５は、例えば、所定の本数で、隣接する他の円７１５との半径の差が一定となるように配置される。

そして、ステップＳ４２００において、中心位置移動部４０７は、移動前画像の中心の射影先座標を決定する。中心位置移動部４０７は、中心の射影先座標を下方の座標（より小さいｙ座標）に決定する。射影先のｙ座標は、予め定められた値としても良いし、元のｙ座標に対して予め定められた比率を掛けた値としても良い。図１６に示す全方位画像に対しては、例えば、座標（５００，２７０）が決定される。

また、中心位置移動部４０７は、中心７１２から上向き方向に伸びる線７１４ａと外周７１３および各円７１５との交点７２０〜７２４の射影先座標を決定する。中心位置移動部４０７は、例えば、線７１４ａと外周７１３との交点７２０を固定とする。ここで、図１８では、交点７２０と交点７２１との距離を半径方向間隔７２５とし、交点７２１と交点７２２との距離を半径方向間隔７２６とし、交点７２２と交点７２３との距離を半径方向間隔７２７とする。また、図１８では、交点７２３と交点７２４との距離を半径方向間隔７２８とし、交点７２４と中心７２９との距離を半径方向間隔７２９とする。このとき、中心位置移動部４０７は、射影後の半径方向間隔７２５〜７２９の互いの比率（７２５：７２６：７２７：７２８：７２９）を決定する。例えば、中心位置移動部４０７は、射影後の半径方向間隔７２５〜７２９の互いの比率、（７２５：７２６：７２７：７２８：７２９）を（１．０：１．５：０．８：０．５：０．２）と決定する。なお、射影後の半径方向間隔７２５〜７２９の互いの比率を、以下「射影後間隔比率」という。ここでは、中心位置移動部４０７は、指定監視対象領域が拡大表示されるように、指定監視対象領域に対応する半径方向間隔（ここでは半径方向間隔７２６とする）が広くなるように、射影後間隔比率を決定する。また、中心位置移動部４０７は、中心７１２と交点７２１との距離に対する比率（例えば０.３）で、指定監視対象領域に対応する半径方向間隔（ここでは半径方向間隔７２６とする）を決定してもよい。

射影による中心位置の移動距離および射影後間隔比率は、指定監視対象の詳細な状況やその周辺の状況が十分に視認されるような値であることが望ましく、例えば、実験や経験から決定される。

なお、全方位カメラ３００からより遠方（つまり全方位画像の外周７１３に近い方）に位置する監視対象は、移動前画像においてはより小さく表示される。したがって、中心位置移動部４０７は、指定監視対象領域に対応する部分の半径方向間隔を広くしつつ、他の半径方向間隔が外周側ほどより大きくなるように、射影後間隔比率を決定しても良い。

また、中心位置移動部４０７は、全方位カメラ３００と指定監視対象との距離が長いほど、指定監視対象領域に対応する部分の比率をより大きくしても良い。この場合、例えば、中心位置移動部４０７は、予め全方位画像における各位置と、その位置に撮影される監視対象までの距離（その監視対象が立っている床までの距離）との対応関係を格納している。そして、中心位置移動部４０７は、指定監視対象位置に対する距離を、全方位カメラ３００と指定監視対象との距離として取得する。そして、中心位置移動部４０７は、取得した距離に基づいて、指定監視対象領域に対応する部分の比率を決定する。

そして、ステップＳ４３００において、中心位置移動部４０７は、移動後画像の領域を分割する。具体的には、中心位置移動部４０７は、ステップＳ４２００で座標を決定した移動後座標での射影先座標の各点を結ぶ形で、移動後画像の領域を分割する各直線や曲線を決定する。これにより、移動前画像の領域を分割する各直線や曲線を、移動後画像の領域にどのように射影するのかが決定される。

図１９は、移動後画像の領域の分割の一例を示す図である。

図１９に示すように、例えば、中心位置移動部４０７は、決定した射影後の中心７３３を配置する。そして、中心位置移動部４０７は、中心７３３から上向き方向に伸びる線７３４を、決定した射影後間隔比率で分割し、分割点７３５〜７３８を配置する。また、中心位置移動部４０７は、中心７３３から下向き方向に伸びる線７３４'についても、決定した射影後間隔比率で分割し、分割点７３５'〜７３８'を配置する。

その後、図１９に示すように、中心位置移動部４０７は、移動前画像における各円（図１８の円７１５）のそれぞれに対応し、配置された分割点７３５'〜７３８'を通るような楕円７３９で、移動後画像の領域７３１を分割する。更に、中心位置移動部４０７は、移動前画像における各線（図１８の線７１４）のそれぞれに対応し、各楕円７３９の円周を等間隔で分割するような線７４０で、移動後画像の領域７３１を分割する。

そして、ステップＳ４４００において、中心位置移動部４０７は、移動前画像の各分割領域から、移動後画像の対応する分割領域へと、射影変換を行う。例えば、中心位置移動部４０７は、移動前画像における分割領域７４１の画像を、移動後画像において対応する分割領域７４２に射影変換する。

各分割領域は、曲線を辺として持つ四角形または三角形であるが、中心位置移動部４０７は、処理の簡便化のため、全ての辺を直線とみなして射影変換を行っても良い。また、移動前画像の分割領域および移動後画像の分割領域の面積が小さいほど、移動後画像は、分割領域間の継ぎ目が目立たないきれいな画像となる。

中心位置移動部４０７は、生成した移動後画像と、移動後画像における指定監視対象位置および指定監視対象領域を示す監視対象位置情報とを、楕円化部４０８へ出力する。

次に、図７のステップＳ５０００において、楕円化部４０８は、中心位置移動部４０７から入力された移動後画像（楕円化前画像）に対し、楕円化処理を行う。具体的には、楕円化部４０８は、例えば、以下の式（５）に示す２次元行列変換を、楕円化前画像に施す。ここで、（ｘ'，ｙ'）は、楕円化前画像における座標を示し、（ｘ”，ｙ”）は、楕円化後画像における座標を示す。Ｓｘは、楕円化する際のｘ軸方向の拡大率を示す。

拡大率Ｓｘは、固定値でも良いし、指定対象領域の大きさや縦横比に基づいて決定しても良い。例えば、楕円化部４０８は、指定監視対象領域の縦横比を算出し、その縦横比が、人間を真横から見たときの一般的な縦横比に近くなるような拡大率Ｓｘを採用しても良い。ここでは、拡大率が１.５であるものとする。

図２０は、移動後画像において、分割された領域の、楕円化後画像における状態の一例を示す図である。

図２０に示すように、楕円化前画像の中心７３３および中心から上向きに伸びる線７３４は、そのｘ座標値が決定された拡大率で拡大され、ｘ軸の正の方向に移動する。また、楕円化前画像の外周７３２および各楕円７３９は、決定された拡大率でｘ軸方向に引き伸ばされる。また、楕円化部４０８は、これに伴って、各楕円７３９の円周を等間隔で分割する線７４０、および分割領域７４２も、ｘ軸方向に引き伸ばされる。

楕円化部４０８は、生成した楕円化後画像と、楕円化後画像における指定監視対象位置および指定監視対象領域を示す監視対象位置情報とを、歪み補正部４０９へ出力する。

次に、図７のステップＳ６０００において、歪み補正部４０９は、楕円化部４０８から入力された楕円化後画像（歪み補正前画像）に対し、歪み補正処理を行う。具体的には、歪み補正部４０９は、全方位カメラ３００の撮影画像に特有の、直線が丸みを帯びる等の歪みであって、上述の中心移動処理および楕円化処理では解消が困難な歪みの補正を行う。

図２１は、歪み補正処理の一例を示すフローチャートである。

まず、ステップＳ６１００において、歪み補正部４０９は、楕円化後画像における指定監視対象領域を取得する。具体的には、歪み補正部４０９は、楕円化部４０８から入力された、歪み補正前画像（楕円化後画像）における指定監視対象領域を取得する。

そして、ステップＳ６２００において、歪み補正部４０９は、算出した指定監視対象領域に対して、歪み補正を施す。歪み補正の内容は、全方位カメラ３００の光学特性などに応じた内容であり、例えば、実験や経験から定められる。なお、歪み補正部４０９は、一般的な画像処理ソフトウェアにおける歪み補正機能を用いてもよい。また、歪み補正の内容によっては、指定監視対象領域の大きさも形状も変更されない場合もある

そして、ステップＳ６３００において、歪み補正部４０９は、指定監視対象領域の大きさおよび形状の少なくともいずれかに変更があるか否かを判断する。歪み補正部４０９は、指定監視対象領域の大きさおよび形状の少なくともいずれかに変更がある場合（Ｓ６３００：ＹＥＳ）、ステップＳ６４００へ進む。また、歪み補正部４０９は、指定監視対象領域の大きさおよび形状のいずれも変更がない場合（Ｓ６３００：ＮＯ）、そのまま図７の処理へ戻る。

ステップＳ６４００において、歪み補正部４０９は、指定監視対象領域の大きさおよび形状の変更に周囲の領域を合わせる形で、全方位画像の指定監視対象領域以外の領域を射影変換する。

図２２は、歪み補正前画像の領域分割の一例を示す図である。また、図２３は、図２２に示す歪み補正前画像に対する、歪み補正後画像の領域分割の一例を示す図である。

ここでは、歪み補正前画像７６１における指定監視対象領域７６２は、図２２に示すように、４つの分割領域（図中、斜線部）に対応しているものとする。必ずしも指定管理領域と分割領域の区切りが同じとは限らないが、説明を簡便にするため、ここでは指定監視対象領域が複数の分割領域から成っているものとする。また、全方位カメラ３００の光学特性が、歪み補正前画像７６１において、歪み補正前画像７６１の中心７６３により近いほど、左右方向が狭く歪むような光学特性になっているとする。

この場合、歪み補正部４０９は、指定監視対象領域７６２のうち歪み補正前画像７６１の中心７６３に近い側がより広がるように、歪み補正前画像７６１に対する補正を行う。更に、歪み補正部４０９は、歪みが解消された指定監視対象領域がより大きく表示されるように、歪み補正前画像７６１に対する補正を行う。

この結果、図２３に示す歪み補正後画像７７１の指定監視対象領域７７２は、図２２に示す歪み補正前の指定監視対象領域７６２に比べて、等脚台形の上辺と下辺との比率が変化して歪みがより解消される。また、なおかつ、歪み補正後画像７７１の指定監視対象領域７７２は、歪み補正前の指定監視対象領域７６２に比べて、より大きい面積となる。

また、歪み補正部４０９は、分割領域間の隣接関係が維持されるように、指定監視対象領域７７２に隣接する分割領域の大きさおよび形状を補正する。このとき、歪み補正部４０９は、指定監視対象領域７７２に隣接する分割領域７７４から、その更に周囲の分割領域７７５へ、段階的に、指定監視対象領域７７２の変更を吸収するように、各分割領域の大きさおよび形状を補正する。

そして、歪み補正部４０９は、全方位画像の指定監視対象領域以外の各部分を、補正後の対応する分割領域に射影変換し、歪み補正後の指定監視対象領域と他の領域とにより構成される歪み補正後画像を生成する。そして、歪み補正部４０９は、生成した歪み補正後画像を、出力画像蓄積部４１０へ出力する。

これにより、歪み補正の前後で指定監視対象領域の大きさおよび形状が変更になる場合でも、指定監視対象領域と周囲との継ぎ目が目立たないきれいな全方位画像を得ることができる。

出力画像蓄積部４１０は、歪み補正部４０９から入力された歪み補正後画像を蓄積し、画像出力部４１１に歪み補正後画像を出力する。

次に、図７のステップＳ７０００において、画像出力部４１１は、出力画像蓄積部４１０から入力された歪み補正後画像を、液晶ディスプレイ等の表示機器によって表示する。

そして、ステップＳ８０００において、監視対象指定部４０５は、ステップＳ２０００において選択していない指定フレームが存在するか否かを判断する。

監視対象指定部４０５は、指定フレームの最終フレームでなかった場合、つまり、未選択の指定フレームが存在する場合には（Ｓ８０００：ＮＯ）、ステップＳ２０００に戻る。すなわち、監視対象指定部４０５は、選択中のフレームＩＤを１インクリメントして次の指定フレームを選択し、ステップＳ２０００〜Ｓ８０００を繰り返す。

そして、監視対象指定部４０５は、指定フレームの最終フレームであった場合、つまり、未選択の指定フレームが存在しない場合には（Ｓ８０００：ＹＥＳ）、一連の処理を終了する。

このような動作により、全方位画像処理装置４００は、全方位画像の映像の中から、ユーザから注目したい監視対象の指定を受け付け、その監視対象が見易くなるように、映像に対する画像処理を行うことができる。また、この画像処理は、画像回転の後は、ワーピング処理や線形の射影変換のみであるため、全方位画像の連続性を維持することができる。

また、指定フレームが複数である場合、全方位画像処理装置４００は、ユーザが指定した監視対象の監視エリア２００内の移動に追随し、常に全方位画像の上部中央部に当該監視対象を表示し続けることができる。

以上のように、本実施の形態に係る全方位画像処理装置は、指定監視対象の実空間における鉛直方向および左右方向に対応する方向が、全方位画像を見たときの下向き方向および左右方向に近付くように、全方位画像に対して画像処理を行う。これにより、処理後の全方位画像は、指定された監視対象を実際に見たときの状態により近い状態で表示することができ、指定された監視対象の視認性を向上させることができる。すなわち、処理後の全方位画像は、指定監視対象を、その頭部が上となり、その足が下となった状態で、かつ、水平成分の歪曲がより緩和された状態で、表示することができる。また、指定監視対象の周辺が上下方向に引き伸ばされることになるので、指定監視対象およびその周辺の画像をより大きく表示し、指定監視対象およびその周辺の状況をより把握しやすい全方位画像を提示することができる。

また、本実施の形態に係る全方位画像処理装置は、上述の画像処理を、全方位画像の回転と、全方位画像の中心位置を移動させるワーピング処理とによって行うため、全方位画像の連続性を維持することができる。

また、本実施の形態に係る全方位画像処理装置は、全方位画像の中心位置を移動させる際に、指定監視対象領域がより拡大されるようなワーピング処理を行う。更に、本実施の形態に係る全方位画像処理装置は、線形の射影変換により、全方位画像を横に引き伸ばす楕円化処理を行う。これらの処理により、処理後の全方位画像は、指定監視対象およびその周辺の画像を更に大きく表示し、指定監視対象およびその周辺の状況をより把握し易くすることができる。

また、本実施の形態に係る全方位画像処理装置は、指定監視対象領域の歪みを補正し、かつ、その補正に合わせて、周囲の画像領域を補正するようなワーピング処理を行う。これにより、処理後の全方位画像は、指定監視対象の状況を更に把握し易くすることができる。

なお、本実施の形態では、画像処理動作に先立ち、一まとまりの動画像（複数の指定フレーム）についての情報蓄積動作が完了している場合について説明したが、本発明の適用は、これに限定されない。全方位画像処理装置は、例えば、フレーム毎に、情報蓄積動作および画像処理動作を行い、リアルタイムで全方位画像の画像処理および表示を行うようにしても良い。この場合、指定フレームの決定は、フレームＩＤの指定ではなく、表示中の映像の指定に基づいて、または指定監視対象の有無に基づいて、行う必要がある。

また、全方位画像処理装置は、上述の、画像回転処理、中心位置移動処理、中心位置移動処理における指定対象領域の拡大、楕円化処理、および歪み補正処理の全てを、必ずしも実施しなくても良い。例えば、指定監視対象が全方位カメラに接近しており、画質が良く歪みが少ないような場合がある。このような場合には、全方位画像処理装置は、画像回転処理および中心位置移動処理のみを実施するだけでも、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができる。

また、本実施の形態の形態では、指定監視対象領域を、人物の輪郭に外接する枠で囲まれた領域として説明したが、本発明の適用はこれに限定されない。指定監視対象領域は、指定監視対象だけでなく、当該指定監視対象の近傍に位置し当該指定対象の行動に関連する物体（例えば作業台、以下「付属対象」という）等、他の対象をも併せて含む領域であっても良い。

図２４は、指定監視対象領域の定義の他の例を示す図である。

図２４に示すように、指定監視対象７８１は、ディスプレイ機器７８２を見ながら作業をしているものとする。この場合、全方位画像処理装置は、例えば、図示しない視線検出部において、指定監視対象７８１である作業員の視線方向を、瞳孔の動きに対する追跡等の画像認識によって検出する。そして、全方位画像処理装置は、検出した視線方向から、ディスプレイ機器７８２を、付属監視対象と判断する。視線検出部は、指定監視対象７８１が作業する机の上や、壁の低い位置に設置されたカメラなどで実現可能である。そして、画像回転部４０６は、指定監視対象領域７８３を、例えば、指定監視対象７８１の輪郭および付属対象であるディスプレイ機器７８２の両方を含む輪郭に外接する、等脚台形の形状で囲まれた領域に決定する。このように、指定監視対象と付属監視対象とを含む領域を指定監視対象領域とすることにより、付属対象の状態も見易く表示することができ、指定監視対象の行動をより把握し易くすることができる。

また、指定監視対象領域は、上述の等脚台形ではなく、その全方位画像における位置を適切に定義可能な形状であれば、長方形や楕円形等、他の形状としても良い。また、本実施の形態では、図８の監視対象指定画面において、監視対象の画像領域を歪み補正して表示するようにしてもよい。

また、本実施の形態では、初期状態の全方位画像が見下ろし画像の場合について説明したが、本発明の適用は、これに限定されない。例えば、初期状態の全方位画像が見上げ画像である場合にも、本発明の適用が可能である。見上げ画像とは、例えば、監視エリア２００の床面に全方位カメラ３００を天井に向けて備え付けて得られる画像である。

上述のように、見下ろし画像においては、監視エリア２００の床面に立っている作業員の画像は、その頭部が全方位画像の外周側に向き、その下半身が全方位画像の中心側に向く。これに対し、見上げ画像においては、監視エリア２００の床面に立っている作業員の画像は、その頭部が全方位画像の中心側に向き、その下半身が全方位画像の外周側に向く。

したがって、初期状態の全方位画像が見上げ画像である場合、全方位画像処理装置は、画像回転処理において指定監視対象を下側中央に回転させ、中心位置移動処理において全方位画像の中心を上方向に移動させれば良い。

また、本実施の形態では、入射光軸上に小さな反射鏡が設置された全方位カメラを用いた場合について説明したが、本発明は、魚眼レンズを採用した全方位カメラを用いた場合にも適用が可能である。

図２５は、魚眼レンズを採用した場合における、指定フレームの初期状態の全方位画像の一例を示す図であり、図１２に対応するものである。

図２５で示すように、魚眼レンズを採用した全方位カメラを用いた場合、初期状態の全方位画像である回転前画像６７０の中心部に死角領域は生じない。したがって、回転前画像６７０の中心点上に位置する監視対象７８４が存在し得る。

このような監視対象７８４が存在する場合、全方位画像処理装置は、例えば、監視対象７８４の実空間における鉛直方向が、全方位画像を見たときの下向き方向に一致するように、画像回転処理を行う。

図２６は、図２５に示す回転前画像６７０に対して監視対象７８４を基準に画像回転処理を行った後の、回転後画像の一例を示す図であり、図１６に対応するものである。このような処理により、全方位カメラからの距離が最も近い（全方位カメラの真下の）監視対象を視認し易い回転後画像６７０ａを得ることができる。

なお、全方位画像処理装置は、画像回転処理後に、例えば、次のような処理をすることにより、監視対象の視認性を高めることが可能である。１つ目は、監視対象を全方位画像の中心点上に存在させたまま、監視対象の画像領域を拡大する処理である。２つ目は、全方位画像の中心を上方向に移動させ、その結果得られた全方位画像の中心を、下方向に移動させる処理である。２つ目の処理によれば、監視対象は全方位画像の上部に表示されるので、更に必要に応じて、歪み補正処理を行うことが望ましい。

また、本実施の形態では、工場において作業員を監視するための監視システムについて説明したが、本発明の適用はこれに限定されない。本発明は、例えば、販売店舗の店内を万引き行為の監視のために撮影するシステム等、全方位画像を扱う各種の装置およびシステムに適用することができる。

２０１０年３月１８日出願の特願２０１０−６２５６０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る全方位画像処理装置および全方位画像処理方法は、全方位画像の連続性を維持しつつ、その全方位画像における指定された監視対象の視認性を向上させることができるので、販売店舗、工場等の広いエリアを監視する監視システムとして有用である。

１００ 監視システム
２００ 監視エリア
３００ 全方位カメラ
４００ 全方位画像処理装置
４０１ 動画像入力部
４０２ 動画像蓄積部
４０３ 監視対象位置情報入力部
４０４ 監視対象位置情報蓄積部
４０５ 監視対象指定部
４０６ 画像回転部
４０７ 中心位置移動部
４０８ 楕円化部
４０９ 歪み補正部
４１０ 出力画像蓄積部
４１１ 画像出力部

Claims (7)

1. 全方位画像に対して画像処理を行う全方位画像処理装置であって、
   前記全方位画像に撮影されている監視対象を指定する監視対象指定部と、
   前記指定された監視対象の位置が上側中央となるように、前記全方位画像を回転させる画像回転部と、
   前記画像回転部によって回転された前記全方位画像の中心位置を、ワーピング処理によって下方向に移動させる中心位置移動部と、を有する、
   全方位画像処理装置。
2. 初期状態の前記全方位画像における前記指定された監視対象の位置を入力する監視対象位置情報入力部、を更に有し、
   前記画像回転部は、前記指定された監視対象の前記位置に基づいて、前記全方位画像を回転させる、
   請求項１記載の全方位画像処理装置。
3. 前記中心位置移動部は、前記指定された監視対象の画像領域を拡大する、
   請求項１記載の全方位画像処理装置。
4. 前記全方位画像を横方向に引き伸ばして楕円形に変形させる画像楕円化部、を更に有する、
   請求項１記載の全方位画像処理装置。
5. 前記全方位画像に撮影されている監視対象のうち前記指定された監視対象の画像領域を局所的に変形させてその歪みを補正する歪み補正部、を更に有する、
   請求項１記載の全方位画像処理装置。
6. 前記全方位画像の時系列データである動画像を蓄積する動画像蓄積部と、
   前記監視対象位置情報入力部が入力した各時刻における前記指定された監視対象の位置を蓄積する監視対象位置情報蓄積部と、
   前記画像処理が行われた前記動画像を出力する画像出力部と、を有する、
   請求項２記載の全方位画像処理装置。
7. 全方位画像に対して画像処理を行う全方位画像処理方法であって、
   前記全方位画像に撮影されている監視対象を指定するステップと、
   前記指定された監視対象の位置が上側中央となるように、前記全方位画像を回転させるステップと、
   回転された前記全方位画像の中心位置を、ワーピング処理によって下方向に移動させるステップと、を有する、
   全方位画像処理方法。
   

Images