JP6647367B1 - 画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】画角を遠隔制御可能な撮像装置を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制すること。【解決手段】画像処理装置２０は、カメラ１０から画像Ｐ１を取得し（Ｓ１）、画像Ｐ１に対して非検知領域Ａ１を設定する（Ｓ２）。その後、画像処理装置２０は、カメラ１０の画角を変更する制御を行って（Ｓ３）、画像Ｐ２を取得する。画像処理装置２０は、非検知領域Ａ１に対応する画角変更後の非検知領域Ａ２を算出可能であり（Ｓ４）、画像Ｐ２に非検知領域Ａ２を適用して物体の検知を行う。【選択図】図１

Description

本発明は、画角を制御可能な撮像装置を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することができる画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法に関する。

従来、固定式の監視カメラを所定の位置に設置し、この監視カメラで物体を撮像した画像を画像処理装置に送信する場合が多い。この際、監視カメラの視野角を制御するために、カメラの画角を左右に動かすパン（Ｐａｎ）制御、カメラの画角を上下に動かすチルト（Ｔｉｌｔ）制御、カメラの画角の拡大・縮小を行うズーム（Ｚｏｏｍ）制御が行われる。

このため、カメラのパン、チルト、ズーム制御（以下、「ＰＴＺ制御」と言う）に応じて、画像内の対象領域を移動させる技術が知られている。例えば、特許文献１には、画像
フレーム中の対象領域の画像を切り出して出力画像を生成するにあたり、カメラの動きと反対方向に対象領域を移動させて切り出す技術が開示されている。この先行技術を用いると、固定式の監視カメラの画像内に対象領域を設定しておき、該監視カメラのＰＴＺ制御が行われた場合に、対象領域を移動させることが可能となる。

特開２０１５−１７９９８８号公報

しかしながら、監視カメラで撮像された画像には、検知対象以外の物体が含まれてしまう場合がある。例えば、草木が伸びて監視カメラの視野に影響を及ぼす場合には、この草木の揺れが動体であるかのように誤検知される。このため、上記特許文献１を用いたとしても、意図しない物体の対象領域が切り出されてしまい、信頼性が低下するという問題が生ずる。

特に、監視カメラがＰＴＺ制御された場合には、本来検知対象から除外すべき領域が増加するため、物体の誤検知が拡大する可能性がある。このため、ＰＴＺ制御可能な監視カメラを用いて画像を撮像する場合に、いかにして物体の誤検知に伴う信頼性の低下を抑制するかが重要な課題となっている。

本発明は、上記従来技術の問題点（課題）を解決するためになされたものであって、画角を遠隔制御可能な撮像装置を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することができる画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。

上記の課題を解決するため、本発明は、画角を遠隔制御可能な撮像装置で撮像された画像の画像処理を行う画像処理装置における画像処理プログラムであって、前記画像に対して非検知領域を設定する非検知領域設定手順と、前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定手順により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出手順と、前記算出手順により算出された画角変更後の非検知領域を補正する非検知領域補正手順とをコンピュータに実行させることを特徴とする。

また、本発明は、上記の発明において、前記算出手順により算出された画角変更後の非検知領域を除外した領域を対象領域として物体を検知する第１の物体検知手順をさらにコンピュータに実行させることを特徴とする。

また、本発明は、上記の発明において、前記撮像装置のパン、チルト、ズーム制御を行う画角制御手順をさらにコンピュータに実行させることを特徴とする。

また、本発明は、上記の発明において、前記非検知領域補正手順により補正された非検知領域を除外した領域を対象領域として物体を検知する第２の物体検知手順をさらにコンピュータに実行させることを特徴とする。

また、本発明は、上記の発明において、前記撮像装置は全方位を撮像可能であり、前記算出手順は、前記非検知領域の前記画像における２次元座標を前記撮像装置を中心とした極座標に変換し、該極座標から前記画角変更後の非検知領域の２次元座標を算出することを特徴とする。

また、本発明は、画角を遠隔制御可能な撮像装置で撮像された画像の画像処理を行う画像処理装置であって、前記画像に対して非検知領域を設定する非検知領域設定部と、前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定部により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出部と、前記算出部により算出された画角変更後の非検知領域を補正する非検知領域補正部とを備えたことを特徴とする。

また、本発明は、撮像装置と、前記撮像装置の画角を遠隔制御するとともに該撮像装置で撮像された画像の画像処理を行う画像処理装置とを通信可能に接続した画像処理システムであって、前記画像処理装置は、前記撮像装置の画角を制御する画角制御部と、前記画像に対して非検知領域を設定する非検知領域設定部と、前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定部により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出部と、前記算出部により算出された画角変更後の非検知領域を補正する非検知領域補正部とを備えたことを特徴とする。

また、本発明は、画角を遠隔制御可能な撮像装置で撮像された画像の画像処理を行う画像処理装置における画像処理方法であって、前記画像に対して非検知領域を設定する非検知領域設定工程と、前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定工程により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出工程と、前記算出工程により算出された画角変更後の非検知領域を補正する非検知領域補正工程とを含んだことを特徴とする。

本発明によれば、画角を遠隔制御可能な撮像装置を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することができる。

図１は、本実施例１に係る画像処理システムの概念の説明図である。 図２は、本実施例１に係る画像処理装置の構成を示す構成図である。 図３は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。 図４は、図３に示した物体検知処理の詳細を示すフローチャートである。 図５は、カメラの撮像範囲と格子についての説明図である。 図６は、カメラの画角についての説明図である。 図７は、３次元の座標による座標の管理についての説明図である。 図８は、本実施例２に係る画像処理システムの概念の説明図である。 図９は、非検知領域と格子の対応関係を示す説明図である。 図１０は、非検知領域の補正についての説明図である。 図１１は、本実施例２に係る画像処理装置の構成を示す構成図である。 図１２は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図１３は、変形例における非検知領域の補正についての説明図である。 図１４は、変形例における画角変更後の補正についての説明図である。 図１５は、ハードウエア構成の一例を示す図である。

以下、添付図面を参照して、画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法の実施例について説明する。

まず、本実施例１に係る画像処理システムの概念について説明する。図１は、本実施例１に係る画像処理システムの概念の説明図である。図１に示すように、本実施例１に係る画像処理システムは、撮像装置であるカメラ１０と、カメラ１０の画角を遠隔制御するとともにカメラ１０で撮像された画像の画像処理を行う画像処理装置２０とを通信可能に接続した構成を有する。

図１では、カメラ１０は、道路を撮像可能に設置されており、道路沿いの並木が撮像範囲に含まれる場合がある。画像処理装置２０は、カメラ１０を水平方向に回転させて画角を左右に動かすパン制御、カメラ１０を垂直方向に回転させて画角を上下に動かすチルト制御、カメラ１０の画角の拡大・縮小を行うズーム制御が可能である。

また、画像処理装置２０は、カメラ１０で撮像された画像の画像処理を行うことで、所定の物体を検知する。例えば、画像処理装置２０は、道路上の車や動物を検知することができる。ここで、画像処理装置２０は、画像に対して非検知領域を設定可能である。具体的には、画像における並木の像の位置を非検知領域に設定すれば、並木の位置を除外して物体の検知が可能となる。

画像に対して非検知領域を設定することで、検知対象以外の物体の検知を避けることができる。しかし、カメラ１０の画角を変更すると、変更前の画像における非検知領域の座標をそのまま用いることはできない。

そこで、画像処理装置２０は、画像に対して設定された非検知領域をカメラ１０を中心とした極座標に変換して管理するとともに、カメラ１０の撮像方向を管理する。そして、物体を検知した場合には、その物体の画像における位置とカメラ１０の撮像方向を用い、検知した物体が非検知領域内に所在するか否かを判定し、非検知領域内に所在する場合には、物体を検知しなかったものとする。言い換えれば、画像処理装置２０は、カメラ１０の画角を変更した場合に、変更後の非検知領域を算出して物体の検知を行うことになる。なお、カメラ１０の撮像方向は、カメラ１０が撮像した画像を、フレームごとに直前の画像と比較して撮像方向の変化量を算出することで管理することができる。

図１では、画像処理装置２０は、カメラ１０から画像Ｐ１を取得し（Ｓ１）、画像Ｐ１に対して非検知領域Ａ１を設定している（Ｓ２）。その後、画像処理装置２０は、カメラ１０を右方向にパン制御する画角変更を行って（Ｓ３）、画像Ｐ２を取得している。

画像処理装置２０は、画像Ｐ１に設定された非検知領域Ａ１をカメラ１０を中心とした極座標に変換して管理しており、非検知領域Ａ１に対応する画角変更後の非検知領域Ａ２を算出することができる（Ｓ４）。このため、画像Ｐ２に非検知領域Ａ２を適用して物体の検知が可能となる。この画角変更後の非検知領域を算出する処理の詳細については後述する。

このように、画像処理装置２０は、カメラ１０で撮像された画像に対して非検知領域を設定し、カメラ１０の画角を遠隔制御した場合に、画角変更前に設定した非検知領域に対応する画角変更後の非検知領域を算出する。このため、画角を遠隔制御可能なカメラ１０を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することができる。

次に、画像処理装置２０の構成について説明する。図２は、画像処理装置２０の構成を示す構成図である。図２に示すように、画像処理装置２０は、通信部２１、表示部２２、入力部２３、記憶部２４及び制御部２５を有する。通信部２１は、カメラ１０などとの通信接続を行うための通信インタフェースである。表示部２２は、液晶ディスプレイ装置等の表示デバイスである。入力部２３は、キーボードやマウス等の入力デバイスである。

記憶部２４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、非検知領域データ２４ａを記憶する。非検知領域データ２４ａは、画像に対して設定された非検知領域を特定するデータである。具体的には、非検知領域データ２４ａは、カメラ１０を中心とした全天球を分割した各格子について、非検知領域に設定されているか否かを示す。全天球の分割方法はパン方向の角度を経度、チルト方向の角度を緯度として経度・緯度を等間隔の角度で分割する。なお、分割方法は、これに限定されず、任意の方法を用いることができる。

制御部２５は、画像処理装置２０の全体を制御する制御部であり、画角制御部２５ａ、非検知領域設定部２５ｂ、算出部２５ｃ及び物体検知部２５ｄを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、画角制御部２５ａ、非検知領域設定部２５ｂ、算出部２５ｃ及び物体検知部２５ｄにそれぞれ対応するプロセスを実行させることになる。

画角制御部２５ａは、カメラ１０の画角を遠隔制御する処理部である。具体的には、画角制御部２５ａは、カメラ１０のパン、チルト、ズーム制御を行う。画角制御部２５ａによる画角の制御は、操作者による操作を受け付けて行ってもよいし、自動で行ってもよい。例えば、一定の間隔や周期でカメラ１０の画角を変更するよう設定してもよい。また、検知結果などに基づいて画角を制御してもよい。

また、画角制御部２５ａは、カメラ１０が撮像した画像を、フレームごとに直前の画像と比較して撮像方向の変化量を算出することで、カメラ１０の撮像方向を管理する。カメラ１０の撮像方向は、基準位置からのパン角度とチルト角度で示される。画角制御部２５ａは、直前の画像との比較により撮像方向の変化量を算出したならば、それまでの撮像方向に変化量を加算することで撮像方向を更新する。撮像方向は、画像制御部２５ａが保持してもよいし、記憶部２４に格納する構成としてもよい。

非検知領域設定部２５ｂは、カメラ１０が撮像した画像に対して非検知領域を設定する処理部である。非検知領域設定部２５ｂは、画像に対して非検知領域が設定されたならば、現在の画像の画角に応じた位置の全天球の格子にデータを格納して、非検知領域データ２４ａを更新する。このとき、画角外など設定した位置以外の全天球の格子のデータは維持する。

算出部２５ｃは、非検知領域設定部２５ｂにより設定された非検知領域に対応する画角変更後の非検知領域を算出する処理部である。具体的には、算出部２５ｃは、カメラ１０の撮像方向及びズーム倍率と非検知領域データ２４ａとを用い、現在の画像に非検知領域の格子を投影して、画像における非検知領域の位置を算出することができる。

ここで、非検知領域は、物体の検知結果を除外するために用いられる。そこで、画角が変更される度に、画像における非検知領域の位置を算出するのではなく、画像から物体を検知したときに物体の位置が非検知領域内であるか否かを判定する構成としてもよい。この場合には、算出部２５ｃは、画像における物体の位置をカメラ１０を中心とした極座標に変換し、変換結果の極座標が非検知領域データ２４ａに示された非検知領域とを比較することになる。本実施例１では、画像から物体を検知したときに物体の位置が非検知領域内であるか否かを判定する構成を中心に説明を行う。

物体検知部２５ｄは、カメラ１０により撮像された画像から物体を検知する処理を行う。このとき、物体検知部２５ｄは、非検知領域を除外した領域を検知の対象領域とする。具体的には、物体検知部２５ｄは、画像内に対象の物体が存在するか否かを画像処理によって識別し、対象の物体が存在する場合には、その画像内の位置を算出部２５ｃに出力して、物体の位置が非検知領域内であるか否かを判定させる。そして、画像から対象の物体を識別し、かつ物体の位置が非検知領域でない場合に、物体検知部２５ｄは、物体を検知したとの検知結果を出力する。例えば、物体検知部２５ｄは、所定の物体を検知した場合に報知出力を行うことが可能である。また、物体検知部２５ｄは、物体の検知結果を記憶部２４に蓄積することが可能である。

次に、画像処理装置２０の処理手順について説明する。図３は、画像処理装置２０の処理手順を示すフローチャートである。まず、画像処理装置２０の画角制御部２５ａは、カメラ１０から画像を取得し（ステップＳ１０１）、直前の画像と比較して撮像方向の変化量を算出して（ステップＳ１０２）、カメラ１０の撮像方向を更新する（ステップＳ１０３）。

非検知領域設定部２５ｂは、非検知領域の設定操作を受け付けたか否かを判定する（ステップＳ１０４）。非検知領域の設定操作を受け付け（ステップＳ１０４；Ｙｅｓ）、画像上で非検知領域を指定されたならば、算出部２５ｃが指定された画像上の非検知領域を極座標に変換する（ステップＳ１０５）。そして、非検知領域設定部２５ｂは、全天球上の対応する格子を非検知領域に設定し、非検知領域データ２４ａを更新する（ステップＳ１０６）。

ステップＳ１０６の後、もしくは非検知領域の設定操作を受け付けていない場合（ステップＳ１０４；Ｎｏ）、物体検知部２５ｄが物体検知処理を実行する（ステップＳ１０７）。

その後、物体検知部２５ｄは、物体検知を終了するか否かを判定する（ステップＳ１０８）。物体検知の終了条件としては、特定の物体を検知した場合、検知の開始から所定の時間が経過した場合、指定の時刻となった場合など、任意の条件を用いることができる。

物体検知を終了しない場合（ステップＳ１０８；Ｎｏ）、ステップＳ１０１に移行し、次の画像を取得する。そして、物体検知を終了すると判定した場合に（ステップＳ１０８；Ｙｅｓ）、処理を終了する。

図４は、図３に示した物体検知処理の詳細を示すフローチャートである。物体検知部２５ｄは、カメラ１０により撮像された画像全体を対象として画像処理を行い、画像内に対象の物体が存在するか否かを識別する（ステップＳ２０１）。画像内に対象の物体があるならば（ステップＳ２０２；Ｙｅｓ）、物体検知部２５ｄは、識別した物体の画像内の位置を算出部２５ｃに出力する。算出部２５ｃは、識別した物体の画像上の位置を極座標に変換し、物体の位置と非検知領域の位置とを比較する（ステップＳ２０３）。

比較の結果、物体の位置が非検知領域でないならば（ステップＳ２０４；Ｎｏ）、物体検知部２５ｄは、対象の物体を検知したとの検知結果を出力し（ステップＳ２０５）、元の処理に戻る。一方、画像内に対象の物体が無い場合（ステップＳ２０２；Ｎｏ）、もしくは物体の位置が非検知領域である場合（ステップＳ２０４；Ｙｅｓ）、物体検知部２５ｄは、対象の物体を非検知として（ステップＳ２０６）、元の処理に戻る。

次に、算出部２５ｃによる画角変更後の非検知領域の算出について、図５〜図７を参照して説明する。図５は、カメラ１０の撮像範囲と格子についての説明図である。図５に示すように、カメラ１０は、３６０°のパン制御により水平方向の全方位を撮像可能であり、さらに９０°以上のチルト制御が可能である。このパン制御とチルト制御により、カメラ１０の撮像範囲は、半天球〜全天球となる。そして、このカメラ１０を中心とした撮像範囲を分割した各格子が、非検知領域の設定単位となる。一例として、パン方向の角度を経度、チルト方向の角度を緯度として経度・緯度を等間隔の角度で分割することで格子を形成する。なお、分割方法は、これに限定されず、任意の方法を用いることができる。

図６は、カメラ１０の画角についての説明図である。図６（ａ）は、カメラ１０がパン制御及びチルト制御を受けていない基準位置での画角を示し、図６（ｂ）はパン制御及びチルト制御を受けた状態での画角を示している。

ここで、カメラ１０が撮像した画像であるカメラにおける２次元の座標値、カメラ１０のズーム倍率に対応した焦点距離、画像の座標値に対応する実空間の３次元の座標値、画像の座標値に対応する実空間の緯度・経度方向、画像の座標値に対応する実空間の位置までの距離、カメラの水平基準方向からのチルト・パン角度を次のように定める。
（Ｘ，Ｙ）： カメラ画像の２次元の座標値（ただし画像中央を（０，０））
Ｚ： カメラ１０のズーム倍率に対応した焦点距離
（ｘ，ｙ，ｚ）：カメラ画像の座標値に対応する実空間の３次元の座標値
θ，φ： カメラ画像の座標値に対応する実空間の緯度・経度方向
ｒ： カメラ画像の座標値に対応する実空間の位置までの距離
θ₀，φ₀： カメラの水平基準方向からのチルト角度、パン角度

図６（ａ）では、カメラ画像の２次元の座標値（Ｘ，Ｙ）は、３次元の座標値（ｘ、ｙ、ｚ）を、ｚ＝Ｚの平面に射影することによって得られる座標値であるため、

の対応関係となる。
そして、カメラ画像の２次元の座標値（Ｘ，Ｙ）に対応する距離Ｚの位置の平面に置いたカメラ画像上の３次元の座標値は、（Ｘ，Ｙ，Ｚ）であり、３次元の座標値と緯度・経度方向の対応関係は次の通りである。

また、カメラ画像における各画素（ピクセル）の方向は、

となる。

図６（ｂ）では、カメラ画像の２次元座標値（Ｘ，Ｙ）に対応する距離Ｚの位置の平面に置いたカメラ画像上の３次元の座標値（Ｘ，Ｙ，Ｚ）を、チルト・パンの角度で回転することで、３次元の座標値との対応を考えたときの回転後の３次元の座標値（ｘ，ｙ，ｚ）は、次の通りである。

そして、３次元の座標値と緯度・経度方向の対応関係は次の通りである。

また、カメラ画像における各画素（ピクセル）の方向は、

となる。

次に、焦点距離Ｚの求め方を説明する。正面から水平方向に角度？？₁にある物体が（Ｘ₁，０）の位置に映ったとき、そのズーム倍率における焦点距離Ｚ₁は、

である。
そのズーム倍率に対してｎ倍のズーム倍率のときの焦点距離Ｚは、

である。
ここで、現在の画像中央が向く方向に対応する過去のある時点で画像のピクセルの２次元の座標値、現在のチルト角度、現在のパン角度、過去のチルト角度、過去のパン角度、過去の焦点距離を次のように定める。
（Ｘ’，Ｙ’）：現在の画像中央が向く方向に対応する過去のある時点で画像のピクセルの２次元の座標値
θ₀：現在のチルト角度
φ₀：現在のパン角度
θ₀’：過去のチルト角度
φ₀’：過去のパン角度
Ｚ’：過去の焦点距離

カメラ１０の画角を変更することで、次の式が得られる。

次に、画角変更時のパン角度、チルト角度、ズーム倍率の更新について説明する。カメラ１０の画角を変更し、画像処理によって画角変更の変換式が計算できたならば、画角変更後のパン角度、チルト角度、ズーム倍率を変換式から求めることができる。

まず、Ｚを焦点距離とすれば、画像上の２次元の座標値（Ｘ，Ｙ）に対応する、ｚ＝Ｚ平面に射影した３次元の座標値（ｘ，ｙ，ｚ）は、（Ｘ，Ｙ，Ｚ）で表される。そして、３次元の座標値（ｘ，ｙ，ｚ）をパン、チルト、ロールで座標変換した後の座標値は、

となる。

（ｘ_x，ｘ_y，ｘ_z）、（ｙ_x，ｙ_y，ｙ_z）、（ｚ_x，ｚ_y，ｚ_z）を座標変換のＸ軸方向、Ｙ軸方向、Ｚ軸方向とすると、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向は次の条件を満たす必要がある。

そして、ズーム変更による変更後の射影平面をＺ’としたとき、射影変換後の画像上の位置（Ｘ’，Ｙ’）は、

となり、射影変換は次の式のように８個の係数（ａ_xx，ａ_xy，ａ_yx，ａ_yy，ｂ_x，ｂ_y，ｃ_x，ｃ_y）で表すことができる。

現在の画像のピクセル（Ｘ，Ｙ）に対応する過去の画像のピクセル（Ｘ’，Ｙ’）を射影変換によって計算し、この係数を用いて過去のチルト角度θ₀’、過去のパン角度φ₀’、過去の焦点距離Ｚ’から現在のチルト角度θ₀、現在のパン角度φ₀、現在の焦点距離Ｚを算出することができる。

まず、画像中央が向く方向がカメラ１０のチルト角度・パン角度に相当することから、現在の画像中央が向く方向に対応する過去の画像のピクセル（Ｘ’，Ｙ’）は、

である。そして、現在のチルト角度θ₀と現在のパン角度φ₀は、

となる。条件式を係数を用いて書き直すと、

であり、現在の焦点距離Ｚは次のように求められる。

このように、画像処理装置２０は、画像における２次元の座標を、カメラ１０を中心とした実空間における３次元の極座標に変換し、３次元の極座標から画角変更後の画像における座標との対応関係を算出することができる。そこで、画像処理装置２０は、非検知領域データ２４ａに全天球のデータを保存し、全天球上で非検知領域を管理し、物体検知時にはカメラ１０の画角に対応する部分を参照する。このため、非検知領域を設定した後、非検知領域が画角の外に出たとしても、非検知領域は失われない。

図７は、３次元の座標による座標の管理についての説明図である。図７では、カメラ１０の基準位置（θ₀＝０，φ₀＝０）で画像Ｐ１を撮像し、カメラ１０を右方向にパン制御して画像Ｐ２を撮像している。

画像Ｐ１におけるピクセルの座標値をパン制御に伴って変換すると、画像Ｐ２において対応するピクセルの座標値が得られる。画像Ｐ２では画角内に対応するピクセルが存在するが、パン制御を継続して取得した画像Ｐｎで同様に変換を行うと座標値が画角の外側となり、対応するピクセルは存在しない。

画角変更前の画像における２次元座標から画角変更後の画像における２次元座標を直接算出すると、画角の外に出た座標の情報は失われてしまう。一方、画像処理装置２０の算出部２５ｃは、画像Ｐ１におけるピクセルの座標値を実空間の３次元の極座標に変換するため、画角の外に出た座標についても情報を失うことはない。

例えば、最初（φ₀＝０）に非検知領域の座標を設定し、パン制御を継続してカメラ１０が１回転した場合（φ₀＝３６０）、画角変更の度に変更前の２次元座標を変更後の２次元座標に変更する構成では、最初（φ₀＝０）に設定した非検知領域の座標は画角から出た時点で失われ、回転後（φ₀＝３６０）は同一の画角であるにも関わらず、非検知領域の除外ができない。

これに対し、最初（φ₀＝０）に設定した非検知領域の座標を実空間の３次元の極座標に変換する構成では、回転後（φ₀＝３６０）にも非検知領域の座標を特定することができるため、非検知領域を除外することができる。

画像上の２次元座標を実空間の３次元の極座標に変換して利用する場合には、パン、チルト、ズームの履歴を蓄積することが求められる。パン、チルト、ズームの履歴は、カメラ１０の制御内容から蓄積してもよいし、カメラ１０画像から算出して蓄積することも可能である。カメラ１０の画像からパン、チルト、ズームの履歴を蓄積する場合には、非検知領域が画角内に含まれているか否かに関わらず、画角変更前後の画像における任意の対応点を用いてパン、チルト、ズームがどれだけ行なわれたかを算定して蓄積すればよい。

また、画角変更前後の画像における任意の対応点を用いてパン、チルト、ズームがどれだけ行なわれたかを算定して蓄積する構成では、画像処理装置２０からの遠隔制御に依らない画角の変動にも対応可能である。例えば、カメラ１０を直接操作されたり、カメラ１０に物理的に力が加わってカメラ１０の画角が変化した場合であっても、その画角の変化を特定することができる。

上述してきたように、本実施例１では、画像処理装置２０は、撮像装置であるカメラ１０で撮像された画像に対して非検知領域を設定し、カメラ１０の画角を遠隔制御した場合に、画角変更前に設定した非検知領域に対応する画角変更後の非検知領域を算出する。このため、画角を遠隔制御可能なカメラ１０を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することができる。

また、画像処理装置２０は、算出された画角変更後の非検知領域を除外した領域を対象領域として物体を検知する物体検知処理を行うことができる。また、画像処理装置２０は、カメラ１０のパン、チルト、ズーム制御を行うことができる。

また、カメラ１０によって全方位を撮像可能であり、画像処理装置２０は、非検知領域の画像における２次元座標と画像の撮像時のズーム倍率に対応する値とをカメラ１０を中心とした極座標に変換し、該極座標から画角変更後の非検知領域の２次元座標を算出することができる。

本実施例２では、非検知領域の補正を行う画像処理システムについて説明する。ある画像で非検知領域を設定し、画角変更を行った場合に、実施例１に示したように画角変更後の非検知領域を算出することができる。

しかしながら、画角変更前の画像には含まれず、画角変更後の画像に新たに含まれる領域については、非検知領域として検知対象から除外するべき領域であったとしても、元の画像で非検知領域に設定されていないために除外できない。

一方で、画角変更によって新たに画像に含まれる領域が発生する度に、操作者に設定を求めることとすると、操作者の作業負担が大きくなる。そのため、ある画角の画像を用いて非検知領域が設定された場合に、設定された非検知領域を画角の外側に反映させるよう補正を行うことで、操作者の負担を軽減することができる。

図８は、本実施例２に係る画像処理システムの概念の説明図である。図８では、画像処理装置１２０は、カメラ１０から画像Ｐ１を取得し（Ｓ１）、画像Ｐ１に対して非検知領域Ａ１を設定している（Ｓ２）。その後、画像処理装置１２０は、カメラ１０を下方向にチルト制御する画角変更を行って（Ｓ３）、画像Ｐ３を取得している。画像処理装置１２０は、画像Ｐ１に設定された非検知領域Ａ１に対応する画角変更後の非検知領域Ａ３を算出する（Ｓ４）。

画像Ｐ１における非検知領域Ａ１は、画像上で並木を示す領域を含むよう格子を選択しており、言い換えれば並木を示す領域を矩形で近似したものである。このため、並木ではないが非検知領域Ａ１に含まれる箇所や、並木だが非検知領域に含まれない箇所が存在する。

また、画像Ｐ３は、チルト制御の結果、画像Ｐ１よりも広範囲に並木を示す領域が含まれている。しかし、非検知領域Ａ３は、画像Ｐ１で設定された非検知領域から算出されているため、画像Ｐ３で新たに画像内に含まれた並木の領域は非検知領域Ａ３に入っていない。

図９は、非検知領域Ａ１と格子の対応関係を示す説明図であり、図１０は、非検知領域Ａ３の補正についての説明図である。まず、図９に示すように、画像Ｐ１の座標には全天球の格子が対応しており、非検知領域Ａ１は、格子の選択により設定される。

また、図１０に示すように、画角変更後の画像Ｐ３の座標にも全天球の格子が対応している。このため、非検知領域Ａ１に含まれていた格子のうち、画像Ｐ３にも含まれる格子が非検知領域Ａ３を形成する。

さらに、画像処理装置１２０は、画像Ｐ３から補正対象領域Ｂ３を判定し、補正対象領域Ｂ３を非検知領域とすることで、非検知領域Ａ３ａを得る。補正対象領域Ｂ３の条件は、「非検知領域Ａ３と連続する格子であって、非検知領域Ａ３と領域の種別が同一」などを用いればよい。

領域の種別は、例えば、ニューラルネットワークを用いた学習モデルによるセグメンテーションを利用して特定することができる。そして、格子の領域の種別は、格子内に含まれる最大面積の領域の種別を用いればよい。格子の領域の種別は、予め全天球の全ての格子について特定し、非検知領域データ２４ａに関連付けておいてもよい。また、格子に含まれる領域の種別についてその比率を非検知領域データ２４ａに関連付けておいてもよい。

具体的には、画像Ｐ１や画像Ｐ３では、並木、車道、歩道などの領域の種別が得られる。そして、図１０に示すように、非検知領域Ａ３は種別が並木であるため、非検知領域Ａ３に連続し、かつ種別が並木の格子が補正対象領域Ｂ３となっている。この補正対象領域Ｂ３は、補正によって非検知領域Ａ３ａに含まれる。

次に、画像処理装置１２０の構成について説明する。図１１は、画像処理装置１２０の構成を示す構成図である。図１１に示すように、画像処理装置１２０は、制御部２５に領域種別識別部２５ｅ及び補正処理部２５ｆをさらに備える点が、図２に示した画像処理装置２０と異なる。その他の構成及び動作については、図２に示した画像処理装置２０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

領域種別識別部２５ｅは、カメラ１０から取得した画像に対し、領域の種別を識別する処理を行う。領域の識別は、カメラ１０が基準位置で撮像した画像であるか否かに関わらず、任意の画像に対して行うことができる。また、識別には、既に説明したように、ニューラルネットワークを用いた学習モデルによるセグメンテーションなど、任意の手法を用いることができる。

補正処理部２５ｆは、非検知領域を補正する処理を行う。具体的には、補正処理部２５ｆは、「非検知領域と連続する格子であって、非検知領域と領域の種別が同一」などの条件を用いて補正対象領域を判定し、補正対象領域を非検知領域に含める補正を行う。そして、画像処理装置１２０の物体検知部２５ｄは、補正処理部２５ｆにより補正された非検知領域を除外した領域を対象領域として物体を検知する。

次に、画像処理装置１２０の処理手順について説明する。図１２は、画像処理装置１２０の処理手順を示すフローチャートである。図１２に示した処理手順では、物体検知処理（ステップＳ１０７）の前に非検知領域の補正（ステップＳ１０６ａ）が追加されている。その他の処理手順については、図３に示した処理手順と同一であるので説明を省略する。

図１２の処理手順では、ステップＳ１０６の後、もしくは非検知領域の設定操作を受け付けていない場合（ステップＳ１０４；Ｎｏ）、補正処理部２５ｆが非検知領域の補正を行い（ステップＳ１０６ａ）、物体検知部２５ｄは、補正処理部２５ｆにより補正された非検知領域を除外した領域を対象領域として物体を検知する（ステップＳ１０７）。

次に、非検知領域の補正の変形例について説明する。これまでの説明では、全天球を分割した格子単位で非検知領域を管理する構成について説明したが、領域の種別に基づいて非検知領域を補正することで、領域単位で非検知領域を管理することも可能である。

図１３は、変形例における非検知領域の補正についての説明図である。図１３では、画像処理装置１２０は、画像Ｐ１に対し、領域の種別を識別する処理を行っている（Ｓ１ｃ）。この識別には、例えば、ニューラルネットワークを用いた学習モデルによるセグメンテーションを利用すればよい。領域の種別を識別した画像Ｐ１ｃは、識別された領域で分割され、各領域に種別が対応付けられる。具体的には、画像Ｐ１ｃは、並木、車道、歩道などの領域に分割されている。

そして、画像処理装置１２０は、非検知領域Ａ１を設定したならば（Ｓ２）、非検知領域Ａ１に含まれる領域の種別毎の比率を用い、非検知領域の補正を行う（Ｓ２ｃ）。図１３では、非検知領域Ａ１の大部分を並木の領域が占めている。そこで、画像処理装置１２０は、非検知領域Ａ１と連続した並木の領域を補正後の非検知領域Ａ１ｃとする。

図１４は、変形例における画角変更後の補正についての説明図である。画像処理装置１２０は、画角変更を行って（Ｓ３）、画像Ｐ３を取得している。そして、画像処理装置１２０は、画像Ｐ１に設定された非検知領域Ａ１に対応する画角変更後の非検知領域Ａ３を算出している（Ｓ４）。

また、画像処理装置１２０は、画像Ｐ３に対し、領域の種別を識別する処理を行う。そして、非検知領域Ａ３に含まれる領域の種別毎の比率を用い、非検知領域の補正を行う（Ｓ４ｃ）。図１４では、非検知領域Ａ３の大部分を並木の領域が占めている。そこで、画像処理装置１２０は、非検知領域Ａ３と連続した並木の領域を補正後の非検知領域Ａ３ｃとする。

この変形例では、補正処理部２５ｆは、非検知領域設定部２５ｂにより設定された非検知領域や、算出部２５ｃにより算出された画角変更後の非検知領域を補正する処理を行う。具体的には、補正処理部２５ｆは、種別毎に検知領域と非検知領域の比率を求め、非検知領域の比率が所定比率以上であれば、その種別の領域で、非検知領域の格子と連続した領域を非検知領域とする。そして、画像処理装置１２０の物体検知部２５ｄは、補正処理部２５ｆにより補正された非検知領域を除外した領域を対象領域として物体を検知する。

次に、画像処理装置とコンピュータの主たるハードウエア構成の対応関係について説明する。図１５は、ハードウエア構成の一例を示す図である。

一般的なコンピュータは、ＣＰＵ９１、ＲＯＭ（Read Only Memory）９２、ＲＡＭ９３及び不揮発性メモリ９４などがバス９５により接続された構成となる。不揮発性メモリ９４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。

ここで、ＲＯＭ９２又は不揮発性メモリ９４には、オペレーティングシステム（Operating System；以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ９１は、電源投入時にＲＯＭ９２又は不揮発性メモリ９４からＯＳのプログラムをリードして実行する。

一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ９４に記憶されており、ＣＰＵ９１がＲＡＭ９３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。

そして、実施例１及び実施例２で説明した画像処理装置２０や画像処理装置１２０の機能についても、他のアプリケーションプログラムと同様に不揮発性メモリ９４等にプログラムとして記憶し、ＣＰＵ９１がこのプログラムをロードして実行することになる。例えば、図２に示した画角制御部２５ａ、非検知領域設定部２５ｂ、算出部２５ｃ及び物体検知部２５ｄに対応するルーチンを含む画面処理プログラムを不揮発性メモリ９４等に記憶させ、ＣＰＵ９１により画面処理プログラムがロード実行されることにより、画角制御部２５ａ、非検知領域設定部２５ｂ、算出部２５ｃ及び物体検知部２５ｄに対応するプロセスが生成される。なお、非検知領域データ２４ａ等は、不揮発性メモリ９４に記憶される。

上述してきたように、本実施例２では、実施例１と同様に画角変更後の非検知領域を算出可能であり、画角を遠隔制御可能なカメラ１０を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することができる。さらに、実施例２では、非検知領域を補正することで、操作者の作業負担の軽減、誤検知や検知漏れの防止を実現することができる。

なお、本実施例２では、画像に含まれる領域の種別を識別し、非検知領域に含まれる領域の種別を用いて非検知領域を補正する構成を例示したが、本発明はこれに限定されるものではなく、任意の手法を用いて非検知領域を補正することができる。

また、上記の実施例１及び実施例２では、画像に対して設定された２次元の非検知領域を極座標に変換して非検知領域データ２４ａとして記憶する構成を例示したが、画像に対して設定された２次元の非検知領域をそのまま非検知領域データ２４ａとして記憶する構成としてもよい。この場合には、画角変更後の非検知領域を算出するときに、非検知領域データ２４ａを極座標に変換し、現在の撮像方向等から画角変更後の画像における非検知領域を算出することになる。若しくは、画角変更後の画像における物体の位置を現在の撮像方向等に基づいて極座標に変換するとともに、非検知領域データ２４ａを極座標に変換し、物体の位置が非検知領域内であるか否かを判定してもよい。

また、上記の実施例１及び実施例２では、画像処理装置がカメラを遠隔制御する場合を例に説明を行ったが、カメラの画角制御がＰＴＺ制御である限り、画像処理装置以外による制御を受けるものであってもよく、画像処理装置がカメラの制御機能を有さなくともよい。

また、上記の実施例１及び実施例２では、画角変更後の非検知領域を算出する構成を例示したが、画角変更後の検知領域を算出するよう構成することも可能である。

なお、上記の実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明の画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法は、画角を遠隔制御可能な撮像装置を用いて画像を撮像する場合に、物体の誤検知に伴う信頼性の低下を抑制することに有用である。

１０ カメラ
２０、１２０ 画像処理装置
２１ 通信部
２２ 表示部
２３ 入力部
２４ 記憶部
２４ａ 非検知領域データ
２５ 制御部
２５ａ 画角制御部
２５ｂ 非検知領域設定部
２５ｃ 算出部
２５ｄ 物体検知部
２５ｅ 領域種別識別部
２５ｆ 補正処理部
９１ ＣＰＵ
９２ ＲＯＭ
９３ ＲＡＭ
９４ 不揮発性メモリ
９５ バス

Claims (8)

1. 画角を遠隔制御可能な撮像装置で撮像された画像の画像処理を行う画像処理装置における画像処理プログラムであって、
   前記画像に対して非検知領域を設定する非検知領域設定手順と、
   前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定手順により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出手順と、
   前記算出手順により算出された画角変更後の非検知領域を補正する非検知領域補正手順と
   をコンピュータに実行させることを特徴とする画像処理プログラム。
2. 前記算出手順により算出された画角変更後の非検知領域を除外した領域を対象領域として物体を検知する第１の物体検知手順をさらにコンピュータに実行させることを特徴とする請求項１に記載の画像処理プログラム。
3. 前記撮像装置のパン、チルト、ズーム制御を行う画角制御手順をさらにコンピュータに実行させることを特徴とする請求項１又は２に記載の画像処理プログラム。
4. 前記非検知領域補正手順により補正された非検知領域を除外した領域を対象領域として物体を検知する第２の物体検知手順をさらにコンピュータに実行させることを特徴とする請求項１に記載の画像処理プログラム。
5. 前記撮像装置は全方位を撮像可能であり、
   前記算出手順は、前記非検知領域の前記画像における２次元座標を前記撮像装置を中心とした極座標に変換し、該極座標から前記画角変更後の非検知領域の２次元座標を算出する
   ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理プログラム。
6. 画角を遠隔制御可能な撮像装置で撮像された画像の画像処理を行う画像処理装置であって、
   前記画像に対して非検知領域を設定する非検知領域設定部と、
   前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定部により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出部と、
   前記算出部により算出された画角変更後の非検知領域を補正する非検知領域補正部と
   を備えたことを特徴とする画像処理装置。
7. 撮像装置と、前記撮像装置の画角を遠隔制御するとともに該撮像装置で撮像された画像の画像処理を行う画像処理装置とを通信可能に接続した画像処理システムであって、
   前記画像処理装置は、
   前記撮像装置の画角を制御する画角制御部と、
   前記画像に対して非検知領域を設定する非検知領域設定部と、
   前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定部により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出部と、
   前記算出部により算出された画角変更後の非検知領域を補正する非検知領域補正部と
   を備えたことを特徴とする画像処理システム。
8. 画角を遠隔制御可能な撮像装置で撮像された画像の画像処理を行う画像処理装置における画像処理方法であって、
   前記画像に対して非検知領域を設定する非検知領域設定工程と、
   前記撮像装置の画角が遠隔制御された場合に、前記非検知領域設定工程により設定された非検知領域に対応する画角変更後の非検知領域を算出する算出工程と、
   前記算出工程により算出された画角変更後の非検知領域を補正する非検知領域補正工程と
   を含んだことを特徴とする画像処理方法。

Images