JP5574551B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像（映像）に基づいて侵入物（或いは、侵入者である場合もある、以下も同様）を監視する監視用のＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）装置などの画像処理装置に関し、特に、侵入物を効果的に検知（検出）する画像処理装置に関する。

図４には、画像処理装置により行われる侵入物の検知条件設定方法のフローチャートの一例を示してある。
図５には、侵入物の監視対象エリアの一例を示してある。
監視場所にカメラを設置し、カメラにより撮像された監視映像２０１が画像処理装置の入力映像として与えられる。監視映像２０１には、敷地内エリア２０２と、敷地外エリア２１１が存在する。敷地外エリア２１１から敷地内エリア２０２へ移動した物体の検知を行いたい場合を考える。

図４に示される手順で検知条件を設定する。
まず、方向検知ライン・検知方向設定ステップ（ステップＳ１１）で、方向検知ラインＤ１と検知方向（判定方向）Ｅ１を設定する。同様に、方向検知ライン・検知方向設定ステップ（ステップＳ１２）で、方向検知ラインＤ２と検知方向（判定方向）Ｅ２を設定する。
これらのステップＳ１１、Ｓ１２の設定は、ユーザ（人）の操作により人為的に行われる。

設定された条件を元に画像処理装置が検知を行う。
すなわち、物体２２１−１の軌跡２２２−１が方向検知ラインＤ１を、設定した検知方向Ｅ１にまたいだ場合に、それを検知する。
しかしながら、敷地内の物体２２１−２の軌跡２２２−２が、ノイズ等の影響で一瞬敷地外に入ってしまい、方向検知ラインＤ１を、設定した検知方向Ｅ１にまたいだ場合も、それを検知してしまう。
このように、本例の検知方法では、一瞬でも方向検知ラインをまたいだ物体を検知してしまうため、誤検知が多い。

特開２００１−１５５２６３号公報 特開２００５−５７７４３号公報 特開２００８−１７６７６８号公報

上述のように、画像処理装置において、方向検知ラインを用いた侵入物の検知を行う場合には、例えば即時検知が求められるが、その結果、一瞬でも方向検知ラインを横切った物体を検知してしまうため、誤報（誤検出）につながってしまうといった問題があった。 本発明は、このような従来の課題を解決するために為されたもので、侵入物を効果的に検知することができ、例えば、誤検出を低減することができる画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明では、画像に基づいて所定の条件を満たした物体を検出する画像処理装置において、次のような構成とした。
すなわち、第１のライン設定手段が、ユーザ（人）により行われる操作に応じて、処理対象となる画像に対して、第１のラインを設定する。第２のライン設定手段が、前記第１のライン設定手段により設定された第１のラインに応じて、それ（第１のライン）とは離隔した第２のラインを前記処理対象となる画像に対して設定する。物体検出手段が、前記第１のライン設定手段により設定された第１のラインを横切るとともに前記第２のライン設定手段により設定された第２のラインを横切った物体を検出する。なお、この場合、前記所定の条件は、「第１のラインを横切るとともに第２のラインを横切った物体を検出する条件」となり、但し、他の条件があればそれも考慮される。

従って、画像に基づいて画像処理を行って、所定の条件を満たした物体（画像上の物体）を検出するに際して、ユーザにより第１のラインが設定されると、第２のラインが設定され、これら両方のラインを横切った物体が検出され、例えば、第１のラインのみを横切った物体は検出されないため、侵入物を効果的に検知（検出）することができ、誤検出を低減することができる。

ここで、画像（映像）としては、種々なものが用いられてもよく、例えば、動画像を用いることができる。
また、検出対象とする物体としては、例えば、物や人や動物など、任意のものが用いられてもよく、また、大きさや速度などに基づいて所定のものだけ（例えば、人だけ、等）が検出対象とされてもよい。
また、物体を検出するための条件としては、種々なものが用いられてもよく、複数の条件が組み合わされて用いられてもよい。
また、第１のラインや第２のラインとしては、種々なものが用いられてもよく、例えば、直線（線分）や、折れ線や、曲線などを用いることができる。

また、第１のラインに応じて第２のラインを設定する方法としては、種々なものが用いられてもよく、例えば、第１のラインに対して所定の距離（例えば、実際の距離、或いは、画像上の見かけの距離、など）だけ離隔して平行に離れた位置に第２のラインを設定する方法を用いることができ、また、例えば、検出対象とする物体の移動方向が設定されているような場合には、第１のラインに対してその方向にずれた第２のラインを設定することができる。
また、第１のラインに応じて第２のラインを設定する方法は、例えば、予め画像処理装置のメモリに設定されて記憶されるが、他の構成例として、離隔距離などのように第２のラインを設定するために必要な情報の一部又は全部をユーザから受け付けるような態様が用いられてもよい。

［以下、他の構成例］
以下で、他の構成例を示す。
（１）前記所定の条件には、物体の移動方向の条件が含まれる。この場合、設定された移動方向の条件に適合した方向に移動する物体を検出する。移動方向としては、一方向であってもよく、或いは、両方向であってもよい。また、移動方向としては、一例として、ラインを横切るときに、ラインのどちら側からどちら側（反対側）へ横切るかという方向（ラインを横切る方向）を用いることができる。
また、この場合、例えば、第２のラインは、設定された移動方向の条件に適合した方向に所定の距離だけ第１のラインから離れた位置に設定される。一方向の場合には１本設定され、両方向の場合には２本設定される。
また、両方向の場合には、２本の第２のラインのうち、例えば、第１のラインと１本の第２のラインを横切れば物体を検出する条件を用いることや、或いは、第１のラインと２本の第２のラインの全てを横切れば物体を検出する条件を用いることができる。

（２）前記所定の条件には、エリア（領域）の条件が含まれる。例えば、除外エリアの条件では、除外エリアの中に存在していた物体については検出しない。
具体例として、ユーザにより行われる操作に応じて処理対象となる画像に対して第１のエリアを設定する第１のエリア設定手段と、前記第１のエリア設定手段により設定された第１のエリアに応じてそのエリア（第１のエリア）を縮小した第２のエリアを前記処理対象となる画像に対して設定する第２のエリア設定手段と、前記第２のエリア設定手段により設定された第２のエリアに基づく所定の条件（例えば、除外エリアの条件など）を用いて物体を検出する物体検出手段と、を備える。
ここで、第１のエリアを縮小した第２のエリアを設定する方法としては、種々なものが用いられてもよく、例えば、第１のエリア（一例として、除外エリア）のうちで他のエリア（一例として、除外しないエリア）と接する境界の所を縮小した（他のエリアから離隔した）第２のエリアを設定するようなことができる。

（３）例えば、ラインの条件とエリアの条件の両方（組み合わせ）を満たした場合に物体を検出するようなことができる。
また、ラインの条件やエリアの条件などが複数存在する場合に、それぞれの条件毎に、使用する条件の組み合わせをユーザにより設定することが可能な構成とすることもできる。
［以上、他の構成例］

以上説明したように、本発明に係る画像処理装置によると、侵入物を効果的に検知することができ、例えば、誤検出を低減することができる。

本発明の一実施例に係る検知条件設定方法の処理の手順の一例を示す図である。 本発明の一実施例に係る監視対象エリアの一例を示す図である。 本発明の一実施例に係る検知条件組み合わせ設定のための画面の一例を示す図である。 背景技術に係る検知条件設定方法の処理の手順の一例を示す図である。 背景技術に係る監視対象エリアの一例を示す図である。 本発明の一実施例に係る画像処理装置の構成例を示す図である。 （ａ）は第１の撮像装置により撮像される入力画像の一例を示す図であり、（ｂ）は第２の撮像装置により撮像される入力画像の一例を示す図であり、（ｃ）は第３の撮像装置により撮像される入力画像の一例を示す図であり、（ｄ）は第１の監視装置によるシーン画像の一例を示す図であり、（ｅ）は第２の監視装置によるシーン画像の一例を示す図であり、（ｆ）は第３の監視装置によるシーン画像の一例を示す図である。 （ａ）は座標変換を説明するための図であり、（ｂ）は座標変換を説明するための図である。 （ａ）は領域指定の方法を説明するための図であり、（ｂ）は領域指定の方法を説明するための図である。

本発明に係る実施例を、図面を参照して説明する。
図６には、本発明の一実施例に係る画像処理装置１の構成例を示してある。
本例の画像処理装置１は、入力部１１と、出力部１２と、記憶部１３と、制御部１４を備えている。
入力部１１は、外部のカメラなどから監視対象となる映像（画像）を入力する機能や、ユーザ（人）の操作により各種の指示（制御）や情報を入力するためのキーやマウスなどの機能や、外部の装置から各種の指示（制御）や情報の信号を入力する機能などを有している。
出力部１２は、ユーザに対して映像や各種の情報を画面に表示する機能や、ユーザに対して各種の音（音声）を出力する機能や、外部の装置に対して各種の指示（制御）や情報の信号を出力する機能などを有している。

記憶部１３は、メモリを用いて構成されており、処理対象となる映像や検知条件などの各種の情報を記憶する機能や、各種の処理に使用されるプログラムを記憶する機能などを有している。
制御部１４は、画像処理装置１において行われる各種の処理を制御する機能を有している。制御部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有しており、各種のプログラムを実行することにより各種の処理を実行する。

本例の画像処理装置１により行われる侵入物の検知処理の一例を示す。
図１には、本例の画像処理装置１により行われる侵入物の検知条件設定方法のフローチャートの一例を示してある。
図２には、侵入物の監視対象エリアの一例を示してある。
本例では、特定の移動方向へ移動した物体を検知する際に用いる、方向検知ラインを自動的に二重化する処理を行う。

監視場所にカメラを設置し、カメラにより撮像された監視映像１０１が画像処理装置１に入力映像として与えられる。
監視映像１０１で、敷地外エリア１１１から敷地内エリアＺ１へ移動した物体のみを検知し、敷地内エリアＺ１に存在する物体や、敷地内エリアＺ１から敷地外エリア１１１へ移動した物体は検知しない、という条件で、侵入物（上述のように、或いは、侵入者である場合もある、以下も同様）の検知を行う。

まず、方向検知ライン・検知方向設定ステップ（ステップＳ１）で、敷地外エリア１１１から敷地内エリアＺ１へ移動する物体を検知するための方向検知ラインＡ１及び検知方向（判定方向）Ｃ１を設定する。なお、この検知方向Ｃ１は一方向となっている。設定すると、判定用方向検知ライン算出ステップ（ステップＳ２）が自動的に実行され、判定用方向検知ラインＢ１が設定される。
ここで、判定用方向検知ラインＢ１は、設定された方向検知ラインＡ１の始点、終点から、検知方向Ｃ１（本例の場合には、設定された方向検知ラインＡ１の上方向）に数ｍ奥（例えば、１ｍ奥）の位置を算出することによって得られる。判定用方向検知ラインＢ１を設定する仕方（例えば、計算式等）は、本例では、予め装置に設定されて記憶されており、他の構成例として、ユーザによって指定されてもよい。

なお、この判定用方向検知ラインＢ１の算出は、例えば、予め設定されたカメラ設置条件（例えば、カメラの俯角、カメラの高さ、水平方向の視野角、ＣＣＤサイズ、焦点距離などの１つ以上）などを用いて行うことができる（例えば、特許文献２、特許文献３や特願２００７−１７６０３９号を参照。）。すなわち、カメラの設置条件によってカメラにより撮像される映像の見え方は変化し、実際の撮像対象（映像に映っているもの）の配置や大きさ（長さや幅や距離など）等とは異なるものとなるため、例えば、これらの違い（座標の違い）を考慮して、判定用方向検知ラインＢ１を設定することができる。
また、ｍ（メートル）等の実際の長さと画面上での画素数とを変換する算出についても、同様に行うことが可能である（例えば、特許文献２や特願２００７−１７６０３９号を参照。）。

同様に、方向検知ライン・検知方向設定ステップ（ステップＳ３）で、方向検知ラインＡ２及び検知方向（判定方向）Ｃ２を設定する。なお、この検知方向Ｃ２は両方向となっている。設定すると、判定用方向検知ライン算出ステップ（ステップＳ４）が自動的に実行され、２本の判定用方向検知ラインＢ２−１、Ｂ２−２が設定される。ここで、この判定用方向検知ラインＢ２−１、Ｂ２−２は、上記した判定用方向検知ラインＢ１と同様の方法で計算されるが、方向検知ラインＡ２の検知方向Ｃ２は両方向となっているため、設定した方向検知ラインＡ２の両側（例えば、左右）にそれぞれ、判定用方法検知ラインＢ２−１、Ｂ２−２が自動的に設定される。

次に、敷地内エリアＺ１に存在する物体を確実に排除するために、検知除外エリア設定ステップ（ステップＳ５）で、検知除外エリアＺ１（本例では、敷地内エリアＺ１と同一のエリア）を設定する。例えば、検知除外エリアＺ１で検知された物体については、方向検知ラインＡ１及び判定用方向検知ラインＢ１を横切った場合でも検知しない、といった判定方法を用いることができる。

検知除外エリアＺ１は、例えば、ユーザにより複数の点を指定することにより設定し、具体例として、点１３１ａ、点１３１ｂ、点１３１ｃ、点１３１ｄ、点１３１ｅと順番に指定することにより設定する。本例では、これら複数の点で囲まれる内側のエリアを検知除外エリアＺ１として設定する。設定すると、判定用検知除外エリア算出ステップ（ステップＳ６）が実行され、検知除外エリアＺ１を構成する点１３１ａ、点１３１ｂ、点１３１ｃ、点１３１ｄ、点１３１ｅのうち、敷地外エリア１１１と隣接する点１３１ｃ、点１３１ｄ、点１３１ｅに対して、数ｍ奥（例えば、１ｍ奥）の位置の点１３２ｃ、点１３２ｄ、点１３２ｅが算出され、判定用検知除外エリアＺ２が設定される。本例では、奥に新たな位置が算出されなかった点１３１ａ、点１３１ｂと奥に新たな位置が算出された点１３２ｃ、点１３２ｄ、点１３２ｅで囲まれる内側のエリアを判定用検知除外エリアＺ２として設定する。

ここで、点１３２ｃ、点１３２ｄ、点１３２ｅを数ｍ奥にする理由は、敷地外エリア１１１に存在する物体の足元位置が正確に得られなかった場合における検知もれを少なくするためである。このような点（判定用検知除外エリアＺ２を構成する点）を設定する仕方（例えば、計算式等）は、本例では、予め装置に設定されて記憶されており、他の構成例として、ユーザによって指定されてもよい。
なお、点１３２ｃ、点１３２ｄ、点１３２ｅの算出方法としては、例えば、判定用方向検知ラインＢ１、Ｂ２−１、Ｂ２−２の算出方法と同様な方法（例えば、カメラによる見え方と実際の配置等との違いを考慮した方法）を用いることができる。
ステップＳ１、Ｓ３、Ｓ５の設定は、ユーザ（人）の操作により人為的に行われ、また、ステップＳ２、Ｓ４、Ｓ６の算出（ラインやエリアの作成）は、装置により自動的に行われる。

画像処理装置１では、監視映像１０１について画像処理を行うことにより、設定された条件を元に侵入物の検知を行う。
すなわち、監視映像１０１において、物体１２１−１の軌跡１２２−１が、設定した検知方向Ｃ１に、方向検知ラインＡ１及び判定用方向検知ラインＢ１の両方を横切った場合に、侵入物（本例では、侵入者）があったとして検知する。また、敷地内エリアＺ１の物体１２１−２の軌跡１２２−２は、設定した検知方向Ｃ１に、方向検知ラインＡ１を横切っているが、判定用方向検知ラインＢ１を横切っていないため、侵入物として検知しない。

次に、検知エリアと方向検知ラインを組み合わせて判定する際における設定方法について説明する。
図３には、検知条件組み合わせ設定のための画面１４１の一例を示してある。
まず、検知設定領域１５１で、それぞれのラインやエリアについて、検知条件として使用するか否かをオン又はオフ（ＯＮ／ＯＦＦ）を選択して設定する。ここで、オンは検知することを示し、オフは検知しないことを示す。

本例では、敷地外エリア１１１から敷地内Ｚ１へ移動する物体を検知するために、方向検知ラインＡ１、方向検知ラインＡ２について、両方とも、オンに設定する。このため、方向検知ラインＡ１、Ａ２のいずれかを（所定の方向で、判定用方向検知ラインも含めて）横切ったら検知する。
また、検知除外エリアＺ１は、本例では、敷地内の物体を確実に排除するために設定したものであり、検知除外エリアＺ１（本例では、判定用検知除外エリアＺ２）に物体がいても検知はしないため、検知条件としてはオフに設定する。

検知設定領域１５１でオンに設定されたものに対して、検知条件組み合わせ設定領域１５２で、組み合わせて判断する条件を設定することができる。例えば、方向検知ラインＡ１と組み合わせて使用する条件として、検知除外エリアＺ１で「未検知」と設定する。この設定をすることにより、方向検知ラインＡ１を（所定の方向で、判定用方向検知ラインも含めて）横切った物体が、過去に検知除外エリアＺ１（本例では、判定用検知除外エリアＺ２）で検知されていたら、その物体は検知しない。また、方向検知ラインＡ１を（所定の方向で、判定用方向検知ラインも含めて）横切った物体が、過去に検知除外エリアＺ１（本例では、判定用検知除外エリアＺ２）で検知されていなかった場合には、侵入物として検知する。これにより、敷地内エリアＺ１に存在する物体（例えば、物や人）を確実に検知対象から排除することができる。
また、方向検知ラインＡ２については、組み合わせて使用する条件を設けないため、本例では、「−」を設定してある。

ここで、それぞれの物体が検知除外エリアＺ１（本例では、判定用検知除外エリアＺ２）に存在するか否かは、例えば、監視映像１０１の画像処理を行うことにより検出することができる。また、各物体については、例えば、その大きさや形状などに基づいて識別することができる。そして、本例では、過去に検知除外エリアＺ１（本例では、判定用検知除外エリアＺ２）に存在した物体の情報がメモリに記憶される。

以上のように、本例の画像処理装置１（或いは、それに設けられた画像処理ソフトウエア）では、例えば、監視領域内を撮像する複数のテレビジョンカメラから得られた映像信号を処理し、指定した方向に移動する侵入物を検知するに際して、方向検知ラインを自動的に二重化し、ヒステリシスを設ける機能を有する。
また、本例の画像処理装置１（或いは、それに設けられた画像処理ソフトウエア）では、例えば、検知エリアや方向検知ライン等の複数の検知条件を有しており、検知エリアや方向検知ライン等による検知／未検知の状態を組み合わせて、最終的な判定を行う機能を有する。

従って、本例の画像処理装置１（或いは、それに設けられた画像処理ソフトウエア）では、移動方向による検知を行う場合に、方向検知ラインが設定されると、自動的に方向検知ラインの設定を二重化して、ヒステリシスを持たせた検知（判定）を行うことにより、物体の誤検出を低減させて、安定に判定することを可能とすることができる。
具体例として、方向検知ラインや検知方向が設定された際に、設定された方向検知ラインや検知方向を元に、検知方向に数ｍ離れた位置に判定用の方向検知ラインを自動的に算出して設定し、これら２つの方向検知ラインの両方を横切った（超えた）物体を検知することで、誤検知を低減することができ、例えば、一瞬だけ１つの方向検知ラインをまたいだような物体の誤検知を防ぐことができる。
また、エリアや方向検知ライン等を用いた検知状況（検知／未検知の設定）を組み合わせて検知を行うことで、より現場に合わせた設定を行うことが可能である。

なお、本例の画像処理装置１では、ユーザにより行われる操作に応じて第１のライン（本例では、方向検知ラインＡ１、Ａ２）を設定する機能により第１のライン設定手段が構成されており、第１のラインに応じて第２のライン（本例では、判定用方向検知ラインＢ１、Ｂ２−１、Ｂ２−２）を設定する機能により第２のライン設定手段が構成されており、第１のラインと第２のラインの両方を用いて画像上の物体（画像に映る物体）を検出する機能により物体検出手段が構成されている。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

［以下、特願２００７−１７６０３９号の開示内容の一部］
以下で、参考として、特願２００７−１７６０３９号の開示内容の一部（出願内容そのままではない箇所もある）を示しておく。以下の内容は、主に、カメラから見た映像と実際のもの（映像に映っているもの）との座標変換や、ユーザによる領域等（本実施例では、例えば、ラインや点など）の設定などに関する事項である。必要に応じて、本願発明に利用することが可能である。
なお、以下の説明は参考であり、本願発明の内容は、以上の説明で十分に理解や実施することが可能であると思料するが、必要であれば、以下の内容が参考とされてもよい。

まず、技術思想の概念（１）〜（３）を示す。
（１）画像を処理する画像処理装置において、撮像装置（例えば、カメラ）による撮像時の座標系である第１の座標系（この例では、カメラ座標系と言う）の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第２の座標系（この例では、シーン座標系と言う）の画像へ変換された当該画像（第２の座標系の画像）を表示する表示手段と、前記表示手段により表示された画像に関する設定情報をユーザから受け付ける受付手段と、前記受付手段により受け付けられた設定情報を第２の座標系の情報から撮像装置の配置によらない基準となる平面上に設けられた第３の座標系（この例では、ワールド座標系と言う）の情報へ変換する座標系変換手段と、を備えたことを特徴とする画像処理装置。 従って、各撮像装置の配置に応じた画像を見ることができて遠近による見かけ上の大きさの違いが無い第２の座標系の画像を見て、ユーザ（人）により設定情報を入力することにより、ユーザにとって設定情報の設定を感覚的に（例えば、視覚的に）分かり易く容易に行うことができ、また、第２の座標系の設定情報が撮像装置の配置によらない第３の座標系の設定情報へ変換されることにより、配置が異なる撮像装置においても設定情報の共有を可能とすることができる。
これにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。また、撮像装置を追加する場合や、設定情報を追加或いは変更する場合などにおいても、設定情報を効率的に設定することができる。

（２）前記（１）に記載の画像処理装置において、前記座標系変換手段は、所定の配置を有する一の撮像装置により撮像された画像に基づいて取得された第３の座標系の設定情報を、前記所定の配置とは異なる配置に対応した第２の座標系の情報へ変換し、当該画像処理装置は、前記座標系変換手段により変換された情報（第２の座標系の設定情報）を、前記所定の配置とは異なる配置を有する前記一の撮像装置とは異なる撮像装置又は配置が変更された前記一の撮像装置により得られる画像に関して設定する変換情報設定手段を備えた、ことを特徴とする画像処理装置。
従って、第３の座標系の設定情報を取得して、その情報を任意の配置（撮像装置の配置）に対応した第２の座標系の情報へ変換することにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。

（３）前記（１）又は前記（２）に記載の画像処理装置において、前記画像に関する設定情報として、監視する領域を指定する情報又は検出の対象に関する情報のうちの少なくとも一方が用いられる、ことを特徴とする画像処理装置。
従って、これらの情報を、異なる配置を有する同一又は異なる撮像装置の間で共有することができる。
なお、検出の対象に関する情報としては、種々な情報が用いられてもよく、例えば、対象の大きさや幅や高さや長さなどに関する閾値の情報を用いることができる。一例として、対象の大きさ等がその閾値以上である場合（又は、その閾値以下や、ある範囲（範囲を表す閾値）内などでもよい）に、その対象を検出するような処理を行うことができる。

ここで、撮像時の座標系である第１の座標系（カメラ座標系）としては、例えば、撮像装置（例えば、カメラ）の視点で見た座標系が用いられる。
また、基準となる平面上に設けられた第２の座標系（シーン座標系）としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。第２の座標系は、撮像装置の配置に依存して異なり得る。
また、基準となる平面上に設けられた第３の座標系（ワールド座標系）としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。第３の座標系は、撮像装置の配置に依存せずに一定である。

なお、基準となる平面の座標系（第２の座標系や第３の座標系）は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、一例として、地面を真上から見た当該地面の平面が用いられるが、地面は完全には平らではないことや、必ずしも完全に地面の平面にしなくてもよい場合もあることなどから、実用上で有効な程度で、ずれがあってもよい。
具体例として、第２の座標系は、撮像装置毎に、設置位置を原点として、高さ方向をｚ軸として、初期的な視点方向（或いは、雲台の方向などのように所定の方向）に応じて予め決められた直交するｘ軸及びｙ軸から構成され、また、第３の座標系は、高さ方向をＺ軸として、予め決められた直交するＸ軸及びＹ軸から構成される。

また、第１の座標系（カメラ座標系）と第２の座標系（シーン座標系）との座標変換は、例えば、撮像装置（例えば、カメラ）の設置状況や撮像状況に応じたパラメータを用いて行うことができる。
また、第２の座標系（シーン座標系）と第３の座標系（ワールド座標系）とは、例えば、同一の基準となる平面上に設けられるため、これらの座標変換は、回転や平行移動により行うことができる。具体的には、第２の座標系の原点と第３の座標系の原点との差異（位置の差異）を補正するために平行移動し、第２の座標系の平面上の座標軸（例えば、直交するｘ軸及びｙ軸）と第３の座標系の平面上の座標軸との差異（角度の差異）を補正するために回転する。なお、第２の座標系と第３の座標系とで、基準となる平面が異なっていて平行である（つまり、高さ方向のみ異なる）場合には、高さ方向の移動の処理を加えて、これらの座標変換を行うことができる。
また、必要に応じて、第１の座標系と第３の座標系との間で直接的に座標変換が行われてもよい。

具体的には、画像処理装置では、例えば、設定された基準となる平面の座標系（第２の座標系や第３の座標系）と、設置された撮像装置（例えば、カメラ）の配置や焦点距離などに基づく座標系（第１の座標系）との間で、変換式（数式）などを用いて、直接的に或いは間接的に、互いに座標変換を行うことが可能である。
撮像装置の配置や焦点距離などの情報は、例えば、ユーザにより画像処理装置に設定されてもよく、或いは、画像処理装置が撮像装置などからの情報に基づいて（自動的に）検出してもよく、或いは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。

また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第２の座標系（或いは、他の構成例として、他の座標系）の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。

次に、具体例を示しておく。なお、監視装置は、例えば、画像処理装置を構成する装置となる。
図７（ａ）〜図７（ｆ）を参照して、領域設定処理（なお、ラインや点の設定処理などにも適用可能である）の流れを説明する。
図７（ａ）には、画像入力処理ステップにおいて第１の撮像装置により撮像された入力画像１１２１の一例を示してある。また、多角形の監視領域（点線）１１２２の一例を示してある。
図７（ｂ）には、画像入力処理ステップにおいて第２の撮像装置により撮像された入力画像１１３１の一例を示してある。また、多角形の監視領域（点線）１１３２の一例を示してある。
図７（ｃ）には、画像入力処理ステップにおいて第３の撮像装置により撮像された入力画像１１４１の一例を示してある。また、多角形の監視領域（点線）１１４２の一例を示してある。

図７（ｄ）には、第１の監視装置について、第１の撮像装置の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１１２１を撮像装置が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１１５１の一例を示してある。また、監視領域（点線）１１５２の一例を示してある。
図７（ｅ）には、第２の監視装置について、第２の撮像装置の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１１３１を撮像装置が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１１６１の一例を示してある。
図７（ｆ）には、第３の監視装置について、第３の撮像装置の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１１４１を撮像装置が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１１７１の一例を示してある。

本例では、領域設定処理は、最初に、各撮像装置の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像１１２１、１１３１、１１４１を、各撮像装置の位置や撮像角度などに依存するシーン座標系で表現されたシーン画像１１５１、１１６１、１１７１へ変換し、そして、シーン座標系上に表現されたシーン画像（例えば、シーン画像１１５１）上で所望する監視領域１１５２を設定することで実現する。この場合、各撮像装置毎に、その位置や撮像角度に応じて見える画像を用いて、監視領域を設定することができるため、人にとって監視領域の設定が感覚的に分かり易く容易となり、また、遠近による見かけ上の大きさの違いも無く設定を行い易い。なお、この場合、監視領域の設定作業は、例えば、表示装置の画面に表示されたシーン座標系のシーン画像を人が見ながら行われる。
また、この場合、シーン座標系で設定された領域情報は、ワールド座標系の情報へ変換されて記憶される。

他の例として、領域設定処理は、最初に、各撮像装置の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像１１２１、１１３１、１１４１を、各撮像装置の位置や撮像角度などに依存せずに常に座標軸が一定となるワールド座標系で表現できるシーン画像（シーン画像１１５１、１１６１、１１７１に対応するもの）へ変換し、そして、ワールド座標系上に表現したシーン画像（例えば、シーン画像１１５１に対応するもの）上で所望する監視領域（監視領域１１５２に対応するもの）を設定することで実現する。なお、この場合、監視領域の設定作業は、例えば、表示装置の画面に表示されたワールド座標系のシーン画像を人が見ながら行われる。

ここで、どのような条件で撮像された入力画像についても、シーン座標系又はワールド座標系のシーン画像へ変換すれば全て同一のワールド座標系で表現することが可能であるため、シーン座標系上又はワールド座標系上で設定した監視領域（例えば、監視領域１１５２に対応するもの）を、同じ領域を一部分でも撮像する全ての監視装置に対して適用することができる利点がある。

次に、カメラ座標系の座標とワールド座標系の座標との間の変換処理方法の一例を示す。本例では、この変換処理は、例えば、画像処理プロセッサ（ＣＰＵなどでもよい）により行われる。
なお、本例では、カメラ座標系からワールド座標系への直接的な座標変換は場合によっては計算が複雑となることや、シーン座標系が領域などの設定に役立つことなどから、最初に、ワールド座標系を回転や並行移動した座標系であって撮像装置２１の鉛直下向きベクトルと地面との交点を原点とするシーン座標系へカメラ座標系から変換し、その後に、シーン座標系からワールド座標系へ変換する処理を示す。
つまり、本例では、カメラ座標系とシーン座標系との変換や、シーン座標系とワールド座標系との変換を行う。

具体的には、本例では、撮像装置２１により撮像されたカメラ座標系で表現される入力画像１１２１から、地面に対して平行な平面に投影したワールド座標系で表現することが可能なシーン画像（シーン画像１１５１に対応するもの）への変換処理について説明する。なお、この変換の逆変換を行うことで、ワールド座標系の座標からカメラ座標系の座標へ変換することもできる。
本例では、カメラ座標系の入力画像１１２１からシーン画像１１５１への変換はカメラ座標系からシーン座標系への座標変換により行う。また、シーン座標系はワールド座標系を単純に回転や平行移動した直交座標系であるため、シーン画像１１５１は、その回転や平行移動の逆変換を行うことにより、ワールド座標系上で表現することができる。

図８（ａ）には、地面に対して水平な方向で（真横から）撮像装置２１を見た場合の様子の一例を示してある。
図８（ｂ）には、地面に対して垂直な方向で（真上から）撮像装置２１を見た場合の様子の一例を示してある。
図８（ａ）及び図８（ｂ）は、シーン座標系で表現されている。本例では、シーン座標系は、原点Ｏを撮像装置２１の鉛直下向き（ｚ方向）で基準となる平面（地面）と交差する点として、地面の平面上にｘ軸及びｙ軸を取り、高さ方向にｚ軸を取る直交座標系である。また、撮像装置２１が向いている視線方向（光軸方向）にｒ軸を設けてある。

本例では、撮像装置２１の設置の高さをＨで表しており、撮像装置２１の俯角をθＴで表しており、撮像装置２１の縦方向の視野角をθＶで表している。
また、撮像装置２１の横方向の視野角をθＨで表している。なお、撮像装置２１の縦方向の視野角θＶは、撮像装置２１の横方向の視野角θＨから撮像素子のアスペクト比（縦横比）によって算出することができる。
また、撮像装置２１により撮像される画像の視野の中で、撮像装置２１から最も近い所までの水平距離をＬＮで表しており、撮像装置２１から最も遠い所までの水平距離をＬＦで表している。

まず、例えば、撮像装置２１の位置や方向を変更するための電動台座（カメラ雲台）の現在の方向（例えば、雲台の正面を原点として、パン角θＰ、チルト角θＴ）を取得し、撮像装置２１の撮像レンズの現在の焦点距離ｆを取得する。これらの取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸が無いとする。
撮像装置２１の横方向の視野角である画角θＨは（式１）により求められる。

ここで、ｗは、撮像装置２１の撮像素子である例えばＣＣＤ素子の横幅であり、一例として、１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合には、ｗ＝４．８ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置２１の画角は、θＨ＝３３．４°となる。すなわち、撮像装置２１の視野は横方向に３３．４°の範囲を有する。

通常、撮像装置２１は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θＴに応じて、撮像装置２１の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置２１から視線方向ＬＮの範囲に現れる。それ以上の所定の領域（距離ＬＮと距離ＬＦとの間の領域）は、撮像装置２１の視野に入る。
これらの距離ＬＮ、ＬＦについて説明する。
撮像装置２１の縦方向の視野角である画角θＶは（式２）により求められる。

ここで、ｈは、撮像装置２１の撮像素子である例えばＣＣＤ素子の縦幅であり、一例として、１／３インチの撮像素子を使用した場合には、ｈ＝３．６ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置２１の画角は、θＶ＝２５．４°となる。すなわち、撮像装置２１の視野は、縦方向に２５．４°の範囲を有する。
距離ＬＮ及び距離ＬＦは、（式３）により求められる。

この結果、撮像装置２１により撮像することができる範囲は、図８（ａ）に示される撮像装置２１と距離ＬＮの点と距離ＬＦの点で囲まれる三角形の領域の内部と、図８（ｂ）に示される点Ｐ１、Ｐ２、Ｐ３、Ｐ４で囲まれる台形の領域の内部となる。
一例として、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとし、雲台の現在の方向をθＴ＝３０°とし、撮像装置２１の設置高をＨ＝５．０ｍとした場合には、ＬＮ＝５．４２ｍ、ＬＦ＝１６．１ｍとなる。

上述のように、撮像装置２１の視野範囲の位置は、（式１）〜（式３）により演算される。
この結果に基づいて、視野範囲に含まれるカメラ座標系の画像上の各位置（ｘ’、ｙ’）をシーン座標系の（ｘ、ｙ）座標へ変換することができる。
例えば、画像上（ｘ’、ｙ’）で表される画素が図８（ａ）における点Ｃの位置を撮像したものである場合、入力画像１１２１の縦方向の画素数を４８０画素とすると、点Ｃを撮像する俯角θｙは（式４）により表される。

また、カメラ座標における画素（ｘ’、ｙ’）が、例えば、図８（ｂ）における点Ｄの位置（空間的な位置は図８（ａ）における点Ｃの位置と同じもの）を撮像したものである場合、入力画像１１２１の横方向の画素数を６４０とすると、点Ｄを撮像する回転角θｘは（式５）により表される。

ここで、θＰは、撮像装置２１のパン角であり、本例では、ｘ軸と撮像装置２１の光軸とのなす角を示す。従って、カメラ座標系の入力画像１１２１上の（ｘ’、ｙ’）で表される任意の位置の画素は、シーン座標系のシーン画像１１５１の座標（ｘ、ｙ）として、（式６）により求められる。

すなわち、シーン画像１１５１は、入力画像１１２１を（式１）〜（式６）に従って座標変換することで得られる。なお、視野範囲の位置の座標は、撮像装置２１のパンやチルトやズームにより変化し得る。また、シーン座標系に変換した画像は、（式４）〜（式６）で表される変換の逆変換を行うことで、カメラ座標系に戻すことができる。
ここでは、第１の撮像装置（撮像装置２１）について説明したが、他の撮像装置により撮影されたカメラ座標における入力画像１１３１、１１４１についても、（式１）〜（式６）と同様な座標変換を行うことで、シーン座標系上で表現されるシーン画像１１６１、１１７１へ変換することができる。

ここで、上述した座標変換法で得られるシーン座標系は、各撮像装置の位置からの鉛直
方向と地面との交点に原点を取る座標系であるため、それぞれのシーン画像１１５１、１１６１、１１７１の座標系は異なる。
このため、全ての監視装置（全ての撮像装置）から得られたシーン画像１１５１、１１６１、１１７１を統一された座標系で見るためには、各シーン座標系から唯一の座標系であるワールド座標系への座標変換が必要となる。

例えば、ワールド座標系が、その原点Ｏｗに対して、地面の平面上から鉛直上向きにｚｗ軸を取り、地面の平面上にｘｗ軸及びｙｗ軸を取る直交座標系であるとすると、各シーン座標系が地面の平面上にｘ軸及びｙ軸を取って各撮像装置の鉛直方向にｚ軸を取る直交座標系であることから、各シーン座標系はワールド座標系を回転や平行移動した座標系となる。このため、各シーン座標系の座標（ｘ、ｙ、ｚ）は、ワールド座標系上におけるシーン座標系の原点Ｏ’の位置ベクトルをＯｗＯ’＝（ｑｘ、ｑｙ）Ｔとし、ワールド座標系とシーン座標系との回転角をθとすると、ワールド座標系の座標（ｘｗ、ｙｗ、ｚｗ）としては（式７）により表現される。

（式７）により、図９（ａ）に示されるように、シーン画像１１５１をワールド座標系上で表現することができる。
図９（ａ）には、シーン画像１１５１をワールド座標系上で表現したもの（シーン画像１１８１）と、多角形の監視領域（点線）１１８２（図７（ｄ）における監視領域１１５２に対応するもの）を示してある。

特に、このようにして得られるワールド座標系上のシーン画像１１８１（及びシーン画像系上のシーン画像１１５１）は、監視領域の地図と相似の関係にあり、例えば、道路などは平行な線として表示される。また、画像中に写る植木の大きさや、標識の大きさなどは、実際の大きさ（例えば、メートル法による単位）に比例したものとなる。
例えば、カメラ座標系の画像を用いた従来の領域指定方法では、建物から一定距離の領域を指定するような場合に、画像上の位置によって見かけの大きさが異なってしまう問題があったが、本例のように、（各撮像装置毎に個別のシーン座標系における、又は、全ての撮像装置に共通なワールド座標系における）シーン画像を用いて領域を指定する場合には、画像上の位置によって見かけの大きさが異なる問題は発生しない。

次に、以上で述べた各手法によって、シーン座標（或いは、ワールド座標でもよい）を用いて監視領域を設定する方法及び監視装置間で監視領域の情報を共有する方法について説明する。
監視領域の設定や共有を行うために、まず、各監視装置において撮像した入力画像１１２１、１１３１、１１４１を、（式１）〜（式６）によって、それぞれ、シーン座標系のシーン画像１１５１、１１６１、１１７１へ変換する。次に、例えば１つの監視装置において、入力装置を用いて、そのシーン座標系のシーン画像１１５１上で監視を所望する領域を例えば多角形１１５２で設定する。そして、（式７）により、各シーン座標系のシーン画像１１５１、１１６１、１１７１及び設定された監視領域１１５２の座標系をワールド座標系へ変換する。

図９（ｂ）には、ワールド座標系上で表現した各シーン画像１１９１、１１９２、１１９３（それぞれシーン画像１１５１、１１６１、１１７１に対応するもの）及び監視領域（点線）１１９４（監視領域１１５２に対応するもの）の一例を示してある。
監視装置では、ワールド座標系で表現される監視領域１１９４の情報を、例えば記憶装置に保存するなどして、他の監視装置と共有できるように保持しておく。そして、監視装置は、当該監視装置上で定めた監視領域１１９４のワールド座標の情報を、必要に応じて、他の監視装置に対してネットワークを介して伝送する。

なお、本例では、例えば外部Ｉ／Ｆ回路により接続するネットワークを介して監視領域１１９４のワールド座標の情報を伝送する場合を示したが、他の構成例として、外部Ｉ／Ｆ回路などに接続されるＣＤ−ＲＡＭなどの可搬な媒体を利用して伝送を行うことも可能である。

次に、例えば、各監視装置に対して、入力装置などを用いて、受信された監視領域１１９４のワールド座標の情報に基づいて監視領域を設定するように指示を出す。これに応じて、各監視装置では、それぞれの監視装置が持つ画像処理プロセッサにより、受信された監視領域１１９４の情報に基づく領域設定を行う。
具体的には、監視領域１１９４と各シーン画像１１９２、１１９３は、ワールド座標系上では図９（ｂ）に示されるように表現できるため、それぞれのシーン画像１１９２、１１９３と監視領域１１９４とが重複する領域の座標を、各監視装置における監視領域として設定する。つまり、１つの監視装置上で決定した監視領域１１９４（監視領域１１５２に対応するもの）と同等な監視領域を、他の監視装置で共有して設定することができる。また、ワールド座標系上での監視領域の設定情報をそれぞれの監視装置に対応するシーン座標系の情報やカメラ座標系の情報へ変換して設定することができる。

例えば、従来の方法で複数台の監視装置に対して監視領域を設定する場合には、監視する全ての撮像装置により撮像された画像のそれぞれ毎に対して、マウスなどの入力装置を用いて、手動で直接的に、その監視領域を例えば図７（ａ）、図７（ｂ）、図７（ｃ）における多角形１１２２、１１３２、１１４２のように設定する必要があり、監視装置の数が増えるほど、領域の設定作業に時間と労力がかかっていた。
これに対して、本例の場合には、１つの監視装置によって得られたシーン座標系（或いは、ワールド座標系）のシーン画像に対して、例えば図７（ｄ）における多角形１１５２のように監視領域の設定を行えば、監視装置の台数に係らず、他の全ての監視装置に対して、前記監視領域と等しい監視領域を自動的且つ瞬時に設定することが可能である。
［以上、特願２００７−１７６０３９号の開示内容の一部］

１・・画像処理装置、 １１・・入力部、 １２・・出力部、 １３・・記憶部、 １４・・制御部、
１０１・・監視映像、 １１１・・敷地外エリア、 １２１−１、１２１−２・・物体、 １２２−１、１２２−２・・物体の軌跡、 １３１ａ〜１３１ｅ、１３２ｃ〜１３２ｄ・・点、 Ａ１、Ａ２・・方向検知ライン、 Ｂ１、Ｂ２−１、Ｂ２−２・・判定用方向検知ライン、 Ｃ１、Ｃ２・・検知方向（判定方向）、 Ｚ１・・敷地内エリア（本実施例では、検知除外エリアと同一）、 Ｚ２・・判定用検知除外エリア、
１４１・・画面、 １５１・・検知設定領域、 １５２・・検知条件組み合わせ設定領域、
２０１・・監視映像、 ２０２・・敷地内エリア、 ２１１・・敷地外エリア、 ２２１−１、２２１−２・・物体、 ２２２−１、２２２−２・・物体の軌跡、 Ｄ１、Ｄ２・・方向検知ライン、 Ｅ１、Ｅ２・・検知方向（判定方向）、

Claims (2)

1. ユーザにより行われる操作に応じて処理対象となる画像に対して第１のラインを設定する第１のライン設定手段と、
   前記第１のラインがいずれか１方向にのみ移動する物体を検知するように設定された場合には、前記第１のライン設定手段により設定された第１のラインに付随してそれとは移動方向へ所定の距離離れた位置に第２のラインを前記処理対象となる画像に対して設定し、前記第１のラインがいずれの方向に移動する物体も検知するように設定された場合には、前記第１のライン設定手段により設定された第１のラインに付随して両方向へ所定の距離離れた位置にそれぞれ第２のラインを前記処理対象となる画像に対して設定する第２のライン設定手段と、
   前記第１のライン設定手段により設定された第１のラインを横切るとともに前記第２のライン設定手段により設定された物体の移動方向側の第２のラインを横切った物体を検出する物体検出手段と、
   ユーザにより行われる操作に応じて処理対象となる画像に対して検出除外エリアを設定する検出除外エリア設定手段と、を備え、
   前記物体検出手段は、前記検出除外エリア設定手段により設定された検出除外エリアで検出した物体に対しては、前記第１のラインとともに物体の移動方向側の前記第２のラインを横切っても検出と判定しないことを特徴とする画像処理装置。
2. ユーザにより行われる操作に応じて処理対象となる画像に対して第１のラインを設定するステップと、
   前記第１のラインがいずれか１方向にのみ移動する物体を検知するように設定された場合には、前記第１のラインに付随してそれとは移動方向へ所定の距離離れた位置に第２のラインを前記処理対象となる画像に対して設定し、前記第１のラインがいずれの方向に移動する物体も検知するように設定された場合には、前記第１のラインに付随して両方向へ所定の距離離れた位置にそれぞれ第２のラインを前記処理対象となる画像に対して設定するステップと、
   前記第１のラインを横切るとともに物体の移動方向側の前記第２のラインを横切った物体を検出するステップと、
   ユーザにより行われる操作に応じて処理対象となる画像に対して検出除外エリアを設定するステップと、を備え、
   前記検出除外エリアで検出した物体に対しては、前記第１のラインとともに物体の移動方向側の前記第２のラインを横切っても検出と判定しないことを特徴とする画像処理方法。