JP6302262B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、撮影装置による撮影によって得られる画像データを処理する画像処理技術に関するものである。

近年、インターネット等のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを利用した画像配信システムが増加してきており、スキー場や動物園等の施設の状況を配信するインターネットサイトや、店舗監視・ビル監視等の監視業務に採用されている。

例えば、店舗監視やビル監視においては、撮影画像を解析・認識して特定の事象を検知し、事象が発生した際の画像を蓄積したり、管理者が閲覧・確認するということが行われている。

画像認識する特定の事象としては、例えば、撮影画像上に物体が出現したかどうかを検知する物体検知、不審物等が置かれたことを検知する置き去り検知、監視対象が持ち去られたことを検知する持ち去り検知、または撮影画像からネットワークカメラに対していたずらがされたことを検知するいたずら検知等が存在する。

また、画像認識方法には、過去のある時点の撮影画像、または、過去から現在までの撮影画像を基に背景画像を作成し、現在の撮影画像との差分により物体認識を行う背景差分等が存在する。

この時、使用する背景画像は、蛍光灯等の外部環境変化やカメラのデイナイト機能、赤外照明、フォーカス、ホワイトバランス、絞り等の撮影パラメータにより撮影画像が急激に変化すると背景との差分が大きくなり誤検出に繋がってしまう。このため、撮影画像が急激に変化する場合は、背景画像を再度、作成し直す必要がある。

例えば、特許文献１では、赤外照明のＯＮ／ＯＦＦ切換時に背景画像を更新する方法が開示されている。特許文献２では、参照画像と現在画像の輝度成分を比較して撮影モードと参照画像を更新する方法が開示されている。

特開２０１０−５０６３７号公報 特開２０１３−１３１２３号公報

しかしながら、上述の特許文献に開示された従来技術では、撮影パラメータの切換に掛かる時間や切換順序の考慮がされておらず、また画像上の輝度だけが安定すれば、背景画像の再作成を行ってしまう。

本発明は上記の課題を解決するためになされたものであり、環境に応じて効率的かつ適切に画像認識処理を実行することができる画像処理技術を提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は、
赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置であって、
前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識手段と、
前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射開始の通知をする管理手段と、
前記照射開始の通知に基づいて、前記画像認識処理を停止する制御手段と、
前記管理手段からの前記赤外照明による照射開始の処理の終了の通知に基づいて前記撮影装置の撮影パラメータを変更する切換手段と、
を備え、
前記認識手段は、前記切換手段による前記撮影装置の撮影パラメータの変更が終了した事に基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御手段が前記画像認識処理を再開するように制御することを特徴とする。

本発明によれば、環境に応じて効率的かつ適切に画像認識処理を実行することができる。

システム構成図である。 カメラサーバのハードウェア構成図である。 カメラサーバのソフトウェア構成図である。 実施形態１におけるシーケンス図である。 実施形態１及び２における画像認識プログラムのフローチャートである。 実施形態２におけるシーケンス図である。 実施形態３におけるシーケンス図である。 実施形態３における画像認識プログラムのフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は実施形態にかかわるシステム構成図である。

カメラサーバ２００とクライアント２２０がネットワーク２３０を介して相互に接続されている。カメラサーバ２００は、撮影画角可変、もしくは撮影画角が固定されているカメラを備え、カメラで撮影した画像データをネットワーク２３０を介して配信することができる。クライアント２２０は、カメラサーバ２００にアクセスし、画像データを取得することができる。カメラサーバ２００とクライアント２２０それぞれの動作の詳細については後述する。

尚、図１では、説明の簡略化のために、カメラサーバ２００は１台としているが、２台以上であっても構わない。また、クライアント２２０以外にも、カメラサーバ２００にアクセスして画像データの受信や蓄積を行う他のクライアントがあっても構わない。

ネットワーク２３０は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等のネットワーク機器と回線から構成される。本実施形態においては、各サーバ・クライアント間の通信が支障なく行えるものであれば、その通信規格、規模、構成を問わない。つまり、ネットワーク２３０は、インターネットからＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）にまで適用可能である。

図２はカメラサーバ２００のハードウェア構成図である。

カメラサーバ２００は、ＣＰＵ３００、一次記憶装置３１０、二次記憶装置３２０、画像キャプチャＩ／Ｆ３３０、及びネットワークＩ／Ｆ３６０を備え、これらの構成要素が内部バス３０１を介して相互に接続されている。

ここで、一次記憶装置３１０は、ＲＡＭに代表される書込可能な高速の記憶装置であり、ＯＳや各種プログラム及び各種データがロードされ、また、ＯＳや各種プログラムの作業領域としても使用される。二次記憶装置３２０は、ＦＤＤ、ＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性記憶装置であり、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。尚、カメラサーバ２００の一次記憶装置３１０及び二次記憶装置３２０に記憶される各種プログラム等のデータの詳細については後述する。

画像キャプチャＩ／Ｆ３３０は、画像入力装置を接続するためのＩ／Ｆ（インタフェース）であり、ここでは、撮影装置であるカメラ３７０が接続されている。画像キャプチャＩ／Ｆ３３０は、カメラ３７０が撮影した画像データを入力し、その入力した画像データを所定のフォーマット（例えば、ＪＰＥＧ、ＭＰＥＧ等）に変換・圧縮して一次記憶装置３１０に転送する。

ネットワークＩ／Ｆ３６０は、ネットワーク２３０と接続するためのＩ／Ｆであり、このネットワーク２３０を介してクライアント２２０等の他の端末との通信を担う。

図３はカメラサーバ２００のソフトウェア構成図である。

一次記憶装置３１０上には、ＯＳ４００、撮影処理プログラム４１０、撮影モード管理プログラム４１１、画像認識プログラム４１２、配信処理プログラム４１４、及び一時記憶部４１３がロードされる。

ＯＳ４００は、カメラサーバ２００全体を制御する基本プログラムである。撮影処理プログラム４１０は、カメラ３７０で生成された画像データを画像キャプチャＩ／Ｆ３３０を経由して取得し符号化して、一時記憶部４１３に保存する。尚、ここでは、一時記憶部４１３に保存される画像データは、符号化後の画像データとしているが、符号化前の画像データでも、符号化前と符号化後の画像データの両方でも構わない。

撮影モード管理プログラム４１１は、一時記憶部４１３に保存された画像データを参照し、デイナイト、フォーカス、ホワイトバランス、赤外照明等の複数種類の撮影パラメータを、自動またはユーザ／クライアント２２０からの変更指示によって指定された値に連続あるいは同時並行で制御（変更）し、必要に応じて画像認識プログラム４１２に状態変更を通知する。

尚、カメラサーバ２００には、撮影パラメータを入力（変更指示）するためのコンソール（不図示）が備わっていても良い。この撮影パラメータは、ネットワーク２３０を介して、クライアント２２０から入力することができる。また、撮影モードには、可視光環境下で撮影するデイモード、赤外光環境下で撮影するナイトモード等の複数種類のモードがある。

画像認識プログラム４１２は、一時記憶部４１３に保存された単数または複数の画像データから背景画像データを作成する。画像認識プログラム４１２は、背景画像データの作成後も、最新の画像データにより背景画像データを更新しながら、背景画像データと最新の画像データとを比較して、画像認識処理を行う。

画像認識プログラム４１２による画像認識処理は、背景画像データと最新の画像データをそれぞれ一定解像度の小領域（所定サイズの領域）に分割し、対応する小領域同士を比較し、差分がある小領域同士を繋げて物体を認識する。また、画像認識プログラム４１２は、認識した物体の時間経過に伴う移動軌跡等の特徴量を測定することで、動体検知・置き去り検知・持ち去り検知・いたずら検知等の特定事象を検出する。そして、画像認識プログラム４１２は、画像認識処理で生成した物体認識情報や特定事象の情報を画像認識情報として一時記憶部４１３に保存する。

配信処理プログラム４１４は、クライアント２２０からのリクエストに応じ、一時記憶部４１３に保存されている画像データと、必要に応じて画像認識情報を、ネットワークＩ／Ｆ３６０を制御しネットワーク２３０を介してクライアント２２０へ送信する。

各プログラム同士の連携は、必要に応じてＯＳ４００が提供する機能を用いて実現する。

尚、ＯＳ４００上で動作する各種プログラムは、ＣＰＵ３００が一次記憶装置３１０上で読み出し実行することで実現される。

また、クライアント２２０は、カメラサーバ２００と同様のハードウェア構成を有するものとする。つまり、情報処理装置であるクライアント２２０は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。

以下の各実施形態では、赤外照明ＯＮ／ＯＦＦ、撮影パラメータ（デイナイト、フォーカス、ホワイトバランス）の変更（パラメータの状態変化）、所定時間のタイムアウト等の複数種類の撮影条件の変更を含む撮影モードの切換に応じて、画像認識処理の停止と再開を制御する構成について説明する。より具体的には、撮影モードの切換に伴う撮影条件の変更の開始時と終了時の少なくとも一方の時点に基づいて、画像認識処理を開始し、その後、再開するように制御する。この開始と再開の制御の一例の詳細については、以下の各実施形態で説明する。

＜実施形態１＞
以下、実施形態１による画像処理装置について説明する。

図４は実施形態１におけるカメラサーバ２００の処理シーケンス例を示す図である。

実施形態１では、画像認識処理中に、撮影モード管理プログラム４１１が、撮影環境が暗いことを検出することで、可視光環境下で撮影するデイモードから、赤外照明を照射して赤外光環境下で撮影するナイトモードに変更して、ホワイトバランスを適正な状態に変更する場合について説明する。

尚、撮影環境が暗いことの検出は、例えば、カメラ３７０に内蔵される光検出センサが、カメラサーバ２００の撮影環境が一定照度（明度／輝度）以下の状態を検出した場合を、暗い（低照度環境である）と判断する。

まず、ステップＳ５００にて、撮影処理プログラム４１０は、画像データを一時記憶部４１３に保存して、画像データを生成したことを示す画像データ生成通知を画像認識プログラム４１２に送信する。尚、画像データ生成通知は、撮影モード管理プログラム４１１にも送信されるが、この図では省略する。

この時点で、画像認識プログラム４１２は、既に背景画像データを有しているとする。そこで、ステップＳ５２０にて、画像認識プログラム４１２は、受信した画像データを用いて画像認識処理を実行し、その画像認識処理によって得られる画像認識情報を一時記憶部４１３に保存する。

ここで、ステップＳ５０１〜Ｓ５１１は、撮影処理プログラム４１０が、一定間隔で時間的に連続する画像データを生成して、対応する画像データ生成通知を送信していることを示している。

撮影モード管理プログラム４１１は、当初、一時記憶部４１３に保存されている画像データから撮影エリアが充分に明るいと判断している状態（ステップＳ５３０）であるとする。つまり、赤外照明の照射は実行しておらず、可視光環境を撮影するデイモードである状態であるとする。

ステップＳ５３１にて、撮影モード管理プログラム４１１は、最新の画像データから撮影エリアの輝度が所定値より暗いと判断すると、撮影モードをデイモードからナイトモードへ変更する撮影モード変更通知を画像認識プログラム４１２へ送信する。実施形態１では、この撮影モード変更通知には、赤外照明の照射開始（照明ＯＮ開始）を示すメッセージが含まれる。尚、本実施形態では、画像データから撮影エリアの輝度に基づいて、撮影環境の明るさを判断しているが、カメラ３７０に内蔵される照度センサ等の別の測定方法で、撮影環境の明るさを計測／算出しても構わない。

画像認識プログラム４１２は、撮影モード変更通知によって照明ＯＮ開始を示すメッセージを受信することで、撮影モードの変更を判断すると、ステップＳ５２１にて、画像認識プログラム４１２は、これ以降の画像認識処理を停止する状態に遷移する。本実施形態では、撮影条件が変更されると、撮影モードが変更されたと判断する。これにより、ステップＳ５０２〜ステップＳ５０７の間は、画像認識処理は停止した状態のため、画像認識プログラム４１２は、撮影処理プログラム４１０から受信する画像データ生成通知は破棄する。

ステップＳ５３２にて、撮影モード管理プログラム４１１は、赤外照明の照射を開始した後、赤外光環境下で撮影するナイトモードへ移行を開始したことを示すナイトモード移行開始の通知を画像認識プログラム４１２へ送信する。そして、ステップＳ５３３にて、撮影モード管理プログラム４１１は、赤外照明の強度が目標レベルに達することで赤外照明を終了したことを示す照明ＯＮ終了の通知を画像認識プログラム４１２へ装置する。そして、ステップＳ５３４にて、撮影モード管理プログラム４１１は、ナイトモード移行が終了したことを示すナイトモード移行終了の通知を画像認識プログラム４１２へ送信する。

その後、ステップＳ５３５にて、撮影モード管理プログラム４１１は、適切なホワイトバランス（ＷＢ）にするためのホワイトバランス動作を開始したことを示すホワイトバランス動作開始の通知を画像認識プログラム４１２へ送信する。ステップＳ５３６にて、撮影モード管理プログラム４１１は、適切なホワイトバランスに達することでホワイトバランス動作を終了したことを示すホワイトバランス動作終了の通知を画像認識プログラム４１２へ送信する。

尚、ステップＳ５３１〜ステップＳ５３６それぞれで送信する通知は、いずれも撮影モード変更通知に含まれるメッセージの１つとして、撮影モード管理プログラム４１１が画像認識プログラム４１２へ送信する。

画像認識プログラム４１２は、ホワイトバランス動作終了の通知を受信することで、撮影処理プログラム４１０からの画像データ生成通知を破棄する動作（画像認識処理の停止状態）を終了する終了条件を満足することを確認する。換言すれば、画像認識プログラム４１２は、撮影モードの変更が完了したことを確認する。このように、画像認識プログラム４１２は、ホワイトバランス動作終了の通知を受信することで、赤外照明の照射が完了し、ナイトモードへの移行が完了し、ホワイトバランスの動作が終了したという３つの撮影条件の変更の完了を終了条件として満足することを確認する。これにより、撮影条件の変更を含む撮影モードの変更が完了し、ステップＳ５２２にて、画像認識プログラム４１２は、背景画像データ初期化中に状態を移行する。

尚、実施形態１では、赤外照明の照射、ナイトモードへの移行、ホワイトバランスの変更の３つを終了条件としているが、終了条件の数は、これに限定されない。用途や目的に応じて、その数を増減することができ、また、その終了条件の内容を、フォーカス、絞り、ゲイン調整、等の撮影パラメータの調整の完了を終了条件として追加することができる。

ステップＳ５０８、ステップＳ５０９、及びステップＳ５１０にて、画像認識プログラム４１２は、画像データを受信することで、これらの複数の画像データから背景画像データを作成する。そうすることで、ステップＳ５２３にて、画像認識プログラム４１２は、背景画像データの作成を完了する。これにより、画像認識プログラム４１２は、画像認識処理を開始できる状態に遷移することができる。

ステップＳ５１１にて、画像認識プログラム４１２は、背景画像データの作成の完了後、次の画像データを受信する。これにより、ステップＳ５２４にて、画像認識プログラム４１２は、受信した画像データを用いて画像認識処理を実行する。即ち、画像認識プログラム４１２は、撮影処理プログラムから入力した画像データと背景画像データを比較して画像認識処理を実行する。背景画像データは、画像認識処理において、撮影処理プログラムから入力した画像データとの比較に用いられる画像データである。

図５は実施形態１における画像認識プログラムが実行する処理を示すフローチャートである。

画像認識プログラム４１２は、電源ＯＮまたは最初にクライアント２２０等の外部端末から画像認識処理の開始を要求された時に起動する。

ステップＳ１０１にて、画像認識プログラム４１２は、プログラムの状態を背景画像データ初期化中に設定する。

そして、ステップＳ１０２にて、画像認識プログラム４１２は、他のプログラムからの通知メッセージを受信するためにイベント待ちに入る。実施形態１では、画像認識プログラム４１２は、撮影処理プログラム４１０からの画像データ生成通知、または撮影モード管理プログラム４１１からの撮影モード変更通知を待機する。撮影モード変更通知には、デイナイト、フォーカス、ホワイトバランス、赤外照明等の各種撮影パラメータの変更情報が含まれる。

そして、通知メッセージを受信すると、ステップＳ１０３にて、イベント内容を判断し、その判断結果に基づいて、それぞれの処理を実行する。

ステップＳ１０３の判断の結果、撮影処理プログラム４１０からの画像データ生成通知を受信した場合、ステップＳ１０４にて、まず、画像認識プログラム４１２は、状態を判断する。

ステップＳ１０４の判断の結果、状態が背景画像データ初期化中の場合は、ステップＳ１０５にて、画像認識プログラム４１２は、背景画像データを作成する。背景画像データは、一般的に複数の画像データから作成するので、画像認識プログラム４１２は、撮影処理プログラム４１０から所定数以上の複数の画像データを受信することで、背景画像データを作成することになる。つまり、ステップＳ１０３〜ステップＳ１０６の処理を繰り返すことで、画像認識プログラム４１２は、背景画像データを初めて作成することができる。そこで、ステップＳ１０６にて、画像認識プログラム４１２は、背景画像データの作成が完了したか否かを判断する。完成した場合（ステップＳ１０６でＹＥＳ）、ステップＳ１０７にて、画像認識プログラム４１２は、状態を運用中に設定して、ステップＳ１０２のイベント待ちに戻る。一方、完成していない場合（ステップＳ１０６でＮＯ）、ステップＳ１０２のイベント待ちに戻る。

ステップＳ１０４の判断の結果、状態が運用中の場合は、ステップＳ１０８にて、画像認識プログラム４１２は、画像認識処理を実行する。ステップＳ１０８では、画像認識プログラム４１２は、画像認識処理によって得られる、物体認識情報や特定事象の情報を画像認識情報として一時記憶部４１３に保存し、必要に応じて配信処理プログラム４１４にメッセージを送信する。

ステップＳ１０４の判断の結果、状態が停止中の場合は、何もせずに、ステップＳ１０２のイベント待ちに戻る。

ステップＳ１０３の判断の結果、撮影モード管理プログラム４１１からの撮影モード変更通知を受信した場合、ステップＳ１０９にて、画像認識プログラム４１２は、まず、状態を確認する。

ステップＳ１０９にて、状態が背景画像データ初期化中または運用中の場合、ステップＳ１１０にて、画像認識プログラム４１２は、撮影モード変更通知の内容に基づいて、撮影モード切換開始であるか否かを判断する。実施形態１では、撮影モード変更通知に赤外照明ＯＮ開始を示すメッセージが含まれる場合、撮影モード切換開始であると判断する。尚、実施形態１では、赤外照明ＯＮ開始を撮影モード切換開始と判断しているが、これに限定されない。目的の範囲内であれば、デイナイト、フォーカス、ホワイトバランス、更には、他の撮影パラメータを示すメッセージが撮影モード変更通知に含まれる場合も、撮影モード切換開始と判断しても良い。

ステップＳ１１０にて、撮影モード切換開始であると判断した場合（ステップＳ１１０でＹＥＳ）、ステップＳ１１１にて、画像認識プログラム４１２は、状態を停止中に変更する。一方、撮影モード切換開始でないと判断する場合（ステップＳ１１０でＮＯ）、何もせず、ステップＳ１０２のイベント待ちに戻る。

ステップＳ１０９の判断の結果、状態が停止中の場合は、ステップＳ１１２にて、画像認識プログラム４１２は、撮影モード切換完了であるか否かを判断する。実施形態１では、撮影モード変更通知にホワイトバランス動作終了を示すメッセージが含まれる場合、撮影モード切換完了であると判断する。尚、本実施形態では、ホワイトバランス動作終了を撮影モード切換完了と判断しているが、これに限定されない。目的の範囲内であれば、デイナイト、フォーカス、ホワイトバランス、更には、他の撮影パラメータを示すメッセージが撮影モード変更通知に含まれる場合も、撮影モード切換完了であると判断しても良い。

ステップＳ１１２の判断の結果、撮影モード切換完了であると判断した場合（ステップＳ１１２でＹＥＳ）、ステップＳ１１３にて、画像認識プログラム４１２は、背景画像データを破棄する。ステップＳ１１４にて、画像認識プログラム４１２は、状態を背景画像データ初期化中に変更し、ステップＳ１０２のイベント待ちに戻る。一方、撮影モード切換完了でないと判断した場合（ステップＳ１１２でＮＯ）、何もせずステップＳ１０２のイベント待ちに戻る。

尚、実施形態１では、撮影モード切換開始と撮影モード切換完了のみを判断しているが、これに限定されず、撮影パラメータ全ての変更を判断するようにしてもよい。

以上説明したように、実施形態１によれば、撮影モード切換開始時に画像認識処理を停止し、複数の撮影パラメータが変更されて、撮影モード切換完了後に背景画像データの再作成を開始する。これにより、撮影画像データの変化により、カメラが有する複数の撮影パラメータを変更する際でも、画像認識処理の誤検知を抑制し、かつ適切なタイミングで背景画像データを再作成し画像認識処理を継続することができる。

＜実施形態２＞
実施形態２の画像処理装置の動作について説明する。

図６は実施形態２におけるカメラサーバ２００の処理シーケンス例を示す図である。

実施形態２でも、実施形態１と同様に、画像認識処理中に、撮影モード管理プログラム４１１が、撮影環境が暗いことを検出することで、可視光環境下で撮影するデイモードから、赤外照明を照射して赤外光環境下で撮影するナイトモードに変更して、ホワイトバランスを適正な状態に変更する場合について説明する。

尚、図６において、ステップＳ６００〜ステップＳ６１１による撮影処理プログラム４１０による画像データ生成通知は、実施形態１のステップＳ５００〜ステップＳ５１１に対応するため、その詳細については省略する。

画像認識プログラム４１２は、ステップＳ６００にて、撮影処理プログラム４１０から画像データ生成通知を受信した時点で、画像認識プログラム４１２は、既に背景画像データを有しているとする。そこで、ステップＳ６２０にて、画像認識プログラム４１２は、受信した画像データを用いて画像認識処理を実行し、その画像認識処理によって得られる画像認識情報を一時記憶部４１３に保存する。

撮影モード管理プログラム４１１は、当初、一時記憶部４１３に保存されている画像データから撮影エリアが充分に明るいと判断している状態（ステップＳ６３０）であるとする。つまり、赤外照明の照射は実行しておらず、可視光環境を撮影するデイモードである状態であるとする。

ステップＳ６３１にて、撮影モード管理プログラム４１１は、最新の画像データから撮影エリアの輝度が所定値より暗いと判断すると、撮影モードをデイモードからナイトモードへ変更する撮影モード変更通知を画像認識プログラム４１２へ送信する。実施形態２では、この撮影モード変更通知には、赤外照明の照射（照明ＯＮ）完了を示すメッセージが含まれる。つまり、実施形態２では、撮影モード管理プログラム４１１は、赤外照明の照射が完了した状態を画像認識プログラム４１２へ通知する。これは、画像認識処理を実行する上で、赤外照明の照射開始から完了までの時間を考慮しなくても、画像認識処理上で誤検知が発生しないことを示している。

尚、実施形態２では、画像データから撮影エリアの輝度に基づいて、撮影環境の明るさを判断しているが、カメラ３７０に内蔵される照度センサ等の別の測定方法で、撮影環境の明るさを計測／算出しても構わない。

画像認識プログラム４１２は、撮影モード変更通知によって照明ＯＮ完了を示すメッセージを受信することで、撮影モードの変更を判断すると、ステップＳ６２１にて、画像認識プログラム４１２は、これ以降の画像認識処理を停止する状態に遷移する。これにより、ステップＳ６０２〜ステップＳ６０７の間は、画像認識処理は停止した状態のため、画像認識プログラム４１２は、撮影処理プログラム４１０から受信する画像データ生成通知は破棄する。

ステップＳ６３２にて、撮影モード管理プログラム４１１は、赤外照明の照射を完了した後、赤外光環境下で撮影するナイトモードへの移行が完了したことを示すナイトモード移行完了の通知を画像認識プログラム４１２へ送信する。その後、ステップＳ６３３にて、撮影モード管理プログラム４１１は、適切なホワイトバランスに達することでホワイトバランス動作が終了したことを示すホワイトバランス動作終了の通知を画像認識プログラム４１２へ送信する。

尚、ステップＳ６３１〜ステップＳ６３３それぞれで送信する通知は、いずれも撮影モード変更通知に含まれるメッセージの１つとして、撮影モード管理プログラム４１１が画像認識プログラム４１２へ送信する。

実施形態２では、画像認識処理を実行する上で、ナイトモードへの移行の開始から完了までの時間やホワイトバランスの変更開始から完了までの時間を考慮しなくても、画像認識処理上で誤検知が発生しない場合の例を示している。

画像認識プログラム４１２は、ホワイトバランス動作終了の通知を受信することで、撮影処理プログラム４１０からの画像データ生成通知を破棄する動作を終了する終了条件を満足することを確認する。このように、画像認識プログラム４１２は、ホワイトバランス動作終了の通知を受信することで、赤外照明の照射が完了し、ナイトモードへの移行が完了し、ホワイトバランスの動作が終了したという３つの終了条件を満足することを確認する。これにより、ステップＳ６２２にて、画像認識プログラム４１２は、背景画像データ初期化中に状態を移行する。

尚、実施形態２では、赤外照明の照射、ナイトモードへの移行、ホワイトバランスの変更の３つを終了条件としているが、終了条件の数は、これに限定されない。用途や目的に応じて、その数を増減することができ、また、その条件の内容を、フォーカス、絞り、ゲイン調整、等の撮影パラメータの調整の完了を終了条件として追加することができる。

ステップＳ６０８、ステップＳ６０９、及びステップＳ６１０にて、画像認識プログラム４１２は、画像データを受信することで、これらの複数の画像データから背景画像データを作成する。そうすることで、ステップＳ６２３にて、画像認識プログラム４１２は、背景画像データの作成を完了する。これにより、画像認識プログラム４１２は、画像認識処理を開始できる状態に遷移することができる。

ステップＳ６１１にて、画像認識プログラム４１２は、背景画像データの作成の完了後、次の画像データを受信する。これにより、ステップＳ６２４にて、画像認識プログラム４１２は、受信した画像データを用いて画像認識処理を実行する。

実施形態２における画像認識プログラム４１２が実行する処理は、実施形態１の図５のフローチャートに準ずる。従って、ここでは、実施形態２で特有の処理についてのみ、図５を用いて説明し、図５と共通の動作及び処理については適宜省略する。

実施形態２では、ステップＳ１０９の判断内容が異なる以外は、実施形態１と同様である。

ステップＳ１０９にて、状態が背景画像データ初期化中または運用中の場合、ステップＳ１１０にて、画像認識プログラムは、撮影モード変更通知の内容に基づいて、撮影モード切換開始であるか否かを判断する。実施形態２では、撮影モード変更通知に赤外照明ＯＮ完了を示すメッセージが含まれる場合、撮影モード切換開始であると判断する。尚、実施形態２では、赤外照明ＯＮ完了を撮影モード切換開始と判断しているが、これに限定されない。目的の範囲内であれば、デイナイト、フォーカス、ホワイトバランス、更には他の撮影パラメータを示すメッセージが撮影モード変更通知に含まれる場合も、撮影モード切換完了と判断しても良い。

尚、実施形態２では、撮影パラメータ（ホワイトバランス）の変更終了のタイミングで撮影モード切換開始／終了を判断しているが、これに限定されない。例えば、撮影パラメータの変更開始と変更終了の両方を考慮する必要があるか、変更終了のみの考慮でよいかは、撮影パラメータの特性によって個別に決めてよい。即ち、実施形態１と実施形態２とを組み合させた実施形態を実現しても良い。

以上説明したように、実施形態２によれば、撮影パラメータの遷移時間が画像認識処理上で無視しても問題ない場合は、撮影パラメータの変更が終了したことを検知してから画像認識処理を停止して、複数の撮影パラメータ変更が完了した後に背景画像データの再作成を開始する。このような構成においても、撮影画像データの変化による画像認識処理の誤検知を抑制し、かつ適切なタイミングで背景画像データを再作成し画像認識処理を継続することができる。

＜実施形態３＞
実施形態３の画像処理装置の動作について説明する。

図７は実施形態３におけるカメラサーバ２００の処理シーケンス例を示す図である。

実施形態３でも、実施形態１と同様に、画像認識処理中に、撮影モード管理プログラム４１１が、撮影環境が暗いことを検出することで、可視光環境下で撮影するデイモードから、赤外照明を照射して赤外光環境下で撮影するナイトモードに変更して、ホワイトバランスを適正な状態に変更する場合について説明する。

尚、実施形態３の図７における動作は、基本的には、実施形態２の図６における動作に準ずる。つまり、図７のステップＳ７００〜ステップＳ７１１、ステップＳ７２０〜ステップＳ７２４、及びステップＳ７３０〜ステップＳ７３２は、図６のステップＳ６００〜ステップＳ６１１、ステップＳ６２０〜ステップＳ６２４、及びステップＳ６３０〜ステップＳ６３２に対応する。そこで、以下の説明では、実施形態２との差分について説明する。

実施形態３では、ステップＳ７２１にて、画像認識プログラム４１２は、これ以降の画像認識処理を停止する状態に遷移するとともに、撮影モード切換完了を検出するためのタイマをスタートさせる。

その後、画像認識プログラム４１２は、ホワイトバランス動作終了の通知を撮影モード管理プログラム４１１から受信するが、実施形態３では、実施形態２とは異なり、この時点では、何も処理を実行しない。そして、撮影モード切換完了を検出するためのタイマのタイムアウトが発生すると、ステップＳ７２２にて、画像認識プログラム４１２は、背景画像データ初期化中に状態を移行する。尚、このタイムアウト値は、用途や目的に応じて、予め設定されている。

ステップＳ７１０、ステップＳ７１１、及びステップＳ７１２にて、画像認識プログラム４１２は、画像データを受信することで、これらの複数の画像データから背景画像データを作成する。そうすることで、ステップＳ７２３にて、画像認識プログラム４１２は、背景画像データの作成を完了する。これにより、画像認識プログラム４１２は、画像認識処理を開始できる状態に遷移することができる。

ステップＳ７１３にて、画像認識プログラム４１２は、背景画像データの作成の完了後、次の画像データを受信する。これにより、ステップＳ７２４にて、画像認識プログラム４１２は、受信した画像データを用いて画像認識処理を実行する。

図８は実施形態３における画像認識プログラムが実行する処理を示すフローチャートである。

尚、図８において、実施形態１の図５のフローチャートと同一の処理については、その詳細説明を適宜省略する。特に、図８のステップＳ８０１〜ステップＳ８０７は、図５のステップＳ１０１〜ステップＳ８０７に対応する。

ステップＳ８０１及びステップＳ８０２の処理を経て、ステップＳ８０３にて、画像認識プログラム４１２は、他のプログラムからの通知メッセージを受信するためにイベント待ちに入る。実施形態３では、画像認識プログラム４１２は、撮影処理プログラム４１０からの画像データ生成通知、撮影モード管理プログラム４１１からの撮影モード変更通知、または画像認識プログラム４１２自身からのタイムアウト通知を待機する。

ステップＳ８０３の判断の結果、撮影モード管理プログラム４１１からの撮影モード変更通知を受信した場合、ステップＳ８０９にて、画像認識プログラム４１２は、まず、状態を確認する。

ステップＳ８０９にて、状態が背景画像データ初期化中または運用中の場合、ステップＳ８１０にて、画像認識プログラムは、撮影モード変更通知の内容に基づいて、撮影モード切換開始であるか否かを判断する。実施形態３では、撮影モード変更通知に赤外照明ＯＮ完了を示すメッセージが含まれる場合、撮影モード切換開始であると判断する。尚、実施形態３では、赤外照明ＯＮ完了を撮影モード切換開始と判断しているが、これに限定されない。目的の範囲内であれば、デイナイト、フォーカス、ホワイトバランス、更には他の撮影パラメータを示すメッセージが撮影モード変更通知に含まれる場合も、撮影モード切換完了と判断しても良い。

ステップＳ８１０にて、撮影モード切換開始であると判断した場合（ステップＳ８１０でＹＥＳ）、ステップＳ８１１にて、画像認識プログラム４１２は、撮影モード切換完了を時間測定するタイマをスタートする。そして、ステップＳ８１２にて、画像認識プログラム４１２は、状態を停止中に変更する。一方、撮影モード切換開始でないと判断する場合（ステップＳ８１０でＮＯ）、何もせず、ステップＳ８０２のイベント待ちに戻る。

ステップＳ８０９の判断の結果、状態が停止中の場合は、ステップＳ８１３にて、画像認識プログラム４１２は、撮影モード切換開始であるか否かを再度判断する。再度、撮影モード切換開始であると判断した場合（ステップＳ８１３でＹＥＳ）、ステップＳ８１４にて、タイマのタイムアウト時間を現時点からスタートするように更新する。一方、撮影モード切換開始でないと判断する場合（ステップＳ８１３でＮＯ）、何もせず、ステップＳ８０２のイベント待ちに戻る。

ステップＳ８０３の判断の結果、画像認識プログラム４１２自身からの撮影モード切換終了を示すタイムアウト通知を受信／検出した場合、ステップＳ８１５にて、画像認識プログラム４１２は、まず、状態を確認する。

ステップＳ８１５にて、状態が背景画像データ初期化中または運用中の場合、何もせず、ステップＳ８０２のイベント待ちに戻る。一方、状態が停止中の場合、ステップＳ８１６にて、画像認識プログラム４１２は、背景画像データを破棄する。ステップＳ８１７にて、画像認識プログラム４１２は、状態を背景画像データ初期化中に変更し、ステップＳ８０２のイベント待ちに戻る。

尚、実施形態３では、撮影モード全体でのタイムアウト時間を使用する場合を説明しているが、撮影パラメータ毎にタイムアウト時間をもたせて、全てのタイムアウト時間が経過した時間（一定時間経過した時間）を撮影モード切換完了と判断するようにしてもよい。また、撮影パラメータのタイムアウト時間だけでなく、撮影パラメータの終了条件と最大待ち時間を指定できてもよい。例えば、ホワイトバランス動作の終了条件を第１の所定時間（例えば、１秒）以上に指定して、最大待ち時間を第２の所定時間（例えば、３０秒）に指定することができる。

以上説明したように、実施形態３によれば、撮影モード切換時に変更する全撮影パラメータの遷移時間の総和が大きく変わらない場合は、撮影モード切換開始時から一定時間待機してから背景画像データの再作成を開始する。このような構成においても、撮影画像データの変化による画像認識処理の誤検知を抑制し、かつ適切なタイミングで背景画像データを再作成し画像認識処理を継続することができる。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置であって、
   前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識手段と、
   前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射開始の通知をする管理手段と、
   前記照射開始の通知に基づいて、前記画像認識処理を停止する制御手段と、
   前記管理手段からの前記赤外照明による照射開始の処理の終了の通知に基づいて前記撮影装置の撮影パラメータを変更する切換手段と、
   を備え、
   前記認識手段は、前記切換手段による前記撮影装置の撮影パラメータの変更が終了した事に基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御手段が前記画像認識処理を再開するように制御することを特徴とする画像処理装置。
2. 前記認識手段は、前記背景画像データに基づいて動体検知、置き去り検知、持ち去り検知およびいたずら検知の少なくとも１つを実施することを特徴とする請求項１に記載の画像処理装置。
3. 前記切換手段は、ホワイトバランス、フォーカス、絞り、ゲインの少なくとも１つに関する撮影パラメータの変更を実施することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記認識手段は、複数の画像データの少なくとも１つから作成される背景画像データと、前記複数の画像データの内の最新の画像データとを比較することで、前記画像データに含まれる物体を認識し、
   前記制御手段は、前記背景画像データの作成が完了してから、該画像認識処理を再開することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置の制御方法であって、
   前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識工程と、
   前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射開始の通知をする管理工程と、
   前記照射開始の通知に基づいて、前記画像認識処理を停止する制御工程と、
   前記赤外照明による照射開始の処理の終了の通知に基づいて前記撮影装置の撮影パラメータを変更する切換工程と、
   を備え、
   前記認識工程では、前記切換工程による前記撮影装置の撮影パラメータの変更が終了した事に基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御工程における前記画像認識処理を再開するように制御することを特徴とする画像処理装置の制御方法。
6. 前記認識工程は、前記背景画像データに基づいて動体検知、置き去り検知、持ち去り検知およびいたずら検知の少なくとも１つを実施することを特徴とする請求項５に記載の制御方法。
7. 前記切換工程は、ホワイトバランス、フォーカス、絞り、ゲインの少なくとも１つに関する撮影パラメータの変更を実施することを特徴とする請求項５または６に記載の制御方法。
8. コンピュータを、
   赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置であって、
   前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識手段と、
   前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射開始の通知をする管理手段と、
   前記照射開始の通知に基づいて、前記画像認識処理を停止する制御手段と、
   前記管理手段からの前記赤外照明による照射開始の処理の終了の通知に基づいて前記撮影装置の撮影パラメータを変更する切換手段として機能させ、
   前記認識手段は、前記切換手段による前記撮影装置の撮影パラメータの変更が終了した事に基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御手段が前記画像認識処理を再開するように制御することを特徴とするプログラム。
9. 赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置であって、
   前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識手段と、
   前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射完了の通知をする管理手段と、
   前記照射完了の通知に基づいて、前記画像認識処理を停止するとともにタイマを起動する制御手段と、
   前記撮影モードを前記デイモードから前記ナイトモードに切り換えるために前記撮影装置の撮影パラメータを変更する切換手段と、を備え、
   前記認識手段は、前記タイマが所定のタイムアウト値を経過したことに基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御手段が前記画像認識処理を再開するように制御し、
   前記タイムアウト値は、当該所定のタイムアウト値に対応する第１の時点が、前記切換手段による前記撮影パラメータの変更が完了する第２の時点よりも遅くなるように設定されていることを特徴とする画像処理装置。
10. 赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置の制御方法であって、
    前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識工程と、
    前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射完了の通知をする管理工程と、
    前記照射完了の通知に基づいて、前記画像認識処理を停止するとともにタイマを起動する制御工程と、
    前記撮影モードを前記デイモードから前記ナイトモードに切り換えるために前記撮影装置の撮影パラメータを変更する切換工程と、を備え、
    前記認識工程では、前記タイマが所定のタイムアウト値を経過したことに基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御工程における前記画像認識処理を再開するように制御し、
    前記タイムアウト値は、当該所定のタイムアウト値に対応する第１の時点が、前記切換工程による前記撮影パラメータの変更が完了する第２の時点よりも遅くなるように設定されていることを特徴とする画像処理装置の制御方法。
11. コンピュータを、
    赤外照明を備える撮影装置による撮影によって得られる画像データを処理する画像処理装置であって、
    前記撮影装置からの画像データの入力に基づいて、前記画像データから物体を認識する画像認識処理を実行する認識手段と、
    前記画像データの輝度に基づいて前記撮影装置の撮影モードをデイモードからナイトモードに切り換えるための前記赤外照明の照射完了の通知をする管理手段と、
    前記照射完了の通知に基づいて、前記画像認識処理を停止するとともにタイマを起動する制御手段と、
    前記撮影モードを前記デイモードから前記ナイトモードに切り換えるために前記撮影装置の撮影パラメータを変更する切換手段として機能させ、
    前記認識手段は、前記タイマが所定のタイムアウト値を経過したことに基づいて前記物体の認識に用いる背景画像データを更新し、当該更新に基づいて前記制御手段が前記画像認識処理を再開するように制御し、
    前記タイムアウト値は、当該所定のタイムアウト値に対応する第１の時点が、前記切換手段による前記撮影パラメータの変更が完了する第２の時点よりも遅くなるように設定されていることを特徴とするプログラム。

Images